读写ORC文件
Apache ORC项目提供了一个标准的开源列式存储格式，用于数据分析系统。最初是为了在Apache Hadoop中使用，随后被Apache Drill、Apache Hive、Apache Impala和Apache Spark等系统采用为高性能数据IO的共享标准。
Apache Arrow是用于读取或写入ORC文件的理想内存表示层。
另请参见
ORC读取器/写入器API参考。
支持的ORC特性 ORC格式有许多特性，我们支持其中的一部分。
数据类型
以下是ORC类型和映射的Arrow类型的列表。
(1) 在读取时，ORC类型将被读取为表中表中的第一个对应的Arrow类型。
(2) 在写入时，如果提供了时区，ORC TIMESTAMP_INSTANT 将被使用，否则将使用ORC TIMESTAMP。在读取时，ORC TIMESTAMP和TIMESTAMP_INSTANT 类型都将被读取为Arrow Timestamp类型，arrow::TimeUnit::NANO，并且时区仅对ORC TIMESTAMP_INSTANT类型设置为UTC。
(3) 在读取时，ORC CHAR和VARCHAR类型都将被读取为Arrow String类型。ORC CHAR和VARCHAR类型不支持写入。
压缩
压缩编解码器
SNAPPY
GZIP/ZLIB
LZ4
ZSTD
不支持的压缩编解码器：LZO。
读取ORC文件
ORCFileReader类将整个文件或条纹的数据读取到一个::arrow::Table中。
ORCFileReader ORCFileReader类需要一个表示输入文件的::arrow::io::RandomAccessFile实例。
#include <arrow/adapters/orc/adapter.h>{ // ...
arrow::Status st;
arrow::MemoryPool* pool = default_memory_pool();
std::shared_ptr<arrow::io::RandomAccessFile> input = ...; // 打开ORC文件读取器
auto maybe_reader = arrow::adapters::orc::ORCFileReader::Open(input, pool);
if (!maybe_reader.ok()) { // 处理文件读取器实例化错误...
}
std::unique_ptr<arrow::adapters::orc::ORCFileReader> reader = maybe_reader.ValueOrDie(); // 将整个文件读取为单个Arrow表
auto maybe_table = reader->Read();
if (!maybe_table.ok()) { // 处理读取ORC数据错误...
}
std::shared_ptr<arrow::Table> table = maybe_table.ValueOrDie();
}写入ORC文件 ORCFileWriter 将ORC文件写入OutputStream。
#include <arrow/adapters/orc/adapter.h>{ // 单次写入
// ...
std::shared_ptr<arrow::io::OutputStream> output = ...;
auto writer_options = WriterOptions();
auto maybe_writer = arrow::adapters::orc::ORCFileWriter::Open(output.get(), writer_options);
if (!maybe_writer.ok()) { // 处理文件写入器实例化错误...
}
std::unique_ptr<arrow::adapters::orc::ORCFileWriter> writer = maybe_writer.ValueOrDie();
if (!(writer->Write(*input_table)).ok()) { // 处理写入错误...
}
if (!(writer->Close()).ok()) { // 处理关闭错误...
}
}
京公网安备 11010702002337 号