Arrow C++提供了用于Arrow IPC格式的读取器和写入器,它们包装了底层的输入/输出,通过IO接口进行处理。对于读取,还提供了一种事件驱动的API,可以异步地将任意数据传递到IPC解码层。
读取IPC流和文件
同步读取 对于大多数情况,最方便的方法是使用RecordBatchStreamReader或RecordBatchFileReader类,具体取决于您要读取的IPC格式的变体。前者需要一个InputStream源,而后者需要一个RandomAccessFile。
如果源允许,读取Arrow IPC数据本质上是零拷贝的。例如,BufferReader或MemoryMappedFile通常可以进行零拷贝。例外情况是当数据必须即时转换时,例如在IPC流或文件上启用了缓冲压缩。
事件驱动读取
当需要在不阻塞的情况下处理IPC格式(例如将Arrow与事件循环集成),或者数据来自不寻常的源时,请使用事件驱动的StreamDecoder。您需要定义Listener的子类并实现所需事件的虚拟方法(例如,实现Listener::OnRecordBatchDecoded()以通知每个传入的RecordBatch)。
写入IPC流和文件
使用MakeStreamWriter()或MakeFileWriter()之一的工厂函数,以获取给定IPC格式变体的RecordBatchWriter实例。
配置
可以使用IpcReadOptions和IpcWriteOptions类来配置IPC格式的读取和写入的各个方面。