Arrow Compute
Apache Arrow提供计算函数以促进高效和可移植的数据处理。在本文中，您将使用Arrow的计算功能来执行以下操作：
计算某列的总和
计算两列的逐元素和
在某列中搜索特定值
先决条件
在继续之前，请确保您具备以下条件：
Arrow安装，您可以在此处设置：在您自己的项目中使用Arrow C++
对来自基本Arrow数据结构的基本了解
设置
在运行一些计算之前，我们需要填补一些空白：
我们需要包含必要的头文件。
需要一个main()函数将所有内容粘合在一起。
我们需要一些数据来进行操作。
包含
在编写C++代码之前，我们需要一些包含。首先，我们引入iostream以进行输出，然后导入Arrow的计算功能：
#include <arrow/api.h> #include <arrow/compute/api.h> #include <iostream>
Main()
作为我们的粘合，我们将使用前一个教程中有关数据结构的main()模式：
int main() {
arrow::Status st = RunMain();
if (!st.ok()) {
std::cerr << st << std::endl;
return 1;
}
return 0;
}就像以前使用它时一样，它与RunMain()配对使用：
arrow::Status RunMain() {
return arrow::Status::OK();
}生成用于计算的Table
在开始之前，我们将初始化一个包含两列的Table，以便进行操作。我们将使用基本Arrow数据结构中的方法，因此如果有什么令人困惑的地方，请回顾一下：
// 创建一些32位整数数组。
arrow::Int32Builder int32builder;
int32_t some_nums_raw[5] = {34, 624, 2223, 5654, 4356};
ARROW_RETURN_NOT_OK(int32builder.AppendValues(some_nums_raw, 5));
std::shared_ptr<arrow::Array> some_nums;
ARROW_ASSIGN_OR_RAISE(some_nums, int32builder.Finish());
int32_t more_nums_raw[5] = {75342, 23, 64, 17, 736};
ARROW_RETURN_NOT_OK(int32builder.AppendValues(more_nums_raw, 5));
std::shared_ptr<arrow::Array> more_nums;
ARROW_ASSIGN_OR_RAISE(more_nums, int32builder.Finish());
// 使用我们的一对数组创建一个Table。
std::shared_ptr<arrow::Field> field_a, field_b;
std::shared_ptr<arrow::Schema> schema;
field_a = arrow::field("A", arrow::int32());
field_b = arrow::field("B", arrow::int32());
schema = arrow::schema({field_a, field_b});
std::shared_ptr<arrow::Table> table;
table = arrow::Table::Make(schema, {some_nums, more_nums}, 5);计算一个数组的总和
使用计算函数有两个一般步骤，我们在这里分开：
为输出准备一个Datum
调用compute::Sum()，这是一个方便的函数，用于对数组求和
检索并打印输出
为Datum准备内存以供输出 计算完成后，我们需要一个地方来存储结果。在Arrow中，用于存储此类输出的对象称为Datum。此对象用于在计算函数中传递输入和输出，并可以包含许多不同形状的Arrow数据结构。我们需要它来检索计算函数的输出。
// Datum类是所有计算函数的输出，它们可以接受Datum作为输入。 arrow::Datum sum;
调用Sum()
在这里，我们将获取我们的Table，其中包含列“A”和“B”，然后对列“A”进行求和。对于求和，有一个方便的函数，称为compute::Sum()，它简化了计算接口的复杂性。我们将在下一个计算中查看更复杂的版本。对于给定的函数，请参考计算函数以查看是否存在方便的函数。
compute::Sum()接受给定的Array或ChunkedArray - 在这里，我们使用Table::GetColumnByName()来传递列A。然后，它输出到Datum。将所有这些组合在一起，我们得到以下内容：
// 在这里，我们可以使用arrow::compute::Sum。这是一个方便的函数，下一个计算将不那么简单。然而，在可能的情况下，使用这些函数有助于提高可读性。
ARROW_ASSIGN_OR_RAISE(sum, arrow::compute::Sum({table->GetColumnByName("A")}));从Datum中获取结果
前面的步骤留下了一个包含我们的总和的Datum。但是，我们不能直接打印它 - 由于它可以包含任意Arrow数据结构的灵活性，我们必须仔细地检索我们的数据。首先，为了了解它包含的内容，我们可以检查它是哪种数据结构，然后包含的是什么类型的基元数据：
// 获取Datum的种类和它包含的内容 - 这是一个Scalar，包含int64。 std::cout << "Datum kind: " << sum.ToString() << " content type: " << sum.type()->ToString() << std::endl;
这应该报告Datum存储了一个包含64位整数的标量。为了查看值是什么，我们可以像这样打印它，这将产生12891：
// 请注意，我们明确要求一个标量 - Datum不能简单地提供它是什么，您必须请求正确的类型。 std::cout << sum.scalar_as<arrow::Int64Scalar>().value << std::endl;
现在，我们已经使用compute::Sum()并从中获取了我们想要的结果！
使用CallFunction()进行逐元素数组加法计算
下一层复杂度使用了compute::Sum()隐藏的内容：compute::CallFunction()。在本示例中，我们将探讨如何使用更强大的compute::CallFunction()与“add”计算函数。
模式保持相似：
为输出准备一个Datum
使用“add”调用compute::CallFunction()
检索并打印输出
为Datum准备内存以供输出 再次，我们需要一个Datum以存储任何输出：
arrow::Datum element_wise_sum;
使用CallFunction()与“add” compute::CallFunction()的第一个参数是所需函数的名称，第二个参数是所需函数的数据输入的向量。现在，我们想要在列“A”和“B”之间进行逐元素加法。因此，我们将请求“add”，传入列“A和B”，并输出到我们的Datum。将所有这些组合在一起，我们得到以下内容：
// 获取Table中列A和B的逐元素和。请注意，这里我们使用了CallFunction()，它的第一个参数是函数的名称。
ARROW_ASSIGN_OR_RAISE(element_wise_sum, arrow::compute::CallFunction(
"add", {table->GetColumnByName("A"),
table->GetColumnByName("B")}));另请参见
可用函数以获取compute::CallFunction()的其他函数列表
从Datum中获取结果 再次，需要谨慎处理Datum。当我们知道其中包含什么内容时，处理会更容易。此Datum包含一个包含32位整数的ChunkedArray，但我们可以打印以确认：
// 获取Datum的种类和它包含的内容 -- 这是一个ChunkedArray，包含int32。 std::cout << "Datum kind: " << element_wise_sum.ToString() << " content type: " << element_wise_sum.type()->ToString() << std::endl;
由于它是一个ChunkedArray，我们从Datum中请求它 - ChunkedArray有一个ChunkedArray::ToString()方法，因此我们将使用它来打印其内容：
// 这一次，我们得到了一个ChunkedArray，而不是标量。 std::cout << element_wise_sum.chunked_array()->ToString() << std.endl;
输出如下：
Datum kind: ChunkedArray content type: int32 [ [ 75376, 647, 2287, 5671, 5092 ] ]
现在，我们已经使用了compute::CallFunction()，而不是使用方便的函数！这使得更多可用的计算变得更加广泛。
使用CallFunction()和Options进行值搜索
仍然有一类计算。compute::CallFunction()使用数据输入的向量，但计算通常需要函数的附加参数。为了提供这些参数，计算函数可以关联到可以定义其参数的结构中。您可以检查给定函数，以查看它使用哪个结构。
在本示例中，我们将使用“index”计算函数在列“A”中搜索一个值。这个过程与之前的两个步骤不同，它有三个步骤：
为输出准备一个Datum
准备compute::IndexOptions
使用“index”和compute::IndexOptions调用compute::CallFunction()
检索并打印输出
为Datum准备内存以供输出 我们将需要一个Datum以存储任何输出：
// 使用一个选项结构来设置在列A中搜索2223（第三个项目）。 arrow::Datum third_item;
配置IndexOptions以进行“index” 对于这个探索，我们将使用“index”函数 - 这是一种搜索方法，它返回输入值的索引。为了传递这个输入值，我们需要一个compute::IndexOptions结构。所以，让我们制作这个结构：
// 一个选项结构用于代替传递任意数量的参数。 arrow::compute::IndexOptions index_options;
在搜索函数中，需要一个目标值。在这里，我们将使用2223，即列A中的第三个项目，并相应地配置我们的结构：
// 我们需要一个Arrow标量，而不是原始值。 index_options.value = arrow::MakeScalar(2223);
使用“index”和IndexOptions调用CallFunction() 要实际运行函数，我们再次使用compute::CallFunction()，这次将我们的IndexOptions结构通过引用作为第三个参数传递。与之前一样，第一个参数是函数的名称，第二个是我们的数据输入：
ARROW_ASSIGN_OR_RAISE(
third_item, arrow::compute::CallFunction("index", {table->GetColumnByName("A")},
&index_options));从Datum中获取结果 最后一次，让我们看看我们的Datum包含什么！这将是一个包含64位整数的标量，输出将是2：
// 获取Datum的种类和它包含的内容 -- 这是一个Scalar，包含int64。 std::cout << "Datum kind: " << third_item.ToString() << " content type: " << third_item.type()->ToString() << std::endl; // 我们得到一个标量 -- 列A中2223的位置，基于0的索引是2。 std::cout << third_item.scalar_as<arrow::Int64Scalar>().value << std::endl;
结束程序 最后，我们只需返回arrow::Status::OK()，这样main()函数就知道我们已经完成了，一切都正常，就像前面的教程一样。
return arrow::Status::OK();
有了这些，您已经使用了三种主要类型的compute函数 - 使用方便函数，使用带有Options结构和不使用方便函数。现在，您可以处理需要的任何Table，并解决适合内存的数据问题！
这意味着现在我们必须看看如何处理大于内存的数据集，通过下一篇文章中的Arrow数据集。
有关完整代码的副本，请参考下文：
京公网安备 11010702002337 号