Arrow

DolphinDB Server：2.00.12 及更高版本。支持 Linux x86-64, Linux ABI, Windows x86-64。

1. 在 DolphinDB 客户端中使用 listRemotePlugins 命令查看插件仓库中的插件信息。

   注意：仅展示当前操作系统和 server 版本支持的插件。若无预期插件，可自行编译（请自行选择对应分支下的插件）或在 DolphinDB 用户社区进行反馈。

   login("admin", "123456")
   listRemotePlugins()

2. 使用 installPlugin 命令完成插件安装。

   installPlugin("arrow")

3. 使用 loadPlugin 命令加载插件。

   loadPlugin("arrow")

支持序列化传输 DolphinDB Table 为 Arrow Table。DolphinDB 与 Arrow 数据类型转换关系如下：

注意：

• 同时支持以上除了 DECIMAL 外的 ArrayVector 类型。
• 自 2.00.11 版本起，下载 UUID / INT128 后的字节顺序从反转修正为和上传时的顺序保持一致。

支持反序列化传输 Arrow Table 为 DolphinDB Table。Arrow 与 DolphinDB 数据类型转换关系如下：

注意：

• list<value_type> 转换为 Array Vector 时，value_type 仅支持数值类型和时间类型。

login("admin", "123456");
loadPlugin("arrow");

使用 Python API 通过 PROTOCOL_ARROW 协议从 DolphinDB 下载 Arrow 格式数据。

import dolphindb as ddb
import dolphindb.settings as keys
s = ddb.session("127.0.0.1", 8848, "admin", "123456", protocol=keys.PROTOCOL_ARROW)
pat = s.run("table(1..10 as a)")

print(pat)
-------------------------------------------
pyarrow.Table
a: int32
----
a: [[1,2,3,4,5,6,7,8,9,10]]

使用 Python API 通过 PROTOCOL_ARROW 协议向 DolphinDB 上传 Arrow 格式数据。

import dolphindb as ddb
import dolphindb.settings as keys
import pyarrow as pa
conn = ddb.Session("127.0.0.1", 8848, "admin", "123456", protocol=keys.PROTOCOL_ARROW)

expected = pa.table({
    'clarge_string': pa.array(['large_str1', 'large_str2', None], type=pa.large_string())
})

conn.upload({"test_tab": expected})

注意：现版本中 DolphinDB 服务器不支持使用 Arrow 协议时开启压缩。