DStream::sink

语法

DStream::sink(dest|name, [asyncWrite=true], [compress=true], [cacheSize], [retentionMinutes=1440], [flushMode=0], [preCache], [cachePurgeTimeColumn], [cachePurgeInterval], [cacheRetentionTime])

详情

将流数据输出至持久化共享流数据表、DFS 表或函数。

有关持久化流数据表的更多信息，请参阅 enableTableShareAndPersistence 手册。

参数

dest | name 流数据的输出目标，可以是：

  • 字符串标量，指定目标流表或 DFS 表全限定名（如 "catalog_name.orca_table.table_name"）或 DFS 表路径（如 "dfs://dbName/tableName"）。
  • 一元函数，入参为流数据消息组成的表，忽略返回值。

asyncWrite 可选参数，是一个布尔值，表示是否异步持久化数据到磁盘。默认值为 true，流数据写入内存即为写入成功，持久化到磁盘的操作将会由另一个线程执行。

注：

持久化数据到磁盘包含两个步骤：

  • 写内存数据到操作系统缓存

  • 写缓存数据到磁盘（是否开启同步刷盘由参数 flushMode 决定）

返回值

返回一个 DStream 对象。