DStreams上的輸出操作是怎樣的

198次閱讀

共計 1977 個字符，預計需要花費 5 分鐘才能閱讀完成。

本篇文章給大家分享的是有關 DStreams 上的輸出操作是怎樣的，丸趣 TV 小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著丸趣 TV 小編一起來看看吧。

dstream.foreachRDD 是一個強大的原語，發送數據到外部系統中。然而，明白怎樣正確地、有效地用這個原語是非常重要的。下面幾點介紹了如何避免一般錯誤。

經常寫數據到外部系統需要建一個連接對象（例如到遠程服務器的 TCP 連接），用它發送數據到遠程系統。為了達到這個目的，開發人員可能不經意的在 Spark 驅動中創建一個連接對象，但是在 Spark worker 中嘗試調用這個連接對象保存記錄到 RDD 中，如下：

 dstream.foreachRDD(rdd =  { val connection = createNewConnection() // executed at the driver
 rdd.foreach(record =  { connection.send(record) // executed at the worker
 })
 })

這是不正確的，因為這需要先序列化連接對象，然后將它從 driver 發送到 worker 中。這樣的連接對象在機器之間不能傳送。它可能表現為序列化錯誤（連接對象不可序列化）或者初始化錯誤（連接對象應該在 worker 中初始化）等等。正確的解決辦法是在 worker 中創建連接對象。

然而，這會造成另外一個常見的錯誤 - 為每一個記錄創建了一個連接對象。例如：

dstream.foreachRDD(rdd =  {
 rdd.foreach(record =  { val connection = createNewConnection()
 connection.send(record)
 connection.close()
 })
 })

通常，創建一個連接對象有資源和時間的開支。因此，為每個記錄創建和銷毀連接對象會導致非常高的開支，明顯的減少系統的整體吞吐量。一個更好的解決辦法是利用 rdd.foreachPartition 方法。為 RDD 的 partition 創建一個連接對象，用這個兩件對象發送 partition 中的所有記錄。

dstream.foreachRDD(rdd =  {
 rdd.foreachPartition(partitionOfRecords =  { val connection = createNewConnection()
 partitionOfRecords.foreach(record =  connection.send(record))
 connection.close()
 })
 })

這就將連接對象的創建開銷分攤到了 partition 的所有記錄上了。

最后，可以通過在多個 RDD 或者批數據間重用連接對象做更進一步的優化。開發者可以保有一個靜態的連接對象池，重復使用池中的對象將多批次的 RDD 推送到外部系統，以進一步節省開支。

dstream.foreachRDD(rdd =  {
 rdd.foreachPartition(partitionOfRecords =  {
 // ConnectionPool is a static, lazily initialized pool of connections
 val connection = ConnectionPool.getConnection()
 partitionOfRecords.foreach(record =  connection.send(record))
 ConnectionPool.returnConnection(connection) // return to the pool for future reuse
 })
 })

需要注意的是，池中的連接對象應該根據需要延遲創建，并且在空閑一段時間后自動超時。這樣就獲取了最有效的方式發生數據到外部系統。

其它需要注意的地方：

輸出操作通過懶執行的方式操作 DStreams，正如 RDD action 通過懶執行的方式操作 RDD。具體地看，RDD actions 和 DStreams 輸出操作接收數據的處理。因此，如果你的應用程序沒有任何輸出操作或者用于輸出操作 dstream.foreachRDD()，但是沒有任何 RDD action 操作在 dstream.foreachRDD() 里面，那么什么也不會執行。系統僅僅會接收輸入，然后丟棄它們。

默認情況下，DStreams 輸出操作是分時執行的，它們按照應用程序的定義順序按序執行。

以上就是 DStreams 上的輸出操作是怎樣的，丸趣 TV 小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注丸趣 TV 行業資訊頻道。

正文完