共計 425 個字符,預(yù)計需要花費 2 分鐘才能閱讀完成。
如何進(jìn)行 spark SQL 編程動手實戰(zhàn),相信很多沒有經(jīng)驗的人對此束手無策,為此本文總結(jié)了問題出現(xiàn)的原因和解決方法,通過這篇文章希望你能解決這個問題。
首先創(chuàng)建 SparkContext 上下文:
接著引入隱身轉(zhuǎn)換,用于把 RDD 轉(zhuǎn)成 SchemaRDD:
接下來要加載數(shù)據(jù),這里的測試數(shù)據(jù)是 user.txt 文件:
我們創(chuàng)建好 use.txt 增加內(nèi)容并上傳到 hdfs 中:
hdfs 命令查詢:
驗證數(shù)據(jù)是否加載成功:
此刻 user 還是一個 MappedRDD:
此刻的 teenagers 已經(jīng)隱身轉(zhuǎn)換成 SchemaRDD
結(jié)果:
同樣使用 user.txt 的數(shù)據(jù):
我們這次直接使用 SQL 查詢操作:
可以發(fā)現(xiàn)使用 DSL 的使用 teenagers 在內(nèi)部已經(jīng)被隱身轉(zhuǎn)換了 SchemaRDD 的實例
可以發(fā)現(xiàn)與前面那張注冊 Table 方式的結(jié)果是一樣的
看完上述內(nèi)容,你們掌握如何進(jìn)行 spark SQL 編程動手實戰(zhàn)的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注丸趣 TV 行業(yè)資訊頻道,感謝各位的閱讀!