久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

如何進(jìn)行spark SQL編程動手實戰(zhàn)

137次閱讀
沒有評論

共計 425 個字符,預(yù)計需要花費 2 分鐘才能閱讀完成。

如何進(jìn)行 spark SQL 編程動手實戰(zhàn),相信很多沒有經(jīng)驗的人對此束手無策,為此本文總結(jié)了問題出現(xiàn)的原因和解決方法,通過這篇文章希望你能解決這個問題。

首先創(chuàng)建 SparkContext 上下文:

接著引入隱身轉(zhuǎn)換,用于把 RDD 轉(zhuǎn)成 SchemaRDD:

接下來要加載數(shù)據(jù),這里的測試數(shù)據(jù)是 user.txt 文件:

我們創(chuàng)建好 use.txt 增加內(nèi)容并上傳到 hdfs 中:

hdfs 命令查詢:

驗證數(shù)據(jù)是否加載成功:

此刻 user 還是一個 MappedRDD:

此刻的 teenagers 已經(jīng)隱身轉(zhuǎn)換成 SchemaRDD

結(jié)果:

同樣使用 user.txt 的數(shù)據(jù):

我們這次直接使用 SQL 查詢操作:

可以發(fā)現(xiàn)使用 DSL 的使用 teenagers 在內(nèi)部已經(jīng)被隱身轉(zhuǎn)換了 SchemaRDD 的實例

可以發(fā)現(xiàn)與前面那張注冊 Table 方式的結(jié)果是一樣的

看完上述內(nèi)容,你們掌握如何進(jìn)行 spark SQL 編程動手實戰(zhàn)的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注丸趣 TV 行業(yè)資訊頻道,感謝各位的閱讀!

正文完
 
丸趣
版權(quán)聲明:本站原創(chuàng)文章,由 丸趣 2023-08-16發(fā)表,共計425字。
轉(zhuǎn)載說明:除特殊說明外本站除技術(shù)相關(guān)以外文章皆由網(wǎng)絡(luò)搜集發(fā)布,轉(zhuǎn)載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 南通市| 图片| 靖西县| 清苑县| 彩票| 吉隆县| 赤城县| 苍南县| 临桂县| 合水县| 德昌县| 上饶县| 清水河县| 拜城县| 惠安县| 宁明县| 射阳县| 平凉市| 丹阳市| 屯昌县| 五华县| 大港区| 唐海县| 江津市| 梅河口市| 北辰区| 镶黄旗| 登封市| 富源县| 银川市| 迁安市| 瑞金市| 黎平县| 武威市| 金川县| 武夷山市| 图片| 东明县| 乃东县| 东莞市| 杭锦后旗|