久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

spark sql和hbase怎么結合

145次閱讀
沒有評論

共計 1373 個字符,預計需要花費 4 分鐘才能閱讀完成。

本篇內容主要講解“spark sql 和 hbase 怎么結合”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓丸趣 TV 小編來帶大家學習“spark sql 和 hbase 怎么結合”吧!

Q1:spark 怎樣支持即席,應該不是 spark sql 吧,是 hive on spark 么?

Spark1.0 以前支持即席查詢的技術是 Shark;

Spark 1.0 和 Spark 1.0.1 支持的即席查詢技術是 Spark SQL;

尚未發布的 Spark 1.1 開始 Spark SQL 是即席查詢的核心,我們期待 Hive on Spark 也能夠支持即席查詢;

Q2: 現在 spark 1.0.0 版本是支持 hive on spark 么,它支持 cli 交互式訪問么?

Spark1.0.0 不支持 hive on spark;

hive on spark 這個項目正在開發中,預計在 Spark 1.1 版本的時候發布;

Spark 1.0.0 現在還不直接支持 cli 訪問;

Q3:spark sql 和 hbase 怎么結合呢?

Spark sql 和 hbase 即可要借助于 Spark core 的 RDD 功能;

使用 hbase 的時候需要導入 hbase 在 Spark 上的包

Spark 1.0.0 現在還不直接支持 cli 訪問;

Q4:sparkSql 支持 sql 全嗎?老師   可以把現在的 PLSQL  直接轉換為  SPARKSQL 么? 

Spark sql 現在支持 SQL-92 的基本功能,后續版本不會不斷增強;

PLSQL  現在還不能夠直接轉為 Spark SQL;

想要更強的 SQL 支持,在 Spark1.0.0 和 Spark1.0.1 版本可以考慮 Hive in Spark SQL 的功能;

Q5: 如果支持 hive on spark, 那么什么時候用 spark sql,什么時候用 hive on spark?

Hive on spark 預計在 Spark 1.1 這個版本發布,核心功能是要在 Spark 上使用已有的 Hive 的一切數據和功能;

和 hive 不相關都可以使用 Spark SQL;

從理論上講隨著 Spark SQL 在未來版本的不斷增強,可以做 hive 的一切事情;

Q6:Spark SQL 可以使用 group by  嗎?

Spark SQL 可以使用 group by 的功能;

在 SchemaRDD 中有 group by 的支持;

groupBy(groupingExprs: Expression*)(aggregateExprs: Expression*): SchemaRDD

Performs a grouping followed by an aggregation.

Q7:spark sql  現在支持 sql 的那些操作   一直在官網上沒能找到相應的 document?

Spark SQL API 的官方 Document 網址

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.SchemaRDD;

Spark SQL 使用的官方網址

http://spark.apache.org/docs/latest/sql-programming-guide.html

到此,相信大家對“spark sql 和 hbase 怎么結合”有了更深的了解,不妨來實際操作一番吧!這里是丸趣 TV 網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!

正文完
 
丸趣
版權聲明:本站原創文章,由 丸趣 2023-08-16發表,共計1373字。
轉載說明:除特殊說明外本站除技術相關以外文章皆由網絡搜集發布,轉載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 大悟县| 高阳县| 永兴县| 简阳市| 聂荣县| 通辽市| 长春市| 漳平市| 长葛市| 梁山县| 河池市| 灵璧县| 绥化市| 突泉县| 元阳县| 马龙县| 连城县| 江津市| 兴隆县| 郁南县| 吉木乃县| 朝阳区| 信阳市| 高陵县| 胶州市| 景洪市| 碌曲县| 崇礼县| 定远县| 临颍县| 宣威市| 普定县| 米林县| 门头沟区| 霸州市| 洛扎县| 阿坝县| 东明县| 溧水县| 通化市| 延长县|