共計 1373 個字符,預計需要花費 4 分鐘才能閱讀完成。
本篇內容主要講解“spark sql 和 hbase 怎么結合”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓丸趣 TV 小編來帶大家學習“spark sql 和 hbase 怎么結合”吧!
Q1:spark 怎樣支持即席,應該不是 spark sql 吧,是 hive on spark 么?
Spark1.0 以前支持即席查詢的技術是 Shark;
Spark 1.0 和 Spark 1.0.1 支持的即席查詢技術是 Spark SQL;
尚未發布的 Spark 1.1 開始 Spark SQL 是即席查詢的核心,我們期待 Hive on Spark 也能夠支持即席查詢;
Q2: 現在 spark 1.0.0 版本是支持 hive on spark 么,它支持 cli 交互式訪問么?
Spark1.0.0 不支持 hive on spark;
hive on spark 這個項目正在開發中,預計在 Spark 1.1 版本的時候發布;
Spark 1.0.0 現在還不直接支持 cli 訪問;
Q3:spark sql 和 hbase 怎么結合呢?
Spark sql 和 hbase 即可要借助于 Spark core 的 RDD 功能;
使用 hbase 的時候需要導入 hbase 在 Spark 上的包
Spark 1.0.0 現在還不直接支持 cli 訪問;
Q4:sparkSql 支持 sql 全嗎?老師 可以把現在的 PLSQL 直接轉換為 SPARKSQL 么?
Spark sql 現在支持 SQL-92 的基本功能,后續版本不會不斷增強;
PLSQL 現在還不能夠直接轉為 Spark SQL;
想要更強的 SQL 支持,在 Spark1.0.0 和 Spark1.0.1 版本可以考慮 Hive in Spark SQL 的功能;
Q5: 如果支持 hive on spark, 那么什么時候用 spark sql,什么時候用 hive on spark?
Hive on spark 預計在 Spark 1.1 這個版本發布,核心功能是要在 Spark 上使用已有的 Hive 的一切數據和功能;
和 hive 不相關都可以使用 Spark SQL;
從理論上講隨著 Spark SQL 在未來版本的不斷增強,可以做 hive 的一切事情;
Q6:Spark SQL 可以使用 group by 嗎?
Spark SQL 可以使用 group by 的功能;
在 SchemaRDD 中有 group by 的支持;
groupBy(groupingExprs: Expression*)(aggregateExprs: Expression*): SchemaRDD
Performs a grouping followed by an aggregation.
Q7:spark sql 現在支持 sql 的那些操作 一直在官網上沒能找到相應的 document?
Spark SQL API 的官方 Document 網址
http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.SchemaRDD;
Spark SQL 使用的官方網址
http://spark.apache.org/docs/latest/sql-programming-guide.html
到此,相信大家對“spark sql 和 hbase 怎么結合”有了更深的了解,不妨來實際操作一番吧!這里是丸趣 TV 網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!