Spark SQL其他接口

Spark SQL其它接口

Spark SQL也支持直接運(yùn)行SQL查詢的接口，不用寫任何代碼。

運(yùn)行Thrift JDBC/ODBC服務(wù)器

這里實(shí)現(xiàn)的Thrift JDBC/ODBC服務(wù)器與Hive 0.12中的HiveServer2相一致。你可以用在Spark或者Hive 0.12附帶的beeline腳本測(cè)試JDBC服務(wù)器。

在Spark目錄中，運(yùn)行下面的命令啟動(dòng)JDBC/ODBC服務(wù)器。

./sbin/start-thriftserver.sh

這個(gè)腳本接受任何的bin/spark-submit命令行參數(shù)，加上一個(gè)--hiveconf參數(shù)用來指明Hive屬性。你可以運(yùn)行./sbin/start-thriftserver.sh --help來獲得所有可用選項(xiàng)的完整列表。默認(rèn)情況下，服務(wù)器監(jiān)聽localhost:10000。你可以用環(huán)境變量覆蓋這些變量。

export HIVE_SERVER2_THRIFT_PORT=<listening-port>
export HIVE_SERVER2_THRIFT_BIND_HOST=<listening-host>
./sbin/start-thriftserver.sh \
  --master <master-uri> \
  ...

或者通過系統(tǒng)變量覆蓋。

./sbin/start-thriftserver.sh \
  --hiveconf hive.server2.thrift.port=<listening-port> \
  --hiveconf hive.server2.thrift.bind.host=<listening-host> \
  --master <master-uri>
  ...

現(xiàn)在你可以用beeline測(cè)試Thrift JDBC/ODBC服務(wù)器。

./bin/beeline

連接到Thrift JDBC/ODBC服務(wù)器的方式如下：

beeline> !connect jdbc:hive2://localhost:10000

Beeline將會(huì)詢問你用戶名和密碼。在非安全的模式，簡(jiǎn)單地輸入你機(jī)器的用戶名和空密碼就行了。對(duì)于安全模式，你可以按照Beeline文檔的說明來執(zhí)行。

運(yùn)行Spark SQL CLI

Spark SQL CLI是一個(gè)便利的工具，它可以在本地運(yùn)行Hive元存儲(chǔ)服務(wù)、執(zhí)行命令行輸入的查詢。注意，Spark SQL CLI不能與Thrift JDBC服務(wù)器通信。

在Spark目錄運(yùn)行下面的命令可以啟動(dòng)Spark SQL CLI。

./bin/spark-sql