spark sql和hive的問(wèn)題？

精華

初一扛把子 2016-10-19 02:33:21 瀏覽(5126) 回復(fù)(3) 贊(0)

看到spark sql兼容hive，并有一個(gè)hive on spark的項(xiàng)目

那完全使用spark sql自己的解析，和hive on spark 讓hive借助spark運(yùn)行有什么不同？

哪個(gè)更高效？

hive是否能提供比spark sql原生更好的sql支持，是否需要學(xué)習(xí)hive語(yǔ)法？

標(biāo)簽： sql

回答(3)

jing_cai 2016-10-19

總體上差不太多，hive on spark只是相當(dāng)于給hive提供了一個(gè)新的計(jì)算引擎，將hive的sql解析成spark的DAG去計(jì)算。spark sql也差不多。不過(guò)，hive在sql上的優(yōu)勢(shì)是可以直接利用 hive cli 來(lái)進(jìn)行交互操作，比起spark sql要方便不少。