久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

如何解決DataGrip連接HiveServer2報錯的問題

142次閱讀
沒有評論

共計 1617 個字符,預計需要花費 5 分鐘才能閱讀完成。

自動寫代碼機器人,免費開通

這篇文章主要介紹如何解決 DataGrip 連接 HiveServer2 報錯的問題,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!

DataGrip 連接 HiveServer2 報錯

一、Heap memory

Exception in thread main java.lang.OutOfMemoryError: Java heap space

因為 DataGrip 會開好幾個 Session,我這里是 4 個 Session

如何解決 DataGrip 連接 HiveServer2 報錯的問題

因此有時候如果執(zhí)行的語句過大,會造成堆內存來不起回收。導致堆內存溢出,反應在 DataGrip 就是執(zhí)行語句卡住沒反應,等很久然后報錯。這里有個超時時間,等很久就是超過這個超時時間后報錯。

我們可以適當調大 heap 內存:

#  在  hive/bin  目錄下的  hive-config.sh,最后一行就是設置  heap  的大小。 69 # Default to use 256MB
 70 export HADOOP_HEAPSIZE=${HADOOP_HEAPSIZE:-2048}

二、Too many open files

如何解決 DataGrip 連接 HiveServer2 報錯的問題

lzq@hadoop102 ~ ulimit -a
-t: cpu time (seconds) unlimited
-f: file size (blocks) unlimited
-d: data seg size (kbytes) unlimited
-s: stack size (kbytes) 8192
-c: core file size (blocks) 0
-m: resident set size (kbytes) unlimited
-u: processes 10000
-n: file descriptors 4096
-l: locked-in-memory size (kbytes) 64
-v: address space (kbytes) unlimited
-x: file locks unlimited
-i: pending signals 31830
-q: bytes in POSIX msg queues 819200
-e: max nice 0
-r: max rt priority 0
-N 15: unlimited

修改最大文件連接數(shù)量

 Linux 任何外部設備 (socket、文件) 都可以看做一個文件,而一個文件就可以通過一個文件描述符來讀寫。

-n: file descriptors 4096 描述的就是一進程可以打開文件最大的數(shù)量

默認是 1024,我們可以通過命令 ulimit -n 4096 把最大打開文件調整到 4096,如果重啟會還原成默認值

永久設置方法

vim /etc/security/limits.conf 
在最后加入
* soft nofile 65535 
* hard nofile 65535

安裝 lsof

 sudo yum install lsof -y

查看當前系統(tǒng)打開的文件數(shù)量

lsof | wc -l 
watch  lsof | wc -l
 lzq@hadoop102 ~ jps
25696 Jps
1522 NameNode
22627 RunJar
1716 DataNode
3140 Kafka
2309 NodeManager
2647 QuorumPeerMain
22889 RunJar
23322 RunJar

查看某一進程的打開文件數(shù)量

# RunJar  就是  HiveServer2  的進程
lsof -p pid | wc -l 
lsof -p 22627 | wc -l 
lsof -p 22889 | wc -l
lsof -p 23322 | wc -l

以上是“如何解決 DataGrip 連接 HiveServer2 報錯的問題”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注丸趣 TV 行業(yè)資訊頻道!

向 AI 問一下細節(jié)

正文完
 
丸趣
版權聲明:本站原創(chuàng)文章,由 丸趣 2023-12-04發(fā)表,共計1617字。
轉載說明:除特殊說明外本站除技術相關以外文章皆由網(wǎng)絡搜集發(fā)布,轉載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 肇州县| 福清市| 榕江县| 富裕县| 隆德县| 沅江市| 富顺县| 黔江区| 凌云县| 衡阳县| 阆中市| 惠安县| 金华市| 博湖县| 揭西县| 长春市| 霍林郭勒市| 灵石县| 永平县| 淮安市| 嘉义县| 罗源县| 胶南市| 甘德县| 黑河市| 大悟县| 科尔| 台东县| 伊吾县| 偏关县| 新干县| 蕉岭县| 扎兰屯市| 七台河市| 公主岭市| 九龙城区| 壶关县| 安宁市| 南郑县| 抚州市| 娱乐|