topic相关问题
1.下面是一個(gè)topic數(shù)據(jù)出現(xiàn)堵塞的情況示圖。
如圖所示,delta列表示當(dāng)前分區(qū)未處理的數(shù)據(jù)條數(shù),kafka current表示推送到topic的數(shù)據(jù)量,spout current表示已經(jīng)處理的數(shù)據(jù)量。
這種情況有幾種可能:數(shù)據(jù)有問題,配置文件有問題,代碼有問題,顯然這些都是廢話,差不多也就這幾總,這里只是說一下找錯(cuò)的的幾個(gè)方向,如果你刷新頁面發(fā)現(xiàn)慢慢的delta變小,spout current慢慢變大,
這可能是數(shù)據(jù)量過大,處理的慢,試著把配置文件內(nèi)的work改大,work根據(jù)配置文件內(nèi)的bolt數(shù)量和實(shí)際work的使用情況設(shè)置。
?
2.下面是一個(gè)strom任務(wù)出現(xiàn)的報(bào)錯(cuò)示圖。
明確提示jvm內(nèi)存溢出,內(nèi)存不夠用,應(yīng)該是一次從數(shù)據(jù)庫拉過來的數(shù)據(jù)量太大導(dǎo)致的。
修改對應(yīng)的topology配置文件,調(diào)整兩個(gè)參數(shù),把他們變大。
<property>
<name>hbase.manualFlushLimit</name>
<value>1</value>
</property>
<property>
<name>hbase.writeBufferSize</name>
<value>1024</value>
</property>
轉(zhuǎn)載于:https://www.cnblogs.com/lccyb/p/9442648.html
總結(jié)
- 上一篇: IEEE的论文需要注意的一些
- 下一篇: 基于继承类的属性模版中无法绑定的原因和解