面试必问:如何访问 Redis 中的海量数据?
前言
有時候我們需要知道線上的redis的使用情況,尤其需要知道一些前綴的key值,那我們怎么去查看呢?
事故產生
因為我們的用戶token緩存是采用了【user_token:userid】格式的key,保存用戶的token的值。
我們運維為了幫助開發小伙伴們查一下線上現在有多少登錄用戶,直接用了keys user_token*方式進行查詢。
事故就此發生了。導致redis不可用,假死。
分析原因
我們線上的登錄用戶有幾百萬,數據量比較多;keys算法是遍歷算法,復雜度是O(n),也就是數據越多,時間復雜度越高。
數據量達到幾百萬,keys這個指令就會導致 Redis 服務卡頓
因為 Redis 是單線程程序,順序執行所有指令,其它指令必須等到當前的 keys 指令執行完了才可以繼續。
解決方案
那我們如何去遍歷大數據量呢?
這個也是面試經常問的。我們可以采用redis的另一個命令scan。我們看一下scan的特點
1、復雜度雖然也是 O(n),但是它是通過游標分步進行的,不會阻塞線程
2、提供 count 參數,不是結果數量,是redis單次遍歷字典槽位數量(約等于)
3、同 keys 一樣,它也提供模式匹配功能;
4、服務器不需要為游標保存狀態,游標的唯一狀態就是?scan 返回給客戶端的游標整數;
5、返回的結果可能會有重復,需要客戶端去重復,這點非常重要;
6、單次返回的結果是空的并不意味著遍歷結束,而要看返回的游標值是否為零
一、scan命令格式
SCAN cursor [MATCH pattern] [COUNT count]二、命令解釋:scan 游標 MATCH <返回和給定模式相匹配的元素> count 每次迭代所返回的元素數量
SCAN命令是增量的循環,每次調用只會返回一小部分的元素。所以不會讓redis假死
SCAN命令返回的是一個游標,從0開始遍歷,到0結束遍歷
三、舉例
redis > scan 0 match user_token* count 5 1) "6" 2) 1) "user_token:1000" 2) "user_token:1001" 3) "user_token:1010" 4) "user_token:2300" 5) "user_token:1389"從0開始遍歷,返回了游標6,又返回了數據,繼續scan遍歷,就要從6開始
redis > scan 6 match user_token* count 5 1) "10" 2) 1) "user_token:3100" 2) "user_token:1201" 3) "user_token:1410" 4) "user_token:5300" 5) "user_token:3389"總結
這個是面試經常會問到的,也是我們小伙伴在工作的過程經常用的
一般小公司,不會有什么問題,但數據量多的時候,你的操作方式不對,你的績效就會被扣哦,哈哈。謝謝!!!
總結
以上是生活随笔為你收集整理的面试必问:如何访问 Redis 中的海量数据?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java中的门面设计模式,非常有用!
- 下一篇: 32岁被裁,拿N+1,我高兴地失业了