Python--Redis实战：第五章：使用Redis构建支持程序：第2节：计数器和统计数据...
下一篇文章：Python--Redis實戰：第五章：使用Redis構建支持程序：第3節：查找IP所屬城市以及國家
正如第三章所述，通過記錄各個頁面的被訪問次數，我們可以根據基本的訪問計數信息來決定如何緩存頁面。但是第三章只是一個非常簡單的例子，現實情況很多時候并非是如此簡單的，特別是涉及實際網站的時候，尤為如此。
知道我們的網站在最近5分鐘內獲得了10 000次點擊，或者數據庫在最近5秒內處理了200次寫入和600次讀取，是非常有用的。通過在一段時間內持續地記錄這些信息，我們可以注意到流量的突增和漸增情況，預測何時需要對服務器進行升級，從而預防系統因為負載超載而下線。
這一節將分別介紹使用Redis來實現計數器的方法以及使用Redis來進行數據統計的方法，并在最后討論如何簡化示例中的數據統計操作。本節展示的例子都是由實際的用例和需求驅動的。首先，讓我們來看看，如何使用Redis來實現時間序列計數器，以及如何使用這些計數器來記錄和監視應用程序的行文。
將計數器存儲到Redis里面
在監控應用程式的同時，持續的收集信息是一件非常重要的事情。那些影響網站響應速度以及網站所能服務的頁面數量的代碼改動、新的廣告營銷活動或者是剛剛接觸系統的新用戶，都有可能會徹底地改變網站載入頁面的數量，并因此而影響網站的各項性能指標。但如果我們平時不記錄任何指標數據的話，我們就不可能知道指標發生了變化，也就不知道網站的性能是在提高還是在下降。
為了收集指標數據并進行監視和分析，我們將構建一個能夠持續創建并維護計數器的工具，這個工具創建的每個計數器都有自己的名字（名字帶有網站點擊量、銷量或者數據庫查詢字樣的計數器都是比較重要的計數器）。這些計數器會以不同的精度（如1秒、5秒、1分鐘等）存儲最新的120個數據樣本，用戶也可以根據自己的需要，對取樣的數量和精度進行修改。
實現計數器首先需要考慮的就是如何存儲計數器的信息，接下來將說明我們是如何將計數器信息存儲在Redis里面
對計數器進行更新
為了對計數器進行更新，我們需要存儲實際的計數器信息，對于每個計數器以及每種精度，如網站點擊量計數器/5秒，我們將使用一個散列來存儲網站在每個5秒時間片之內獲得的點擊量，其中，散列的每個鍵都是某個時間片的開始時間，而鍵對應的值則存儲了網站在該時間片之內獲得的點擊量。下表展示了一個點擊量計數器存儲的其中一部分數據，這個計數器以每5秒為一個時間片記錄著網站的點擊量：
| 1336376410 | 45 |
| 1336376405 | 28 |
| 1336376395 | 17（本行數據表示：網站在2012年5月7日早晨7:39:55到7:40：00總共獲得了17次點擊） |
| 1336376400 | 29 |
為了能夠清理計數器包含的舊數據，我們需要在使用計數器的同時，對被使用的計數器進行記錄。為了做到這一點，我們需要一個有序序列，這個序列不能包含任何重復元素，并且能夠讓我們一個接一個地遍歷序列中包含的所有元素。雖然同時使用列表和集合可以實現這種序列，但同時使用兩種數據結構需要編寫更多代碼，并且增加客戶端和Redis之間的通信往返次數。實際上，實現有序序列更好的方法時使用有序集合，有序集合的各個成員分別由計數器的精度以及計數器的名字組成，而所有成員的分值都是0.因為所有成員的分值都被設置為0，所以Redis在嘗試按分值對有序集合進行排序的時候，就會發現這一點，并改為使用成員名進行排序，這使得一組給定的成員總是具有固定的排列順序，從而可以方便地對這些成員進行順序性的掃描。下表展示了一個有序集合，這個有序集合記錄了正在使用的計數器。
| 1:hits | 0 |
| 5:hits | 0 |
| 60:hits | 0 |
既然我們已經知道應該使用什么結構來記錄并表示計數器了，現在是時候來考慮一下如何使用和更新這些計數器了。
下面代碼展示了程序更新計數器的方法，對于每種時間片精度，程序都會將計數器 的精度和名字作為引用信息添加都記錄已有計數器的有序集合里面，并增加散列計數器在指定時間片內的計數值。
#以秒為單位的計數器精度，分別為1秒/5秒/1分鐘/5分鐘/1小時/5小時/1天 #用戶可以按需調整這些精度 import timePRECISION=[1,5,60,300,3600,18000,86400]def update_counter(conn,name,count=1,now=None):#通過獲取當前時間來判斷應該對哪個時間片執行自增操作。now=now or time.time()#為了保證之后的清理工作可以正確的執行，這里需要創建一個事務性流水線pipe=conn.pipeline()#為我們記錄的每種精度都創建一個計數器for prec in PRECISION:#取得當前時間片的開始時間pnow=int(now/prec)*prec#創建負責存儲計數信息的散列hash='%s:%s'%(prec,name)# 將計數器的引用信息添加到有序集合里面，并將其分值設為0，以便在之后執行清理操作pipe.zadd('known:',hash,0)#對給定名字和精度的計數器進行更新pipe.hincrby('count:'+hash,pnow,count)pipe.execute()更新計數器信息的過程并不復雜，程序只需要為每種時間片精度執行zadd命令和hincrby命令就可以了。于此類似，從指定精度和名字的計數器里面獲取計數數據也是一件非常容易地事情。下面代碼展示了用于執行這一操作的代碼：程序首先使用hgetall命令來獲取整個散列，接著將命令返回的時間片和計數器的值從原來的字符串格式轉換成數字格式，根據時間對數據進行排序，最后返回排序后的數據：
def get_counter(conn,name,precision):#取得存儲計數器數據的鍵的名字hash='%s:%s'%(precision,name)#從Redis里面取出計數器數據data=conn.hgetall('count:'+hash)to_return=[]#將計數器數據轉換成指定的格式for key,value in data.iteritems():to_return.append((int(key),int(value)))#對數據進行排序，把舊的數據樣本排在前面to_return.sort()return to_returnget_counter()函數的工作方式就和之前描述的一樣，它獲取計數器數據并將其轉換成整數，然后根據時間先后對轉換后的數據進行排序。
在弄懂了獲取計數器存儲的數據之后，接下來我們要考慮的是如何防止這些計數器存儲過多的數據。
清理舊計數器
經過前面的介紹，我們已經知道了怎樣將計數器存儲到Redis里面，已經怎樣從計數器里面取出數據。但是，如果我們只是一味地對計數器進行更新而不執行任何清理操作的話，那么程序最終將會因為存儲了過多的數據而導致內存不足。好在我們事先已將所有已知的計數器記錄到了一個有序集合里面，所以對計數器進行清理只需要遍歷有序集合并刪除其中的舊計數器舊可以了。
為什么不使用expire？expire命令的其中一個限制就是它只能應用整個鍵，而不能只對鍵的某一部分數據進行過期處理。并且因為我們將同一個計數器在不同精度下的所有計數器數據都存放到了同一個鍵里面，所以我們必須定期地對計數器進行清理。如果讀者感興趣的話，也可以試試改變計數器組織數據的方式，使用Redis的過期鍵功能來代替手工的清理操作。
在處理和清理舊數據的時候，有幾件事情是需要我們格外留心的，其中包括以下幾件：
我們接下來要構建一個守護進程函數，這個函數的工作方式和第三章中展示的守護進程函數類似，并且會嚴格遵守上面列出的各個注意事項。和之前展示的守護進程函數一樣，這個守護進程函數會不斷地重復循環知道系統終止這個進程為止。為了盡可能地降低清理操作的執行負載，守護進程會以每分鐘一次的頻率清理那些每分鐘更新一次或者每分鐘更新多次的計數器，而對于那些更新頻率低于每分鐘一次的計數器，守護進程則會根據計數器自身的更新頻率來決定對他們進行清理的頻率。比如說，對于每秒更新一次或者每5秒更新一次的計數器，守護進程將以每分鐘一次的頻率清理這些計數器；而對于每5分鐘更新一次的計數器，守護進程將以每5分鐘一次的頻率清理這些計數器。
清理程序通過對記錄已知計數器的有序集合執行zrange命令來一個接一個的遍歷所有已知的計數器。在對計數器執行清理操作的時候，程序會取出計數器記錄的所有計數樣本的開始時間，并移除那些開始時間位于指定截止時間之前的樣本，清理之后的計數器最多只會保留最新的120個樣本。如果一個計數器在執行清理操作之后不再包含任何樣本，那么程序將從記錄已知計數器的有序集合里面移除這個計數器的引用信息。以上給出的描述大致地說明了計數器清理函數的運作原理，至于程序的一些邊界情況最好還是通過代碼來說明，要了解該函數的所有細節，請看下面代碼：
import bisect import timeimport redisQUIT=True SAMPLE_COUNT=1def clean_counters(conn):pipe=conn.pipeline(True)#為了平等的處理更新頻率各不相同的多個計數器，程序需要記錄清理操作執行的次數passes=0#持續地對計數器進行清理，知道退出為止while not QUIT:#記錄清理操作開始執行的時間，這個值將被用于計算清理操作的執行時長start=time.time()index=0#漸進的遍歷所有已知計數器while index<conn.zcard('known:'):#取得被檢查的計數器的數據hash=conn.zrange('known:',index,index)index+=1if not hash:breakhash=hash[0]#取得計數器的精度prec=int(hash.partition(':')[0])#因為清理程序每60秒就會循環一次，所以這里需要根據計數器的更新頻率來判斷是否真的有必要對計數器進行清理bprec=int(prec//60) or 1#如果這個計數器在這次循環里不需要進行清理，那么檢查下一個計數器。#舉個例子：如果清理程序只循環了3次，而計數器的更新頻率是5分鐘一次，那么程序暫時還不需要對這個計數器進行清理if passes % bprec:continuehkey='count:'+hash#根據給定的精度以及需要保留的樣本數量，計算出我們需要保留什么時間之前的樣本。cutoff=time.time()-SAMPLE_COUNT*prec#將conn.hkeys(hkey)得到的數據都轉換成int類型samples=map(int,conn.hkeys(hkey))samples.sort()#計算出需要移除的樣本數量。remove=bisect.bisect_right(samples,cutoff)#按需要移除技術樣本if remove:conn.hdel(hkey,*samples[:remove])#這個散列可能以及被清空if remove==len(samples):try:#在嘗試修改計數器散列之前，對其進行監視pipe.watch(hkey)#驗證計數器散列是否為空，如果是的話，那么從記錄已知計數器的有序集合里面移除它。if not pipe.hlen(hkey):pipe.multi()pipe.zrem('known:',hash)pipe.execute()#在刪除了一個計數器的情況下，下次循環可以使用與本次循環相同的索引index-=1else:#計數器散列并不為空，繼續讓它留在記錄已知計數器的有序集合里面pipe.unwatch()except redis.exceptions.WatchError:#有其他程序向這個計算器散列添加了新的數據，它已經不再是空的了，# 繼續讓它留在記錄已知計數器的有序集合里面。passpasses+=1# 為了讓清理操作的執行頻率與計數器更新的頻率保持一致# 對記錄循環次數的變量以及記錄執行時長的變量進行更新。duration=min(int(time.time()-start)+1,60)#如果這次循環未耗盡60秒，那么在余下的時間內進行休眠，如果60秒已經耗盡，那么休眠1秒以便稍作休息time.sleep(max(60-duration,1))正如之前所說，clean_counters()函數會一個接一個地遍歷有序集合里面記錄的計數器，查找需要進行清理的計數器。程序在每次遍歷時都會對計數器進行檢查，確保只清理應該清理的計數器。當程序嘗試清理一個計數器的時候，它會取出計數器記錄的所有數據樣本，并判斷哪些樣本是需要被刪除的。如果程序在對一個計數器執行清理操作之后，然后這個計數器已經不再包含任何數據，那么程序會檢查這個計數器是否已經被清空，并在確認了它已經被清空之后，將它從記錄已知計數器的有序集合中移除。最后，在遍歷完所有計數器之后，程序會計算此次遍歷耗費的時長，如果為了執行清理操作而預留的一分鐘時間沒有完全耗盡，那么程序將休眠直到這一分鐘過去為止，然后繼續進行下次遍歷。
現在我們已經知道怎樣記錄、獲取和清理計數器數據了，接下來要做的視乎就是構建一個界面來展示這些數據了。遺憾的是，這些內容設計到前端，并不在本內容介紹范圍內，如果感興趣，可以試試jqplot、Highcharts、dygraphs已經D3，這幾個JavaScript繪圖庫無論是個人使用還是專業使用都非常合適。
在和一個真實的網站打交道的時候，知道頁面每天的點擊可以幫助我們判斷是否需要對頁面進行緩存。但是，如果被頻繁訪問的頁面只需要花費2毫秒來進行渲染，而其他流量只要十分之一的頁面卻需要花費2秒來進行渲染，那么在緩存被頻繁訪問的頁面之前，我們可以先將注意力放到優化渲染速度較慢的頁面上去。在接下來的一節中，我們將不再使用計數器來記錄頁面的點擊量，而是通過記錄聚合統計數據來更準確地判斷哪些地方需要進行優化。
使用Redis存儲統計數據
首先需要說明的一點是，為了統計數據存儲到Redis里面，筆者曾經實現過5種不同的方法，本節介紹的方法綜合了這5種方法里面的眾多優點，具有非常大的靈活性和可擴展性。
本節所展示的存儲統計數據的方法，在工作方式上與上節介紹的log_common()函數類似：這兩者存儲的數據記錄的都是當前這一小時以及前一小時所產生的事情。另外，本節介紹的方法會記錄最小值、最大值、平均值、標準差、樣本數量以及所有被記錄值之和等眾多信息，以便不時之需。
對于一種給定的上下文和類型，程序將使用一個有序集合來記錄這個上下文以及這個類型的最小值、最大值、樣本數量、值的和、值的平方之和等信息，并通過這些信息來計算平均值以及標準差。程序將值存儲在有序集合里面并非是為了按照分值對成員進行排序、而是為了對存儲著統計信息的有序集合和其他有序集合進行并集計算，并通過min和max這兩個聚合函數來篩選相交的元素。下表展示了一個存儲統計數據的有序集合實例，它記錄了ProfilePage(個人簡歷)上下文的AccessTime（訪問時間）統計數據。
| min | 0.035 |
| max | 4.958 |
| sunsq | 194.268 |
| sum | 258.973 |
| count | 2323 |
既然我們已經知道了程序要存儲的是什么類型的數據，那么接下來要考慮的就是如何將這些數據寫到數據結構里面了。
下面代碼展示了負責更新統計數據的代碼。和之前介紹過的常見日志程序一樣，統計程序在寫入數據之前會進行檢查，確保被記錄的是當前這小時的統計數據，并將不屬于當前這一小時的舊數據進行歸檔。在此之后，程序會構建兩個臨時有序集合，其中一個用于保存最小值，而另一個則用于保存最大值然后使用zunionstore命令以及它的兩個聚合函數min和max，分別計算兩個臨時有序集合與記錄當前統計數據的有序集合之前的并集結果。通過使用zunionstore命令，程序可以快速的更新統計數據，而無須使用watch去監視可能會頻繁進行更新的存儲統計數據的鍵，因為這個鍵可能會頻繁地進行更新。程序在并集計算完畢之后就會刪除那些臨時有序集合，并使用zincrby命令對統計數據有序集合里面的count、sum、sumsq這3個成員進更新。
import datetime import time import uuidimport redisdef update_status(conn,context,type,value,timeout=5):#負責存儲統計數據的鍵destination='stats:%s:%s'%(context,type)#像common_log()函數一樣，處理當前這一個小時的數據和上一個小時的數據start_key=destination+':start'pipe=conn.pipeline(True)end=time.time()+timeoutwhile time.time()<=end:try:pipe.watch(start_key)now=datetime.utcnow().timetuple()# 像common_log()函數一樣，處理當前這一個小時的數據和上一個小時的數據hour_start=datetime(*now[:4]).isoformat()existing=pipe.get(start_key)pipe.multi()if existing and existing<hour_start:# 像common_log()函數一樣，處理當前這一個小時的數據和上一個小時的數據pipe.rename(destination,destination+':last')pipe.rename(start_key,destination+':pstart')pipe.set(start_key,hour_start)tkey1=str(uuid.uuid4())tkey2=str(uuid.uuid4())#將值添加到臨時鍵里面pipe.zadd(tkey1,'min','value')pipe.zadd(tkey2,'max','value')#使用聚合函數min和max，對存儲統計數據的鍵以及兩個臨時鍵進行并集計算pipe.zunionstore(destination,[destination,tkey1],aggregate='min')pipe.zunionstore(destination,[destination,tkey2],aggregate='max')#刪除臨時鍵pipe.delete(tkey1,tkey2)#對有序集合中的樣本數量、值的和、值的平方之和3個成員進行更新。pipe.zincrby(destination,'count')pipe.zincrby(destination,'sum',value)pipe.zincrby(destination,'sumsq',value*value)#返回基本的計數信息，以便函數調用者在有需要時做進一步的處理return pipe.execute()[-3:]except redis.exceptions.WatchError:#如果新的一個小時已經開始，并且舊的數據已經被歸檔，那么進行重試continueupdate__status()函數的前半部分代碼基本上可以忽略不看，因為它們和上節介紹的log_common()函數用來輪換數據的代碼幾乎一模一樣，而update__status()函數的后半部分則做了我們前面描述過的事情：程序首先創建兩個臨時有序集合，然后使用適當的聚合函數，對存儲統計數據的有序集合以及兩個臨時有序集合分別執行zunionstore命令；最后，刪除臨時有序集合，并將并集計算所得的統計數據更新到存儲統計數據的有序集合里面。update__status()函數展示了將統計數據存儲到有序集合里面的方法，但如果想要獲取統計數據的話，又應該怎么做呢？
下面代碼展示了程序取出統計數據的方法：程序會從記錄統計數據的有序集合里面取出所有被存儲的值，并計算出平均值和標準差。其中，平均值可以通過值的和(sum)除以取樣數量(count)來計算得出；而標準差的計算則更復雜一些，程序需要多做一些工作才能根據已有的統計信息計算出標注差，但是為了簡潔起見，這里不會解釋計算標準差時用到的數學知識。
import datetime import time import uuidimport redisdef get_stats(conn,context,type):#程序將從這個鍵里面取出統計數據key='stats:%s:%s'%(context,type)#獲取基本的統計數據，并將它們都放到一個字典里面data=dict(conn.zrange(key,0,-1,withscores=True))#計算平均值data['average']=data['sum']/data['count']#計算標準差的第一個步驟numerator=data['sumsq']-data['sun']**2/data['count']#完成標準差的計算工作data['stddev']=(numerator/data['count']-1 or 1)** .5return data除了用于計算標準差的代碼之外，get_stats()函數并沒有什么難懂的地方，如果讀者愿意花些時間在網上了解什么叫標準差的話，那么讀懂這些標準差的代碼應該也不是什么難事。盡管有了那么多統計數據，但我們可能還不太清楚自己應該觀察哪些數據，而接下來的一節就會解答這個問題。
簡化統計數據的記錄與發現
在將統計數據存儲到Redis里面之后，接下來我們該做些什么呢？說的更詳細一點，在知道了訪問每個頁面所需的時間之后，我們要怎樣才能找到那些生成速度較慢的網頁？或者說，當某個頁面的生成速度變得比以往要慢的時候，我們如何才能知悉這一情況？簡單的說，為了發現以上提到的這些情況，我們需要存儲更多信息，而具體的方法將這一節里面介紹。
要記錄頁面的訪問時長，程序就必須在頁面被訪問時進行計時。為了做到這一點，我們可以在各個不同的頁面設置計時器，并添加代碼來記錄計時的結果，但最好的辦法是直接實現一個能夠進行計時并將計時結果存儲起來的東西，讓它將平均訪問速度最慢的頁面都記錄到一個有序集合里面，并向我們報告哪些頁面的載入時間變得比以前更長了。
為了計算和記錄訪問時長，我們會編寫一個Python上下文管理器，并使用這個上下文管理器來包裹那些需要計算并記錄訪問時長的代碼。
在Python里面，一個上下文管理器就是一個專門定義的函數或者類，這個函數或者類的不同部分可以在一段代碼執行之前以及執行之后分別執行。上下文管理器使得用戶可以很容易地實現類似【自動關閉已打開的文件】這樣的功能。下面代碼展示了用于計算和記錄訪問時長的上下文管理器：程序首先會取得當前時間，接著執行被包裹的代碼，然后計算這些代碼的執行時長，并將結果記錄到
Redis里面；除此之外，程序還會對記錄當前上下文最大訪問的時間的有序集合進行更新。
因為access__time()上下文管理器里面有一些沒辦法只用三言兩語來解釋的概念，所以我們最好還是直接通過使用這個管理器來了解它是如何運作的。接下來的這段代碼展示了使用access__time()上下文管理器記錄web頁面訪問時長的方法，負責處理被記錄頁面的是一個回調函數：
#這個視圖接收一個Redis連接以及一個生成內容的回調函數作為參數 def process_view(conn,callback):#計算并記錄訪問時長的上下文管理器就是這一包裹代碼塊的with access_time(conn,request.path):#當上下文管理器中的yield語句被執行時，這個語句就會被執行return callback()如果還不理解，看下面簡單的實例：
import contextlib@contextlib.contextmanager def mark():print("1")yieldprint(2)def test(callback):with mark():return callback()def xxx():print('xxx')if __name__ == '__main__':test(xxx)運行結果：
1 xxx 2在看過這個例子之后，即使讀者沒有學過上下文管理器的創建方法，但是至少也已經知道該如何去使用它了。這個例子使用了訪問時間上下文管理器來計算生成一個頁面需要花費時多長時間，此外，同樣的上下文管理器還可以用于計算數據庫查詢花費的時長，或者用來計算渲染一個模板所需的時長。作為練習，你能否構思一些其他種類的上下文管理器，并使用它們來記錄有用的統計信息呢？另外，你能否讓程序在頁面的訪問時長比平均情況要高出兩個標注差或以上時，在recent_log()函數里面記錄這一情況呢？
對現實世界中的統計數據進行收集和計數盡管本書已經花費了好幾頁篇幅來講述該如何收集生產系統運作時產生的相當重要的統計信息，但是別忘了已經有很多現成的軟件包可以用于收集并繪制計數器以及統計數據，我個人最喜歡的是Graphite，在時間嘗試構建自己的數據繪圖庫之前，不妨先試試這個。
在學會了如何將應用程序相關的各種重要信息存儲到Redis之后，在接下來一節中，我們將了解更多與訪客有關的信息，這些信息可以幫助我們處理其他問題。
上一篇文章：Python--Redis實戰：第五章：使用Redis構建支持程序：第1節：使用Redis來記錄日志下一篇文章：Python--Redis實戰：第五章：使用Redis構建支持程序：第3節：查找IP所屬城市以及國家
總結
以上是生活随笔為你收集整理的Python--Redis实战：第五章：使用Redis构建支持程序：第2节：计数器和统计数据...的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： windows批量部署
- 下一篇： 关于创新销售