前言

　　借助二分法能夠快速匹配時間戳，根據(jù)時間戳來找出需要查找的日志內(nèi)容。

　　查找前提條件：

　　　　1 因為是二分法特性，所以日志的時間必須是按從小到大或者從大到小的順序排列。

　　　　2 根據(jù)查找需要，修改匹配時間戳。

　　　　3 根據(jù)不同的時間戳格式，修改對應(yīng)的代碼。

1 import os 2 import time 3 import sys 4 5 class SearchLog(object): 6 7 def __init__(self, file_name='./log.txt'):　　　　　　 8 self.fp = open(file_name)　　　　　　　　　　　　　 9 self.fp.seek(0, os.SEEK_END)　　　　　　#把指針移動到結(jié)尾 10 self.size = self.fp.tell()　　　　　　　#tell()方法能夠告訴我們文件的大小 11 self.fp.seek(0, os.SEEK_SET)　　　　　　#吧指針移動到文件內(nèi)容的開頭 12 13 def Search_cmp(self, timestamp, line):　　　　　　#定義一個匹配時間戳的方法 14 tmp = line.split(' ')　　　　　　　　　　 15 riqi=tmp[0] 16 shijian=tmp[1] 17 realtime=riqi+' '+shijian #在這里可以修改要匹配的時間戳格式 18 #print realtime 19 return cmp(timestamp, realtime)　　　　　　　　　　#cmp函數(shù)用于比較二者是否相同，如果返回為-1，那么就說明timestamp>realtime,如果等于0，那么兩者相等。 20 21 22 def Search_LineHead(self):　　　　　　　　　　　　　　#定義一個匹配每行開頭的方法 23 24 while self.fp.tell() > 0:　　　　　　　　　　　　　 25 self.fp.seek(-1, os.SEEK_CUR)　　　　　　　　#把文件內(nèi)容的指針在當前位置往前挪一位 26 val = self.fp.read(1)　　　　　　　　　　　　　# 讀取該指針位置的內(nèi)容 27 if val == '\n':　　　　　　　　　　　　　　　　　#匹配該指針內(nèi)容的值是否等于換行符，等于就跳出循環(huán) 28 break　　 29 self.fp.seek(-1, os.SEEK_CUR)　　　　　　　　#不等于就就繼續(xù)往前挪一位查找 30 31 def Search_TimeStamp(self, timestamp, start_p = 0): 32 33 fp_start = start_p 34 fp_end = self.size 35 36 while fp_start < fp_end:　　　　　　　　　　　　　　#判斷指針開始位置是否小于結(jié)束位置 37 mid = fp_start + (fp_end-fp_start)/2　　　　　#找出中間值（利用二分法） 38 self.fp.seek(mid, os.SEEK_SET)　　　　　　　　#通過seek定位到中間值 39 self.Search_LineHead()　　　　　　　　　　　　 40 line = self.fp.readline() 41 val = self.Search_cmp(timestamp, line)　　　　　　#調(diào)用該方法能夠匹配時間戳，返回值為0那么就說明找到了時間戳 42 if val == 0:　　　　　　　　　　 43 print "find timestamp:%s" % line 44 return True 45 elif val == 1: 46 fp_start = self.fp.tell()　　　　　　　　　　#如果等于1，說明當前內(nèi)容的時間戳比輸入的時間戳大 47 else: 48 fp_end = mid　　　　　　　　　　　　　　　　　　#如果等于其他的，說明當前內(nèi)容的時間戳比輸入的時間戳小， 49 return False 50 51 def Search_FirstStamp(self, timestamp, start_p = 0): 52 53 first_point = -1 54 val = self.Search_TimeStamp(timestamp, start_p) 55 56 if val == True: 57 point = self.fp.tell()　　　　　　　　　　　　　　　　#這里的邏輯是這樣的==> 58 while point > 0:　　　　　　　　　　　　　　　　　　　　#如果search_timestamp這個方法匹配到了時間戳，并且指針恒大于0的話，指針就在當前位置往前挪，直到匹配到換行符，再把這行通過readlie()方法整行獨取出來。 59 self.fp.seek(-1, os.SEEK_CUR)　　　　　　　　　　#此時再去匹配每行的開頭是否等于時間戳，如果等于的話，那么就把指針從文件內(nèi)容開頭移動到匹配到時間戳的這行，標記這行為要查找的時間戳出現(xiàn)的第一行。 60 self.Search_LineHead()　　　　　　　　　　　　　　　　　　 61 point = self.fp.tell()　　　　　　　　　　　　　　　　　　　　　　 62 line = self.fp.readline() 63 print line 64 if line.startswith(timestamp) == True: 65 self.fp.seek(point, os.SEEK_SET) 66 continue 67 first_point = self.fp.tell() 68 break 69 70 return first_point 71 72 def Search_EndStamp(self, timestamp, start_p = 0): 73 74 last_point = -1 75 val = self.Search_TimeStamp(timestamp, start_p) 76 if val == True:　　　　　　　　　　　　　　　　　　　　　　　　#道理同上，不過這個的就反轉(zhuǎn)過來，用來查找要查找的時間戳的最后一行。 77 last_point = self.fp.tell() 78 while last_point < self.size: 79 line = self.fp.readline() 80 if line.startswith(timestamp) == True: 81 last_point = self.fp.tell() 82 continue 83 print line 84 self.fp.seek(last_point, os.SEEK_SET) 85 break 86 87 return last_point 88 89 def Search_Dump(self, s_p, e_p):　　　　　　　　　　　　　　　　　　#把查找到的內(nèi)容寫入日志 90 self.fp.seek(s_p, os.SEEK_SET) 91 f_log=open('search_err.log','wb') 92 while self.fp.tell() < e_p: 93 print self.fp.readline() 94 f_log.write(self.fp.readline()) 95 f_log.close() 96 97 def Search_DeInit(self): 98 self.fp.close() 99 100 if __name__ == '__main__': 101 time_s = time.time() 102 obj = SearchLog(sys.argv[3]) 103 s_point = obj.Search_FirstStamp(sys.argv[1]) 104 if s_point > -1: 105 e_point = obj.Search_EndStamp(sys.argv[2], s_point) 106 if s_point > -1: 107 print s_point , e_point 108 obj.Search_Dump(s_point, e_point) 109 else: 110 print "not find" 111 print time_s, time.time() 112 113 obj.Search_DeInit()

?

總結(jié)

以上是生活随笔為你收集整理的借助二分法匹配时间戳实现快速查找日志内容的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。