近來接到一個小項目，讀取目標(biāo)文件中每一行url，并逐個請求url，拿到想要的數(shù)據(jù)。

#-*- coding:utf-8 -*-

classIpUrlManager(object):def __init__(self):

self.newipurls=set()#self.oldipurls = set()

defIs_has_ipurl(self):return len(self.newipurls)!=0defget_ipurl(self):if len(self.newipurls)!=0:

new_ipurl=self.newipurls.pop()#self.oldipurls.add(new_ipurl)

returnnew_ipurlelse:returnNonedefdownload_ipurl(self,destpath):try:

f= open(destpath,'r')

iter_f=iter(f)

lines=0for ipurl initer_f:

lines= lines + 1self.newipurls.add((ipurl.rstrip('\r\n'))#log記錄讀取了多少行IP url

#print lines

finally:iff:

f.close()

咋一眼看code寫的沒問題，每一個url 增加進(jìn)newipurls set集合中。但是請求的過程中，requests.get后，會出現(xiàn)如下錯誤：

raise InvalidSchema("No connection adapters were found for '%s'" % url)

后來發(fā)現(xiàn)每次都是第一行的url請求失敗。然后打印print 請求的url。也沒發(fā)現(xiàn)異常。然后從根源上去找，好吧，print打印newipurls set集合看看。

果然，問題就在這里。

奇怪，為什么這個URL前面為默認(rèn)加上了\xef\xbb\xbf 這幾個字符呢？

上網(wǎng)看了一些資料，原來在python的file對象的readline以及readlines程序中，針對一些UTF-8編碼的文件，開頭會加入BOM來表明編碼方式。

何為BOM？

所謂BOM，全稱是Byte Order Mark，它是一個Unicode字符，通常出現(xiàn)在文本的開頭，用來標(biāo)識字節(jié)序(Big/Little Endian)，除此以外還可以標(biāo)識編碼(UTF-8/16/32)。

其實如果大家有UltraEdit tool可以發(fā)現(xiàn)，在另存為文件的時候，可以保存為UTF-8 和UTF-8 無BOM的文件。

如果將文件另存在UTF-8的格式，則文件的開頭默認(rèn)會增加三個字節(jié)\xef\xbb\xbf。

怎么檢測該文件是否為UTF-8 帶BOM的呢？

importcodecsdefdownload_ipurl(self,destpath):try:

f= open(destpath,'r')

iter_f=iter(f)

lines=0for ipurl initer_f:

lines= lines + 1

if ipurl[0:3] ==codecs.BOM_UTF8:

self.newipurls.add((ipurl.rstrip('\r\n')).lstrip('\xef\xbb\xbf'))#print self.newipurls

#log記錄讀取了多少行IP url

#print lines

finally:iff:

f.close()

引用codecs模塊，來判斷前三個字節(jié)是否為BOM_UTF8。如果是，則剔除\xef\xbb\xbf字節(jié)。

其實大家可以通過其他方式剔除BOM字節(jié)，我寫的比較粗糙。

總結(jié)

以上是生活随笔為你收集整理的python打开中文文本utf-8用不了_关于Python文档读取UTF-8编码文件问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。