直接往redis里記錄一下，我今天爬了多少數(shù)據(jù)
是否和我預(yù)期一樣
爬蟲狀態(tài)碼異常，你怎么查
我的爬蟲沒任務(wù)了它就會退出了，我不想它退出怎么辦
爬蟲關(guān)閉了，我不想看進(jìn)程，我希望給我來個郵件
怎么辦
我現(xiàn)在給你一批url讓你去爬，完了，我待會再給你一批。時間不確定
你怎么辦？

---

以上，完美的闡述了scrapy信號的用途。

首先，信號的一些基本概念就不說了，可以直接百度 ： scrapy signal的使用

直接上代碼說用途

我將這段代碼放到中間件里，本來應(yīng)該是，再與setting同級的目錄下創(chuàng)建一個py文件，然后來寫的。
然后再在setting的 EXTENSIONS 里啟用并給出等級，就像piplin和middleware一樣。

class QianlongwangSpiderMiddleware(object):# Not all methods need to be defined. If a method is not defined,# scrapy acts as if the spider middleware does not modify the# passed objects.@classmethoddef from_crawler(cls, crawler):# This method is used by Scrapy to create your spiders.s = cls()crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)crawler.signals.connect(s.item_scraped, signal=signals.item_scraped)crawler.signals.connect(s.spider_closed, signal=signals.spider_closed)crawler.signals.connect(s.spider_error, signal=signals.spider_error)crawler.signals.connect(s.spider_idle, signal=signals.spider_idle)return s# 當(dāng)spider開始爬取時發(fā)送該信號。該信號一般用來分配spider的資源，不過其也能做任何事。def spider_opened(self, spider):spider.logger.info('pa chong kai shi le: %s' % spider.name)print('start','1')def item_scraped(self,item, response, spider):global hahahahahaha += 1# 當(dāng)某個spider被關(guān)閉時，該信號被發(fā)送。該信號可以用來釋放每個spider在 spider_opened 時占用的資源。def spider_closed(self,spider, reason):print('-------------------------------all over------------------------------------------')global hahahaprnit(spider.name,' closed')# 當(dāng)spider的回調(diào)函數(shù)產(chǎn)生錯誤時(例如，拋出異常)，該信號被發(fā)送。def spider_error(self,failure, response, spider):code = response.statusprint('spider error')# 當(dāng)spider進(jìn)入空閑(idle)狀態(tài)時該信號被發(fā)送。空閑意味著:# requests正在等待被下載# requests被調(diào)度# items正在item pipeline中被處理def spider_idle(self,spider):for i in range(10):print(spider.name)

主要是看代碼。以后有這種需求了，最起碼知道代碼寫在哪里了。

然后記錄一下今天測試下載中間件的一些總結(jié)

首先需要明確：

請求是引擎發(fā)出來的，不是爬蟲發(fā)出來的

引擎從爬蟲拿url，給調(diào)度器去重，同時會從調(diào)度器的任務(wù)隊列里取出一個任務(wù)，給下載器

下載器下載完以后，下載器把response返回給引擎

先說process_request(request, spider)

當(dāng)設(shè)置了很多中間件的時候，會按照setting里的設(shè)置，按照從小到大執(zhí)行

假如有兩個中間件的等級一樣，這兩個中間都會被執(zhí)行。（執(zhí)行順序沒有得出有效結(jié)論）

即使某個中間件的設(shè)置時錯的，比如，故意在代理中間件里給一個錯誤的ip，依然不會中斷中間件的執(zhí)行，也就是，scrapy無法檢測代理中的操作是否合法。

經(jīng)過中間件故意的錯誤的加代理，下載器仍然去執(zhí)行這個任務(wù)了，只不過根據(jù)另一個中間件：RetryMiddleware 的設(shè)定去處理了這個請求（默認(rèn)的是，請求連續(xù)失敗三次退出任務(wù)）

當(dāng)這個請求第一次失敗時候，依然會再次經(jīng)過設(shè)置的中間件。

第一個發(fā)出error信號的不是引擎，是scraper，它是連接引擎、爬蟲、下載器的一個東西。。。。然后引擎才發(fā)出錯誤信號

（重點）每一個任務(wù)，也就是每一個請求，不管在什么情況下，只要設(shè)置了中間件，就會孜孜不倦的去通過這些中間件，然后到達(dá)下載器

然后說process_response(request, response, spider)

因為獲取的響應(yīng)是從下載器到引擎的，所以response經(jīng)過中間件的順序剛好與request相反

是從大到小執(zhí)行的

最后明確

第一個中間件是最靠近引擎的，最后一個中間件是最靠近下載器的

總結(jié)

以上是生活随笔為你收集整理的scrapy的信号（signal）以及对下载中间件的一些总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。