網(wǎng)絡(luò)爬蟲（web crawler）又稱為網(wǎng)絡(luò)蜘蛛（web spider）是一段計算機程序，它從互聯(lián)網(wǎng)上按照一定的邏輯和算法抓取和下載互聯(lián)網(wǎng)的網(wǎng)頁,是搜索引擎的一個重要組成部分。一般的爬蟲從一部分start url開始，按照一定的策略開始爬取，爬取到的新的url在放入到爬取隊列之中，然后進(jìn)行新一輪的爬取，直到抓取完畢為止。

我們看一下crawler一般會遇到什么樣的問題吧：

抓取的網(wǎng)頁量很大
網(wǎng)頁更新量也很大，一般的網(wǎng)站，比如新聞，電子商務(wù)網(wǎng)站，頁面基本是實時更新的
大部分的網(wǎng)頁都是動態(tài)的，多媒體，或者封閉的（facebook）
海量網(wǎng)頁的存在就意味著在一定時間之內(nèi)，抓取只能的抓取其中的一部分，因此需要定義清楚抓取的優(yōu)先級；網(wǎng)頁更新的頻繁，也就意味著需要抓取最新的網(wǎng)頁和保證鏈接的有效性，因此一個更有可能帶來新網(wǎng)頁的列表頁顯得尤為重要；對于新聞網(wǎng)站，新的網(wǎng)站一般出現(xiàn)在首頁，或者在指定的分類網(wǎng)頁，但是對于淘寶來說，商品的更新就很難估計了；動態(tài)網(wǎng)頁怎么辦呢？現(xiàn)在的網(wǎng)頁大都有JS和AJAX，抓取已經(jīng)不是簡單的執(zhí)行wget下載，現(xiàn)代的網(wǎng)頁結(jié)構(gòu)需要我們的爬蟲更加智能，需要更靈活的應(yīng)對網(wǎng)頁的各種情況。


因此，對一個通用的爬蟲個，我們要定義


抓取策略，那些網(wǎng)頁是我們需要去下載的，那些是無需下載的，那些網(wǎng)頁是我們優(yōu)先下載的，定義清楚之后，能節(jié)省很多無謂的爬取
更新策略，監(jiān)控列表頁來發(fā)現(xiàn)新的頁面；定期che 《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的spider-定向抓取的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。