???網絡蜘蛛?Web?spider?(或稱?Crawler)是一種能夠跟蹤網絡上超鏈接結構，并不斷進行網絡資源發現與采集的程序。作為搜索引擎的資源采集部分，Web??Spider的性能將直接影響到整個搜索引擎索引網頁的數量、質量和更新周期。網絡蜘蛛Web?Spider，以何種方式、何種策略訪問因特網是搜索引擎研究的主要問題之一。網絡蜘蛛?Web??spider?的研究離不開對網絡蜘蛛搜索對象的分析。因特網信息資源作為?Web?Spider?的采集目標具有以下的特點：??

(1)??大規模:根據中國網統計(2004.7)，因特網上現有?3?億多中文網頁。總數據量約?6TB,這還僅僅是文本資源，未包含圖片，音頻視頻等多媒體資源。?

(2)??分布性：上述海量信息散布于大約?50?萬站上，這些網站同時又分布在不同地域，不同網絡管理類型的網絡上。?

(3)??動態性：因特網上的信息時刻處于變化之中，舊的頁面不斷被更新(包括內容改變、位置移動等)、刪除、新的頁面不斷出現。?

(4)??多領域：因特網信息資源的內容豐富，覆蓋了科研、商業、政府等幾乎所有領域，包含新聞、報告、論文等多種類型。?

(5)??半結構化或無結構化：Web?頁面通常僅有有限的結構，或者根本就沒有結構，即使具有一些結構，也是著重于格式，而非內容。此外，頁面的內容是人類所使用的自然語言，計算機很難處理其語義。這些都是網絡蜘蛛?Web??Spider?在進行網絡資源采集時需要面對的問題，也是在?Web??Spider?設計時需要解決的問題。對于專業搜索引擎，其?Web??Spider?面臨的不僅僅是將這些資源采集回來的問題，更主要的是能夠對具有上述特點資源進行分析，用有限的采集規模獲得盡可能多的專業相關的網絡資源，甚至還要能夠深度挖掘出通用搜索引擎找不到的資源。<本文整理自：http://www.lunwenroom.com/jisuanjilei/237_3.html?想要了解更多的朋友，可以參考下>

?

轉載于:https://blog.51cto.com/1812930/1351814

總結

以上是生活随笔為你收集整理的网络蜘蛛Spider 工作原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。