@Author：Runsen

文章目錄

• Pyspider框架介紹
• Pyspider框架安裝
• pypsider入門
• 爬取目標(biāo)（鏈家網(wǎng)）

Pyspider框架介紹

Pyspider 是個(gè)強(qiáng)大的由python實(shí)現(xiàn)的爬蟲系統(tǒng)。

• 純python的
• 強(qiáng)大的webui，支持腳本編輯，任務(wù)監(jiān)控，項(xiàng)目管理和結(jié)果查看
• 數(shù)據(jù)后臺(tái)支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy
• 消息隊(duì)列支持，RabbitMQ，Beanstalk，Redis以及Kombu
• 支持任務(wù)優(yōu)先級(jí)，定時(shí)，失敗重試等調(diào)度方案
• 分布式架構(gòu)，抓取js頁面
• 支持Python2和3

Pyspider框架安裝

• ubuntu

如果使用ubuntu,請先運(yùn)行sudo apt update 再運(yùn)行sudo apt upgrade 更新

apt-get install python python-dev python-distribute python-pip \ libcurl4-openssl-dev libxml2-dev

總結(jié)

以上是生活随笔為你收集整理的二十八、Pyspider 爬取链家网的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。