Scrapyd部署爬蟲項目

github項目 ?https://github.com/scrapy/scrapyd? 官方文檔 ?http://scrapyd.readthedocs.org/? 安裝scrapyd ?http://scrapyd.readthedocs.io/en/stable/install.html? 運行 # 在虛擬環境中使用scrapd命令# scrapyd是一個服務器監聽在本地的6800端口 scrapyd

?

安裝scrapd客戶端 pip install scrapyd-client# 用于項目打包# python路徑的Script目錄下發現生成了一個scrapyd-deploy的文件

?

打包項目到scrapyd中 編輯scrapy.cfg # 打開scrapyd服務 [deploy:name]url = http://localhost:6800/project = ArticleSpider 進入爬蟲項目目錄 cd E:\Python Project\scrapyproject\ArticleSpider? 運行scrapyd-deploy文件 # 由于沒有后綴不能運行# 解決辦法：新建一個文件scrapd-deploy.bat，寫入下面數據 @echo off"E:\Python Project\venvdir\scrapyenv3\Scripts\python.exe" "E:\Python Project\venvdir\scrapyenv3\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9 # 再次執行發現可以使用了 scrapyd-deploy -l # 默認自己讀取scrapy.cfg內容# 如果出現importError問題注意# import sys # BASE_DIR = os.path.dirname(os.path.abspath(os.path.dirname(__file__))) # sys.path.insert(0, os.path.join(BASE_DIR, 'ArticleSpider'))# 打包spider項目 scrapyd-deploy name -p ArticleSpider# E:\Python Project\venvdir\scrapyenv3\Scripts\eggs\ArticleSpider\xxxx.egg# scrapyd-deploy將項目打包成一個后綴為egg的文件，發送到scrapyd服務器

?

部署項目 接口認識 http://scrapyd.readthedocs.io/en/stable/api.html? 部署命令 curl http://localhost:6800/schedule.json -d project=ArticleSpider -d spider=myspider# 返回 {"status": "ok", "jobid": "6487ec79947edab326d6db28a2d86511e8247444"}# 刷新scrapy管理頁面可以發現新的項目

?

項目管理

參考官方文檔

轉載于:https://www.cnblogs.com/cq146637/p/9093717.html

總結

以上是生活随笔為你收集整理的Scrapy学习-25-Scrapyd部署spider的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。