Python用requests完成最简单的爬虫
生活随笔
收集整理的這篇文章主要介紹了
Python用requests完成最简单的爬虫
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
初識爬蟲,需要有一定的網(wǎng)絡知識
import requests #沒有的話就直接下載,pip install requests url = "你想爬取的網(wǎng)頁" headers ={"User-Agent":"在你瀏覽器用開發(fā)者模式查看NetWork然后刷新網(wǎng)頁再在Headers中找尋"}如圖 ,格式要注意,User-Agent中間的是冒號,
User-Agent也可直接網(wǎng)頁搜到。
之后就需要對網(wǎng)頁數(shù)據(jù)處理了
總結(jié)
以上是生活随笔為你收集整理的Python用requests完成最简单的爬虫的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 浏览器用xpath获取一直为空
- 下一篇: Python的Flask入门