使用工具 jsoup
對于新手而言，jsoup無疑是最簡單的抓取工具之一，強(qiáng)大的解析能力讓人方便使用，對于我們新手而言，獲取只是看過爬蟲書或者資料用簡單的例子爬取所有鏈接，想要爬取想要的內(nèi)容，首先要熟悉html網(wǎng)頁的架構(gòu)，然后還要熟悉jsoup的簡單用法，只會(huì)遍歷所有鏈接是不行的。
首先打開王者榮耀分欄，看到這樣的界面：
；
如果我們想爬取所有主播的信息，我們首先要確定的是要爬取的是主播的信息而不是查看網(wǎng)頁源碼：

我們發(fā)現(xiàn)這里雖然有些亂，每個(gè)主播的類，類中含有的內(nèi)容確是可以找到的，我們發(fā)現(xiàn)game-live-item這個(gè)類是主播的最大類，主播的基本信息都藏在他的內(nèi)容里或者他的子class中，這樣我們就可以第一次遍歷這個(gè)最大的類，然后從這個(gè)類中我們需要什么，再篩選什么詳細(xì)看代碼：

import java.io.IOException;import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements;public class jsoup爬取虎牙 {public static void main(String[] args) throws ClassNotFoundException, IOException{String ul="https://www.huya.com/g/wzry";//分類的首頁Connection conn = Jsoup.connect(ul); Document doc= conn.userAgent("Mozilla").timeout(3000).get(); // System.out.println(links);//Elements links = doc.getElementsByClass("avatar fl");//主播昵稱//Elements links = doc.getElementsByClass("txt");//可以遍歷到人數(shù)和主播昵稱//Elements links = doc.getElementsByClass("title new-clickstat");//鏈接和標(biāo)題Elements links = doc.getElementsByClass("game-live-item");//可以遍歷到人數(shù)標(biāo)題 是最大的類 for(Element link: links)//遍歷鏈接{/** 鏈接再這個(gè)html文檔中的子類title new-clickstat中在分析這個(gè)元素*/Document doe=Jsoup.parse(link.html());Elements e2 =doe.getElementsByClass("title new-clickstat");System.out.print(e2.attr("href"));String a=link.attr("href");//href鏈接String b=link.text(); //內(nèi)容文字int c=Integer.parseInt(link.attr("gid")); System.out.print(b " : \t"); System.out.println(c);} } }

輸出的內(nèi)容為：

https://www.huya.com/housangun大神推薦 射手新出裝-新賽季魯3槍上王者 China丶猴三棍 40.5萬 : 2336 https://www.huya.com/131499年度推薦 藍(lán)光4M 寒冰：單排上第三個(gè)王者~ 東辰-寒冰 18.0萬 : 2336 https://www.huya.com/942020大神推薦 藍(lán)光4M 上好佳：賽季初 5排怒撞職業(yè)小代 求虐！ 上好佳 10.9萬 : 2336 https://www.huya.com/chaojie大神推薦 無敵小射手已上線！！ 東辰-小潮 10.7萬 : 2336 https://www.huya.com/tingxiaojie白金推薦 88勝率貂蟬重新沖國服 Dae-婷小姐 3.6萬 : 2336 https://www.huya.com/11428718大神推薦 國服第一露娜上第四個(gè)王者！ 電競浪子傲寒 5.4萬 : 2336 *************************** ***************************

這僅僅是爬取第一頁的內(nèi)容。我們?nèi)绻胍廊∷型跽邩s耀主播的信息或者甚至虎牙直播的信息，理論上應(yīng)該是爬取完當(dāng)頁的信息之后再爬取下一頁的鏈接，但是你會(huì)發(fā)現(xiàn)無濟(jì)于事，因?yàn)檫@個(gè)頁面和第二個(gè)頁面是一個(gè)鏈接。這個(gè)頁面是ajax的動(dòng)態(tài)生成頁面，傳統(tǒng)爬取靜態(tài)方法的方式只能告一段落。采用其他方法。下一篇在做介紹。

如果對后端、爬蟲等感性趣歡迎關(guān)注我的個(gè)人公眾號(hào)交流：bigsai

總結(jié)

以上是生活随笔為你收集整理的爬取虎牙之一：（王者荣耀主播信息普通爬取）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。