如何抓取代理ip？當(dāng)我們使用網(wǎng)絡(luò)編寫腳本從指定的網(wǎng)站抓取數(shù)據(jù)時(shí)，網(wǎng)站總是不可避免的會(huì)屏蔽IP，所以這個(gè)時(shí)候我們需要一些代理IP。當(dāng)我們打開(kāi)網(wǎng)頁(yè)的時(shí)候，很容易就能找到很多提供免費(fèi)代理IP做IP抓取的網(wǎng)站，這里介紹的是國(guó)內(nèi)匿名代理IP。

 

動(dòng)態(tài)IP模擬器

 

第一步:HTML頁(yè)面獲取

 

通過(guò)觀察，我們可以發(fā)現(xiàn)我們需要的信息的頁(yè)面的url有這樣一個(gè)規(guī)律:www.xxxxxx.com/nn/+頁(yè)碼。但是，如果您通過(guò)get方法直接訪問(wèn)它，您將發(fā)現(xiàn)500個(gè)錯(cuò)誤。原因是在這個(gè)規(guī)則下，雖然URL通過(guò)get方法獲取數(shù)據(jù)，但是它們都有cookie認(rèn)證。那么問(wèn)題來(lái)了——你怎么得到你需要的餅干？我們第一次通過(guò)瀏覽器訪問(wèn)網(wǎng)站首頁(yè)，是可以打開(kāi)的，網(wǎng)站的所有子模塊都可以打開(kāi)。在一定時(shí)間內(nèi)，我們的瀏覽器得到了這個(gè)網(wǎng)站設(shè)置的cookie。清除瀏覽器cookie，重新打開(kāi)網(wǎng)站主頁(yè)，通過(guò)開(kāi)發(fā)者工具，我們可以發(fā)現(xiàn)打開(kāi)主頁(yè)時(shí)，網(wǎng)站會(huì)發(fā)出cookie，而不是上傳cookie。然后打開(kāi)上面我們找到的常規(guī)url頁(yè)面，對(duì)比一下，發(fā)現(xiàn)我們上傳的cookie就是首頁(yè)發(fā)布的cookie。這就是解決方案——編寫腳本時(shí)，首先訪問(wèn)主頁(yè)獲取cookie，然后將cookie添加到后續(xù)請(qǐng)求中。

 

第二步:分析html結(jié)構(gòu)，用BS4提取信息。

 

上面簡(jiǎn)單介紹了如何抓取代理IP，具體代碼需要自己搜索。