淺談動(dòng)態(tài)代理IP爬蟲(chóng)前期的準(zhǔn)備工作！想要爬蟲(chóng)獲得好的效果，僅僅寫(xiě)一個(gè)好的爬蟲(chóng)程序是不夠的，因?yàn)槟愕某绦蚝芸赡芤粏?dòng)就被網(wǎng)站的反爬蟲(chóng)策略屏蔽掉。

 

所以，在爬行之前，我們需要做好以下準(zhǔn)備。

 

動(dòng)態(tài)IP模擬器

 

(一)反爬蟲(chóng)策略分析:

 

(1)如果單個(gè)ip在沒(méi)有cookie的情況下被多次訪(fǎng)問(wèn)，該ip很快就會(huì)被屏蔽。

 

(2)從第一次訪(fǎng)問(wèn)開(kāi)始返回cookie值，連續(xù)訪(fǎng)問(wèn)使用同一個(gè)cookie值，幾分鐘后被阻塞；用不同的cookie值訪(fǎng)問(wèn)，大約十分鐘后，IP被屏蔽。

 

(3)低速(10s以上)單ip訪(fǎng)問(wèn)不會(huì)被阻塞。

 

(2)爬蟲(chóng)策略分析:

 

簡(jiǎn)單來(lái)說(shuō)，有幾種方法可以防止回爬:

 

用隨機(jī)用戶(hù)代理:最簡(jiǎn)單的，即使是新手也可以。

 

設(shè)置爬行間隔時(shí)間:簡(jiǎn)單，但是大大降低了效率。

 

可用cookie:找到規(guī)則是難還是容易，需要帶一些經(jīng)過(guò)認(rèn)證或解密的值來(lái)計(jì)算。

 

代理的使用:簡(jiǎn)單粗暴有效，但是維護(hù)代理是個(gè)問(wèn)題。

 

由于單個(gè)ip無(wú)論如何都會(huì)被屏蔽，我已經(jīng)投入代理的懷抱，常見(jiàn)的有IP模擬器代理等。

 

爬蟲(chóng)策略大致如下:

 

三個(gè)隨機(jī):隨機(jī)UA，隨機(jī)代理和隨機(jī)cookie

 

對(duì)于使用自由代理:

 

可以參考git上的一個(gè)開(kāi)源項(xiàng)目:jhao104/proxy。用過(guò)幾款類(lèi)似的，感覺(jué)這款最好。它主要是用flask做一個(gè)api實(shí)時(shí)刷新可用ip，不僅可以抓取各大免費(fèi)代理ip，還可以定期檢查ip的可用性。但是，這個(gè)項(xiàng)目還有一個(gè)問(wèn)題。比如我把捕獲間隔設(shè)為10秒，任務(wù)的執(zhí)行時(shí)間可能會(huì)長(zhǎng)于10秒，會(huì)報(bào)錯(cuò)導(dǎo)致整個(gè)程序暫停。

 

對(duì)于使用付費(fèi)代理:

 

如果想保證爬蟲(chóng)的質(zhì)量，可以選擇優(yōu)質(zhì)的付費(fèi)代理IP。

 

以上準(zhǔn)備是爬蟲(chóng)前的準(zhǔn)備，然后是爬蟲(chóng)程序的準(zhǔn)備。