很多從事爬蟲(chóng)業(yè)務(wù)的人發(fā)現(xiàn)，他們使用了穩(wěn)定的代理IP，還控制了訪問(wèn)速度和次數(shù)。他們發(fā)現(xiàn)有時(shí)候爬蟲(chóng)工作會(huì)遇到各種問(wèn)題，工作無(wú)法順利進(jìn)行。那么，爬蟲(chóng)使用代理IP后遇到的問(wèn)題如何解決？

 

 

 

動(dòng)態(tài)IP模擬器

 

 

 

1.分布式爬蟲(chóng)。爬行時(shí)可以采用分布式的方法，有一定幾率起到防爬的作用，也可以提高爬行量。

 

 

 

2.保存cookies。當(dāng)模擬登錄比較麻煩的時(shí)候，可以直接登錄web，刪除cookie保存，然后拿cookie當(dāng)爬蟲(chóng)，但這不是長(zhǎng)久之計(jì)，而且過(guò)一段時(shí)間cookie也可能失效。

 

 

 

3.多賬號(hào)反抓取。很多網(wǎng)站會(huì)通過(guò)固定時(shí)間內(nèi)賬號(hào)訪問(wèn)的頻率來(lái)判斷是不是機(jī)器人。這種情況下可以測(cè)試單個(gè)賬號(hào)的固定時(shí)間值，然后在時(shí)間臨近的時(shí)候切換代理IP，這樣就可以循環(huán)爬行了。

 

 

 

4.驗(yàn)證碼問(wèn)題。爬蟲(chóng)時(shí)間久了經(jīng)常會(huì)遇到驗(yàn)證碼問(wèn)題。這是為了驗(yàn)證你是不是機(jī)器人，而不是為了認(rèn)可你是爬行類(lèi)機(jī)器人。第一種解決方案:這種情況下可以在本地下載驗(yàn)證碼，手動(dòng)輸入驗(yàn)證碼進(jìn)行驗(yàn)證。這種方法成本高，不能完全自動(dòng)捕捉，需要人工干預(yù)。第二種解決方案:可以通過(guò)圖像識(shí)別自動(dòng)填寫(xiě)驗(yàn)證碼，但是現(xiàn)在的驗(yàn)證碼大多比較復(fù)雜，不熟悉圖像識(shí)別的話(huà)無(wú)法識(shí)別出正確的驗(yàn)證碼。第三種解決方案:可以接入自動(dòng)編碼平臺(tái)。這個(gè)最方便，但是需要買(mǎi)。

 

 

 

不同的網(wǎng)站有不同的反抓取方式，一套抓取策略不會(huì)適用于任何一個(gè)網(wǎng)站。所以需要根據(jù)具體情況進(jìn)行分析，不斷測(cè)試分析過(guò)程，找出這個(gè)網(wǎng)站的反爬蟲(chóng)策略，這樣才能事半功倍。