有時(shí)候爬蟲會(huì)遇到ip被禁的情況。這時(shí)候可以找代理網(wǎng)站，抓取ip，做動(dòng)態(tài)輪詢。也可以使用別人做的第三方ip代理平臺(tái)，比如Crawler，就是利用代理IP地址池做分布式下載的第三方平臺(tái)。除了scrapy、普通java、php、python等?？梢杂胏url來稱呼。可以指定如何設(shè)置。

 

 

 

動(dòng)態(tài)IP模擬器

 

 

 

如果不使用第三方平臺(tái)作為代理ip，就要手動(dòng)抓取ip。我們可以谷歌一下代理ip，找很多網(wǎng)站，找?guī)讉€(gè)穩(wěn)定的代理網(wǎng)站，寫一個(gè)爬蟲腳本繼續(xù)抓取，或者使用量不大的話手動(dòng)粘貼抓取。土豪一點(diǎn)點(diǎn)的話，其實(shí)買一點(diǎn)點(diǎn)就可以了，一美元左右就值得買幾千。

 

 

 

這時(shí)候如果你用的是python，需要自己維護(hù)一個(gè)ip池，控制每個(gè)ip的訪問次數(shù)，隨機(jī)更換ip什么的。然而，如果你想讓它面向服務(wù)，你可以使用squid來綁定多個(gè)ip地址，并充當(dāng)轉(zhuǎn)發(fā)代理。Squid是一款優(yōu)秀的用于Linux系統(tǒng)的代理服務(wù)器軟件，代理列表的代理ip可以按照Squid的cache_peer機(jī)制以一定的格式寫入配置文件中。

 

 

 

這相當(dāng)于把所有的管理和調(diào)度問題都留給了squid，你只需要使用爬蟲來訪問squid服務(wù)端口。

 

 

 

現(xiàn)在我們可以總結(jié)所有步驟:

 

 

 

1.使用爬蟲腳本每天定時(shí)抓取代理網(wǎng)站上的免費(fèi)ip，或者購買一定量的ip，寫入MongoDB或其他數(shù)據(jù)庫。此表用作原始表。

 

 

 

2.在使用它之前，你需要做一個(gè)步驟測試，即測試ip是否有效。方法是用curl訪問網(wǎng)站檢查返回值，需要新建一個(gè)表，循環(huán)讀取原表并在有效時(shí)插入，驗(yàn)證后從原表中刪除。在驗(yàn)證的同時(shí)，您可以使用響應(yīng)時(shí)間來計(jì)算ip的質(zhì)量和最大使用次數(shù)。有一種算法可以參考基于連接代理優(yōu)化管理的多線程網(wǎng)絡(luò)爬蟲處理方法。

 

 

 

3.將有效ip寫入IP模擬器代理的配置文件，并重新加載配置文件。

 

 

 

4.讓爬蟲程序去指定的服務(wù)ip和端口并抓取它。