隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，代理IP出現(xiàn)了，這是網(wǎng)絡(luò)爬蟲(chóng)不可或缺的東西。Ip地址池是IP的一個(gè)段，即一個(gè)范圍，主要用于特殊的IP段。您可以在路由器中設(shè)置地址池。為了自己提取ip，有效提高工作效率，很多網(wǎng)絡(luò)爬蟲(chóng)選擇設(shè)計(jì)自己的代理ip池。那么如何設(shè)計(jì)IP池以及后續(xù)的維護(hù)代理IP：

 

動(dòng)態(tài)IP模擬器(1)獲取代理ip接口

 

一般有API提供對(duì)IP的訪問(wèn)，會(huì)有一定的限制，比如每次提取多少，提取間隔是多少秒。如果您正在抓取免費(fèi)代理IP，請(qǐng)使用ProxyGetter接口從免費(fèi)代理源網(wǎng)站抓取最新的代理IP。

 

(2)建立數(shù)據(jù)庫(kù)

 

用于存儲(chǔ)獲取的代理IP，建議使用SSDB。SSDB表現(xiàn)突出，基本相當(dāng)于雷迪斯。Redis是內(nèi)存類(lèi)型，容量問(wèn)題是軟肋，內(nèi)存成本太高。針對(duì)這一弱點(diǎn)，SSDB使用硬盤(pán)存儲(chǔ)和谷歌的高性能存儲(chǔ)引擎LevelDB，適合大數(shù)據(jù)處理，性能優(yōu)化到Redis級(jí)別。

 

(3)代理ip檢測(cè)計(jì)劃

 

IP具有時(shí)效性。無(wú)論是免費(fèi)代理IP還是付費(fèi)代理IP，都是有有效期的，過(guò)了有效期就失效了，所以要查有效期。設(shè)置定時(shí)檢測(cè)方案，檢測(cè)代理IP的有效性，刪除無(wú)效IP和高延時(shí)IP，并進(jìn)行預(yù)警。當(dāng)IP池中的IP小于某個(gè)閾值時(shí)，將通過(guò)代理IP獲取接口獲取新的IP。

 

(4)代理ip池的外部接口

 

有了代理IP池，還需要設(shè)計(jì)一個(gè)外部接口，通過(guò)這個(gè)接口可以將IP池中的IP調(diào)用給爬蟲(chóng)。代理IP池功能比較簡(jiǎn)單，用Flask就可以了。功能可以是為爬蟲(chóng)提供獲取/刪除/刷新等接口，方便爬蟲(chóng)直接使用。

 

動(dòng)態(tài)IP模擬器目前，互聯(lián)網(wǎng)上有很多代理ip，有免費(fèi)的，也有付費(fèi)的。因?yàn)楦顿M(fèi)代理ip通常更貴，更多的人會(huì)選擇免費(fèi)代理IP，但免費(fèi)IP不夠穩(wěn)定和安全。所以我建議你不要用免費(fèi)代理IP做網(wǎng)絡(luò)爬蟲(chóng)?，F(xiàn)在最高的隱藏級(jí)別高，穩(wěn)定性好的一般更多的是做注冊(cè)、發(fā)帖等營(yíng)銷(xiāo)和游戲加速，以及數(shù)據(jù)采集類(lèi)應(yīng)用的用戶。而且市面上很多代理IP都是普通IP。修改后，別人就可以通過(guò)某種手段找到你原來(lái)的IP地址，如果你想讓別人發(fā)現(xiàn)，那你就得選擇高隱藏IP。