很多人想使用免費(fèi)的代理IP。 畢竟不花錢(qián)，但是免費(fèi)代理IP的費(fèi)率大家應(yīng)該都知道吧。 所以，即使你不想花錢(qián)，現(xiàn)實(shí)也不允許。 對(duì)于需要使用爬蟲(chóng)爬取數(shù)據(jù)的人來(lái)說(shuō)，時(shí)間比購(gòu)買(mǎi)代理IP要貴很多。 那么誰(shuí)在使用免費(fèi)代理IP？  

 

一般來(lái)說(shuō)，營(yíng)銷(xiāo)推廣需要少量IP的人，以及剛開(kāi)始爬行的人，那么如何獲得免費(fèi)代理IP呢？ 獲取免費(fèi)代理IP后，爬蟲(chóng)如何設(shè)置代理IP？  

 

 如何獲得免費(fèi)代理IP

 

1.找?guī)讉€(gè)提供免費(fèi)IP代理的網(wǎng)站，獲取IP數(shù)據(jù)源。  

 

2.驗(yàn)證對(duì)應(yīng)的IP代理訪問(wèn)出口IP是否與機(jī)器的出口IP一致，得到不一致的IP代理列表。  

 

3.根據(jù)您要訪問(wèn)的網(wǎng)站，過(guò)濾掉無(wú)效的代理IP。 因?yàn)椴皇撬械拇矶伎梢允褂?，可能的原因是我們的網(wǎng)絡(luò)連接不上這個(gè)代理，或者這個(gè)代理連接不上我們的目標(biāo)網(wǎng)址，所以我們踢掉了無(wú)效的代理。  

 

4.根據(jù)自己的實(shí)驗(yàn)?zāi)康尿?yàn)證IP代理的響應(yīng)速度，排序，選擇最好的。  

 

爬蟲(chóng)設(shè)置代理IP的方法 

 

1.使用Python3，先導(dǎo)入urllib的請(qǐng)求，然后調(diào)用ProxyHandler，可以接收代理IP的參數(shù)。  

 

動(dòng)態(tài) IP 模擬器

 

2.將IP地址以字典的形式放入其中，設(shè)置代理類(lèi)型、IP地址和端口。 例如： 

 

 動(dòng)態(tài) IP 模擬器 

 

3. 使用 build_opener() 構(gòu)建一個(gè) opener 對(duì)象。  

 

動(dòng)態(tài)IP模擬器 

 

4.調(diào)用構(gòu)造的opener對(duì)象中的open方法發(fā)出請(qǐng)求。 其實(shí)urlopen類(lèi)似于使用內(nèi)部定義的opener.open()，相當(dāng)于我們自己重寫(xiě)。  

 

動(dòng)態(tài)IP模擬器

 

 5.如果我們使用install_opener()，我們可以將之前自定義的opener設(shè)置為全局。  

 

動(dòng)態(tài) IP 模擬器

]

6。 設(shè)置為global后，使用urlopen發(fā)送請(qǐng)求，這樣發(fā)送請(qǐng)求的IP地址就是代理IP，而不是本機(jī)的IP地址。  

 

動(dòng)態(tài)IP模擬器

 

注意如果在使用代理時(shí)遇到錯(cuò)誤提示目標(biāo)電腦主動(dòng)拒絕無(wú)法連接，說(shuō)明可能是代理IP無(wú)效或端口 號(hào)碼錯(cuò)了。 替換有效的代理IP。  

 

以上就是爬蟲(chóng)設(shè)置代理IP的方法。 圖文介紹比較清楚，設(shè)置也不難。 對(duì)于使用Python爬蟲(chóng)的人來(lái)說(shuō)，這可以說(shuō)是一項(xiàng)基礎(chǔ)工作，但也是必要的。 由于爬蟲(chóng)采集數(shù)據(jù)，通常會(huì)遇到IP限制的問(wèn)題，在保證速度的情況下，使用代理IP是目前最有效的方法。