需要一個(gè)爬蟲IP代理來收集數(shù)據(jù)，由于之前公司項(xiàng)目的需要，我們收集了地圖數(shù)據(jù)和一些大型網(wǎng)站的數(shù)據(jù)。

動(dòng)態(tài)IP模擬器

1. 一個(gè)代理IP是必需的，非常正確，ADSL。如果條件允許，您實(shí)際上可以向機(jī)房申請(qǐng)外部IP。

2.在具有外部IP的機(jī)器上部署代理服務(wù)器。

3. 您的計(jì)劃使用輪轉(zhuǎn)訓(xùn)練而不是代理服務(wù)器來訪問您想要收藏的網(wǎng)站。

好處：

1. 程序邏輯變化不大，只需要代理函數(shù)。

2. 根據(jù)對(duì)方網(wǎng)站的不同被封規(guī)則，您只需再添加幾個(gè)代理即可。

3. 如果一個(gè)特定的IP被封，可以使用代理服務(wù)器登出而不改變程序邏輯。

首先，我想通過代理購(gòu)買一些代理IP，比如動(dòng)態(tài)IP模擬器它提供了許多國(guó)內(nèi)代理IP服務(wù)器地址，您可以從這里抓取，后來我用的是ADSL。缺點(diǎn)是需要斷開網(wǎng)絡(luò)，重新?lián)芴?hào)，在斷開連接的過程中，爬行器在沒有負(fù)載的情況下運(yùn)行。如果您對(duì)實(shí)時(shí)數(shù)據(jù)有特殊要求，則需要規(guī)劃解決方案。