如果你想讓爬蟲取得好的效果，僅僅寫一個好的爬蟲程序是不夠的，因為你的程序很可能一啟動就被網(wǎng)站的反爬蟲策略屏蔽了。所以在爬行之前，我們需要做好以下準備。

動態(tài)IP模擬器

防爬策略分析：

(1) 如果一個IP被多次訪問而不使用Cookie，該IP將很快被阻止。

(2) 第一次訪問返回cookie值，連續(xù)訪問使用相同的cookie值，幾分鐘后被阻止。用不同的cookie值訪問，大約十分鐘后，IP被阻止。
(3低速（10s以上）單ip訪問不會被封。

有幾種方法可以防止反爬：

使用隨機用戶代理：最簡單，即使是新手也能做到。

設(shè)置爬網(wǎng)間隔：簡單，但大大降低了效率。

Available cookies：找出規(guī)則是難是易，需要帶一些經(jīng)過身份驗證或解密的值來計算。

代理的使用：簡單、粗暴、有效，但是維護代理是一個問題。

因為一個IP無論如何都會被封鎖，所以我已經(jīng)接受了代理IP，常見的有IP模擬器代理等。

爬蟲的策略大致如下：

三個隨機：隨機Under Armour，隨機代理和隨機cookie。

對于使用免費IP代理:

你可以參考git:jhao104/proxy上的一個開源項目。我試過幾個類似的，這個好像是最好的。它主要是利用flask來制作一個api來實時更新可用的ip。它不僅可以抓取各大免費代理商的ip，還可以定期檢查ip的可用性。然而，這個項目還有一個問題。例如，如果我將捕獲間隔設(shè)置為10秒，則任務(wù)的執(zhí)行時間可能會超過10秒，并且會報告一個錯誤，整個程序?qū)和！?/div>