IP模擬器
爬蟲和動態(tài)ip軟件如何突破封鎖限制？
具體方法1
使用多個lP:
1 .必須使用lP，比如ADSL。如果有條件的話，我覺得還可以和機房申請外部IP。
2.在帶有外部IP的設備上部署服務器代理。
3.你的應用，用輪訓代替服務器代理瀏覽你要收藏的線上平臺。
好處:
1.程序邏輯變化小，只需要代理。
2.根據別人的線上平臺刷屏欺詐標準不一樣，你只要大量添加代理就可以了。
3.即使主IP被阻塞，也可以在不改變程序邏輯的情況下，立即斷開服務器代理。
具體方法二。
有少數網站防范措施薄弱，可以偽裝IP，修改X-Forwarded-for。。。)可以繞過。、
大部分網站，如果要經常抓取，通常需要更多的IP。
我最喜歡的解決方案是國外VPS配備多個IP，通過默認網關切換實現IP切換，比HTTP代理效率高很多，估計在大多數特定情況下也比ADSL切換效率高。
具體方法3。
ADSL#+腳本，檢測是否阻塞，然后不斷轉換ip設置查詢頻率限制。
正統的方式是啟用線上平臺擔保的服務項目的socket。
具體方法4。
ADSL在國內是王者，申請多條線，分布在很多不同的電信局，跨省市可以更好，寫斷線重撥組件，寫動態(tài)IP跟蹤服務，重置遠程硬件(主要是ADSL貓防止其停機)，分配其他任務，恢復網絡數據都不是問題。
具體方法5。
1個用戶代理假裝和交換
2使用代理ip和輪換
3 cookies處置，部分網絡平臺對于普通用戶登錄的現行政策較為寬松。
溫馨提示:考慮到網絡爬蟲對別人網站的負擔，做一個負責任的爬蟲:)
具體方法6。
盡量模仿普通用戶的個人行為:
1.用戶代理經常改變；
2.設置較長的訪問時間間隔，并將訪問時間設置為隨機數；
3.頁面訪問的順序也可以是隨機的。
具體方法7。
線上平臺封號的依據通常是一個IP在單位時間段內的網頁訪問頻率。
我還把收集到的日常任務按照整體目標站點的IP進行分組。
通過操縱每個IP在單位時間內發(fā)出的日常任務數量，可以防止被阻塞。
這種情況下，前提條件是你收集了很多網站。如果只是收藏網站頁面，那就只能按照多外lP的方法來保存了。
具體方法8。
網絡爬蟲爬行的壓力控制:也可以考慮在分享階段使用代理訪問目標站點。
降低抓取的工作頻率，使時間系統更長，訪問周期使用隨機數。
用戶代理的頻繁切換(模擬計算機瀏覽器訪問)
多頁數據，然后瀏覽然后抓取網絡數據——換IP。
