IP模擬器
沒有代理IP，網(wǎng)絡爬蟲會被限制嗎？很多人認為爬蟲必須使用代理IP，沒有代理IP就很難。也有人說，代理IP不是必須的。那么他們這樣想的原因是什么呢？
有朋友說，他用的機車收集器是用來收集一些物品，然后按照自己的要求進行加工。他從來不用代理IP，一天大概收集一萬篇文章。他覺得不用代理IP照片也能爬。
一個朋友說他自己寫的爬蟲程序。該公司的任務是每天抓取數(shù)十萬頁。有時候，當有很多任務時，一天要花費數(shù)百萬。爬行ip時，它被阻止。沒有代理IP，是不可能的。他認為沒有代理IP爬蟲，就不可能。
顯然，他們說的很有道理，他們都用親身經(jīng)歷證明了自己的觀點。事實上，爬蟲程序本質(zhì)上只是一個訪問網(wǎng)頁的用戶。只是一個不守規(guī)則的特殊用戶。服務器一般不歡迎這種總是被各種手段發(fā)現(xiàn)和禁止的特殊用戶。最常見的是判斷你的訪問頻率，因為普通人訪問網(wǎng)頁的頻率不是很快，如果發(fā)現(xiàn)某個ip訪問太快，就會被封禁。
當工作量不是很大的時候，也就是像第一個朋友一樣，可以慢慢爬，但是頻率不是很快，這對于目標服務器來說似乎是可以忍受的，也不影響正常運行，這樣就不會封IP，這樣就可以在沒有代理IP的情況下完成每天的工作量。
當任務量比較大的時候，比如第二個朋友，一天有幾十萬幾百萬的數(shù)據(jù)，你就不能慢慢完成任務。如果你加快爬升速度，壓力過大目標服務器會被IP封鎖，你也無法完成任務。我能怎么做呢？我得用代理IP來解決。
比如一個IP短時間內(nèi)被訪問100次，會被目標服務器認為訪問太快，導致IP被阻塞，而10個代理IP短時間內(nèi)被訪問10次，則不會被認為太快而阻塞。當任務量巨大時，使用代理IP往往可以事半功倍，這也是為什么有人認為沒有代理IP就沒有網(wǎng)絡爬蟲的原因。
