第一種方法是程序掃描代理。
通過程序掃描IP段,或者通過時(shí)間端口找到臨時(shí)代理。
比如百度搜索“IP代理”、“爬蟲代理”。你搜索后會(huì)出現(xiàn)很多代理,
基本上每家都會(huì)有免費(fèi)檢測(cè),或者檢測(cè)的費(fèi)用很便宜。想買的話可以自己選。有一款性價(jià)比更高。
2)ADSL撥號(hào)服務(wù)器
ADSL撥號(hào),斷網(wǎng),重連,IP切換,這幾類一般淘寶都有賣,限制區(qū)域和全國(guó)撥號(hào)都有。穩(wěn)定性還是比較OK的。
所以如果每次訪問都切一次IP,效率會(huì)很慢,只能在當(dāng)前IP被對(duì)方封禁掉線的情況下再撥新IP。
ADSL撥號(hào)可以應(yīng)付收藏,刷卡訪問,刷卡點(diǎn)擊等。,這需要低效率。
3)自建機(jī)構(gòu)
買個(gè)服務(wù)器,用squid+stunnel搭建一個(gè)HTTP高隱藏代理服務(wù)器。Tinyproxy就行。Squit用于實(shí)現(xiàn)http代理,stunnel在代理的基礎(chǔ)上搭建隧道實(shí)現(xiàn)加密。
如果需要大量的IP,可以購買更多的機(jī)器服務(wù)器,依次配置squid。
自建代理都是獨(dú)家真實(shí)IP,所以穩(wěn)定性很好。一切都很穩(wěn)定。收藏、搶購、刷票、刷點(diǎn)擊、刷主播人氣等。可以做到。
但是,這需要花費(fèi)很多精力,因?yàn)樾枰S護(hù)IP代理池。
4)自建代理服務(wù)商
如果以上方法不符合你的用法,只能找商家,打開api端口。
如果你懶得自己做上面的方法也沒關(guān)系。找個(gè)做類似服務(wù)的商家,開個(gè)api口。
5)第三方訪問
比如通過Google網(wǎng)頁翻譯、有道網(wǎng)頁翻譯、http代理瀏覽器等第三方訪問渠道請(qǐng)求目標(biāo)網(wǎng)頁。
速度慢,采集抓取的目標(biāo)內(nèi)容時(shí)干擾多。