IP模擬器
網(wǎng)絡(luò)爬蟲(chóng)是一種自動(dòng)獲取網(wǎng)頁(yè)內(nèi)容的程序。它是搜索引擎的重要組成部分，所以搜索引擎優(yōu)化在很大程度上就是爬蟲(chóng)的優(yōu)化。
傳統(tǒng)爬行器和主題爬行器
傳統(tǒng)爬蟲(chóng)：從一個(gè)或多個(gè)初始網(wǎng)頁(yè)的URL開(kāi)始，獲取初始網(wǎng)頁(yè)的URL，不斷從當(dāng)前網(wǎng)頁(yè)中提取新的URL，并將其放入隊(duì)列中，直到系統(tǒng)滿足一定的停止條件。
關(guān)注爬蟲(chóng)：工作過(guò)程復(fù)雜，需要根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾掉無(wú)關(guān)鏈接，保留有用鏈接，放入U(xiǎn)RL隊(duì)列進(jìn)行爬行。然后，根據(jù)一定的搜索策略從隊(duì)列中選擇下一個(gè)網(wǎng)頁(yè)的URL，并重復(fù)上述過(guò)程，直到滿足系統(tǒng)的一定條件。
另外，爬蟲(chóng)抓取的所有網(wǎng)頁(yè)都將被系統(tǒng)存儲(chǔ)，進(jìn)行一定程度的分析和過(guò)濾，并建立索引，以備以后的查詢和檢索。對(duì)于聚焦爬蟲(chóng)來(lái)說(shuō)，在這個(gè)過(guò)程中得到的分析結(jié)果也可能為后續(xù)的爬行過(guò)程提供反饋和指導(dǎo)。
爬行器策略（爬蟲(chóng)是如何解決ip被封問(wèn)題的）通過(guò)本地程序抓取其他人的網(wǎng)站。如果ip被屏蔽了，可以采取以下措施：
1. 技術(shù)處理【調(diào)整Web爬蟲(chóng)的請(qǐng)求頻率】
在節(jié)目中使用偽裝，不要明目張膽地攀爬（使用代理IP）。使用高級(jí)爬行器（無(wú)限期爬行）
2. 簡(jiǎn)單的處理【隨時(shí)改變動(dòng)態(tài)IP】
如果ip在公司被屏蔽了，可以考慮重新啟動(dòng)路由器，重新獲取公網(wǎng)ip
自動(dòng)更改IP地址，防爬蟲(chóng)被封，多線程，引用（待驗(yàn)證）
