爬蟲(chóng)是構(gòu)建大數(shù)據(jù)平臺(tái)的基礎(chǔ)。它負(fù)責(zé)抓取網(wǎng)頁(yè)信息，對(duì)網(wǎng)頁(yè)進(jìn)行識(shí)別、分類和過(guò)濾。我們熟悉的電子商務(wù)、搜索、新聞以及各大門(mén)戶網(wǎng)站，每天都有強(qiáng)大的爬蟲(chóng)集群在高負(fù)載下運(yùn)行。他們“和諧”地聚集在一起，從新聞和新聞中學(xué)習(xí)。他們盡最大努力搜索和優(yōu)化網(wǎng)絡(luò)信息，各大研究機(jī)構(gòu)盡最大努力建立數(shù)據(jù)集。

動(dòng)態(tài)IP模擬器

然而，各大網(wǎng)站都不給爬行者喘息的機(jī)會(huì)，讓他們?yōu)樗麨椤．吘箖?nèi)容的價(jià)值在任何時(shí)候都是顯而易見(jiàn)的，所以爬行者和反爬行者之間有混戰(zhàn)。

在與爬行者對(duì)爬行者的攻防戰(zhàn)中，沒(méi)有一刻可以放松。為了制定反爬行網(wǎng)站的反爬行策略，你必須根據(jù)爬蟲(chóng)的特點(diǎn)選擇一個(gè)計(jì)劃。爬蟲(chóng)的特點(diǎn)是什么？腳本+自動(dòng)化。因此，反對(duì)攀登的破壞性動(dòng)作不超過(guò)兩種：

首先，非腳本訪問(wèn)=》瀏覽器真實(shí)性檢測(cè)。

第二，非自動(dòng)訪問(wèn)=>訪問(wèn)用戶的真實(shí)性檢測(cè)。

由于其運(yùn)行環(huán)境和工作原理，瀏覽器會(huì)帶來(lái)一些獨(dú)特的屬性：有協(xié)議協(xié)商頭和可執(zhí)行的JavaScript代碼段。然后基于瀏覽器的真實(shí)性檢測(cè)，構(gòu)建了第一個(gè)抵抗爬行者的堡壘。

反爬蟲(chóng)黨在活動(dòng)之初就率先提供了用戶代理、內(nèi)容類型、應(yīng)用程序、我接受編碼、接受語(yǔ)言、x-forward-for、referer等頭格。第一批標(biāo)題與普通瀏覽器不同的爬蟲(chóng)一個(gè)接一個(gè)地被觸發(fā)，瞬間死亡。然而，這種爬行動(dòng)物并不是吃素的。他們用一個(gè)巧妙的詭計(jì)來(lái)逃避真相，并通過(guò)鍛造計(jì)價(jià)器頭迅速突破了防線。

反爬蟲(chóng)一點(diǎn)也不驚慌，在html中添加了一個(gè)JavaScript腳本。因?yàn)樗臑g覽器提前知道地雷的位置，所以可以安全地繞過(guò)它，而不影響正常的網(wǎng)頁(yè)顯示。然而，爬行者并不知道，一個(gè)接一個(gè)地被抓，被打死或受傷。直到大殺手Node.js出現(xiàn)之前，JavaScript都可以直接執(zhí)行。爬行者終于反擊了，又贏了一場(chǎng)勝利。

 反爬行者沒(méi)有考慮其他問(wèn)題，他們用迷宮般的“單頁(yè)應(yīng)用程序”防御了他們的堡壘。然而，由于單頁(yè)面應(yīng)用的巧妙結(jié)構(gòu)，爬蟲(chóng)使出了渾身解數(shù)，卻無(wú)法分析出任何數(shù)據(jù)，一籌莫展。單頁(yè)應(yīng)用程序在戰(zhàn)場(chǎng)上占據(jù)主導(dǎo)地位。反登山者開(kāi)始了一場(chǎng)片面的屠殺，爬蟲(chóng)的士氣被摧毀了。

終于，這場(chǎng)戰(zhàn)斗的終結(jié)者出現(xiàn)了。他是無(wú)頭鉻技術(shù)。新技術(shù)一出現(xiàn)，爬蟲(chóng)軍的武庫(kù)就煥然一新：硒元素、傀儡大師、幻影JS、卡斯珀JS等重型攻城殺手不斷取得成績(jī)，反爬行者則是拒人于千里之外。爬蟲(chóng)軍終于在第一場(chǎng)戰(zhàn)役中取得了勝利。

得益于無(wú)頭Chrome的出現(xiàn)，反爬蟲(chóng)在瀏覽器識(shí)別戰(zhàn)中立于不敗之地。但勝敗乃兵家常事。東方不亮西方亮。在數(shù)據(jù)防御的關(guān)鍵時(shí)刻，防爬蟲(chóng)意外地發(fā)現(xiàn)了一個(gè)現(xiàn)象。雖然瀏覽器很難識(shí)別，但人性是貪婪的。人類可以做很多腳本做不到的事情。即使是人的行為也有固定的規(guī)則。就這樣，反爬隊(duì)員們苦干了很久，終于再次踏上了戰(zhàn)場(chǎng)。

第一道防線直接指向爬蟲(chóng)的關(guān)鍵——貪婪（訪問(wèn)頻率）。這種每秒10次的高頻訪問(wèn)請(qǐng)求怎么會(huì)發(fā)生在一個(gè)人身上呢？爬蟲(chóng)們不得不大幅度降低攻擊頻率，反爬蟲(chóng)們終于松了一口氣。

第二道防線的目標(biāo)是爬蟲(chóng)的痛點(diǎn)-懶惰(固定IP)。最近，同一個(gè)IP發(fā)出了數(shù)百個(gè)請(qǐng)求，因?yàn)槿绱?，爬蟲(chóng)必須付出巨大的代價(jià)來(lái)購(gòu)買代理IP。即便如此，反爬蟲(chóng)仍然可以通過(guò)阻止公共IP地址來(lái)關(guān)閉大量的代理IP地址。經(jīng)過(guò)反爬隊(duì)的精心操作，敵人的攻勢(shì)逐漸有效地被削弱了。

動(dòng)態(tài)IP模擬器

這樣，爬蟲(chóng)和反爬蟲(chóng)的斗爭(zhēng)還在繼續(xù)，誰(shuí)也不會(huì)認(rèn)輸，有時(shí)候反爬蟲(chóng)策略會(huì)升級(jí)，爬蟲(chóng)策略也會(huì)升級(jí)。