IP模擬器
如何寫爬蟲可以暢通無阻？很多朋友問，能不能寫出一個(gè)可以一直暢通無阻工作的爬蟲？這很難，但是可以朝著這個(gè)目標(biāo)去做。通過實(shí)施一些小策略，你可以讓你的網(wǎng)絡(luò)爬蟲活得更久。
一.用戶代理
用戶代理(User agent)又稱用戶代理(User-Agent)，是用戶訪問的工具，告訴服務(wù)器用戶正在使用哪些web瀏覽器訪問網(wǎng)站。如果沒有設(shè)置用戶代理，很多網(wǎng)站都不會(huì)讓你查看內(nèi)容。如果您正在使用rquests庫，您可以執(zhí)行以下操作:
如果你已經(jīng)有了一些用戶代理，你如何使用它們？那么，最好的方法是從文本文件、數(shù)據(jù)庫和Python列表中隨機(jī)選擇一個(gè)用戶代理來使用。
第二，推薦人
當(dāng)瀏覽器訪問一個(gè)網(wǎng)頁時(shí)，默認(rèn)會(huì)向服務(wù)器發(fā)送一個(gè)GET請(qǐng)求，其中會(huì)包含很多HTTP頭。的屬性之一是Http Referres用于標(biāo)記訪問鏈接的來源。
如果想抓取各個(gè)產(chǎn)品頁面，可以在引用中設(shè)置相關(guān)類目的網(wǎng)址，也可以找到想要抓取的域名的反向鏈接。
第三，代理IP
代理IP的重要性不言而喻，高效穩(wěn)定的代理IP是保證爬蟲持續(xù)工作的前提。反爬蟲策略往往限制單個(gè)IP可以訪問網(wǎng)站的頻率和次數(shù)。必須使用多個(gè)代理IP，避免被限制，提高工作效率。這里推薦短期優(yōu)質(zhì)代理IP和IP模擬器代理一手私人代理。
第四，睡眠延遲
在請(qǐng)求之間放一些延遲總是好的，睡眠時(shí)間要隨機(jī)無規(guī)律，以免被識(shí)別為爬蟲。您可以使用numpy.random.choice()來實(shí)現(xiàn)這一點(diǎn)，它將在您想要延遲的服務(wù)中傳遞一個(gè)隨機(jī)數(shù)列表:
也許沒有爬蟲可以一直暢通無阻的工作，但是你總是可以采取一些措施讓爬蟲盡可能長(zhǎng)時(shí)間的工作。不同的網(wǎng)站有不同的策略，可能會(huì)不斷調(diào)整升級(jí)，所以爬蟲策略也需要不斷升級(jí)，才能持續(xù)穩(wěn)定的工作。
