數(shù)據(jù)采集爬蟲(chóng)代理ip的基本原理,代理ip的基本原理:
代理實(shí)際上指的是代理服務(wù)器,英文叫代理服務(wù)器。其功能是代表用戶(hù)在網(wǎng)絡(luò)上獲取網(wǎng)絡(luò)信息。
形象地說(shuō),它是網(wǎng)絡(luò)信息的中轉(zhuǎn)站。當(dāng)我們通常請(qǐng)求一個(gè)網(wǎng)站時(shí),我們將請(qǐng)求發(fā)送到網(wǎng)絡(luò)服務(wù)器,網(wǎng)絡(luò)服務(wù)器將響應(yīng)返回給我們。
如果設(shè)置了代理服務(wù)器,它實(shí)際上是本地計(jì)算機(jī)和服務(wù)器之間的橋梁。此時(shí),本地計(jì)算機(jī)不會(huì)直接向Web服務(wù)器發(fā)送請(qǐng)求,而是向代理服務(wù)器發(fā)送請(qǐng)求。請(qǐng)求將被發(fā)送到代理服務(wù)器,然后代理服務(wù)器將它發(fā)送到網(wǎng)絡(luò)服務(wù)器,然后代理服務(wù)器將網(wǎng)絡(luò)服務(wù)器返回的響應(yīng)轉(zhuǎn)發(fā)到本地計(jì)算機(jī)。
這樣我們也可以正常訪問(wèn)web頁(yè)面,但是這個(gè)過(guò)程中Web服務(wù)器識(shí)別的真實(shí)IP不再是我們自己機(jī)器的IP,成功實(shí)現(xiàn)了IP偽裝,這就是代理的基本原理。