IP模擬器
高可用性的分布式IP代理池，現(xiàn)在就試試吧。花了大約兩個月的時間，到目前為止，高度可用的分布式代理IP池終于完成了，現(xiàn)在已經(jīng)在Github上開源了。寫這個項目主要有兩個原因。首先，我的部分工作通常涉及處理網(wǎng)絡(luò)爬蟲，代理IP有時可以發(fā)揮非常重要的作用。筆者調(diào)查了一些開源的代理IP收集程序，發(fā)現(xiàn)這些程序在抓取、解析、檢查、資源調(diào)度等方面總是存在一些不盡如人意的地方。第二，通過與一位網(wǎng)友（嚴格意義上不算伯樂）的交流，我產(chǎn)生了一些關(guān)于使用Scrapy編寫分布式網(wǎng)絡(luò)爬蟲的想法，而這恰好是一個嘗試驗證這些想法的機會。
本文的目的是解釋haipproxy的主要體系結(jié)構(gòu)和過程項目模塊。一個基于Scrapy和Redis的分布式網(wǎng)絡(luò)爬蟲，用于IP爬行和檢查，對應(yīng)于項目的爬蟲?；赗edis的分布式任務(wù)調(diào)度工具，對應(yīng)于項目的調(diào)度程序和redis util.py。
爬行器分為代理爬行和驗證，實現(xiàn)思路是相似的。它主要使用Scrapy的spider_idle信號和DontCloseSpider異常來防止Scrapy在沒有數(shù)據(jù)時關(guān)閉。啟動調(diào)度程序，包括代理爬蟲調(diào)度程序和驗證爬蟲調(diào)度程序。調(diào)度程序?qū)⒆x取rules.py中要爬取的網(wǎng)站，將它們組織成任務(wù)，并將它們存儲在每個任務(wù)隊列中。
啟動每一個網(wǎng)絡(luò)爬蟲，包括IP抓取和驗證程序。項目中的網(wǎng)絡(luò)爬蟲和調(diào)度器具有高可用性，可以根據(jù)實際情況進行分布式部署，無需修改代碼。由于本文的目的不是為該項目編寫詳細的使用文檔，因此省略了指定啟動網(wǎng)絡(luò)爬蟲類型和調(diào)度器類型的介紹。
IP收集爬蟲啟動后，它將從相應(yīng)的任務(wù)隊列中獲取任務(wù)并執(zhí)行它們，然后將獲取的結(jié)果存儲在一個init隊列中。
init隊列由一個特殊的驗證器HttpbinInitValidator使用，它過濾出透明的代理，然后將可用的代理輸入到每個驗證的隊列中。調(diào)度程序?qū)⒍ㄆ趶慕?jīng)過驗證的隊列中獲取代理IP，并將其存儲在臨時隊列中。在這里，臨時隊列被用來使驗證更加公平。如果直接從被驗證隊列中獲取資源進行驗證，會增加不公平性。
此時，每個驗證者（非init驗證者）將從相應(yīng)的臨時隊列中獲取要驗證的IP并進行驗證。此處省略驗證細節(jié)。驗證完成后，將其放回已驗證隊列，等待下一輪驗證。Web Crawler客戶端將使用其請求成功率（以分數(shù)表示）、響應(yīng)速度和最后檢查時間滿足settings.py中配置的需求的代理IP。
