IP模擬器
第一，為什么要造輪子？
有興趣的同學可以去各大招聘網(wǎng)站看一看爬蟲工程師的要求。大部分都是JAVA，PYTHON甚至NODEJS，C++，或者在開源中國查詢C#的爬蟲。只有幾個很簡單的項目幾年沒更新了。從我看的一些文章來看，就純性能而言，PYTHON與JAVA相比并不處于弱勢。況且根據(jù)我多年的開發(fā)經(jīng)驗，大部分爬蟲的性能瓶頸都是并發(fā)下載(網(wǎng)速)和IP池，所以我覺得用C#寫一個爬蟲框架是絕對可行的。為什么我的大？NET有強大的爬蟲框架嗎？老實說，我不知道。可能爬蟲框架核心比較簡單，大牛不喜歡。也許吧。NET開發(fā)人員沒有其他語言的開發(fā)人員勤奮，也沒有。NET沒有其他語言高。隨著……的宣布。NET開源新聞，我覺得是時候開發(fā)一個跨平臺跨語言的爬蟲框架了。我不喜歡復雜的事情。我一直覺得復雜的事情容易出問題，可能跟我個人能力有限，控制不了有關。所以在設計DotnetSpider的時候，我參考了JAVA下一個輕量級爬蟲框架webmagic，但是我絕對有自己的理解和改進。
二、框架設計
其實我覺得爬蟲的設計已經(jīng)相當成熟了，大部分都會拿出下面的圖來說事。由于我是參考webmagic，所以要貼出來給大家看看(圖片直接取自webmagic)。
調度器:負責URL的調度，可以實現(xiàn)如queue、priority scheduler、redisscheduler(可用于分布式)等等。
下載器:負責下載HTML，如HttpDownloader、瀏覽器下載器(web驅動)、Fiddler下載器、本地文件下載器等。
PageProcesser:負責HTML解析和符合規(guī)則的新URL解析。從上圖可以看出，傳入處理器的Page對象包含了下載的完整HTML或JSON數(shù)據(jù)。
管道:負責數(shù)據(jù)存儲，如MySql、MySqlFile、MSSQL、MongoDb等。
第三，與其他爬行動物的區(qū)別
用JSON來定義crawler，這樣就可以最終實現(xiàn)跨語言(只需要為不同的語言編寫一個JSON轉換的provider)
因為使用JSON進行解析，所以可以實現(xiàn)一個類中的屬性是其他類(只有MongoDB，在關系數(shù)據(jù)庫中不容易存儲)。
自動建表
有一個版本的。NET核心，所以可以跨平臺(很多任務已經(jīng)在LINUX下運行)
由于IP代理的不穩(wěn)定性，沒有仔細測試和使用代理模塊，而是實現(xiàn)了另一種IP切換方式(ADSL撥號)。
添加基礎數(shù)據(jù)驗證模塊。
第四，最基本的使用方法
最基本的使用方法是不需要參考Extension，只需要參考Common，Core，JLog，然后需要自己實現(xiàn)IPipeline和Processer。
使用我們的代理云有什么優(yōu)勢？
1分布式代理IP數(shù)萬個代理IP節(jié)點分布在全國各省市，沒有重復的IP段。
支持多線程和高并發(fā)。
家庭寬帶線路所有資源來自家庭寬帶終端，IP綠色純凈，適用于所有項目。
多許可證使用代理IP時，需要用戶名密碼或IP白名單綁定，后臺可自由切換。
5長效+HTTPS所有代理IP都支持HTTPS協(xié)議，代理IP平均使用時間在沒有客戶端支持的情況下長達4小時。
