如今，數(shù)據(jù)生成非?？?。面對大量需要抓取的網(wǎng)頁，只有分布式架構(gòu)才能在短時間內(nèi)完成一輪抓取工作。即把一個問題分成若干獨立的任務(wù)，每個任務(wù)運行