隨著手機的普及,app越來越多,很多行業(yè)甚至都開始專注于app的開發(fā),所以用爬蟲來爬app是順理成章的。 目前國內(nèi)大部分人都使用安卓手機,那么從安卓應用中抓取數(shù)據(jù)的方法有哪些呢?
1。 下載并設(shè)置fiddler抓包工具
Fiddler是一個http協(xié)議調(diào)試代理工具,它可以記錄和檢查你的電腦和互聯(lián)網(wǎng)之間的所有http通信,設(shè)置斷點,查看所有“進出”Fiddler 數(shù)據(jù)(指cookies、html、js、css等文件)。
打開下載的fiddler,進行設(shè)置,找到Tools -> Options,然后在HTTPS工具欄下勾選Decrpt HTTPS traffic,在彈出的選項欄下勾選Ignore server certificate errors。
設(shè)置允許外部設(shè)備向fiddler發(fā)送HTTP/HTTPS
動態(tài)IP模擬器
同理,在Connections選項欄下勾選Allow remote computer to connect,并使 備注住上面的端口號8888,后面會用到。
2。 手機設(shè)置
為手機設(shè)置代理,前提是電腦和手機需要在同一個網(wǎng)絡(luò)下操作,比如使用wifi或者熱點。
反爬的方法有很多,比如在一定時間段內(nèi)對頻繁訪問的IP阻塞接口(會誤殺),這是一個很好的方法 繞過代理IP池的使用 這是可以避免的。
3。 下載Fiddler的安全證書
用安卓手機瀏覽器打開:http://192.168.1.96:8888,點擊“FiddlerRoot證書”,安裝證書。
4。 測試效果,打開一個app
返回200,表示已經(jīng)發(fā)送請求,成功接收到響應。 這樣就成功抓到了安卓手機終端的數(shù)據(jù)包。
以上詳細說明了Android app的數(shù)據(jù)抓取方法。 相比web端,app端的數(shù)據(jù)其實更容易抓取,反爬蟲也沒有那么強。 它們中的大多數(shù)也是 http/https 協(xié)議。 可以根據(jù)流程抓取測試數(shù)據(jù),如果要獲取ios數(shù)據(jù)也可以使用此方法。