談?wù)勈褂门老x(chóng)時(shí)限制ip的六種方法
在抓取的時(shí)候，不可避免的會(huì)遇到網(wǎng)頁(yè)的反抓取封鎖，于是就有了抓取攻擊和防御，兩種力量在攻擊和防御之間不斷較量。讓下面我們來(lái)談?wù)勈褂门老x(chóng)時(shí)限制ip的六種方法！
1.IP必須是必需的。如果可能，建議使用代理IP。
2.在具有外部IP的計(jì)算機(jī)上部署crawler代理服務(wù)器。
3.您的程序使用循環(huán)訓(xùn)練而不是代理服務(wù)器來(lái)訪問(wèn)您想要收集的網(wǎng)站。
好處:
1.程序邏輯變化不大，只需要代理函數(shù)。
2.根據(jù)其他網(wǎng)站不同的屏蔽規(guī)則，你只需要多加幾個(gè)代理就可以了。
3.即使某個(gè)特定IP被屏蔽，也可以直接注銷代理服務(wù)器到OK，程序邏輯不需要改變。
1.ADSL腳本，監(jiān)控是否被屏蔽，然后不斷切換ip。
2.設(shè)置查詢頻率限制
正統(tǒng)的方式是調(diào)用這個(gè)網(wǎng)站提供的服務(wù)接口。
1.用戶代理偽裝和輪換
2.使用代理ip和環(huán)路
3.Cookies處理，部分網(wǎng)站對(duì)用戶登錄政策寬松。
盡可能模擬用戶行為:
1.用戶代理經(jīng)常變化。
2.將訪問(wèn)間隔設(shè)置得更長(zhǎng)，并將訪問(wèn)時(shí)間設(shè)置為一個(gè)隨機(jī)數(shù)；
3.訪問(wèn)頁(yè)面的順序也可以是隨機(jī)的。
網(wǎng)站屏蔽的依據(jù)一般是特定IP單位時(shí)間的訪問(wèn)量。我會(huì)把收集的任務(wù)按照目標(biāo)站點(diǎn)的IP分組，控制每個(gè)IP單位時(shí)間發(fā)送的任務(wù)數(shù)量，避免阻塞。當(dāng)然這個(gè)前提是你收集了很多網(wǎng)站。如果只收藏一個(gè)網(wǎng)站，就只能通過(guò)多個(gè)外部IP來(lái)實(shí)現(xiàn)。
爬蟲(chóng)的壓力控制；考慮使用代理來(lái)訪問(wèn)目標(biāo)站點(diǎn)。
1.減少抓取的頻率，設(shè)置更長(zhǎng)的時(shí)間，訪問(wèn)時(shí)間使用隨機(jī)數(shù)。
2.用戶代理的頻繁切換(模擬瀏覽器訪問(wèn))
3.多頁(yè)數(shù)據(jù)，隨機(jī)訪問(wèn)然后抓取數(shù)據(jù)。
4.更改用戶IP
精靈IP代理為您提供安全、穩(wěn)定、高效、便捷的爬蟲(chóng)代理地址服務(wù)，在提供高低代理IP資源的同時(shí)，還可以設(shè)置不同類型的IP代理，設(shè)置去重標(biāo)準(zhǔn)。
