選擇代理IP都是從成本和效率的考慮出發(fā)
在使用python爬蟲的時(shí)候，我們經(jīng)常會遇到想要抓取的網(wǎng)站，并且采用了嚴(yán)格的反抓取機(jī)制。當(dāng)網(wǎng)頁信息是高強(qiáng)度時(shí)、在高效抓取的時(shí)候，往往會給網(wǎng)站服務(wù)器帶來很大的壓力，所以如果同一個(gè)IP反復(fù)抓取同一個(gè)網(wǎng)頁，很可能會被屏蔽，那么如何解決呢？只有大量的代理IP資源可供選擇俗話說: IP被封，千千有幾千個(gè)IP。
那么海量的代理IP資源哪里來的呢？別忘了找百度搜索，大量代理IP資源，免費(fèi)代理IP，代理IP提供商。
總結(jié)一下，代理IP大致可以分為四種:免費(fèi)代理IP、普通代理IP池、共享IP池和專用IP池。什么這四個(gè)有什么區(qū)別？互聯(lián)網(wǎng)上的免費(fèi)代理IP共享。任何人未經(jīng)授權(quán)都可以使用。因?yàn)槿魏稳硕伎梢允褂盟?，大多?shù)免費(fèi)代理IP號碼不 它們不存在，而且被濫用了。普通代理IP或者開放代理IP其實(shí)就是免費(fèi)代理IP。通過收集免費(fèi)代理IP，經(jīng)過初步驗(yàn)證篩選后，放入IP池，通過API提取使用。這個(gè)代理IP的效率也高不了多少，一般在1-40%左右，被稱為“萬人騎”共享IP池是代理IP提供商通過機(jī)房搭建的IP池，然后賣給不同的客戶。這個(gè)IP是高效的，大部分付費(fèi)代理IP都是如此。IP池的大小和用戶數(shù)量決定了服務(wù)的成功率獨(dú)占IP池是一個(gè)完全獨(dú)享的撥號服務(wù)器池，一個(gè)人使用一個(gè)IP池，不斷重?fù)埽@得大量IP！
考慮到成本優(yōu)先級為:，免費(fèi)代理IP，普通代理IP，共享IP池，獨(dú)享IP池。代理IP基本沒有成本，只需要寫幾段代碼抓取驗(yàn)證即可。至于我能用多少，我知道。普通代理IP的成本也很低。一天幾塊錢，一個(gè)月幾十塊錢，可以有很多代理IP。至于多少，就看運(yùn)氣了。共享IP池成本略高，目前市場上基本都是這樣，有提取間隔、一次獲得的IP數(shù)量、同時(shí)使用和其他限制，獨(dú)享IP池的成本比較高。目前市場上只有幾家，很大一部分都是打著專屬IP池的幌子騙人的選擇的時(shí)候睜大眼睛。
很多時(shí)候，選擇代理IP都是從成本和效率的考慮出發(fā)，但有時(shí)并不要只考慮一個(gè)方面，我們會通過成本和效率的綜合考慮，最終做出最合適的選擇。
