如何獲取ip地址？
jj
2022-08-23
我們在抓取一些網(wǎng)站的時(shí)候，為了避免爬蟲被屏蔽，經(jīng)常會(huì)更換IP。如何獲取ip地址？
那么幾個(gè)代理IP換IP有什么區(qū)別呢？應(yīng)該如何選擇？
代理IP類型
IP可以分為四種類型。前面提到的透明代理IP，匿名代理IP，高度匿名代理IP，還有一個(gè)就是混淆代理IP。在最基本的安全級(jí)別上，它們的順序應(yīng)該是:隱藏>混淆>匿名>透明。
代理IP原則
代理的類型主要取決于代理服務(wù)器的配置。不同的配置會(huì)形成不同類型的代理。在配置中，REMOTE_ADDR、HTTP_VIA、HTTP_X_FORWARDED_FOR這三個(gè)變量是決定性因素。
代理IP選擇
普通匿名代理IP可以隱藏客戶端的真實(shí)IP，但是也會(huì)改變我們的請求信息，服務(wù)器可能會(huì)認(rèn)為我們使用了代理。但是在使用這個(gè)代理的時(shí)候，被訪問的網(wǎng)站雖然不能知道客戶端的IP地址，但是還是可以知道你在使用代理的。當(dāng)然，一些可以檢測IP的網(wǎng)頁還是可以找到客戶端的IP的。
然而，高度匿名的代理不會(huì)改變客戶機(jī)的請求，所以看起來像是一個(gè)真實(shí)的客戶機(jī)瀏覽器在訪問它。這個(gè)時(shí)候客戶端的真實(shí)IP是隱藏的，服務(wù)器不會(huì)認(rèn)為我們使用了代理。
因此，當(dāng)爬蟲需要使用爬蟲代理ip時(shí)，盡量選擇普通匿名代理和高匿名代理。此外，如果你想確保數(shù)據(jù)不被代理服務(wù)器所知，建議使用HTTPS協(xié)議代理。
