爬取网站时,一般稍微有点规模的网站,都会有IP封禁措施,而绕过的方法也是动态IP代理池
推荐几个付费IP代理服务,付费的其实稳定好用:
- http://www.iprent.cn/
-
阿布云
https://www.abuyun.com/http-proxy/products.html
一般选用动态版即可满足
有了IP代理池,使用urllib2、requests、selenium登录都可以配置好代理池进行加载爬取;
博学之、审问之、慎思之、明辨之、笃行之
爬取网站时,一般稍微有点规模的网站,都会有IP封禁措施,而绕过的方法也是动态IP代理池
推荐几个付费IP代理服务,付费的其实稳定好用:
阿布云
https://www.abuyun.com/http-proxy/products.html
一般选用动态版即可满足
有了IP代理池,使用urllib2、requests、selenium登录都可以配置好代理池进行加载爬取;