Python爬虫必须要用代理IP吗

更新：2020/1/17 13:12:35 浏览：681次

       一提到爬虫，我们都会很自然的想到代理IP，因为代理IP是公认的反爬利器。对于爬虫来说，为了防止在爬取的过程中IP被封禁，一个最有效的方式就是选择使用代理IP，通过切换IP来协助完成工作。

       网站为什么要反爬虫呢？其中的一个重要原因，就是爬虫会在短时间内发出大量请求，占用服务器的带宽，影响正常用户的访问，严重的还会导致网站瘫痪，所以大多数网站都会设置“反爬虫”措施。如果爬虫爬取的速度不是很快，爬取的信息量不是很大，就很可能不会触发网站的“反爬”措施，这样也就不需要使用可以切换IP的代理IP了。如果爬虫的任务量非常大，那么选择使用代理IP协助完成工作就显得尤为重要了。毕竟我们是为了追求效率才会选择爬虫来工作的，所以代理IP该用还是要用的。