对于爬虫程序来说，最需要注意的字段就是：User-Agent
很多网站都会建立 user-agent白名单，只有属于正常范围的user-agent才能够正常访问。
缺点：容易伪造头部。
对于爬虫程序而言：
如果不设置User-Agent，服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫。
所以需要伪造User-Agent进行请求【可以手动设置一个User-Agent，但是更好的是提供多个User-Agent】
2、IP限制
如果一个固定的ip在短暂的时间内，快速大量的访问一个网站，后台管理员可以编写IP限制，不让该IP继续访问。
缺点：可以使用免费/付费代理，绕过检测。
对于爬虫程序而言：使用代理（池）