1、Python爬虫请求流程：无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：headers，比如知乎的requestsheaders:
2、这里面的大多数的字段都是浏览器向服务器“表明身份”用的，对于爬虫程序来说，最需要注意的字段就是：User-Agent。很多网站都会建立user-agent白名单，只有属于正常范围的user-agent才能够正常访问。
3、可以看到，这里的请求被拒绝了，并且返回了一个500的错误码：这里就是因为requests库本身的headers是这样的：
4、这里面并没有user-agent字段，自然不被知乎的服务器所接受了。解决方法：可以自己设置一下user-agent，或者更好的是，可以从一系列的user-agent里随机挑出一个符合标准的使用，代码如下：
5、通过上文，我们可以知道Python爬虫怎么设置请求头有效，避免错误的设置，另外可以多备不同的user-agent，掭跞绅昭轮换使用，更好的伪装自己。如果遇到IP限制，可以使用换IP软件如芝麻软件进行IP切换，突破IP限制，可以持续的采集数据，提高工作效率。