1、我们在pycharm上编写网络爬虫的时候,为了防止出现403的错误,一般都会首先设置一下请求头,具体如下图所示。
2、请求头,不需要我们手动去敲代码,我们其实可以直接从目标网站上,找到这个请求头,如下图,我们首先需要进入到目标网页当中。
3、进入到目标网页之后,我们右键鼠标,点击检查按钮选项,或者直接使用快捷键Ctrl+shift+I进行操作。
4、进入到检查页面之后,在如下图所示的这个位置,我们选择Network,具体如下图所示。
5、我们点击目标网页信息,然后,在右侧的信息的最下面的部分,就可以看到User-Agent的信息啦!
6、我们可以复制一下这个User-Agent请求头,模仿浏览器的浏览行为,将其粘贴在pycharm的headers的后面,并以字典的形式进行呈现即可完成请求头的代码编写。