Python爬虫的基本原理

        网页请求的过程分为两个环节:Request (请求)和Response(响应),Python爬虫就是模拟这个行为,通过请求获取网页信息。


        网页请求的过程分为两个环节:

        Request (请求):每一个展示在用户面前的网页都必须经过这一步,也就是向服务器发送访问请求。

        Response(响应):服务器在接收到用户的请求后,会验证请求的有效性,然后向用户(客户端)发送响应的内容,客户端接收服务器响应的内容,将内容展示出来,就是我们所熟悉的网页请求,如图所示。

001.jpg

        网页请求的方式也分为两种:

        GET:最常见的方式,一般用于获取或者查询资源信息,也是大多数网站使用的方式,响应速度快。

        POST:相比 GET 方式,多了以表单形式上传参数的功能,因此除查询信息外,还可以修改信息。

所以,在写爬虫前要先确定向谁发送请求,用什么方式发送。