安装python3爬虫需要的库：

    pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter

爬虫的原理：

    1、什么是爬虫?

                请求网站并提取数据的自动化程序

    2、爬虫的基本流程

                1、发起请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。

                2、获取响应内容：如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML、json字符串、二进制数据（图片、视频）等类型。

                3、解析内容：得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转为Json对象解析，肯呢是二进制数据，可以做保存或者进一步处理。

                4、保存数据：保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。