官方文档如下介绍： Beautiful Soup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup 会帮你节省数小时甚至数天的工作时间. 1. 安装 可以直接使用 pip 安装： $ pip install beautifulsoup4 BeautifulSoup 不仅支持 HTML 解析器,还支持一些第三方的解析器，如，lxml，XML，html5lib 但是需要安装相应的库。 $ pip ins…

在XML文件中查找信息的一套规则/语言，根据XML的元素或者属性进行遍历。 推荐教程:https://www.runoob.com/xpath/xpath-syntax.html Xpath 开发工具 开源表达式编辑工具：XMLQuire Chorme插件：Xpath Helper 可以使用谷歌浏览器直接粘贴xpath路径，但是可能通用性不强 使用方法 安装lxml pip install lxml conda install lxml 导入etree from lxml import etree 构建html树 …

写在前面 推荐教程：https://www.runoob.com/python/python-reg-expressions.html 是一个计算机科学概念 用于使用单个字符串来描述，匹配某个规则的字符串 常常用来检索，替换某些模式的文本 正则的写法 .(点号)：表示任意一个字符，除了\n [](中括号)，匹配括号中列举的范围，如[0-9]代表任意单个字数，[a-z]代表任意单个小写字母 \d: 任意一个数字 \D：除了数字都可以 \s：表空格，tab键 \S：除了空格，tab键之外 \w：单词字符，a-z,A-Z…

模块安装 建议新建一个虚拟环境后再安装 conda create -n xxxx python=3.8 # 新建一个虚拟环境，并且指定python版本 conda activate xxxx # 激活该虚拟环境 也可以直接在pycharm中新建一个项目，选择conda虚拟环境 pip或者conda安装新环境 具体安装方法如下： conda install requests pip install requests get请求 get请求为http协议常用请求，主要有4部分，请求url,请求头，请求方法，请求参数 下…

python爬虫预备知识 想学爬虫？建议线看看下面几个文档，了解一下目前web端网页的结构类型，如果已经熟悉了，可以跳过。 HTTP教程：https://www.runoob.com/http/http-tutorial.html json文档：https://www.runoob.com/json/json-tutorial.html xml文档：https://www.runoob.com/xml/xml-tutorial.html html文档：https://www.runoob.com/html/html…