day26：静态爬虫之requests

模块安装

• 建议新建一个虚拟环境后再安装

conda create -n xxxx python=3.8  # 新建一个虚拟环境，并且指定python版本
conda activate xxxx    # 激活该虚拟环境

• 也可以直接在pycharm中新建一个项目，选择conda虚拟环境
• pip或者conda安装新环境
• 具体安装方法如下：

conda install requests
pip install requests

get请求

• get请求为http协议常用请求，主要有4部分，请求url,请求头，请求方法，请求参数
• 下面演示下载百度官网

import requests
url = 'https://www.baidu.com'  # 请求url
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) \
    Chrome/80.0.3987.149 Safari/537.36'
}  # 请求头，从浏览器中粘贴过来的
response = requests.get(url, headers=headers)  # 将相应放到response变量
print(response)  #　response是一个object，默认打印是状态码
"""
<Response [200]>
"""

• 如果要打印网页，可以用reponse.text

print(response.text)

response常用属性与方法

• response：默认显示状态码
• response.text：显示文本内容，一般为html或者xml时使用
• response.content：显示二进制内容，如果是图片或者不确定编码方式时使用

• response.json()：显示json对象，如果是json格式时使用

• response.url：显示返回的url，一般和原请求网页一样，触发有跳转

• response.headers：显示返回头
• response.cookies：显示cookies

get方法加参数请求

• 以百度搜索查询为例

import requests
url = 'https://www.baidu.com/s'  # 请求url
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) \
    Chrome/80.0.3987.149 Safari/537.36'
}  # 请求头，从浏览器中粘贴过来的
params = {
    'ie': 'UTF-8',
    'wd': '你好'
}  # 加入两个请求参数，可以直接从url中提取
response = requests.get(url, headers=headers, params=params)  # 将相应放到response变量
print(response.text)

post请求

• 当网页提交数据，如登录，填写调查问卷并提交，都是用post请求
• post请求用于提交数据到服务器，数据库予以储存或者相应新内容
• 以某翻译网站为例

import requests
url = 'http://fy.iciba.com/ajax.php?a=fy'
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) \
    Chrome/80.0.3987.149 Safari/537.36'
}  # 请求头，从浏览器中粘贴过来的
data = {
    'f': 'auto',
    't': 'auto',
    'w': 'hello',
}
response = requests.post(url, headers=headers, data=data)  # 将相应放到response变量
print(response)
print(response.json())
"""
<Response [200]>
{'status': 0, 'content': {'ph_en': "hə'ləʊ", 'ph_am': 'həˈloʊ', 'ph_en_mp3': '',
 'ph_am_mp3': 'http://res.iciba.com/resource/amp3/1/0/5d/41/5d41402abc4b2a76b9719d911017c592.mp3', 
 'ph_tts_mp3': 'http://res-tts.iciba.com/5/d/4/5d41402abc4b2a76b9719d911017c592.mp3', 
'word_mean': ['int. 哈喽，喂;你好，您好;表示问候;打招呼;', 'n. “喂”的招呼声或问候声;', 'vi. 喊“喂”;']}}
"""

session会话保持

• http是无状态的，没有记忆性，服务器通过创建session与cookies而达到记忆功能。sesssion存服务器，cookies存用户浏览器
• 如果用户想要通过爬虫模拟登录，访问，下载功能，就必须要是同一个会话，也就是必须持有相同的cookies
• 如果需要登录后才能做很多事情，那么可以通过requests模块创建session会话，这样就和普通用户登录，访问是一个效果。
• 以模拟登录人人网为例：

import requests

url = 'http://www.renren.com/PLogin.do'
data = {
    'email': 'xxxxxx',  # 你的账号
    'password': 'xxxxxxxx',  # 你的密码
    'autoLogin': 'true'  # 是否自动登录
}
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)\
     Chrome/80.0.3987.149 Safari/537.36'
}
s = requests.session()  # 创建session会话
s.post(url, headers=headers, data=data)  # post请求模拟登录
url2 = 'http://www.renren.com/914644077'  # 自己提取自己的主页url
response = s.get(url2, headers=headers)  # 尝试访问个人主页
print(response.text)  # 打印网页内容，看看有没有你的用户名啥的，最好就是保存到本地看看对比一下
s.close()  # 关闭会话

代理访问

• 有时候有些网站必须要用代理才能访问
• 或者如果你频繁用一个ip访问一个网站，容易被封号

• 所以用代理可以给你换不同的马甲，突破反爬封锁

• 下面使用代理访问百度

import requests

url = 'https://www.baidu.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)\
     Chrome/80.0.3987.149 Safari/537.36'
}
proxies = {
    'http': '218.75.102.198:8000'
}
response = requests.get(url, proxies=proxies, headers=headers, timeout=20)  # 20秒连接不成功就超时退出
print(response)
"""
<Response [200]>
"""

AJAX

• Asynchronous Javascript And XML,即javaScript和xml
• 通常表现为刷网页的时候，只显示一下部分，当你往下浏览的时候慢慢给你加载新内容
• 一般ajax请求比较有规律，请求参数一般为页码或者条数，这样的话可以通过循环语句批量生成请求参数，实现全部爬取
• 具体可以自行爬一下豆瓣电影100或者boss直聘，用谷歌浏览器开发者模式，进入network试试。