一、Requests简介：
- requests 是用 Python 语言编写的、优雅而简单的 HTTP 库
- requests 内部采用来 urillib3
- 需要爬虫可以使用该工具模块
- requests 发送一个 GET 请求，需要在 URL 里请求的参数可通过 params 传递
- requests 发送一个 POST 请求，新增了一个可选参数 data，需要通过 POST 请求传递 body 里的数据可以通过 data 传递
二、Requests常用函数：
| 分类 | 关键字 / 函数 / 方法 | 说明 |
|---|---|---|
| 模块 | import requests | 导入模块 |
| requests.get("url") | 向指定站点发出GET请求（查） | |
| requests.post("url") | 向指定站点发出POST请求（增） | |
| requests.delete("url") | 向指定站点发出DELETE请求（删） | |
| requests.put("url") | 向指定站点发出PUT请求（改-全量修改） | |
| requests.patch("url") | 向指定站点发出PATCH请求（改-补丁修改） | |
| 对象 | response=requests.get("url") | 获取请求返回值对象 |
| response.text | text：以文本的方式显示相应结果 | |
| response.content | content：以二进制方式显示相应数据格式："b'.....'" | |
| response.json() | json()：以JSON的方式显示相应结果相当于调用了json.loads(response.text) | |
| response.encoding | encoding：修改编码 |
三、请求参数：
- 当访问一个 URL 时，我们经常需要发送一些查询的字段作为过滤信息，例如：httpbin.com/get?key=val，这里的 key=val 就是限定返回条件的参数键值对
- 当利用 python 的 requests 去发送一个需要包含这些参数键值对时，可以将它们传给params
- 还可以通过headers参数，模拟真实用户访问，绕过反爬虫机制
import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36' } # 这是目标url # url = 'https://www.baidu.com/s?wd=python' url = 'https://www.baidu.com/s?' # 请求参数是一个字典 即wd=python kw = {'wd': 'python'} # 带上请求参数发起请求，获取响应 response = requests.get(url, headers=headers, params=kw) print(response.text) 四、案例练习：（下载网页源代码，并下载全部图片素材）
- 下载新浪首页图片
import os.path import re import threading import requests # 下载资源函数 def download(url, file_name): response = requests.get(url) with open(file_name, mode="wb") as fw: # 写入到指定文件中 fw.write(response.content) # 获取url列表（图片） # 1.读取网页文件内容 # 2.匹配url正则 # 3.保存匹配结果到列表中 # 4.返回列表 def get_url(file_name, re_str): with open(file_name, mode="r") as fr: regular_obj = re.compile(re_str) url_list = [] while True: line_data = fr.readline() if len(line_data) == 0: break result = regular_obj.search(line_data) if result is not None: url_list.append(result.group()) return url_list if __name__ == '__main__': # 网页文件下载地址 图片存放地址 html_file, pic_dir = "/opt/my_html.html", "/tmp/images/" # 指定下载url，可以动态变换 url_html = "https://www.sinaxxxx.com.cn" # 文件不存在则下载 if not os.path.exists(url_html): # 下载网页资源 download(url_html, html_file) # 目录不存在则创建 if not os.path.exists(pic_dir): os.makedirs(pic_dir) # 图片路径的正则判断 pic_re = "(http|https)://[\w\./-]+\.(jpg|png|jepg|gif)" # 获取图片资源 list_image = get_url(html_file, pic_re) # 下载图片素材到 /tmp/images for url_image in list_image: f_name = url_image.split("/")[-1] print(f_name) # 异步下载资源 threading.Thread( target=download, args=(url_image, f"{pic_dir}{f_name}") ).start() 
