本文最后更新于 211 天前，其中的信息可能已经有所发展或是发生改变。
概念 ： python中原生的一款基于网络请求的模块，功能强大简单便捷，效率高
作用：模拟浏览器发请求
使用：（requests模块的编码流程）
- 指定url
- 发起请求
- 获取响应数据
- 持久化存储
requests.get(url, params, kwargs)实现一个简易的网易采集器
网页采集器
import requests
if name == "main":
#UA伪装
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.31'
}
#指定url
url = "https://www.sogou.com/web" #需要爬取的网页网址，query=“搜索的内容” ,然后将query中的参数设置为动态参数
#处理url携带的参数（设置为动态参数）：封装到字典中
kw = input('please enter the key word : ')
param = {
'query' : kw
}
#发起请求
response = requests.get(url=url, params=param, headers=headers)
#respone = requests.get(url = url, params=param)
#获得响应数据
page_text = response.text
#持久化存储
FileName = kw + '.html'
with open(FileName, 'w', encoding = 'utf-8') as fp:
fp.write(page_text)
print(FileName,'保存成功！')采集到的网页（截取部分）：
