网络请求模块下
1. urllib-get案例1.1 代码需求:爬取贴吧数据1.2 代码思路1.3 代码实现 2. urllib-post案例3. requests模块简介3.1 get案例:3.2 post案例:1. urllib-get案例
1.1 代码需求:爬取贴吧数据
以“天命奇御”贴吧为例,一般贴吧上有许多不同类型的数据,有文字、图片、音频、视频等。笔者在这介绍的是向贴吧的url发起请求,获取响应对象,用read()方法读取内容,暂时不再具体解析数据类型。
代码想要实现的功能:
输入贴吧的主题(例如:天命奇御)输入想要爬取的起始页和终止页(例如:1-3)把每一页的数据保存到本地(例如:1.html)
1.2 代码思路
分析贴吧url的地址:
/f?kw=%E5%A4%A9%E5%91%BD%E5%A5%87%E5%BE%A1&pn=0 第一页
/f?kw=%E5%A4%A9%E5%91%BD%E5%A5%87%E5%BE%A1&pn=50 第二页
/f?kw=%E5%A4%A9%E5%91%BD%E5%A5%87%E5%BE%A1&pn=100 第三页
从上述地址看,容易得出:pn = (page - 1) * 50
url地址可看成三部分组成:
第一部分:/f?
,贴吧固定的服务器url第二部分:kw=%E5%A4%A9%E5%91%BD%E5%A5%87%E5%BE%A1
,其中kw=后面的内容与想要搜索的贴吧有关,如果搜索中文贴吧需进行编码处理第三部分:&pn=0
与页数有关的参数。
解析完url地址后,接下来的步骤就是发起请求,获取响应对象,用read()方法读取内容,最后保存到本地。
1.3 代码实现
基础版:
# 导入需要的模块import urllib.requestimport urllib.parse# 让用户输入想爬取的贴吧名字以及起始页、终止页tieba_name = input('请输入贴吧的名称:')begin_page = int(input('请输入起始页:'))end_page = int(input('请输入终止页:'))request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '}base_url = '/f?'# 对中文名字进行处理kw = {'kw': tieba_name}name_url = urllib.parse.urlencode(kw)# for循环控制爬取页面的流程for i in range(begin_page, end_page+1):pn = (i-1)*50target_url = base_url + name_url + '&pn=' + str(pn)# print(target_url)# 发起请求req_obj = urllib.request.Request(target_url, headers=request_headers)res_obj = urllib.request.urlopen(req_obj)html = res_obj.read().decode('utf-8')# 保存数据filename = '第' + str(i) + '页.html'with open(filename, 'w', encoding='utf-8') as file_obj:print(f'正在爬取第{i}页数据...')file_obj.write(html)
运行结果:
函数进阶版:
编写思路:
创建读取页面函数,传递想爬取url参数;创建写入数据函数,传递文件名以及读取的html;创建主函数,获取用户输入,管理爬取数据的流程。
# 导入需要的模块import urllib.requestimport urllib.parse# 读取页面函数def ReadPage(target_url):request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '}# 发起请求req_obj = urllib.request.Request(target_url, headers=request_headers)res_obj = urllib.request.urlopen(req_obj)html = res_obj.read().decode('utf-8')return html# 写入数据函数def WritePage(filename, html):with open(filename, 'w', encoding='utf-8') as file_obj:file_obj.write(html)def main():# 让用户输入想爬取的贴吧名字以及起始页、终止页tieba_name = input('请输入贴吧的名称:')begin_page = int(input('请输入起始页:'))end_page = int(input('请输入终止页:'))base_url = '/f?'# 对中文名字进行处理kw = {'kw': tieba_name}name_url = urllib.parse.urlencode(kw)# for循环控制爬取页面的流程for i in range(begin_page, end_page + 1):pn = (i - 1) * 50target_url = base_url + name_url + '&pn=' + str(pn)# 调用读取函数html = ReadPage(target_url)filename = '第' + str(i) + '页.html'print(f'正在爬取第{i}页数据...')# 调用写入函数WritePage(filename, html)if __name__ == '__main__':main()
运行结果:
面向对象进阶版:
编写思路:创建爬虫类,模拟上述的函数版本,将编写的函数写成类的实例方法。通过创建类对象,调用相关实例方法执行相应的程序。
# 导入需要的模块import urllib.requestimport urllib.parse# 创建爬虫类class BaiduSpider(object):def __init__(self):self.request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '}self.base_url = '/f?'passdef ReadPage(self, target_url):# 发起请求req_obj = urllib.request.Request(target_url, headers=self.request_headers)res_obj = urllib.request.urlopen(req_obj)html = res_obj.read().decode('utf-8')return htmldef WritePage(self, filename, html):with open(filename, 'w', encoding='utf-8') as file_obj:file_obj.write(html)def main(self):# 让用户输入想爬取的贴吧名字以及起始页、终止页tieba_name = input('请输入贴吧的名称:')begin_page = int(input('请输入起始页:'))end_page = int(input('请输入终止页:'))# 对中文名字进行处理kw = {'kw': tieba_name}name_url = urllib.parse.urlencode(kw)# for循环控制爬取页面的流程for i in range(begin_page, end_page + 1):pn = (i - 1) * 50target_url = self.base_url + name_url + '&pn=' + str(pn)# 调用读取函数html = self.ReadPage(target_url)filename = '第' + str(i) + '页.html'print(f'正在爬取第{i}页数据...')# 调用写入函数self.WritePage(filename, html)if __name__ == '__main__':spider = BaiduSpider()spider.main()
运行结果:
2. urllib-post案例
以有道翻译为例:
确定真正请求的url:
发起请求的同时,需要携带 form data 里面的数据: 解析数据,得到翻译的结果。/translate_o?smartresult=dict&smartresult=rule
# 导入需要的模块import urllib.requestimport urllib.parse# 输入待翻译的内容content = input('请输入您要翻译的内容:')# 获取form data的内容form_data = {'i': content,'from': 'AUTO','to': 'AUTO','smartresult': 'dict','client': 'fanyideskweb','salt': '16077413060659','sign': '5b46e99c245caaec4b621c41038a78f2','lts': '1607741306065','bv': 'f7d97c24a497388db148e6c3537b','doctype': 'json','version': '2.1','keyfrom': 'fanyi.web','action': 'FY_BY_REALTlME'}# 处理中文字符form_data = urllib.parse.urlencode(form_data)# 将str转换为bytesform_data = bytes(form_data, 'utf-8')target_url = '/translate_o?smartresult=dict&smartresult=rule'request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '}req_obj = urllib.request.Request(target_url, data=form_data, headers=request_headers)res_obj = urllib.request.urlopen(req_obj)html = res_obj.read().decode('utf-8')print(html)
容易出错的地方:
form_data = urllib.parse.urlencode(form_data)req_obj = urllib.request.Request(target_url, data=form_data, headers=request_headers)# TypeError: POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.
传递到关键字data的参数 form_data 不能为str类型,所以传参之前需先将其转换为bytes类型,另外不要忘记指定编码格式utf-8
。
运行结果:
出现errorCode的原因在于请求的url地址需要进一步处理,目前提供的解决方案是去掉translate后面的_o,若要进一步追究原因,需要学习JS逆向相关的知识,此处暂时不展开。
修改上述代码:
target_url = '/translate?smartresult=dict&smartresult=rule'# 顺便打印html的类型,修改最后一句printprint(html, type(html))
运行代码:
观察结果,html实际上是Json类型的字符串,需将其转化为python中容易分析的字典类型。
接下来,在上述代码的基础上,添加部分代码,解析出我们想要的结果:
import json# 将json字符串转换为字典r_dict = json.loads(html)print(r_dict, type(r_dict))# 逐步解析,直到获取想要的结果result = r_dict['translateResult']result = result[0][0]result = result['tgt']print('翻译结果:', result)
再次运行代码:
3. requests模块简介
3.1 get案例:
import requestsrequest_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '}url = '/zjbq/290.html'# 请求时添加用户代理res_obj = requests.get(url, headers=request_headers)print(res_obj)
运行结果:
返回状态码200表示请求成功。
关于text和content属性:
content:字节流数据,从网站上直接获取的数据,没有做任何处理。text:字符串数据,requests模块将content解码后得到的字符串,数据含有乱码是因为模块推测的解码方式与期望的不符。
# 对content使用decode()方法,手动选择utf-8编码格式print(res_obj.content.decode('utf-8'))
运行结果:
从结果看,乱码已经消除,且原本的字节流数据已经变成字符串类型。
另外,还可以看请求的状态码和url地址:
# 查看状态码和请求的urlprint(res_obj.status_code)print(res_obj.url)
运行结果:
3.2 post案例:
依旧以有道词典为例:
import requests# 输入待翻译的内容content = input('请输入您要翻译的内容:')# 获取form data的内容form_data = {'i': content,'from': 'AUTO','to': 'AUTO','smartresult': 'dict','client': 'fanyideskweb','salt': '16077413060659','sign': '5b46e99c245caaec4b621c41038a78f2','lts': '1607741306065','bv': 'f7d97c24a497388db148e6c3537b','doctype': 'json','version': '2.1','keyfrom': 'fanyi.web','action': 'FY_BY_REALTlME'}# 编辑headers,给出用户代理request_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ''like Gecko) Chrome/86.0.4240.198 Safari/537.36 '}# 请求urltarget_url = '/translate?smartresult=dict&smartresult=rule'# 发起请求res_obj = requests.post(target_url, data=form_data, headers=request_headers)import jsonr_dict = json.loads(res_obj.text)result = r_dict['translateResult']result = result[0][0]result = result['tgt']print('翻译结果:', result)
运行结果:
从代码上看,使用requests模块相比urllib要更简洁,res_obj.text
可以直接得到json字符串。
为什么要学习源码:
了解底层实现原理;了解优秀的框架/代码是如何编写出来;练习英文;提供思路,解决方案;程序员最基本的素养,企业开发的要求。