江苏龙网

  1. 主页 > 生活百科 > >

Python异步之aiohttp

aiohttp

aiohttp什么是 aiohttp？一个异步的 HTTP 客户端服务端框架，基于 asyncio 的异步模块 。可用于实现异步爬虫，更快于 requests 的同步爬虫 。
安装pip install aiohttpaiohttp 和 requestsrequests 版爬虫requests 同步方式连续 30 次简单爬取 http://httpbin.org 网站
import requestsfrom datetime import datetimedef fetch(url):r = requests.get(url)print(r.text)start = datetime.now()for i in range(30):fetch('http://httpbin.org/get')end = datetime.now()print("requests版爬虫花费时间为：")print(end - start)示例结果
# 打印网站返回的内容....requests版爬虫花费时间为：0:00:43.248761从爬取结果可以看出，同步爬取30次网站将花费43秒左右的时间，耗时非常长 。
aiohttp 版爬虫使用 aiohttp 和 asyncio 异步方式简单爬取30次网站
import aiohttpimport asynciofrom datetime import datetimeasync def fetch(client):async with client.get('http://httpbin.org/get') as resp:assert resp.status == 200return await resp.text()async def main():async with aiohttp.ClientSession() as client:html = await fetch(client)print(html)loop = asyncio.get_event_loop()tasks = []for i in range(30):task = loop.create_task(main())tasks.Append(task)start = datetime.now()loop.run_until_complete(main())end = datetime.now()print("aiohttp版爬虫花费时间为：")print(end - start)示例结果
# 打印网站返回的内容....aiohttp版爬虫花费时间为：0:00:00.539416从爬取时间可以看出，aiohttp 异步爬取网站只用了0.5秒左右的时间，比 requests 同步方式快了80倍左右，速度非常之快 。
同一个 sessionaiohttp.ClientSession() 中封装了一个 session 的连接池，并且在默认情况下支持 keepalives，官方建议在程序中使用单个 ClientSession 对象，而不是像上面示例中的那样每次连接都创建一个 ClientSession 对象，除非在程序中遇到大量的不同的服务 。
将上面的示例修改为：
import aiohttpimport asynciofrom datetime import datetimeasync def fetch(client):print("打印 ClientSession 对象")print(client)async with client.get('http://httpbin.org/get') as resp:assert resp.status == 200return await resp.text()async def main():async with aiohttp.ClientSession() as client:tasks = []for i in range(30):tasks.append(asyncio.create_task(fetch(client)))await asyncio.wait(tasks)loop = asyncio.get_event_loop()start = datetime.now()loop.run_until_complete(main())end = datetime.now()print("aiohttp版爬虫花费时间为：")print(end - start)示例结果
# 重复30遍打印 ClientSession 对象<aiohttp.client.ClientSession object at 0x1094aff98>aiohttp版爬虫花费时间为：0:00:01.778045从上面爬取的时间可以看出单个 ClientSession 对象比多个 ClientSession 对象多花了3倍时间 。ClientSession 对象一直是同一个 0x1094aff98 。
返回值Json 串在上面的示例中使用 response.text() 函数返回爬取到的内容，aiohttp 在处理 Json 返回值的时候，可以直接将字符串转换为 Json 。
async def fetch(client):async with client.get('http://httpbin.org/get') as resp:return await resp.json()示例结果
{'args': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Host': 'httpbin.org', 'User-Agent': 'Python/3.7 aiohttp/3.6.2'}, 'origin': '49.80.42.33, 49.80.42.33', 'url': 'https://httpbin.org/get'}当返回的 Json 串不是一个标准的 Json 时，resp.json() 函数可以传递一个函数对json进行预处理，如：resp.json(replace(a, b))，replace()函数表示 a 替换为 b 。
字节流aiohttp 使用 response.read() 函数处理字节流，使用 with open() 方式保存文件或者图片
async def fetch(client):async with client.get('http://httpbin.org/image/png') as resp:return await resp.read()async def main():async with aiohttp.ClientSession() as client:image = await fetch(client)with open("/Users/xxx/Desktop/image.png", 'wb') as f:f.write(image)response.read() 函数可以传递数字参数用于读取多少个字节，如：response.read(3)读取前3个字节 。
参数aiohttp 可以使用3种方式在 URL 地址中传递参数
async def fetch(client):params = [('a', 1), ('b', 2)]async with client.get('http://httpbin.org/get',params=params) as resp:return await resp.text()示例URL地址
http://httpbin.org/get?a=1&b=2async def fetch(client):params = {"a": 1,"b": 2}async with client.get('http://httpbin.org/get',params=params) as resp:return await resp.text()


推荐阅读


上一篇：在线编程 IDE 居然可被黑客用于发起远程网络攻击

下一篇：Linux 压缩命令