看啥推荐读物
专栏名称: 菜鸟学Python
简简单单的Python教程,从入门,进阶技巧,爬虫数据分析,数据可视化等,以及经验和技巧的总结,趣味原创文章:破解九宫格,破解Google面试题,情人节选对象,微软面试题,弹球游戏,聊天机器人等,欢迎关注
今天看啥  ›  专栏  ›  菜鸟学Python

小技巧:大幅度提高requests的访问速度

菜鸟学Python  · 公众号  · Python  · 2020-02-17 11:19
摄影:产品经理与产品经理环游世界我做了一个垃圾信息过滤的 HTTP 接口。现在有一千万条消息需要经过这个接口进行垃圾检测。一开始我的代码是这样的:import requestsmessages = ['第一条', '第二条', '第三条']for message in messages: resp = requests.post(url, json={'msg': message}).json() if resp['trash']: print('是垃圾消息')我们写一段代码来看看运行速度:访问一百次百度,竟然需要 20 秒。那我有一千万条信息,这个时间太长了。有没有什么加速的办法呢?除了我们之前文章讲到的 多线程、aiohttp 或者干脆用 Scrapy 外,还可以让 requests 保持连接从而减少频繁进行 TCP 三次握手的时间消耗。那么要如何让 requests 保持连接呢?实际上非常简单,使用Session对象即可。修改后的代码:import re ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照