看啥推荐读物
专栏名称: Python爱好者社区
人生苦短,我用Python。分享Python相关的技术文章、工具资源、精选课程、视频教程、热点资讯、学习资料等。每天自动更新和推送。
今天看啥  ›  专栏  ›  Python爱好者社区

哈哈,有人爬我网站,我把他教育了一顿!

Python爱好者社区  · 公众号  · Python  · 2024-03-19 15:00
摄影:产品经理炸河豚作为一个站长,你是不是对爬虫不胜其烦?爬虫天天来爬,速度又快,频率又高,服务器的大量资源被白白浪费。看这篇文章的你有福了,我们今天一起来报复一下爬虫,直接把爬虫的服务器给干死机。本文有一个前提:你已经知道某个请求是爬虫发来的了,你不满足于单单屏蔽对方,而是想搞死对方。很多人的爬虫是使用Requests来写的,如果你阅读过Requests的文档,那么你可能在文档中的Binary Response Content[1]这一小节,看到这样一句话:The gzip and deflate transfer-encodings are automatically decoded for you.(Request)会自动为你把gzip和deflate转码后的数据进行解码网站服务器可能会使用gzip压缩一些大资源,这些资源在网络上传输的时候,是压缩后的二进制格式。客户端收到返回以后,如果发现返回的Headers里面有一个字段叫做Content-Encoding, ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照