国外这些IT巨头，都这么“不要脸”了吗？

文章预览

昨天看到一个文章，说是一个用来托管Wiki、论坛的网络基础设施似乎受到了攻击，运行速度和峰值负载都出了问题。 负责人丹尼斯·舒伯特赶紧去查看流量日志，发现在过去的60天内，收到了1130 万个请求，平均每秒2.19个，这并不多。 但是一看这些请求的User Agent，丹尼斯气得鼻子都歪了。 （码农翻身老刘注：如果对这些奇奇怪怪的User Agent感到好奇的话，可以看看我之前写的漫画： 浏览器真是一个比一个无耻 ） 丹尼斯一合计， 70%的流量都来自OpenAI、亚马逊、Antropic、Facebook这些大名鼎鼎的人工智能巨头 。 更气人的是，这些巨头们的爬虫不是访问了一次就走了，它们每隔6小时就会回来再爬一次！ 它们 完全无视了robots.txt （规定了搜索引擎抓取工具可以访问网站上的哪些网址），什么数据都要！ ChatGPT 和 Amazon 甚至爬取了 wiki 的整个编辑历史！每 ………………………………