Cloudflare为网站添加AI审计 可检查AI爬虫何时抓取和抓取频次以及直接屏蔽爬虫

主要观点总结

Cloudflare推出AI审计功能，可查看和分析AI爬虫的行为，包括归属公司、抓取资源、频次等。网站管理员可以禁止特定AI公司的爬虫抓取，甚至禁止所有AI爬虫。此功能目前处于测试阶段。

关键观点总结

关键观点1: Cloudflare为所有网站带来AI审计功能

该功能可以分析AI公司的爬虫行为，包括归属、抓取资源、频次等。

关键观点2: AI审计功能处于测试阶段

新的AI审计工具（Cloudflare AI Audit）可帮助内容创作者和网站管理员了解他们的内容被哪些AI公司抓取。

关键观点3: 网站管理员可以禁止特定AI爬虫抓取

如果未与AI公司达成内容授权协议，可以通过爬虫抓取频次进行封禁，避免耗费服务器资源和影响用户体验。

关键观点4: Cloudflare计划推出交易市场

允许网站管理员设置内容抓取价格，AI公司可以付费获取抓取权限。