Cloudflare推出AI迷宫功能 通过生成海量无关内容将爬虫放进迷宫里避免抓取网站
网络服务提供商 Cloudflare 此前已经推出人工智能爬虫识别和拦截程序,避免主要目的是抓取数据的 AI 爬虫通过高频次抓取浪费网站带宽和硬件资源,也可以避免因为 AI 爬虫高频次抓取影响网站的正常运营。
但很多 AI 爬虫都伪装成正常的客户端 UA 进行抓取,所以仅仅靠爬虫自己携带的 UA 难以判断是否是爬虫以及能否成功拦截,所以 Cloudflare 在此基础上推出名为 AI Labyrinth 的新功能。
这个新功能可以称作是 AI 迷宫,其主要功能是通过人工智能生成海量无关内容,在检测到存在异常的爬虫时,就将爬虫引导到这个人工智能生成的蜜罐中,这些内容与网站无关,借此消耗这些爬虫的资源。
统计数据显示在 2024 年秋季 Facebook 排名前 20 的帖子中有 4 篇是 AI 生成的,Medium 平台大约有 47% 的内容是 AI 生成的,而 Cloudflare 每天要收到 AI 爬虫发出的超过 500 亿个请求。
为了解决被 AI 爬虫浪费的服务器资源,Cloudflare 创建这个 AI 迷宫功能算是以毒攻毒,AI 爬虫主要想要抓取人类撰写的数据来训练 AI,Cloudflare 则只给这些爬虫投喂 AI 生成的内容。
AI 迷宫的工作原理是这样的:
Cloudflare 使用 Workers AI 和开源模型来创建海量有关不同主题的独特 HTML 页面,这些内容页面通过预生成管道提前生成并存储在 Cloudflare R2 存储库中。
但为了避免虚假内容污染 AI 并造成虚假内容在互联网上传播,Cloudflare 给 AI 爬虫投喂的数据也是真实并且与科学事实相关,只是与被抓取的网站不相关或者不是专有的。
防止影响 SEO 和真人访问:
Cloudflare 生成的页面通过技术手段进行隐藏,首先这些内容绝对不会被真人访问到,其次 Cloudflare 做好元数据用来禁止真正的搜索引擎爬虫抓取,因此也不会影响网站正常的 SEO。
当检测到异常的抓取时 Cloudflare 才会动用 AI 迷宫并将爬虫引导到迷宫中,已识别且被网站允许的 AI 爬虫以及搜索引擎的爬虫都可以正常抓取内容。
目前 AI 迷宫功能已经面向所有用户开放,无论是否付费都可以开启,具体路径是 Cloudflare 控制台、网站、安全性、自动程序、AI Labyrinth。
即将结束:腾讯云 2025 年春季活动,境外服务器仅需 99 元/年,续费同价、不限新老用户,部分服务器 CN2GIA 线路。
-
知名网络论坛Reddit起诉Anthropic指控其未获得许可抓取内容训练AI
已经成功上市的 Reddit 论坛目前一大收入来源就是将内容授权给 AI 公司获取报酬,已经与 Reddit 签订协议获取数据的包括谷歌和 OpenAI,当然也有公司尝试悄悄抓取数据而不付钱。Redd
-
X/Twitter将变更API计划从4.2万美元/月改成按收入分成模式
以前 X/Twitter API 接口可以免费申请并且使用也非常方便,在埃隆马斯克收购推特后原有的 API 计划全部被打乱,随后企业需要缴纳每月 42000 美元才能使用 API 并且仅可以调用有限的
-
微软推出必应视频生成器(Bing Video Creator) 调用OpenAI Sora模型创建视频
日前各大科技公司都在陆续推出由人工智能模型驱动的视频生成功能,例如 Google Gemini Veo 3 视频生成模型的表现就非常出色,性能方面甚至优于 OpenAI Sora 模型。不过无论是 G
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/

随时掌握互联网精彩
- ST新潮:收到证监会立案告知书
- 感觉半个娱乐圈都来武汉了
- 高速夜间堵车司机熄火睡觉 被无人机叫醒 网友:飞行闹钟
- iPhone 16不香了!媒体:苹果手机行情已大不如从前
- 狗头萝莉穿红色超短裙宣布复出,一天打五份工
- 发条英雄(手游电脑版) 1.0.4599.123最新版本2022下载地址
- 欧元人民币汇率2023年7月10日
- 红色兄弟勇者团ios版 v2.03最新版本2022下载地址
- Mytouch易维触摸屏软键盘 5.4最新版本2022下载地址
- 百会CRM app v3.0.18最新版本2022下载地址
- 美食点点点 v1.2.4最新版本2022下载地址
- 安信版行情交易客户端 5.1006.2.13最新版本2022下载地址