维基百科向AI公司推出免费数据集 只求不要再无止境抓取
此前维基百科关联站点维基媒体发布消息称由于被 AI 爬虫轰炸,导致大量昂贵的服务器资源被 AI 爬虫消耗,一方面维基媒体工程师疲于使用技术手段应对这些爬虫,另一方面也给维基媒体造成运营成本上的损失。
维基媒体是个托管图片、视频和其他文件的免费站点,目前该网站托管的文件数量高达 1.44 亿个,因此大量 AI 爬虫疯狂抓取维基媒体的内容用来整理为数据集训练人工智能模型。
除了维基媒体外,维基百科内容也被各种爬虫疯狂抓取,有鉴于技术手段已经无法应对这些 AI 爬虫,现在维基百科主动制作并发布针对训练 AI 模型且经过优化的数据集,这些数据集托管在谷歌旗下的数据科学社区平台 Kaggle 上,希望这些 AI 公司直接去谷歌下载数据集不要再对维基百科进行抓取。
本次发布的数据集在设计时就充分考虑机器学习的工作流程,让 AI 开发者能够轻松访问机器可读的文章数据,以进行建模、微调、基准测试、对齐和分析,其中的数据内容为已公开授权。
数据集时间截止至 2025 年 4 月 15 日,内容包括研究摘要、简短描述、图像连接、信息框数据和文章章节,但不包含参考文件或音频文件等非书面元素,首次发布的数据集包含英语和法语版本。
维基百科认为结构良好的 JSON 格式维基百科内容应该比直接抓取或解析维基百科原始内容更有吸引力,不过最终这能否解决维基百科面临的 AI 爬虫轰炸还有待观察。
-
OpenAI宣布将o3模型调用价格下调80% 每百万输出从40美元降低至8美元
2025 年 4 月 OpenAI 发布推理模型 o3,该模型在多种基准测试中都取得最佳成绩,模型还支持使用外部工具例如网页浏览和使用 Python 解释器等。尽管该模型在性能上表现不俗但 API 调
-
OpenAI推出旗舰推理模型o3-pro 在各方面全面提升且表现优异 附API价格
OpenAI 日前发布该公司推理模型中的新成员 o3-pro,该模型可以利用更多计算资源进行更加深入地思考并持续提供更加精准的回答。o3-pro 在数学、科学和编程方面的表现都非常优异,因此 Open
-
知名网络论坛Reddit起诉Anthropic指控其未获得许可抓取内容训练AI
已经成功上市的 Reddit 论坛目前一大收入来源就是将内容授权给 AI 公司获取报酬,已经与 Reddit 签订协议获取数据的包括谷歌和 OpenAI,当然也有公司尝试悄悄抓取数据而不付钱。Redd
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/

随时掌握互联网精彩
- 李现《人生若如初见》有哪些看点
- laomir.com等BBS网站授权取消公告
- 美元兑人民币汇率2024年2月15日
- 中国建筑人才网app v5.23最新版本2022下载地址
- 会计从业资格考试宝典 4.0最新版本2022下载地址
- 黄石停车 v0.3.7最新版本2022下载地址
- 巴南普法app v1.0.1最新版本2022下载地址
- 玩转江城 v1.1.0最新版本2022下载地址
- 中经行运 v1.3.06最新版本2022下载地址
- 微软王码五笔 86版 2009.12.15.0最新版本2022下载地址
- 蒲公英联机平台iOS v1.0最新版本2022下载地址
- 恒泰期货 v5.4.2.0最新版本2022下载地址