
IT之家注意到,这款 Inspect 平台主要由三大主要框架组成,分别为“数据集”、“求解器(Solver)”、“评分器”,可用来评估各款 AI 模型的特定方面能力,包含模型的核心知识储备量、推理能力与自主能力等,相关框架将根据模型测试结果逐一就各项进行评分;除了内置的一系列测试器外,Inspect 也允许开发者以 Python 外挂其他测试框架。

英国 AI 安全研究所所长 Ian Hogarth 声称,他们推出 Inspect 平台的原因是“相信开源的力量”,该平台能够鼓励更多人作出贡献,同时还能提高 AI 模型透明度及可重复性,同时降低工程师们的成本。

参考
-
Inspect 项目官网
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
未经允许不得转载:新聚网 » 英国推出开源免费 AI 评估平台 Inspect,可为模型知识 / 推理能力评分

新聚网
哈佛大学开源 AI 训练数据集“Institutional Books 1.0”,涵盖馆藏 98.3 万本图书
Android XR 智能眼镜 XREAL Project Aura 重要参数公布:双芯驱动,70+° FoV
全球首个儿科大模型在北京荣华医院落地,诊断准确率优于主治医师平均水平
小米米家前开盖旅行箱 18 英寸开启众筹,369 元
共建韩国最大 AI 数据中心、容纳 6 万个 GPU,亚马逊 AWS 与 SK 集团合作
OpenAI Codex 人工智能编程工具推出新功能:可一次生成多个方案
性能提升 90%,Anthropic 首次公开多智能体系统构建全流程





