这是开源人工智能社区的一个重要里程碑,标志着开源模型可能首次击败目前最先进的闭源 LLM 模型。

如基准测试所示,Meta Llama 3.1 在 GSM8K、Hellaswag、boolq、MMLU-humanities、MMLU-other、MMLU-stem 和 winograd 等多项测试中均优于 GPT-4o,但是,它在 HumanEval 和 MMLU-social sciences 方面却落后于 GPT-4o。

值得注意的是,这些数据来自 Llama 3.1 的基本模型,意味着后续通过调整优化,可以进一步释放该模型的潜力,在上述基准测试中迈上更高的台阶。

相关阅读:
-
《“最强开源 AI 模型”,4050 亿参数版 Meta Llama 3 被曝 7 月 23 日发布》
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
未经允许不得转载:新聚网 » 开源 AI 模型挑战闭源里程碑?Meta Llama 3.1-405B 多项跑分超越 OpenAI GPT-4o

新聚网
哈佛大学开源 AI 训练数据集“Institutional Books 1.0”,涵盖馆藏 98.3 万本图书
Android XR 智能眼镜 XREAL Project Aura 重要参数公布:双芯驱动,70+° FoV
全球首个儿科大模型在北京荣华医院落地,诊断准确率优于主治医师平均水平
小米米家前开盖旅行箱 18 英寸开启众筹,369 元
共建韩国最大 AI 数据中心、容纳 6 万个 GPU,亚马逊 AWS 与 SK 集团合作
OpenAI Codex 人工智能编程工具推出新功能:可一次生成多个方案
性能提升 90%,Anthropic 首次公开多智能体系统构建全流程





