
摘要
SuperCLUE测评「6 月榜」发布:360 智脑多项能力超越 ChatGPT
6 月 19 日,中文通用大模型基准(SuperCLUE)最新发布「6 月榜单」,三六零集团 (601360.SH, 以下简称 360) 自研认知型通用大模型「360 智脑」多项能力蝉联国产大模型第一,部分能力评分已超越 GPT-3.5 甚至超越 GPT-4。

SuperCLUE 是针对中文可用的通用大模型测评基准,代表时下中文大模型的发展效果情况。SuperCLUE 从基础能力、中文特性、学术与专业能力三个层面对国内外通用大模型产品进行测试,「360 智脑」在以上三方面均位列国内第一,世界第三。
上月出炉的 SuperCLUE 榜单中,360 智脑已取得「国产大模型第一」的成绩。为避免「刷题」,确保结果公正客观,SuperCLUE 在 6 月新一轮测评中采用了全新独立的评测数据集,同时数量级扩大近 10 倍到 3714 道题。测试结果显示,360 智脑与 GPT-3.5 的总分差距从上月的 8 分缩小至本月的 5 分以内,同时在上下文对话、语义理解、计算等能力上,评分已追平甚至超越 GPT。

据了解,过去 3 个月内,360 智脑已完成从 1.0 版本到 4.0 版本的迭代,刷新了国产大模型的「中国速度」。「360 智脑 4.0」已具备跨模态生成能力,并依托该能力全国首发大模型定制「AI 数字人」和「文生视频」功能。