内地首个AI高考评测 数学全不及格
图:AI得分情况。内
【大公报讯】据第一财经报道:高考这一高难度综合性测试,地首目前普遍被研究者用于考察大模型的个AI高格智能水平。在前不久高考结束后,考评上海人工智能实验室旗下司南评测体系OpenCompass选取了7个大模型进行高考“语数外”全卷能力测试,测数并于19日发布了首个大模型高考全卷评测结果。学全
语数外三科加起来的不及满分为420分,此次高考测试结果显示,内阿里通义千问2-72B得303分排名第一,地首OpenAI的个AI高格GPT-4o得296分排名第二,上海人工智能实验室的考评书生.浦语2.0排名第三,三个大模型的测数得分率均超过70%,但大模型的学全数学都不及格,最高分也只有75分。不及在数学试卷上,内阅卷老师们发现,大模型的主观题回答相对凌乱,且过程具有迷惑性,甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力较强,但是无法在解题过程中灵活引用。可以看出,在数学方面大模型还有很大的提升空间。
数学关乎复杂推理相关能力,这是大模型普遍面临的难题,也是大模型在金融、工业等要求可靠的场景落地需要的关键能力。上海人工智能实验室领军科学家林达华表示,“现在很多大模型的应用场景是客服、聊天等,在聊天场景一本正经胡说八道影响不太大,但它很难在非常严肃的商业场合去落地。”
- ·苏州高新区光子产业再添新动能
- ·强龙头树品牌 促进农业现代化 苏州再添2家农业产业化国家重点龙头企业
- ·英国首相苏纳克和他的鞋,英国民众盯着他的脚不放了
- ·从现在到三伏,每天早上吃3勺它,腿脚有劲气色好,不懂吃可惜了
- ·全国供应链创新与应用示范企业名单公布 苏企上榜
- ·初二女儿端午节轻生,父亲看着两箱试卷痛哭:我知道问题所在了!
- ·马英九悄然无声将“台湾省”三字抹掉
- ·国足刚进18强赛,国米锋霸+瑞超核心就确定火线驰援,都已入籍
- ·旅游趋势/逛茶园:“新中式文旅”黑马
- ·这是疯狂祸害社会底层老百姓的血汗啊,太缺德了!
- ·6月16日俄乌最新:铁锅炖大鹅
- ·这一次恐无人担责!游客被瓦屋山落石砸中身亡后续:生前照片流出
- ·港城一季度建安产值超4亿元
- ·《庆余年》第三季开拍,陈道明,田雨,金晨或弃演,谁接庆帝合适
- ·短短14天,皇马超巨走下神坛!欧洲杯沦为背景板,姆巴佩说对了
- ·欧洲杯被中文广告包围?破案了:均为虚拟广告牌,与现场不一样!