ChatGLM2-12B 评测效果公布
(资料图)
距离 ChatGLM2 系列模型发布已有月余。日前，GLM 技术团队公布了 ChatGLM2-12B 在部分中英文典型数据集上的评测效果，数据集包括 MMLU(英文)、C-Eval(中文)、GSM8K(数学) 和 BBH(英文) 等。
“ChatGLM2-12B 模型在这些数据集上取得了不错的成绩。我们将继续不断改进和优化模型，以提供更优质的模型效果。”
MMLU
Chat 模型使用 zero-shot CoT (Chain-of-Thought) 的方法测试，Base 模型使用 few-shot answer-only 的方法测试。
C-Eval
Chat 模型使用 zero-shot CoT 的方法测试，Base 模型使用 few-shot answer only 的方法测试。
GSM8K
所有模型均使用 few-shot CoT 的方法测试，CoT prompt 来自http://arxiv.org/abs/2201.11903
* 使用翻译 API 翻译了 GSM8K 中的 500 道题目和 CoT prompt 并进行了人工校对。
BBH
所有模型均使用 few-shot CoT 的方法测试，CoT prompt 来自此处。
上一篇：上半年海南省消费品工业产值达489亿元，同比增长18.3%
下一篇：最后一页
推荐内容
- 1、ChatGLM2-12B 评测效果公布
- 2、上半年海南省消费品工业产值达489亿元，同比增长18.3%
- 3、“按兵不动”还是进一步“松绑”YCC？今天市场聚焦日本央行
- 4、探寻八千年查海文化 守护万年文明之光
- 5、上半年郑州新签约亿元以上工业项目147个
- 6、杨洋发文告别宋焰：谢谢大家的包容陪伴与批评建议
- 7、组合贷商贷利率比纯商贷利率高？组合贷好还是纯商贷好？
- 8、两市融资余额减少14.09亿元
- 9、小鹏带飞汽车板块 歼20着陆A股拉动军工走高 高盛称投资中国的机会之窗已经开启！
- 10、女性踩单车导致尿痛 女生踩动感单车45分钟尿液变浓茶色 基本情况讲解
- 11、贵金属板块7月27日跌0.83%，四川黄金领跌，主力资金净流出1.21亿元
- 12、虎背熊腰近义词_虎背熊腰
- 13、学诗百法·学词百法(关于学诗百法·学词百法简述)
- 14、巴安水务：聘任姚泽伟为公司总经理
- 15、中国正能量网络精品，等你来投票！
- 16、vsfilter.dll（vsfilter要怎麼安裝）
- 17、2023武汉地铁7号线前川线二期什么时候开通？
- 18、继2022年崩盘后 Meta(META.US)股价距历史高点仅差18%了
- 19、7月27日LME铅库存增加875吨 来自高雄和新加坡仓库
- 20、台风“杜苏芮”来袭，29日起山东多地或将迎大雨，局部暴雨
- 21、“复星系”一年内两度减持金徽酒 合计套现金额超25亿元
- 22、银行取款又出新规定，现已实施？老人注意，以后取款方式有所调整
- 23、巨蟹女对你有好感的表现，让巨蟹男最心动的细节
- 24、离职后的董思槿再也不敢炫富了！只发过两张自己的最新自拍
- 25、安信资管公募牌照申请获接收 券商加速进军公募赛道剑指业务转型
- 26、宝山区杨行镇少数民族志愿者服务队（关于宝山区杨行镇少数民族志愿者服务队介绍）
- 27、莫伊塞斯：我们进行阵容轮换全队踢得很不错，上场就为球迷而战
- 28、徐工：5桥350吨级产品，市政扛鼎军XCA350L8，是您中意的款吗？
- 29、金华职业技术学院：23年接力暖心坚守，打通居民基层医疗服务“最后一公里”
- 30、翰博高新（301321）7月27日主力资金净卖出97.22万元
Copyright 2015-2022 海峡导报网 版权所有 备案号：皖ICP备2022009963号-10 联系邮箱：396 029 142 @qq.com