.:. 草榴社區 » 技術討論區 » MiniMax大模型认不出马嘉祺!官方终于给出原因
--> 本頁主題: MiniMax大模型认不出马嘉祺!官方终于给出原因 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
结构


級別:風雲使者 ( 13 )
發帖:1787
威望:525 點
金錢:16048115 USD
貢獻:239000 點
註冊:2015-01-01


MiniMax大模型认不出马嘉祺!官方终于给出原因



近期有网友发现一个有趣的现象:MiniMax 模型似乎无法正常识别马嘉祺三个字。

起初大家都以为只是偶然出现的小漏洞,但多方实测后发现情况有些离谱:不管切换不同接口、更换使用平台,该问题都能稳定复现。

翻看网友测试截图以及实际调用返回结果能看出,模型其实可以检索到马嘉祺的相关资料,也能完整准确输出他的个人履历、相关经历等信息。可唯独只要提及本名,模型就会出现文字错乱、随意改写名字的情况。

简单来说,人物背景信息基本无误,对应人物也完全匹配,唯独在识别和输出姓名时频频出错。

那么为什么会出现这种情况呢?

今日,MiniMax官微发长文回应M2系列模型无法说出马嘉祺一事,提供了对“嘉祺识别”问题的完整排查过程和技术思考。

MiniMax表示,其从分词器版本对齐、embedding统计分布、语义近邻检索、预训练与后训练模型的few-shot对比实验、后训练数据频次统计以及对全词表lm_head变化幅度的排序扫描等多个维度进行了排查。






最终定位到的原因是:嘉祺在分词器中被合并为一个独立token,但该token在后训练数据中出现频次极低,导致模型在后训练中逐渐遗忘了对该token的生成能力。

修复方案方面,MiniMax构造了一份覆盖全词表的合成数据,核心思想是:通过一个简单的复读任务,为全词表建立一个生成频率的“下限保障”,防止任何token因为完全缺失而退化。

此外,MiniMax表示,将token覆盖度作为后训练数据质量的一项常规监控指标,可以在早期发现潜在的稀疏token退化风险,避免类似问题在线上复现。













赞(17)
DMCA / ABUSE REPORT | TOP Posted: 05-10 08:52 樓主 引用 | 發表評論
大院情怀


級別:精靈王 ( 12 )
發帖:8566
威望:1065 點
金錢:3509 USD
貢獻:40368 點
註冊:2020-10-18


我也认不出马嘉祺,不过我认出最后一图的乌克兰女老师了!!


點評

    TOP Posted: 05-10 09:08 #1樓 引用 | 點評
    xiyudashi


    級別:聖騎士 ( 11 )
    發帖:7702
    威望:756 點
    金錢:29223 USD
    貢獻:9 點
    註冊:2018-07-09

    好图
    TOP Posted: 05-10 11:49 #2樓 引用 | 點評
    马多宝


    級別:俠客 ( 9 )
    發帖:1391
    威望:180 點
    金錢:1530 USD
    貢獻:100 點
    註冊:2025-12-15

    谢谢分享
    TOP Posted: 05-10 11:52 #3樓 引用 | 點評
    jnlz2009


    級別:聖騎士 ( 11 )
    發帖:8100
    威望:871 點
    金錢:11812 USD
    貢獻:0 點
    註冊:2012-03-02

    图是真不错
    TOP Posted: 05-10 11:54 #4樓 引用 | 點評
    踢版


    級別:聖騎士 ( 11 )
    發帖:3371
    威望:338 點
    金錢:4718 USD
    貢獻:25000 點
    註冊:2020-10-24

    多谢分享,勿忘提肛
    TOP Posted: 05-10 12:04 #5樓 引用 | 點評
    victorsese


    級別:騎士 ( 10 )
    發帖:1426
    威望:428 點
    金錢:916 USD
    貢獻:6601 點
    註冊:2011-06-06

    感谢分享 好臀
    TOP Posted: 05-10 12:12 #6樓 引用 | 點評
    wangs3045


    級別:俠客 ( 9 )
    發帖:3286
    威望:299 點
    金錢:5930 USD
    貢獻:0 點
    註冊:2014-02-14

    感谢分享
    TOP Posted: 05-10 12:43 #7樓 引用 | 點評
    东光太郎


    級別:騎士 ( 10 )
    發帖:7304
    威望:455 點
    金錢:24218 USD
    貢獻:333 點
    註冊:2025-03-06

    感谢分享
    TOP Posted: 05-10 17:50 #8樓 引用 | 點評
    铁甲二流子


    級別:精靈王 ( 12 )
    發帖:46544
    威望:3288 點
    金錢:263444 USD
    貢獻:2000 點
    註冊:2017-02-06

    哈哈(((o(*゚▽゚*)o)))
    TOP Posted: 05-10 18:18 #9樓 引用 | 點評
    归来的奥特曼


    級別:俠客 ( 9 )
    發帖:6938
    威望:268 點
    金錢:24385 USD
    貢獻:999 點
    註冊:2025-02-20

    感谢分享
    TOP Posted: 05-10 18:41 #10樓 引用 | 點評

    .:. 草榴社區 -> 技術討論區

    快速回帖 頂端
    內容
    HTML 代碼不可用

    使用簽名
    Wind Code自動轉換

    按 Ctrl+Enter 直接提交