MiniMax发长文回应“模型无法说出马嘉祺”
5月9日，长文MiniMax官微发长文回应M2系列模型无法说出马嘉祺一事，模型马嘉提供了对“嘉祺识别”问题的无法完整排查过程和技术思考。
MiniMax表示，说出其从分词器版本对齐、长文embedding统计分布、模型马嘉语义近邻检索、无法预训练与后训练模型的说出few-shot对比实验、后训练数据频次统计以及对全词表lm_head变化幅度的长文排序扫描等多个维度进行了排查。最终定位到的模型马嘉原因是：“嘉祺”在分词器中被合并为一个独立token，但该token在后训练数据中出现频次极低，无法导致模型在后训练中逐渐遗忘了对该token的说出生成能力。
修复方案方面，长文MiniMax构造了一份覆盖全词表的模型马嘉合成数据，核心思想是无法：通过一个简单的复读任务，为全词表建立一个生成频率的“下限保障”，防止任何token因为完全缺失而退化。此外，MiniMax表示，将token覆盖度作为后训练数据质量的一项常规监控指标，可以在早期发现潜在的稀疏token退化风险，避免类似问题在线上复现。
相关文章：
相关推荐：
- 临河地下管网加速焕新！预计通车时间→
- 压力不是失德挡箭牌，服务底线不容触碰丨新闻两点论
- 他们在“嘉”结盟，共创共建城市文明新图景
- “宜宾人员疑关联境外邮轮疫情”，官方通报：无时空交集，疾控中心对其及家庭成员采样检测，汉坦病毒核酸检测结果均为阴性
- 知名男星在西湖边晨练，今早拍到梦幻一幕！大批网友晒图：真的美！
- 这个世界需要较真的人！190元榴莲仅退款，商家怒追1600公里 | 法妹来了
- “于此启航，走向世界” 温州肯恩大学廿载育人交出“两个70%”答卷
- 新疆：女子酒后从地库挪车被丈夫举报 交警取证后判其酒驾
- 多名网友称收到地震局提示短信，相关话题冲上热搜，广东省地震局回应：系推送地震预警科普短信
- 山东省2026年春季高考知识考试今天开考