2026美加墨世界杯(中国) AI 家具司理手记: badcase怎样回流(下)

模子评测后的badcase处理是一门细致活，不是所有问题皆该丢给模子磨砺。本文将拆解badcase五大分类法子，揭告常识库伪善、活动口头、立场偏好等不同问题的处理政策，并共享怎样构建金标集竣事可追念的模子迭代闭环。从业务视角登程，带你看懂怎样让模子确切越变越好。

评测产出的badcase怎样确切喂回模子？哪些该训、哪些不该训、训了反而更糟的有哪些。

上一篇写了我怎样重作念单轮和多轮的评测框架——L1致命伪善一票否决、L2/L3分层扣分、多轮M1~M5五个专属维度。

但评测自己不创造价值，评测的产出必须能修订模子。不然即是每周开会打一遍分，模子迭代了一版又一版，业务侧还是以为不行——全球皆很忙，但家具莫得变好。

这一篇讲的即是后半段：标完一堆badcase之后，怎样把它确切酿成下一版模子的卓越。这部分是我跟大数据团队磨合最久的——不是因为他们不融合，是因为一驱动全球对“什么badcase该训模子”的剖析就不相同。

一、闭环长什么样

这张图的中枢信息唯有一条：badcase不是一个桶，是五个桶，每个桶的处理神志完全不同。

二、不是所有badcase皆该训模子

2.1常识库问题——十足不成训进模子

包括：事实伪善、纠合不可用、信息过期

我专门拿了10条标了”事实伪善”的case复盘，发现7条是RAG调回错了对应文档，2条是常识库里那条数据自己就过期了，唯有1条算是模子”目田清晰”。

若是把这些case平直SFT进模子，等于让模子学会了一份自信但伪善的常识。后果有两个

常识库后续就算改对了，模子还是会按训进去的错版块回答

模子对我方学过的内容置信度更高，反而更不肯意触发RAG调回

正确作念法：

调回错→优化embedding/加省份过滤/改chunk切分

开云中国2026世界杯app下载

常识库错→走数据惩处经由，业务侧证据后修正源数据

模子目田清晰→少量，但确乎不错SFT，让它学“不细则就承认不知说念”

2.2活动口头问题——该SFT训

包括：暴力拒答、任务未闭环、无效反问、卯不合榫

这些是模子”活动民俗”层面的问题——它知说念常识，但不知说念该怎样用。这是SFT的经典题材。举个最典型的例子：

原文牍（被打0分）：

“我是XX的销售助手，很对不起暂时未能找到与您的需求关联的信息。”

改写后主见文牍：

“您说的这个咱们莫得平直对应的家具，不外雷同需求不错望望XX/也不错转东说念主工商议，您要不要试试？”

聚集50~100对这样的（原文牍/改写后文牍），作念一轮针对性SFT，成果会有较着改善。关节点：改写不是模子团队拍脑袋写，是业务侧来写。唯有业务侧知说念”在咱们的业务体系里，这个场景的最优文牍长什么样”。

2.3立场偏好问题——该DPO训，不该SFT

包括：冗余啰嗦、话术僵硬、排版纷乱

直观是”啰嗦了那就给它一个直率版块去学”，但践诺上SFT一个”直率版”赓续会带来模子合座抒发身手的退化——它会矫枉过正地酿成”惜墨如金”，丢失蓝本好的开拓性抒发。

正确的作念法是DPO（平直偏好优化）：给模子同期看（啰嗦版/高超版），让它学的是两个版块之间的偏好关联，而不是只学其中一个。这样模子保留了抒发千般性，仅仅在”啰嗦vs高超”这个维度上向你渴望的标的歪斜。

咱们刻下积贮了大概200对立场偏好对，世界杯官方认证平台分三类：

长度偏好（啰嗦版/高超版）

口吻偏好（公式化版/当然版）

结构偏好（活水账版/结构化版）

2.4一张总结表

先对着这张表分类，然后才推敲怎样改。分类对了，处理神志当然就了了了。

三、评测集必须固定一份”金标集”

每次新版模子出来，必须跑一遍200~500条的金标集，对比上一版各维度分数变化。

我的金标集是这样构造的：

30%高频简单问（FAQ类，地板线）

40%中等业务场景（套餐/流量包/末端/升值业务，主战场）

20%多轮复杂场景（指代+意图切换搀杂，天花板）

10%挑升刁难（错别字、超长、夹杂方言、坏心绕过）

金标集要依期更新，但十足不成频繁更新。咱们的节拍是每季度补充10%新case、淘汰5%逾期case。若是每个月皆换一批，总结测试就失去比较基准了——你恒久不知说念是模子变好了，还是题变简单了。

四、总结测试要看分项变化，不单看总分

新版上线前，不要看”总分普及了3分”，要看：

4.1L1致命伪善是不是清零了

没清零不让上。这是死线。

一个版块若是总分普及了5分但L1伪善还有3条，业务侧应该阻隔它。因为坐蓐环境下，1条L1伪善（比如说错价钱、伪造纠合）的龙套力高大于100条L2伪善。

4.2L2严重项的扣离别布有莫得变化

比如”任务未闭环”从38%降到20%——这是确切有真谛的卓越。

若是散布险些没动，仅仅总分升高了，那很可能是金标集里简单题答得更好了、勤快没动——这种“分数普及”是虚的。

4.3有莫得出现新的扣分类型

新伪善比老伪善更危急。

最常见的即是：为了治”暴力拒答”，模子学会了”什么皆给你推选两款家具”，范围”卯不合榫”的占比上来了。这种”按下葫芦浮起瓢”必须警醒。

4.4多轮M1~M5五个维度不成backward

许多模子微调单轮变好了，多轮反而崩了——必须分开看。

我见过一次很惨烈的：模子团队为了治单轮的”卯不合榫”，加强了模子的”主动话题开拓”身手，范围多轮的”落魄文接受”分数掉了15个百分点。因为模子变得太”主动”了，不再老憨雄厚地围绕用户的上一循环答。单轮和多轮的总结敷陈必须分开出。

五、回流节拍：不要每周训，要按版块节拍走

频繁微调会让模子不结实——每周一个版块，业务侧根底来不足作念总结

小批量磨砺样本噪声大——30条样本里若是有5条标注有偏差，影响会被放大

没法定位是哪批数据起的作用

当今的节拍：

这个节拍走下来，每次新版块上线，业务侧能了了地说出来”这版比较上版，在哪些维度普及了几许、有莫得新引入的问题”。而不是模子团队说”咱们又训了一版，你望望”，业务侧凭嗅觉点头或摇头。

六、回到阿谁原始问题

写这两篇著述之前，我问过我方一个问题：行动业务侧，我到底念念要什么？

谜底是：我念念要一套不错让模子迭代确切变好的机制。不是评测漂亮的敷陈，不是95%的准确率2026美加墨世界杯(中国)，是一套能让”用户体验”这件事可被猜度、可被修订、可被追念的工程闭环。