小米MiMo-V2.6强化学习直播页解读:手把手看懂训练仪表盘
一句话总结:这个页面是小米MiMo-V2.6两次强化学习训练的实时仪表盘,所有数字都从训练器日志直读;这篇不聊观点,只带你从页面最顶上开始,一个指标一个指标往下看,看懂每个数是什么意思。
如果你刚打开MiMo RL直播页会有点懵:满屏英文指标、跳动的数字、两个并排的训练任务。别慌,你可以把它当成F1维修区的遥测大屏。下面就是你的解说员,顺序和页面完全一致。行文里中文是人话翻译,后面跟的反引号英文就是页面上的原名,照着找就行。
最顶上:导航栏的总账单和四个时钟
页面最顶的导航栏只有两样东西:两个训练任务的合计账单 total cost,以及北京、洛杉矶、纽约、伦敦四个时钟。
合计账单是跳动的,算法很直白:每秒单价乘以已跑秒数。我核对接口时(北京时间9月17日9点50分左右),Pro每秒5.71美元,Flash每秒2.86美元,合计每小时约30834美元,总账单约116万美元。旁边再加从训练器日志直读的副标题,点明这是两次强化学习训练的实时记录。右边三个标签是总览 overview、指标 metrics、说明 about,外加一个明暗主题开关。说白了,顶栏回答两个问题:烧了多少钱,现在几点。
公告栏:先看通知再看数
往下最先看到的是公告栏 notices,有公告才出现,按最新排在最前面。当前有两条:一条说Pro因为单个节点的显存问题正在重启,另一条说刚更新了双方的离线评测分数,后续还会继续贴。
看仪表盘的老手都是先看公告再看数。公告告诉你数字背后的事:曲线断了是因为重启,分数变了是因为刚判完卷。你想啊,不看这栏,你会把一次显存故障误读成模型学崩了。
训练状态行:名字、步数、计时器和阶段条
每个训练任务都有一行状态条,从左到右是四组信息:名字加进行中标记 in progress、超大字号的当前步数 step、累计耗时加开始时间 started ... UTC、阶段进度条 phase。
以快照为例,Pro跑到第12步,Flash跑到第17步,Flash起跑晚但步子快。计时器显示从开跑到现在的累计时长,开始时间按UTC标注,Pro是9月15日18点32分,Flash是当天23点16分。阶段条最值得看:处在 rollout 表示模型正在环境里干活产出尝试,处在 training 表示正在拿尝试更新模型,进度条就是本步走了多远。快照里Pro处在生成轨迹阶段约26%,Flash处在训练阶段约69%。你可以理解成先让学生做卷子再讲卷子,阶段条告诉你现在是做卷子时间还是讲卷子时间。
六个关键数字:从标题指标到账单
状态条下面跟着六个格子,这是全页信息密度最高的地方,一个个过。
左起格是标题指标 dynsam/avg@n · Δ vs step 1,也就是平均通过率:同一道题试16次、通过的占比再平均,后面跟着相对第1步的变化箭头。快照里Pro约0.609,相对第1步0.565涨了约0.044;Flash约0.586,相对第1步0.514涨了约0.072,箭头向上就是变强,向下就是回落。
接着是当前已花费 cost so far,数字按秒往上跳。然后是本步Token数 tokens · step 和累计Token数 tokens · total,快照里Pro本步约23.3亿、累计约250亿,Flash本步约27.4亿、累计约405亿。再往后是累计训练样本数 samples trained,Pro约30万,Flash约42.6万。压轴的是训练批量规格 train batch size × n:1568个提示词乘以16条轨迹,意思是每步固定喂1568道题,每道题试16种解法。说真的,记住1568乘以16,全页一半的数字就都有了分母。
科普:提示词、轨迹和Token是什么关系
一道题叫一个提示词 prompt,模型解一次叫一条轨迹 rollout,轨迹里的每个字按Token计费。1568道题乘以16次尝试等于超过2.5万条轨迹,而Agent的一条轨迹不是一问一答,可能包含几十轮思考、工具调用和环境反馈,所以单步能堆到20多亿Token。题量乘以尝试次数再乘以每条轨迹的长度,就是账单的形状。
离线评测:DeepSWE记分牌
再往下是离线评测区 benchmarks,当前只有一块记分牌:DeepSWE v1.1,括号里写着测试方法 mini-swe-agent, avg@3,也就是迷你编程智能体平均测3次。卡片标题是评测名加测试方法,每个模型一行最新分加一条随步数变化的曲线,曲线上每个点都是一次考试。
分数是Flash第12步60.77分,从第1步48.67分涨上来;Pro第8步62.24分,接口里还出现了第10步63.72分。离线评分总比训练步数慢半拍,判卷子本来就需要时间。看这个榜要看斜率不要看名次:Flash从更低起点快速追近,Pro保持小幅领先,训练才1天多,现在看的是涨势。
18张置顶图表:按页面顺序一张张过
接下来是18张置顶图表的大方阵,页面顺序固定,点任何一张都会弹出大图和统计。分成四组讲完,每组先报原名。
奖励与通过率组打头,一共四张:dynsam/avg@n、 Critic 平均奖励 critic/rewards/mean、全军覆没占比 dynsam/passrate/zero、全对占比 dynsam/passrate/one。平均通过率和平均奖励是双胞胎,一个看16次尝试里通过的占比,一个看拿去训练的轨迹平均得分,互相印证。全军覆没和全对记录16次全错和全对的题各有多少,训练变强的样子就是前者越来越空、后者越来越多。
策略体检组是四张:策略熵 actor/entropy_loss、策略梯度目标 actor/pg_loss、梯度范数 actor/grad_norm、推理与训练一致性 train_infer_diff/new_infer/kl。策略熵是模型每一步的纠结程度,熵高说明还在到处试,塌到接近零说明只会一招了。策略梯度目标控制每次更新的步子别迈太大,梯度范数是更新的力度,突然爆炸式上涨往往意味着训练要出事。一致性指标衡量推理引擎和训练器对同一个Token的分歧,分歧大了说明两套系统各说各话。普通读者记住一句话就行:奖励涨、熵没塌、梯度没炸,就是健康的一步。
规模与耗时组回答系统撑不撑得住,一共六张:单步Token数 perf/total_num_tokens、上下文长度 ctx_total_length/mean、平均回合数 dynsam/agg_turn/mean、整步耗时 timing_s/step、生成环节耗时 timing_s/outer_gen、训练器环节耗时 timing_s/trainer_ops。前三个合起来描述活越干越复杂,后三个拆开告诉你时间花在哪,生成环节拖后腿多半是环境和沙箱的问题。
基础设施组是最诚实的一组,一共四张:基础设施失败占比 dynsam/infra_error/seq_rate 记录卡坏了、环境挂了造成的浪费,飞行沙箱数 env/active 显示同时开着多少个考场,平均陈旧度 partial/avg_staleness 记录样本被采集和被拿去训练之间隔了几个策略版本,可测提示词数 dynsam/num_measurable 说明本步有多少题是有效考试。异步流水线不停转的代价就是样本可能是旧版本策略采的,陈旧度就是在量化这个时差。
实时采样:动态采样器的两张表
每个没跑完的任务下面都跟着动态采样区 dynamic sampler,左边是动态 feed,右边是数据源表 data sources。
动态按最新排在前面,只收最近40条,分三种。采样报告长这样:收录比 accepted/target、已判分 judged、通过率 pass、样本数 n、剩余 remaining 外加部分完成 partial 和判分中 rewarding 的数量、预热任务数 prewarm。步骤完成行写着第几步做完、指标值多少、相对上一步涨跌多少、本步多少Token。重启行只有一句话:训练器重启了。说白了,左边是训练过程的施工日志。
右边是当前这一步的数据源表,标题写着步骤号加收录比,也就是 step N · accepted X/Y。表格每行一个数据集:收了多少、目标多少、进度条、剩余 remaining、已判分 judged、飞行中 in flight,底部还有合计 total 行。已判分空着的格子表示还没轮到判,飞行中表示正在环境里跑。这一桌就是1568道题的实时点名册。
批次组成:每步的样本拼盘
再往下是批次组成区 batch composition,副标题写得直白:每步的样本是由什么构成的,也就是 what each step's samples are made of。左上角能切换三个维度:按数据源 data source 还是按执行框架 harness 看,看Pro还是Flash,用数量 count 还是用占比 share。
数据源视图是代码、通用、网络安全、视觉、对话五类任务的堆叠图加占比表,表格列是类别、数据源数、提示词数、占比、占比变化,每类占多少、相对上一步涨跌几个百分点。执行框架视图则按智能体运行环境拆分。堆叠图看趋势,表格看最新一步的精确配比。这一区回答的是模型这一步到底上了哪几门课、每门课多少节。
页脚和其他入口:指标页、说明页与弹窗
容易错过的还有三处。指标页是全部指标的搜索树,支持按关键字过滤 filter tags,点任何指标出大图,弹窗里有最新值、涨跌、最小、最大、平均和有效点数。说明页是项目的自我介绍。页脚只有一句话:开放是我们珍视的东西,外加官方账号链接。等某个任务跑完,页面还会多出时间线区 timeline,按最新排回放每一步和每次重启。现在两个任务都没跑完,所以你看不到它。
结语:从上到下看一遍,你就超过九成围观者
顶栏看钱,公告看事,状态行看进度,六个格子看家底,记分牌看考试,18张图看体检,采样区看施工日志,拼盘区看课表。
下次你打开这个页面,别只盯着奖励曲线往上翘,从上到下走一遍:账单跳多快,公告说什么,阶段处在哪,批量是多少,通过率涨跌几个点,故障单有几张?答得上来,你对强化学习的理解就已经超过只看分数的人了。