AI 競賽激烈，小米也加入戰(zhàn)局！

4 月 30 日，小米推出專注推理能力的開源大模型 MiMo，僅用 7B 參數(shù)規(guī)模在數(shù)學(xué)推理和代碼競賽測評(píng)中超越 OpenAI 的閉源模型 o1-mini 以及阿里 32B 規(guī)模的 QwQ。

據(jù)小米介紹，Xiaomi MiMo 誕生之初探索的核心問題就是激發(fā)模型推理潛能，這款模型聯(lián)動(dòng)預(yù)訓(xùn)練到后訓(xùn)練，全面提升推理能力。

國內(nèi)外 AI 競爭日趨白熱化，本周阿里前腳發(fā)布 Qwen 3，馬斯克后腳就官宣 Grok 3.5。而據(jù)此前媒體報(bào)道，小米正在建設(shè)萬卡 GPU 集群，并引入頂尖 AI 人才，顯示出對(duì)大模型領(lǐng)域的全面投入。

性能突破：小參數(shù)量實(shí)現(xiàn)大能力

Xiaomi MiMo 這款模型最引人注目之處在于，在數(shù)學(xué)推理（AIME 24-25）和 代碼競賽（LiveCodeBench v5）公開測評(píng)集上，MiMo 僅用 7B 的參數(shù)規(guī)模，超越了 OpenAI 的閉源推理模型 o1-mini 和阿里 Qwen 更大規(guī)模的開源推理模型 QwQ-32B-Preview。

更值得注意的是，在相同強(qiáng)化學(xué)習(xí) ( RL ) 訓(xùn)練數(shù)據(jù)條件下，MiMo-7B 在數(shù)學(xué)和代碼領(lǐng)域展現(xiàn)出的強(qiáng)化學(xué)習(xí)潛力明顯領(lǐng)先于業(yè)界廣泛使用的其他模型，包括 DeepSeek-R1-Distill-7B 和 Qwen2.5-32B 等知名強(qiáng)化學(xué)習(xí)起步模型。

技術(shù)關(guān)鍵：預(yù)訓(xùn)練與后訓(xùn)練雙輪驅(qū)動(dòng)

據(jù)小米介紹，MiMo 模型的成功并非偶然，而是來自于預(yù)訓(xùn)練和后訓(xùn)練兩個(gè)階段的多層面創(chuàng)新。

在預(yù)訓(xùn)練階段，小米團(tuán)隊(duì)著重挖掘富含推理模式的語料，并合成了約 200B tokens 的推理數(shù)據(jù)。訓(xùn)練過程采用三階段策略，逐步提升訓(xùn)練難度，累計(jì)訓(xùn)練了 25T tokens，這一訓(xùn)練量在同等規(guī)模模型中處于領(lǐng)先水平。

后訓(xùn)練階段的創(chuàng)新更為關(guān)鍵，小米團(tuán)隊(duì)提出了 "Test Difficulty Driven Reward" 機(jī)制，有效解決了困難算法問題中獎(jiǎng)勵(lì)稀疏的問題。同時(shí)引入 "Easy Data Re-Sampling" 策略，顯著提升了強(qiáng)化學(xué)習(xí)訓(xùn)練的穩(wěn)定性。在框架層面，他們?cè)O(shè)計(jì)了 "Seamless Rollout" 系統(tǒng)，使得強(qiáng)化學(xué)習(xí)訓(xùn)練速度提升 2.29 倍，驗(yàn)證速度提升 1.96 倍。

技術(shù)之外：小米的 AI 全面投入戰(zhàn)略

據(jù)界面新聞報(bào)道，小米正在搭建自己的 GPU 萬卡級(jí)集群，將對(duì) AI 大模型進(jìn)行大力投入。一名知情人士透露，該計(jì)劃已經(jīng)實(shí)施數(shù)月之久，小米創(chuàng)始人雷軍親自參與領(lǐng)導(dǎo)。該人士強(qiáng)調(diào)：" 在 AI 硬件這件事情上，最核心的是手機(jī)而不是眼鏡，小米在這個(gè)領(lǐng)域不 'all in' 是不可能的。"

小米的 AI 人才布局也在加速。12 月 20 日，第一財(cái)經(jīng)報(bào)道稱 DeepSeek 開源大模型 DeepSeek-V2 的關(guān)鍵開發(fā)者之一羅福莉?qū)⒓尤胄∶?，或供職于小?AI 實(shí)驗(yàn)室，領(lǐng)導(dǎo)小米大模型團(tuán)隊(duì)。羅福莉是 MLA（Multi-head Latent Attention）技術(shù)的核心開發(fā)者之一，該技術(shù)在降低大模型使用成本上發(fā)揮了關(guān)鍵作用。