小米集團 30日宣布，推出全新開源的人工智慧模型 MiMo-7B系列。這款只有70億參數的小型模型，在推理能力上表現驚人，不僅超越了更大的 320億（32B）參數模型，甚至媲美 OpenAI的閉源推理模型 o1-mini。

過去人工智慧界普遍認為，數學和程式推理能力通常要靠非常大型的模型才能有好效果，但小米團隊透過特別的預訓練和後續強化學習訓練方式，成功證明小模型也能擁有強大的推理表現。為提升推理表現，研究團隊採用三階段資料混合策略，大量增加推理相關的訓練資料，並開發特殊的獎勵機制和重新採樣策略，解決強化學習中的獎勵不足問題。此外，小米還開發了一套名為「無縫滾動引擎」（Seamless Rollout）的訓練工具，能大幅降低GPU的閒置時間，讓模型訓練速度提升超過2倍，驗證速度也提升近兩倍，顯著提高模型開發效率。

同時，MiMo-7B系列還特別加入了多 Token預測作為額外的訓練目標，進一步加速推理速度與準確性。研究團隊表示，模型訓練共使用約25兆個（25T）token的龐大資料量，並精選13萬道數學及程式碼推理問題進行強化學習訓練，每道題目都經過嚴格驗證和篩選，確保訓練品質。

小米表示，這次研究成果已經完全開源，提供基礎模型、微調模型和訓練過程的完整檢查點，希望能幫助全球的研究者一起開發更有效率、更厲害的人工智慧模型，未來有望在教育、軟體開發、自動化測試等各種智慧應用領域發揮重要的影響。

開源模型可到下列網址下載: https://huggingface.co/XiaomiMiMo/MiMo-7B-Base