MiniMind 项目文档;周榜为发现线索 · 首次发现 2026-09-06

MiniMind:拆开小模型的训练过程

MiniMind 用小模型和教学代码展示训练过程,适合分清预训练与监督微调分别做什么。

MiniMind 教学训练图:约 64M 参数,预训练到监督微调,两小时记录仅对应单卡一轮 SFT。
维护者所称“两小时”仅是单张 RTX 3090 上监督微调一轮的记录。 · 打开大图

EN

从预训练学到监督微调

MiniMind 用约 64M 参数的小模型和教学代码展示训练流程,包括预训练和监督微调。前者建立基础,后者让模型学习更明确的任务行为,适合沿代码理解不同阶段。

EN

“两小时”对应哪一段

维护者记录的“两小时”指单张 RTX 3090 上一轮监督微调,不是完整训练的总时间。复现耗时还会受数据、批量大小、代码版本和硬件影响。

重要补充与更正

以下日期是本站修订时间。

  • 补充 ·

    补充训练条件:“2 小时”指单张 RTX 3090 上监督微调一轮,不含完整训练过程。

来源与补充

sourcesEN

来源与补充

原始摘要与适用说明

适合想理解训练过程的人;先看示例与设备条件。

“2 小时”是维护者在特定条件下的记录,不含完整训练链路。本站未复现;Star 不能证明训练效果或生产适用性。

来源与依据 · 2 条链接

逐条说明链接的用途与支持范围。链接数量不代表多方独立验证,“直接支持”也仅限下方写明的内容。

资料时间记录
  1. · GitHub 本周 Trending 位列第 5,本周增加 3,649 Star。
收录记录

首次发现:

收录日期与原文发布日期分别记录。

编辑记录

来源已核对

· 北京时间

已阅读原始材料,补充具体用途与限制。保留收录和事件日期;编辑核查不代表本站实测。

查看依据与完整记录

此时间记录本站对资料说明与来源的核对,不代表项目发布或产品更新。

查看完整记录:更正前后与来源(JSON)

纠错与反馈