MotionLCM 文生动作训练实战：从三阶段复现到战斗动作 LoRA 微调

一、环境：新架构显卡的第一道坎#

Blackwell 架构太新，现成的 PyTorch 镜像都不支持 sm_120。解法是基于 CUDA 12.8 自建 Docker 镜像（motionlcm:cu128），训练、评测、LoRA、API 服务各自起容器，挂载同一个工程目录——环境问题一次解决，后面所有实验可复现。

另一个收益是bf16 混合精度补丁：官方训练脚本默认 fp32，给训练循环打上 bf16 patch 后吞吐提升约 1.56 倍，在 Blackwell 上几乎免费。

二、三阶段训练链路#

MotionLCM 的训练是一条依赖链：先训 VAE 把动作压缩进潜空间，再在潜空间训扩散模型 MLD，最后把 MLD 当教师蒸馏出少步数的 MotionLCM 学生模型。

阶段 1：Motion VAE（重建）——动作序列压缩到潜空间再重建。从训练日志看收敛很快：

1
checkpoint-4800  fid: 0.137
2
checkpoint-9600  fid: 0.06   ← 最终交付

阶段 2：MLD（潜空间扩散）——文本条件用 sentence-t5-large 编码，guidance scale 7.5。这一阶段最耗时（单卡约 9 小时），FID 随训练稳步下降：

1
checkpoint-307200  fid: 0.158
2
checkpoint-374400  fid: 0.150
3
checkpoint-489600  fid: 0.130  ← 教师模型

阶段 3：MotionLCM（一致性蒸馏）——加载 FID 0.13 的 MLD 做教师，蒸馏出可以 1–4 步推理的学生模型：

1
checkpoint-9600   fid: 0.238
2
checkpoint-19200  fid: 0.178
3
checkpoint-76800  fid: 0.163   R@3 0.839  ← 最终交付

值得一提的是这套模型出乎意料地小：VAE 编码器 7.6M + 解码器 10M，去噪器只有 8.2M 参数——加起来不到一个 BERT-base 的零头，却能生成流畅的人体动作。动作生成的复杂度被 263 维的动作表征和潜空间设计消化掉了。

三、数据工程：从原始关节到训练样本#

想让模型学会官方数据集里没有的战斗动作，数据要自己造。这部分的工作量远超训练本身：

1. 特征转换：原始动作是 raw_joints (T, 22, 3) 的关节坐标序列，要转换成 HumanML3D 的 263 维特征（根节点速度/旋转、关节位置/速度/旋转、足部接触标记）
2. 骨架统一：不同来源的动作数据骨架定义不一致，全部对齐到 SMPL-22 标准骨架
3. 帧长过滤：只保留 40–196 帧的序列——太短学不到语义，太长超出模型窗口
4. 镜像增强：左右镜像翻转动作 + 同步改写文本（“左手挥拳”→“右手挥拳”），样本量近乎翻倍
5. 文本清洗：对动作描述做 POS 词性处理，与 HumanML3D 的文本格式对齐

最终构建了 1962 条战斗动作样本（训练 1864 / 测试 98），镜像增强后实际参与训练 2130 条。

四、战斗动作 LoRA 微调#

全量微调 8M 参数的去噪器容易把通用动作能力冲掉，所以选择 LoRA：

1
lora_rank: 16, lora_alpha: 32
2
注入 27 个 Linear 层，可训练参数 467,968（约占 5%）
3
batch 64 × 300 epochs = 10,200 步，cosine 调度，lr 1e-4

教师链路复用：先在 MLD 上训战斗 LoRA，再蒸馏出带 LoRA 的 MotionLCM 学生模型（merge_lora.py 支持权重合并导出）。

一个诚实的踩坑记录：小测试集上 FID 直接失稳（98 条样本算出了天文数字的 FID）——FID 依赖特征分布的统计估计，样本太少时协方差矩阵病态，指标完全不可信。战斗 LoRA 的验收最终以定性评估为主：批量生成战斗描述的动作序列，人工检查动作语义、连贯性和碰撞感。

五、经验总结#

1. 训练链路的可复现性优先：Docker 容器 + 挂载工程目录 + 时间戳实验目录，任何一次实验都能溯源到 config 和日志
2. 数据工程决定微调上限：骨架统一和文本清洗的质量直接反映在生成动作的语义准确度上，这部分值得花 60% 的时间
3. LoRA 是小数据微调的正确姿势：5% 的可训练参数既学会了战斗风格，又保住了底模的通用动作能力
4. 指标要匹配数据规模：小样本场景下 FID 会骗人，定性评估 + 侧重召回的 R-Precision 更可靠
5. 新硬件早踩坑早受益：Blackwell 的 sm_120 逼着自建镜像，但换来了 bf16 的免费加速和后续所有项目的环境基座