小米官微正式发布并开源具身领域首个统一生成模型Xiaomi-Robotics-U0。该产品拥有380亿参数,首次将多项具身世界建模能力与通用图像生成能力统一到一套多模态自回归架构中。
PChome 7月15日消息,小米官微正式发布并开源具身领域首个统一生成模型Xiaomi-Robotics-U0。该产品拥有380亿参数,首次将多项具身世界建模能力与通用图像生成能力统一到一套多模态自回归架构中,为机器人训练数据的生成、迁移和扩充提供统一底座:已有真机数据可以直接换物体、换光照、换背景,无需重新采集;真机难以触达的危险、极端、长尾场景,也可以直接生成。

在WorldArena评测基准上,Xiaomi-Robotics-U0在全球126个参评模型中取得总分第一名的成绩。此外,真机评测中,在未知光照、陌生背景等Out of Distribution场景下,使用Xiaomi-Robotics-U0扩增数据训练的策略任务完成进度平均提升超26%。

Xiaomi-Robotics-U0是具身领域首个“通吃”四类任务的统一生成模型,打通了机器人图片和视频数据的生成与编辑链路。用统一的多模态自回归框架,覆盖四类核心任务:具身场景生成,模型可以根据文本描述,为指定机器人本体生成多视角初始场景;具身迁移,模型可以将已有机器人轨迹迁移到新的环境中同时保留原始轨迹中的机械臂位姿和场景布局;机器人交互视频生成,基于初始观测和操作指令生成后续视频,能够兼顾动作连贯性和物理一致性,且可零样本泛化到任意场景;通用文生图和图像编辑,模型同时保留通用图像生成与编辑能力,使互联网视觉知识能够迁移到具身智能任务中。

此外,Xiaomi-Robotics-U0的视频生成能力展现出较强泛化性:面对完全OOD的初始帧与指令,仍能准确遵循指令生成视频,并较好保持物体材质与动力学、背景一致性等关键要素。同时该模型还提出FlashAR+高速推理加速方案,在FlashAR文生图适配的基础上进行扩展,适配了图像编辑、具身迁移等任务,并结合vLLM进一步提升效率,生成效率较原始AR范式提升82.9倍。