LeRobot / HDF5 / RLDS 怎么选
2026-09-08 · databurger 数据工程团队 · 约 7 分钟阅读
没有"最好的格式"，只有与你训练框架、团队技能和吞吐需求匹配的格式。
一、三种格式的定位
| 格式 | 优势 | 代价 | 适合 |
|---|
| LeRobot | 社区工具链成熟、上手快、元数据规范统一 | 自定义字段需遵循其约定 | 快速起步、复现论文、中小规模训练 |
| HDF5 | 吞吐高、层级结构灵活、单文件自包含 | 需自建读取层；并发写入需注意 | 自研框架、大规模训练、含力反馈 |
| RLDS | 与 TFDS 生态一致、天然支持流式与分片 | 依赖 TensorFlow 生态 | 已有 TFDS 流水线、多任务混合训练 |
二、选择决策树
已有 TFDS / JAX 流水线？
选 RLDS，避免重复建设数据加载层。
需要高吞吐与自定义模态？
选 HDF5，并在交付时一并提供读取示例代码。
想快速验证或复现社区方案？
选 LeRobot，可直接复用其数据集工具与训练脚本。
不确定？
要求供应商双格式交付，用同一批数据各跑一次基线，用实际吞吐决定。
三、转换成本清单
- 时间对齐：不同格式对时间戳的存储位置不同，转换时最容易丢失对齐信息
- 动作空间定义：关节顺序、单位、是否归一化必须在转换时显式声明
- 视频编码：部分格式要求帧序列，部分允许压缩视频，转换会带来体积与解码开销差异
- 元数据：任务描述、语言指令、失败原因等自定义字段的映射规则
四、我们的交付做法
- 默认支持 LeRobot 与 HDF5 双格式交付，同一批数据共享一份元数据
- 转换脚本随包交付，便于你在内部流水线中复算
- 提供动作空间与时间戳对齐说明（字段级文档）
- 按需输出 RLDS，附分片与索引说明
拿一批数据先跑通再说
免费小样本可同时提供多种格式，用你的训练脚本实测吞吐。