Synthetic Data Pipeline: Từ Sim Đến Thực

Vì sao bài 4 nói về synthetic data?

Trong ba phần đầu của series, ta đã đi từ bản đồ sở hữu dữ liệu tới teleoperation và video người. Nếu bạn chưa đọc, nên bắt đầu với Bài 1: bức tranh data war, Bài 2: teleoperation, và Bài 3: human video mining. Bài 4 trả lời câu hỏi tiếp theo: nếu dữ liệu robot thật đắt, chậm và khó mở rộng, ta có thể dùng mô phỏng để nhân dữ liệu lên bao nhiêu lần trước khi model bắt đầu học sai?

Synthetic data trong robot humanoid không chỉ là ảnh render đẹp. Nó là một pipeline tạo ra trajectory có action, có trạng thái robot, có camera, có vật thể, có physics, có success label, và có thể được trộn với dữ liệu thật để fine-tune policy. Với một task như "lấy cốc đặt vào khay", dữ liệu tổng hợp tốt không chỉ cho policy thấy nhiều màu cốc. Nó phải cho robot học quỹ đạo tay, thời điểm đóng gripper, lực tiếp xúc, tránh va chạm với khay, và cách phục hồi khi vị trí ban đầu thay đổi.

Điểm hấp dẫn là scale. MimicGen báo cáo tạo hơn 50.000 demonstration mới cho 18 task từ khoảng 200 human demonstration nguồn. DexMimicGen mở rộng ý tưởng này sang bimanual dexterous manipulation, tạo hơn 20.000 demo từ 60 demo nguồn trên 9 task. NVIDIA GR00T-Mimic blueprint còn đưa con số lên mức công nghiệp: 780.000 synthetic trajectories, tương đương 6.500 giờ demo, được tạo trong 11 giờ, và khi trộn với dữ liệu thật giúp GR00T N1 tốt hơn 40% so với chỉ dùng dữ liệu thật trong báo cáo của NVIDIA.

Nhưng có một cảnh báo quan trọng: synthetic data không thay thế được thực tế. Nó khuếch đại demonstration tốt, kiểm tra nhiều biến thể, và giảm chi phí thử nghiệm. Nó không tự sửa physics sai, contact model nghèo, actuator delay thiếu, sensor noise quá sạch, hay task có lực tiếp xúc phức tạp như cắm giắc, vặn nắp, kéo khóa, buộc dây. Vì vậy câu hỏi thực dụng không phải là "dùng sim hay real?". Câu hỏi đúng là: dùng bao nhiêu sim, loại sim nào, và real data ít nhất cần giữ ở đâu trong pipeline?

Bản đồ pipeline từ 1 demo tới dataset

Hãy tưởng tượng bạn có một humanoid hai tay, hoặc một mobile manipulator có hai end-effector. Bạn muốn dạy robot làm task "lấy bát, đổ vật nhỏ vào bát, đặt bát vào khay". Pipeline synthetic data tối thiểu có thể viết như sau:

1. Thu demo nguồn
   - teleop trong sim, teleop robot thật, hoặc human demonstration được retarget

2. Chia demo thành subtask
   - reach bowl
   - grasp bowl
   - move to pouring zone
   - pour object
   - place bowl on tray

3. Gắn mỗi subtask với object frame
   - bowl frame, tray frame, cup frame, drawer handle frame

4. Randomize scene
   - vị trí vật thể, màu, texture, ánh sáng, camera, friction, mass

5. Transform trajectory
   - giữ quan hệ end-effector so với object, nhưng đổi sang scene mới

6. Replay trong simulator
   - chạy controller, kiểm tra collision, kiểm tra success

7. Lọc dữ liệu
   - chỉ giữ episode thành công, loại episode va chạm hoặc grip sai

8. Train policy
   - behavior cloning, diffusion policy, VLA fine-tune, hoặc co-training sim-real

9. Evaluate thật
   - test trên robot, đo gap, bổ sung real demo ở failure mode

Beginner nên hiểu điểm lõi ở bước 3 và 5. Synthetic trajectory không phải "thêm noise vào action". Nếu source demo nói "tay phải đi tới vị trí tuyệt đối x=0.42, y=-0.10", replay sang scene mới sẽ fail khi bát nằm chỗ khác. MimicGen-style pipeline lưu chuyển động tương đối: "tay phải đi tới pose cách bát như thế này". Khi bát được randomize sang vị trí mới, trajectory được transform theo object frame mới.

MimicGen: object-centric trajectory transformation

MimicGen là ví dụ sạch nhất cho robot arm một tay hoặc task có chuỗi subtask rõ. Paper mô tả mỗi task như một chuỗi object-centric subtasks. Một demo nguồn được chia thành các đoạn liên tục, mỗi đoạn gắn với một object tham chiếu. Khi scene mới được randomize, hệ thống lấy pose object mới, tính transform từ object cũ sang object mới, rồi áp transform đó lên end-effector trajectory. Sau đó robot replay trajectory trong simulator và chỉ giữ demo nếu task thành công.

Bạn có thể đọc pipeline này như một chương trình nhỏ:

for episode_id in range(target_num_episodes):
    scene = randomize_scene(objects, cameras, physics)
    source_demo = sample(source_demos)
    generated_actions = []

    for subtask in source_demo.subtasks:
        ref_object = scene.object(subtask.object_name)
        delta = ref_object.pose @ inverse(subtask.source_object_pose)
        segment = transform_trajectory(subtask.ee_poses, delta)
        segment = bridge_from_current_robot_pose(segment)
        generated_actions.extend(segment)

    rollout = execute_open_loop(scene, generated_actions)
    if success(rollout) and no_bad_collision(rollout):
        save(rollout)

Điểm quan trọng là MimicGen không cần hàng nghìn người điều khiển robot. Nó cần một số demo nguồn đủ sạch, annotation subtask đúng, object pose đáng tin, và simulator đủ tốt để replay. Theo OpenReview, nhóm tác giả tạo hơn 50.000 demo cho 18 task từ khoảng 200 demo người, rồi dùng imitation learning để train agent cho các task dài và chính xác như assembly hoặc coffee preparation.

Với team nhỏ, MimicGen phù hợp khi task có các điều kiện sau:

Một lỗi phổ biến là nhân dữ liệu quá sớm. Nếu 10 demo nguồn có grasp pose xấu, 10.000 demo synthetic sẽ chỉ làm policy học xấu nhanh hơn. Vì vậy hãy audit demo nguồn trước khi scale: replay từng subtask, xem camera, kiểm tra gripper state, kiểm tra object pose, và ghi chú failure.

DexMimicGen: khi humanoid cần hai tay

Humanoid không chỉ là một robot arm gắn thêm chân. Nhiều task nhà bếp và kho hàng cần hai tay: tay trái giữ khay, tay phải đặt cốc; tay này mở ngăn kéo, tay kia lấy đồ; hai tay cùng nâng hộp. Đây là lý do DexMimicGen ra đời.

DexMimicGen kế thừa MimicGen nhưng thêm ba loại subtask cho bimanual dexterous manipulation:

Trong paper, DexMimicGen dùng per-arm segmentation, action queue bất đồng bộ cho parallel subtasks, synchronization cho coordination subtasks, và ordering constraint cho sequential subtasks. Kết quả đáng chú ý: nhóm tạo khoảng 21.000 demo từ 60 source demo trên 9 task; với real2sim2real can-sorting, policy đạt 90% success thay vì 0% nếu chỉ dùng source demo.

Với humanoid, bài học không nằm ở con số "1 demo thành 1.000 demo" mà ở cấu trúc task. Nếu task cần hai tay, annotation kiểu một chuỗi tuyến tính sẽ làm hỏng dữ liệu. Bạn cần biết lúc nào hai tay độc lập, lúc nào phải đồng bộ, và lúc nào một tay phải chờ tay kia. Đây cũng là nơi ownership trở nên thú vị: source demo ít, nhưng giá trị cuối nằm ở annotation schema, simulator, controller, và bộ lọc success.

GR00T-Mimic trong Isaac Lab

NVIDIA đưa ý tưởng này vào workflow gần production hơn qua Isaac Lab Mimic và GR00T-Mimic. Isaac Lab docs mô tả cách collect hoặc dùng demo đã ghi, annotate subtask, generate demo bổ sung, rồi train policy. Docs cũng nêu Isaac Lab Mimic hỗ trợ robot có nhiều end-effector, ví dụ Fourier GR-1 humanoid pick-and-place. Một chi tiết rất thực tế: candidate demo được tạo ra không phải lúc nào cũng thành công; success rate có thể cao trong case đơn giản và rất thấp trong task khó, nên pipeline phải lọc.

Flow GR00T-Mimic có thể hiểu như sau:

source:
  demo_type: teleoperation
  device: Apple Vision Pro, SpaceMouse, keyboard, or prerecorded sample
  format: HDF5 or LeRobot-like episode data

annotation:
  subtasks:
    - left_hand_pick_object
    - right_hand_wait
    - handover_or_place
  method: heuristic_or_manual

generation:
  simulator: Isaac Lab on Isaac Sim
  mimic: transform_and_stitch_subtask_segments
  randomization:
    visual: [lighting, material, camera, background]
    physics: [mass, friction, damping, actuator_delay, sensor_noise]

training:
  policy: BC, diffusion policy, or GR00T-style VLA post-training
  mixture: real + synthetic

GR00T-Mimic không nên bị hiểu là một nút "generate data" thần kỳ. Nó yêu cầu môi trường task có API đúng: lấy end-effector pose, convert target pose thành action, lấy object poses, đọc gripper action, và định nghĩa success. Nếu thiếu các hàm này, hệ thống không biết biến subtask cũ sang scene mới như thế nào.

Nếu bạn đã đọc bài GR00T N1 + G1: thu data trong Isaac Lab, hãy coi GR00T-Mimic là bước nhân dữ liệu sau khi đã có demo nguồn. Nếu cần nền Isaac Lab rộng hơn, xem Isaac Lab cho robot learning từ số không.

RoboCasa: nhà bếp như benchmark synthetic

RoboCasa quan trọng vì nó đặt synthetic data vào môi trường gần đời thực hơn: kitchen scenes. Bản RoboCasa365 công bố 365 task, 2.500 kitchen environments, hơn 600 giờ human demonstration và hơn 1.600 giờ synthetic demonstration được tạo bằng MimicGen. Đây là một scale phù hợp với câu hỏi "robot generalist học gì từ môi trường nhà bếp?".

Với beginner, RoboCasa hữu ích ở ba lớp:

Nếu bạn chỉ train trong một scene bếp đẹp, policy có thể học shortcut: màu countertop, vị trí camera, vị trí mặc định của bát. RoboCasa-style setup ép bạn randomize scene và đánh giá trên môi trường chưa thấy. Đây là phần synthetic data có giá trị nhất: không phải render cho giống ảnh thật, mà là tạo nhiều cấu hình task để model bớt phụ thuộc vào một layout.

Domain randomization: nên randomize cái gì?

Domain randomization dựa trên một ý tưởng đơn giản: thay vì làm sim khớp tuyệt đối với reality, hãy randomize những tham số có thể thay đổi trong đời thực để policy học robust. NVIDIA Physical AI course giải thích các nhóm randomization phổ biến: màu, texture, ánh sáng, camera, background; và physics như mass, friction, restitution, damping, actuator delay, sensor noise.

Một bảng cấu hình thực tế:

Rule thực dụng: randomize mạnh ở visual trước, thận trọng hơn ở physics. Visual randomization quá rộng thường làm policy conservative nhưng vẫn học được. Physics randomization quá sai có thể tạo action không thể chuyển sang robot thật, đặc biệt khi task contact-rich.

Tỉ lệ trộn sim:real nên chọn thế nào?

Không có một tỉ lệ tối ưu cho mọi robot. Paper Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation cho thấy co-training với synthetic simulation data có thể cải thiện mạnh real-world policy. Trang project tóm tắt recipe: dùng task-aware digital cousins, đa dạng object và placement, giữ success criteria giống task thật, camera tương tự thì tốt nhưng không cần khớp hoàn hảo, và dùng nhiều simulation data hơn real data trong khi tune sampling ratio.

Một cách bắt đầu cho lab nhỏ:

Đây là heuristic, không phải định luật. Co-training paper dùng ví dụ 20 real demos và 1.000 simulation demos cho CupPnP để nghiên cứu sampling ratio, và nhấn mạnh ratio cần tune. Trong thực tế, hãy tạo sweep nhỏ:

experiments:
  - name: real_only
    sim_sampling_ratio: 0.0
  - name: sim25_real75
    sim_sampling_ratio: 0.25
  - name: sim50_real50
    sim_sampling_ratio: 0.50
  - name: sim75_real25
    sim_sampling_ratio: 0.75
  - name: sim90_real10
    sim_sampling_ratio: 0.90

metrics:
  - real_success_rate_seen_objects
  - real_success_rate_unseen_objects
  - contact_failure_rate
  - recovery_after_misgrasp
  - average_task_time

Đừng chọn tỉ lệ theo validation trong sim. Hãy chọn theo robot thật, ít nhất trên 20-50 trial per condition. Nếu sim90_real10 tăng success nhưng làm robot chậm, do dự, hoặc tránh contact quá mức, có thể bạn đang randomize physics quá rộng.

Walkthrough: tạo dataset synthetic cho một task bếp

Giả sử task là "lấy lon từ quầy, đặt vào khay, rồi kéo khay gần mép bàn". Đây là task phù hợp cho MimicGen/DexMimicGen vì có object frame rõ và contact không quá phức tạp.

Task: can_to_tray_then_pull_tray
Robot: humanoid upper body, two arms, parallel grippers
Observation: head RGBD + wrist cameras + proprioception
Action: left/right end-effector pose delta + gripper command
Success:
  - can inside tray
  - tray final pose within target zone
  - no can drop
  - no unsafe table collision

Bước triển khai:

1. Thu 20 demo nguồn bằng teleop. Đừng cố thu nhanh. Mỗi demo phải thành công, mượt, có khoảng cách an toàn với vật thể phụ.

2. Chia subtask:

subtasks:
  left_arm:
    - idle_until_can_in_tray
    - grasp_tray_handle
    - pull_tray_to_target
  right_arm:
    - reach_can
    - grasp_can
    - place_can_in_tray
    - release_can

3. Xác định object frame: can, tray, tray_handle, target_zone. Nếu perception thật không thể estimate các frame này, synthetic pipeline sẽ không chuyển tốt.

4. Randomize scene: vị trí lon, vị trí khay, màu lon, texture bàn, ánh sáng, camera jitter, friction giữa khay và bàn.

5. Generate 5.000 candidate episodes. Với bimanual task, bạn có thể chỉ giữ 1.000-2.000 episode thành công nếu success rate thấp.

6. Train ba baseline: real-only, synthetic-only, sim-real co-training.

7. Test robot thật. Ghi failure theo nhóm: miss grasp, can slip, tray stuck, collision, visual confusion, timeout.

8. Bổ sung real demo đúng failure mode, không chỉ thêm demo dễ.

Điểm cuối rất quan trọng. Synthetic data tốt nhất khi được dùng như một vòng lặp: sim tạo coverage, real test chỉ ra gap, sim được sửa range hoặc assets, real demo bổ sung vùng simulator không thể mô phỏng.

Giới hạn: physics fidelity và contact-rich tasks

Synthetic data hay thất bại ở nơi robot phải "cảm" thế giới. Pick-place với vật cứng thường ổn. Mở nắp chặt, cắm USB, kéo dây, lau bề mặt, gấp vải, nhấn nút có hành trình nhỏ, hoặc đặt vật mỏng vào khe hẹp khó hơn nhiều. Lý do:

Vì vậy, với contact-rich tasks, hãy giảm kỳ vọng synthetic-only. Dùng sim để học approach, search, pre-grasp, và variation. Dùng real data để học đoạn tiếp xúc cuối. Một recipe thực tế:

sim-heavy:
  reach, align, coarse grasp, object search, collision avoidance

real-heavy:
  insertion, twisting, force closure, sliding contact, tactile correction

hybrid:
  train on sim + real, but oversample real frames near contact events

Nếu bạn có tactile sensor hoặc force-torque sensor, hãy log chúng từ đầu. Video synthetic có thể đẹp, nhưng contact policy không có tín hiệu lực thường sẽ brittle.

Synthetic data trong cuộc chiến sở hữu dữ liệu

Trong data war 2026, synthetic pipeline tạo ra một lớp sở hữu mới. Demo nguồn có thể do operator tạo. Simulator do vendor cung cấp. Assets nhà bếp có license riêng. Annotation schema thuộc team robot. Generated trajectories chạy trên GPU của công ty. Real evaluation logs đến từ khách hàng. Khi model học xong, giá trị không nằm ở một file đơn lẻ mà nằm ở toàn bộ pipeline.

Vì vậy, team humanoid nên quản lý synthetic data như sản phẩm kỹ thuật:

dataset_card:
  source_demos:
    owner: internal_teleop_team
    consent: operator_agreement_v2
  simulator:
    engine: Isaac Lab
    version: pinned
  assets:
    kitchen_scenes: licensed_or_internal
    object_meshes: provenance_tracked
  generation:
    randomization_seed: stored
    success_filter: documented
  mixture:
    real_sampling_ratio: tracked
    sim_sampling_ratio: tracked
  deployment:
    evaluated_on_real_robot: true
    failure_modes: logged

Nếu không track provenance, bạn sẽ không biết policy tốt lên vì demo nguồn, scene randomization, real data, hay chỉ vì benchmark dễ hơn. Đây là lý do bài tiếp theo, Bài 5: VLA Data Scaling, sẽ nói về scaling laws, diversity và diminishing returns.

Kết luận

Synthetic data pipeline là cách nhanh nhất để biến vài demo chất lượng thành một dataset đủ rộng cho humanoid policy. MimicGen cho ta công thức object-centric cho một tay. DexMimicGen thêm cấu trúc hai tay, coordination và ordering. GR00T-Mimic đưa workflow này vào Isaac Lab và GR00T-style post-training. RoboCasa cho thấy vì sao scene diversity và kitchen benchmark quan trọng. Domain randomization giúp giảm gap, nhưng không miễn phí: randomize sai có thể làm policy chậm, bảo thủ hoặc học contact sai.

Khuyến nghị thực dụng: bắt đầu với 20-50 demo thật sạch, tạo 1.000-5.000 synthetic episodes, train real-only và sim-real song song, sweep tỉ lệ sim trong minibatch, rồi quyết định bằng real-world success rate. Đừng để sim validation thay thế robot thật. Trong humanoid, reality vẫn là judge cuối cùng.

Bài viết liên quan

• Bài 2: Teleoperation - Thu Thập Dữ Liệu Thực Tế
• Bài 3: Human Video Mining - Khai Thác Video Người
• Bài 5: VLA Data Scaling - Luật Scaling Cho Robot