Thu data manipulation: teleop vs robot-free vs video

Bài 5 kết thúc bằng một câu phũ phàng: data là nút thắt. Bạn có thể có kiến trúc VLA đẹp nhất, perception 3D tốt nhất, nhưng nếu không có đủ dữ liệu chất lượng để học, policy vẫn ngu. Và với whole-body manipulation, thu data đặc biệt khó — vì bạn cần cả chuyển động tay tinh xảo lẫn phối hợp toàn thân.

Bài này so sánh ba chiến lược thu data chính (tính tới 6/2026) và giúp bạn chọn đúng cho ngân sách của mình.

Ba trục đánh đổi của mọi chiến lược thu data

Trước khi vào từng cách, hãy nắm ba trục mà mọi chiến lược phải cân:

1. Độ chính xác của nhãn action. Policy học behavior cloning cần biết "ở trạng thái này, robot làm gì". Nhãn action càng chính xác, càng đúng động học robot, policy càng dễ học.
2. Chi phí & throughput. Bao nhiêu tiền và bao lâu để thu 1.000 demo? Cần robot thật không? Cần người vận hành lành nghề không?
3. Domain gap. Data thu được có khớp với robot đích (vd Unitree G1) không, hay phải qua một bước chuyển đổi (retargeting) gây mất mát?

Không có chiến lược nào thắng cả ba trục. Đó là lý do bạn phải chọn, không phải tìm "cái tốt nhất".

Chiến lược 1: Teleoperation robot (chính xác, đắt)

Người vận hành điều khiển robot thật qua thiết bị — VR controller (Meta Quest), exoskeleton, hoặc hệ master-slave. Mỗi lần người làm, robot lặp lại; ta ghi lại quan sát + lệnh khớp.

Ưu điểm:

• Nhãn action chính xác tuyệt đối. Vì chính robot thực hiện, mọi joint command là số thật, đúng động học robot — không domain gap về embodiment.
• Chất lượng demo cao, dùng trực tiếp cho behavior cloning.

Nhược điểm:

• Cần robot thật (G1 ~vài chục nghìn USD) cho mỗi trạm thu data.
• Throughput thấp. Một người, một robot, làm tuần tự. Thu 1.000 demo mất nhiều ngày.
• Mệt mỏi cho người vận hành; chất lượng giảm theo thời gian.

Đây là cách các series trước của blog dùng (data collection cho GR00T N1). Tốt nhất về chất lượng, tệ nhất về quy mô.

Chiến lược 2: Robot-free demonstrations — HuMI

Đây là hướng giải nút thắt chi phí một cách thông minh. HuMI (Humanoid Manipulation Interface / Humanoid Whole-Body Manipulation from Robot-Free Demonstrations, arXiv 2602.06643, 2026) cho phép thu demo whole-body manipulation mà không cần robot.

Ý tưởng: con người đeo một giao diện thu data (handheld grippers + camera + tracking tư thế toàn thân) và tự tay làm task. Hệ ghi lại quỹ đạo tay, trạng thái gripper, và pose toàn thân — đủ thông tin để map sang robot sau này, nhưng không cần robot có mặt lúc thu.

Ưu điểm:

• Rẻ hơn teleop nhiều lần. Không cần robot ở mỗi trạm; chỉ cần bộ interface. Nhiều người có thể thu song song.
• Throughput cao. Con người thao tác tự nhiên, nhanh, ở bất kỳ đâu (nhà bếp thật, kho thật).
• Có pose toàn thân — quan trọng cho whole-body, không chỉ tay (khác các "manipulation interface" chỉ thu cổ tay như UMI).

Nhược điểm:

• Domain gap hình thái. Tay người ≠ tay robot; cần retargeting cẩn thận sang động học G1.
• Nhãn action là suy ra từ tracking, không phải lệnh robot trực tiếp → kém chính xác hơn teleop một chút.

HuMI là điểm ngọt giữa "chính xác nhưng đắt" (teleop) và "rẻ nhưng mơ hồ" (video thuần). Đây là lựa chọn rất đáng cân nhắc cho ai muốn scale data whole-body mà ngân sách có hạn.

Chiến lược 3: Video egocentric action-free (rẻ nhất, mơ hồ nhất)

Đã giới thiệu ở bài 5: dùng video góc nhìn thứ nhất (Ego4D, YouTube, video tự quay) — không có nhãn action gì cả.

Ưu điểm:

• Rẻ nhất, quy mô khổng lồ. Hàng nghìn giờ video có sẵn miễn phí. Không cần robot, không cần interface đặc biệt.
• Đa dạng task, môi trường, đối tượng — tốt cho học biểu diễn tổng quát.

Nhược điểm:

• Không có nhãn action. Phải dùng kỹ thuật học latent action (như WholeBodyVLA) hoặc inverse dynamics để "đoán" action — không bao giờ chính xác bằng có nhãn thật.
• Domain gap lớn nhất. Người ≠ robot về cả hình thái lẫn camera.

Video action-free tốt cho pretraining (học biểu diễn, ý định), nhưng gần như luôn cần fine-tune bằng teleop hoặc robot-free demo để neo vào hành động thật.

Bảng so sánh tổng hợp

Chiến lược kết hợp: cái nào khi nào?

Thực tế tốt nhất không phải chọn một, mà xếp tầng theo ngân sách:

Video action-free (rẻ, khổng lồ)
        ↓ pretraining biểu diễn + latent action
Robot-free demo HuMI (rẻ vừa, có pose toàn thân)
        ↓ học whole-body manipulation chính
Teleop (đắt, ít, chính xác)
        ↓ fine-tune cuối neo vào động học robot thật
Policy triển khai trên Unitree G1

Gợi ý chọn theo ngân sách:

• Ngân sách thấp, chưa có robot: bắt đầu bằng video action-free + HuMI interface. Pretraining + robot-free demo cho bạn policy "biết task" mà không cần robot.
• Có 1 robot, muốn chất lượng cao: dùng teleop cho lượng nhỏ demo chất lượng, kết hợp HuMI để scale, video để pretrain.
• Có nhiều robot, làm sản phẩm: teleop là backbone, nhưng vẫn nên pretrain bằng video để giảm số demo teleop cần.

Lưu ý khi thu data cho Unitree G1

• Đồng bộ frame. Mọi nguồn data cuối cùng phải đưa về robot frame của G1. Calib và retargeting là phần kỹ thuật khó nhất, đừng xem nhẹ.
• Chất lượng > số lượng. 200 demo sạch, đúng task, đa dạng vị trí thường tốt hơn 2.000 demo nhiễu. Đặc biệt với DP3 (bài 3) vốn sample-efficient.
• Ghi đủ modality. Với pipeline 3D của series này, hãy thu cả RGB (cho Robo3R), depth/point cloud nếu có, robot/human state, và gripper state.

Kết: data là chiến lược, không phải may rủi

Bài học lớn: chọn chiến lược thu data là một quyết định kiến trúc, ngang tầm chọn model. Teleop, HuMI robot-free, và video action-free không phải đối thủ — chúng là ba tầng của một kim tự tháp data. Hiểu rõ trục đánh đổi (chính xác nhãn / chi phí / domain gap) giúp bạn đầu tư đúng chỗ thay vì đốt tiền vào teleop khi pretraining bằng video đã đủ.

Giờ bạn đã có đủ mảnh: perception 3D (bài 2–4), policy (bài 3, 5), và data (bài này). Bài 7 sẽ ghép tất cả thành một roadmap triển khai cụ thể cho Unitree G1.

Bài viết liên quan

• Bài 5: WholeBodyVLA — video egocentric + RL — Nguồn data video action-free trong thực chiến
• Bài 7: Roadmap 3D manipulation cho Unitree G1 — Ghép data + perception + policy
• GR00T N1 + Unitree G1: thu thập dữ liệu — Pipeline teleop chi tiết