Teleoperation: Thu Thập Dữ Liệu Robot Thực Tế

Trong bài 1 của series, chúng ta đã nhìn toàn cảnh cuộc chiến dữ liệu robot humanoid: ai có data, ai mở data, ai giữ data làm moat. Bài 2 đi xuống tầng rất thực dụng: data đó được thu như thế nào?

Câu trả lời ngắn gọn là teleoperation. Một người điều khiển robot thật, robot ghi lại camera, trạng thái khớp, lệnh action, lực hoặc tactile nếu có, rồi biến phiên điều khiển thành trajectory để huấn luyện imitation learning, ACT, Diffusion Policy hoặc VLA. Đây là cách AgiBot tạo AgiBot World, cách cộng đồng ALOHA tạo dataset bimanual manipulation, và là lý do các repo như Unitree xr_teleoperate quan trọng: chúng biến robot đắt tiền thành máy thu dữ liệu.

Bài này không giả định bạn đã từng xây teleop stack. Mục tiêu là sau khi đọc xong, bạn chọn được một hướng phù hợp với ngân sách:

• Muốn làm humanoid thật: cân nhắc Unitree G1/H1 + XR teleoperation.
• Muốn thu bimanual manipulation chất lượng cao trong lab: ALOHA 2 hoặc Mobile ALOHA.
• Muốn bắt đầu rẻ nhất với một robot arm: GELLO hoặc một arm tương thích LeRobot.
• Muốn scale như công ty lớn: học từ AgiBot, nhưng hiểu rằng phần khó nhất là vận hành đội operator, QA và chuẩn hóa format.

Roadmap series

Teleoperation là gì trong robot learning?

Teleoperation là điều khiển robot từ xa hoặc trực tiếp bằng thiết bị của con người: tay cầm leader arm, kính XR, bàn điều khiển, joystick, thiết bị haptic, hoặc một bản sao cơ khí của robot arm. Khác với điều khiển thủ công để demo cho vui, teleoperation trong robot learning có một mục tiêu rõ ràng: ghi lại demonstration đủ sạch để policy học được.

Một trajectory tối thiểu thường gồm:

episode_000123
├── observations
│   ├── images/cam_high        # RGB hoặc RGB-D
│   ├── images/cam_left_wrist  # camera trên cổ tay
│   ├── state                  # joint position, velocity, gripper state
│   └── optional: force, tactile, IMU, base pose
├── actions
│   ├── joint targets          # action ở bước kế tiếp
│   └── optional: base action, hand target, force target
├── metadata
│   ├── task: "fold towel"
│   ├── success: true
│   ├── operator_id
│   └── reset notes
└── language
    └── "fold the towel and place it on the tray"

Với beginner, điểm quan trọng nhất là: đừng chỉ ghi video. Video chỉ cho model thấy robot đã làm gì. Robot policy còn cần biết robot đã ra lệnh gì ở mỗi thời điểm. Vì vậy dataset robot thật phải đồng bộ ba dòng dữ liệu: hình ảnh, trạng thái robot và action.

AgiBot World: scale bằng đội robot + operator + QA

AgiBot World Colosseo là ví dụ rõ nhất cho teleoperation ở quy mô công nghiệp. Bản công bố kỹ thuật mô tả hơn 1 triệu trajectory trên 217 task, thu bằng hơn 100 robot đồng nhất trong các kịch bản đời thực. Repo OpenDriveLab/AgiBot-World ghi rõ bản Beta có 1,003,672 trajectory và dataset xây trên LeRobot v2.1. Paper cũng nhấn mạnh human-in-the-loop verification: người vận hành không chỉ điều khiển, mà còn kiểm tra chất lượng data trước khi data đi vào training.

Điểm hay của AgiBot không chỉ là số lượng. Họ biến teleoperation thành dây chuyền:

task design
  -> operator teleop trên AgiBot G1
  -> robot ghi multi-modal stream
  -> kiểm tra success/failure
  -> lọc trajectory lỗi
  -> annotate task, skill, keyframe
  -> convert sang format training
  -> train GO-1 / policy nội bộ

Nguồn công khai có một chi tiết cần đọc cẩn thận. AgiBot World Colosseo ban đầu nói nền tảng thu thập là AgiBot G1, dual-arm humanoid với dexterous hand và cảm biến visuo-tactile. Một số trang AGIBOT WORLD 2026 mới hơn nói dataset 2026 được thu trên G2 hoặc mở rộng sang G2. Vì bài này tập trung vào cơ chế teleoperation, ta có thể hiểu G1 là stack Colosseo gốc, còn G2 là thế hệ platform công nghiệp tiếp theo trong cùng hệ sinh thái.

Stack này phù hợp với ai? Công ty có robot fleet, có phòng thu data, có người vận hành được đào tạo và có nhu cầu huấn luyện generalist policy. Với lab nhỏ, bài học không phải là "mua 100 robot"; bài học là thiết kế pipeline ngay từ đầu để scale: cùng schema, cùng checklist success, cùng format, cùng quy trình reset.

Unitree xr_teleoperate: humanoid teleop bằng Quest 3/PICO/AVP

Nếu AgiBot là hình mẫu fleet-scale, Unitree là hướng dễ tiếp cận hơn cho team muốn chạm vào humanoid thật. Repo unitreerobotics/xr_teleoperate hỗ trợ điều khiển Unitree G1, H1, H1_2, H2, gripper Dex1-1, Dex3-1, Inspire và BrainCo hand. Thiết bị XR được repo nêu gồm Apple Vision Pro, PICO 4 Ultra Enterprise và Meta Quest 3.

Luồng vận hành cơ bản:

python teleop_hand_and_arm.py \
  --xr-mode=hand \
  --arm=G1_29 \
  --ee=dex3 \
  --record

Operator đeo headset, mở giao diện Vuer/WebRTC, nhìn first-person view từ camera robot, nhấn r để bắt đầu teleop và nhấn s để start/stop recording từng episode. Repo đặt tần số mặc định --frequency là 30 Hz và lưu data vào xr_teleoperate/teleop/utils/data, sau đó hướng người dùng sang tool Unitree imitation learning/LeRobot để dùng tiếp.

Điểm mạnh:

• Dễ hình dung với humanoid: operator dùng tay và đầu để điều khiển tay, bàn tay, góc nhìn.
• Có đường đi từ simulation sang physical deployment.
• Dùng phần cứng thương mại: Unitree G1 đang có giá công khai từ khoảng 13.5K USD trên trang Unitree, H1 ở mức cao hơn nhiều.
• Phù hợp với task cần body context: mở cửa, nhặt đồ trên kệ, thao tác trong phòng.

Điểm yếu:

• Latency phụ thuộc Wi-Fi, WebRTC, headset browser, image server, IK và DDS. Nếu mạng không ổn định, operator sẽ "lái trễ" và trajectory xấu.
• Hand tracking XR không luôn chính xác cho thao tác contact-rich nhỏ. Gripper hoặc dexterous hand cần retargeting tốt.
• An toàn là vấn đề thật. Humanoid có khối lượng lớn, có quán tính, có khả năng ngã hoặc vung tay vào người.

Unitree XR là lựa chọn thực dụng nếu bạn muốn dataset humanoid ở budget thấp hơn nhiều so với tự xây robot. Nhưng nó không tự biến bạn thành AgiBot. Bạn vẫn phải viết task protocol, đánh dấu success/failure, kiểm soát reset, chuẩn hóa camera và convert data sang format huấn luyện.

ALOHA 2: tiêu chuẩn bimanual manipulation trong lab

ALOHA và ALOHA 2 là stack nổi tiếng cho bimanual manipulation. Thay vì dùng headset XR, ALOHA dùng leader-follower arms: người vận hành cầm hai leader arm, follower arms bắt chước chuyển động trong không gian làm việc. Cảm giác điều khiển trực tiếp hơn VR vì mapping cơ khí rất rõ: tay trái điều khiển arm trái, tay phải điều khiển arm phải, gripper leader điều khiển gripper follower.

ALOHA 2 cải thiện các vấn đề của ALOHA gốc: gripper ít ma sát hơn, ergonomics tốt hơn, frame đơn giản hơn, camera RealSense D405 nhỏ hơn, có model MuJoCo chính xác hơn. Trang ALOHA 2 nói rõ mục tiêu là scale data collection: nhiều robot hơn, nhiều giờ hơn mỗi robot, đa dạng task hơn và ít downtime hơn.

Format dữ liệu ALOHA truyền thống là HDF5. Theo tài liệu Trossen ALOHA, một episode stationary có dạng:

episode_000001.hdf5
├── observations/images/cam_high         uint8  (480, 640, 3)
├── observations/images/cam_low          uint8  (480, 640, 3)
├── observations/images/cam_left_wrist   uint8  (480, 640, 3)
├── observations/images/cam_right_wrist  uint8  (480, 640, 3)
├── observations/qpos                    float64 (14,)
├── observations/qvel                    float64 (14,)
└── action                               float64 (14,)

Với Mobile ALOHA, schema thêm base_action để ghi lệnh di chuyển base:

action       float64 (14,)  # hai arm + gripper
base_action  float64 (2,)   # linear/angular hoặc equivalent base command

ALOHA 2 phù hợp nếu bạn cần dữ liệu thao tác hai tay chính xác: mở hộp, gấp khăn, cắm dây, nhặt đồ nhỏ, lắp ráp. Nó không phải humanoid full-body, nhưng data bimanual của nó rất đáng giá cho VLA vì contact-rich manipulation là phần khó nhất của robot.

Mobile ALOHA: thêm base để học whole-body manipulation

Mobile ALOHA mở rộng ALOHA bằng base di động và whole-body teleoperation. Paper cho thấy chỉ với khoảng 50 demonstration mỗi task, co-training với static ALOHA data có thể tăng success rate rất mạnh trên các task mobile manipulation như mở tủ, nấu ăn, dùng thang máy hoặc rửa chảo.

Từ góc nhìn thu data, Mobile ALOHA giải quyết một gap lớn: nhiều task đời thực không nằm gọn trên bàn. Robot phải đi đến vị trí, xoay base, đưa hai tay vào đúng góc, giữ thăng bằng workspace, rồi mới thao tác. Nếu chỉ có stationary ALOHA, bạn học được "tay làm gì"; nếu có Mobile ALOHA, bạn học thêm "cơ thể đưa tay đến đâu".

Giá hiện tại của các kit thương mại kiểu Trossen AI cho ALOHA-style không còn đúng hoàn toàn với bill of materials gốc trong paper. Trang Trossen năm 2026 niêm yết Stationary AI khoảng 23,995.95 USD, Mobile AI khoảng 33,695.95 USD không laptop và 37,845.95 USD với laptop. Đây không phải giá bắt buộc nếu bạn tự build open-source, nhưng là mốc thực tế nếu team muốn mua hệ thống có support.

GELLO: rẻ nhất để bắt đầu teleop chất lượng

GELLO là một ý tưởng rất thực dụng: nếu target robot arm là Franka, UR5 hoặc xArm, hãy build một controller có cùng cấu trúc động học bằng 3D printed parts và motor rẻ. OpenReview tóm tắt GELLO là teleoperation device dưới 300 USD, dễ build và trực quan.

GELLO không phải humanoid. Nó cũng không phải hệ thống bimanual hoàn chỉnh nếu bạn chỉ build một controller. Nhưng với beginner, đây là con đường tốt để học toàn bộ vòng lặp data:

build controller
  -> map joint positions sang robot arm
  -> record image + qpos + action
  -> train ACT/Diffusion Policy
  -> deploy policy
  -> thu thêm failure recovery data

Điểm mạnh của GELLO là latency và mapping. Vì controller có cùng kinematic structure với robot arm, operator không phải nghĩ "joystick này tương ứng với trục nào". Tay người kéo controller thế nào, robot arm đi theo thế đó. So với VR controller hoặc 3D mouse, demonstration thường mượt và nhất quán hơn.

Điểm yếu là phạm vi. Nếu bạn cần locomotion, dual-arm full-body hoặc dexterous hand phức tạp, GELLO chỉ là một mảnh ghép. Nhưng nếu ngân sách thấp, đừng đánh giá thấp nó. Một dataset nhỏ nhưng sạch từ GELLO có thể hữu ích hơn 1.000 episode XR rung, trễ và thiếu annotation.

LeRobotDataset hay HDF5?

Hai format bạn sẽ gặp nhiều nhất là HDF5 kiểu ALOHA/ACT và LeRobotDataset kiểu Hugging Face.

HDF5 mạnh khi bạn làm research cục bộ. Mỗi episode là một file, dễ mở bằng h5py, dễ train với ACT codebase gốc. Nhược điểm là khi scale lên nhiều camera và hàng nghìn episode, file management, metadata và chia sẻ lên Hub kém tiện hơn.

LeRobotDataset giải quyết bài toán chuẩn hóa. Tài liệu LeRobotDataset v3.0 mô tả format cho multi-modal time-series, sensorimotor signals, multi-camera video và metadata. Repo huggingface/lerobot dùng MP4 hoặc image cho vision và Parquet cho state/action. Ưu điểm là dễ load bằng PyTorch, dễ push lên Hugging Face Hub, dễ stream dataset lớn và dễ kết hợp nhiều nguồn.

Một quy tắc thực dụng:

Ví dụ schema LeRobot tối thiểu:

my_robot_dataset/
├── meta/
│   ├── info.json
│   ├── episodes.jsonl
│   └── tasks.jsonl
├── data/
│   └── chunk-000/*.parquet
└── videos/
    └── chunk-000/observation.images.cam_high/*.mp4

So sánh chi phí, throughput và latency

Không có nguồn công khai nào báo cáo throughput và latency theo cùng chuẩn cho tất cả stack. Vì vậy bảng dưới tách rõ: "số liệu công khai" là thông tin đã được dự án nêu; "ước lượng vận hành" là cách một team nên lập kế hoạch khi thiết kế ca thu data. Với trajectory ngắn 20-60 giây, reset 30-90 giây, một operator giỏi thường không ghi đủ 60 phút mỗi giờ; còn thời gian label, kiểm tra và nghỉ tay cũng phải tính vào cost.

Cách chọn stack theo ngân sách

Nếu ngân sách dưới 5.000 USD, đừng bắt đầu bằng humanoid. Hãy dùng một arm nhỏ, camera cố định và controller kiểu GELLO hoặc leader arm rẻ. Mục tiêu của bạn là học pipeline: đồng bộ timestamp, lưu action đúng, train được policy đầu tiên, rồi hiểu failure recovery.

Nếu ngân sách 10.000-25.000 USD, có hai hướng. Hướng một là Unitree G1 nếu mục tiêu chính là humanoid embodiment, locomotion context và XR teleop. Hướng hai là stationary ALOHA/Trossen AI nếu mục tiêu là thao tác hai tay chất lượng cao. Với cùng số tiền, ALOHA thường cho data manipulation sạch hơn; Unitree cho embodiment gần humanoid hơn.

Nếu ngân sách 30.000-50.000 USD, Mobile ALOHA/Mobile AI đáng cân nhắc. Bạn trả thêm tiền để có base, frame, camera và workflow ổn định hơn cho task đời thực. Đây là vùng hợp lý cho lab muốn làm mobile manipulation nhưng chưa thể vận hành fleet humanoid.

Nếu ngân sách trên 100.000 USD, câu hỏi không còn là mua robot nào. Câu hỏi là vận hành data factory thế nào: bao nhiêu operator, bao nhiêu task/ngày, quy trình QA, format, versioning, privacy, license và cách đưa data vào training loop. Đây là chủ đề của bài 6 về data strategy.

Checklist thiết kế một ca thu data

Trước khi ghi episode đầu tiên, hãy viết checklist. Một stack teleop tốt không bắt đầu bằng model; nó bắt đầu bằng operational discipline.

1. Định nghĩa task
   - Tên task ngắn, rõ
   - Điều kiện bắt đầu
   - Điều kiện thành công
   - Điều kiện fail

2. Khóa setup
   - Camera pose
   - Ánh sáng
   - Vị trí đồ vật
   - Phiên bản firmware/control code

3. Ghi dữ liệu
   - Timestamp đồng bộ
   - Images không drop frame nghiêm trọng
   - qpos/qvel/action đúng dimension
   - Metadata có task, operator, success

4. QA sau mỗi batch
   - Mở ngẫu nhiên 10 episode
   - Visualize action/state
   - Loại episode có va chạm nguy hiểm, reset sai, camera lệch
   - Ghi chú failure để thu recovery data

Điểm beginner hay bỏ qua là failure data. Nếu bạn chỉ lưu successful demonstrations, policy học được "đường đẹp" nhưng không biết thoát khi lệch khỏi đường đó. AgiBot và các pipeline lớn đều coi verification, cleaning và recovery là phần của data engine, không phải việc phụ.

Nguồn kỹ thuật đã kiểm tra

• AgiBot World Colosseo official page và OpenDriveLab/AgiBot-World
• AGIBOT WORLD 2026 dataset
• Unitree xr_teleoperate
• ALOHA 2 project và Mobile ALOHA
• GELLO paper
• LeRobotDataset v3.0 docs
• Trossen ALOHA data format

Kết luận: teleoperation là data moat đầu tiên

Trong humanoid robotics, model architecture thay đổi nhanh, nhưng dữ liệu thật vẫn đắt và chậm. Teleoperation là cách biến tiền, thời gian operator và robot uptime thành tài sản huấn luyện. AgiBot thắng ở quy mô. Unitree mở cửa cho team nhỏ chạm vào humanoid thật. ALOHA 2 và Mobile ALOHA thắng ở chất lượng bimanual data. GELLO thắng ở chi phí bắt đầu.

Lời khuyên thực dụng: chọn stack theo task, không theo độ "ngầu" của robot. Nếu task của bạn là cắm dây, mở hộp, gấp khăn trên bàn, ALOHA/GELLO có thể tốt hơn humanoid. Nếu task cần đi lại, với tới kệ, phối hợp thân và tay, Unitree hoặc Mobile ALOHA hợp lý hơn. Khi đã có data thật, bài 3 sẽ mở rộng câu hỏi: liệu có thể giảm chi phí teleop bằng cách khai thác video con người trên internet không?

Bài viết liên quan

• Cuộc Chiến Data: Ai Sở Hữu Dữ Liệu Robot 2026?
• Human Video Mining: Khai Thác Video Người
• AGIBOT WORLD 2026: Dataset Thế Giới Thực Cho Robot Học Bắt Chước