Human Video Mining: Khai Thác Video Người Cho Robot

Ở bài 1, chúng ta đã nhìn thấy bản đồ cuộc chiến dữ liệu humanoid: công ty nào có robot, công ty đó có thể thu dữ liệu vận động thật; công ty nào có hạ tầng mô phỏng, công ty đó có thể nhân bản tình huống; công ty nào có người dùng cuối, công ty đó có thể quan sát hành vi thật trong môi trường thật. Ở bài 2, teleoperation là lớp dữ liệu “vàng” vì nó có đủ quan sát, trạng thái robot và action thật.

Nhưng teleop đắt. Mỗi giờ dữ liệu cần robot thật, người điều khiển, không gian an toàn, camera, đồng bộ thời gian, kiểm tra chất lượng, rồi dọn lỗi episode. Nếu muốn scale từ vài trăm giờ lên vài chục nghìn giờ, chi phí không còn là vấn đề kỹ thuật nhỏ mà trở thành lợi thế cạnh tranh.

Human video mining là câu trả lời ở tầng dữ liệu rẻ hơn: khai thác video con người đang làm việc, nấu ăn, mở cửa, cầm đồ, lau bàn, sắp xếp vật thể, rồi dùng chúng để pre-train robot policy. Nguồn có thể là dataset học thuật như Ego4D, EPIC-KITCHENS, video YouTube, video hướng dẫn thao tác trong nhà máy, hoặc video egocentric tự thu bằng kính/camera đeo đầu. Ý tưởng rất hấp dẫn: con người đã quay hàng tỷ phút thao tác ngoài đời; robot chỉ cần học cách “xem” trước khi học cách “làm”.

Vấn đề là video người không có action robot. Một clip người nhặt cốc không cho ta biết joint target của Unitree G1, torque ở cổ tay, trạng thái gripper, hay lực tiếp xúc khi cốc bắt đầu trượt. Vì vậy human video mining không thay thế hoàn toàn teleop. Nó là lớp pre-training giá rẻ, rộng, giàu ngữ nghĩa, nhưng phải được nối với embodiment robot bằng retargeting, latent actions và co-training.

Vì sao video người rẻ hơn teleop khoảng 100x?

Con số “100x” không nên hiểu là hằng số vật lý. Nó là cách nói thực dụng về chênh lệch đơn vị chi phí giữa một giờ video người và một giờ dữ liệu robot chất lượng cao.

Một giờ video người có thể đến từ camera hành trình, kính egocentric, điện thoại, GoPro, camera nhà xưởng, hoặc kho video công khai. Nếu chỉ cần video RGB và mô tả tác vụ, chi phí cận biên gần như là lưu trữ, lọc dữ liệu và annotation. Ngược lại, một giờ teleop cho humanoid cần robot giá hàng chục nghìn đến hàng trăm nghìn USD, operator được đào tạo, thiết bị VR/haptic, môi trường có kiểm soát, người giám sát an toàn, reset scene, pin, bảo trì cơ khí, và tỷ lệ episode lỗi không nhỏ.

Với beginner, hãy nhớ một câu: human video dạy robot “cái gì đang xảy ra”; teleop dạy robot “cơ thể này phải làm thế nào”. Robot foundation model mạnh cần cả hai.

Ego4D, EPIC-Kitchens và YouTube cung cấp gì?

Ego4D là một dataset egocentric quy mô lớn, gồm khoảng 3.670 giờ video đời thường, thu từ hơn 900 người ở 74 địa điểm thuộc 9 quốc gia. Điểm quý của Ego4D không chỉ là số giờ, mà là góc nhìn thứ nhất: camera nhìn gần giống mắt người, thấy bàn tay, vật thể, vị trí thao tác, và trình tự hành động trong môi trường thật. Với robot humanoid có camera đầu hoặc camera ngực, góc nhìn này gần với setup triển khai hơn video quay từ bên ngoài.

EPIC-KITCHENS-100 nhỏ hơn nhưng sạch hơn cho manipulation. Dataset này có 100 giờ video egocentric trong 45 bếp, khoảng 20 triệu frame, 89,9 nghìn action segments, nhiều narration và nhãn verb-noun như “open fridge”, “take cup”, “wash spoon”. Nếu bạn muốn pre-train perception/action understanding cho robot làm việc ở bếp, kho mini, lab bench hoặc khu packing, EPIC-KITCHENS là ví dụ tốt về dữ liệu thao tác có cấu trúc.

YouTube là nguồn lớn nhất nhưng cũng lộn xộn nhất. Video “how to assemble”, “how to clean”, “how to cook”, “warehouse picking tutorial” có vô số tác vụ hữu ích, nhưng camera thường đổi góc, cắt cảnh, có logo, có intro, có tay người che vật thể, có lời thoại không khớp frame. Muốn dùng YouTube cho robot, pipeline phải có bước lọc: nhận diện đoạn có thao tác thật, tách instruction, bỏ đoạn không liên quan, phát hiện tay-vật thể, và chuẩn hóa temporal window.

Video người thiếu những tín hiệu nào?

Đây là điểm dễ bị hype bỏ qua. Video RGB rất giàu ngữ nghĩa nhưng nghèo điều khiển. Một robot policy muốn chạy thật cần biết ít nhất:

• Quan sát: ảnh từ camera đầu, camera cổ tay, depth hoặc point cloud nếu có.
• Trạng thái robot: joint position, joint velocity, base pose, gripper state.
• Action: delta end-effector pose, joint target, velocity command, hoặc torque command.
• Tiếp xúc: lực, trượt, va chạm, vật thể đã bị kẹp hay chưa.
• Timing: thao tác nào phải nhanh, thao tác nào cần chậm để tránh rơi.

Video người chỉ cho ta một phần của quan sát. Nó thường không có trạng thái cơ thể 3D chính xác, không có lực ngón tay, không có control frequency, và không có mapping sang robot joints. Khoảng cách này gọi là embodiment gap: khác biệt giữa cơ thể người trong video và cơ thể robot cần điều khiển.

Embodiment gap không chỉ là “tay người khác tay robot”. Nó gồm ít nhất bốn lớp:

Vậy tại sao vẫn dùng human video? Vì pre-training không nhất thiết phải học action thật ngay từ đầu. Ta có thể học biểu diễn thị giác, ngôn ngữ, object affordance, trình tự thao tác, subgoal, và latent action trước. Sau đó dùng một lượng nhỏ dữ liệu robot để “định nghĩa lại” latent đó trong cơ thể robot.

Latent action models: LAPA làm gì?

LAPA, viết tắt của Latent Action Pretraining from Videos, là một hướng rất quan trọng vì nó hỏi câu đơn giản: nếu video không có action label, ta có thể tự học “action ẩn” giữa hai frame không?

Pipeline LAPA có thể hiểu theo ba bước:

video frames + task text
        |
        v
learn discrete latent actions between frames
        |
        v
pre-train a latent VLA model to predict latent actions
        |
        v
fine-tune on small robot dataset to map latent actions -> robot actions

Trong bài LAPA, nhóm tác giả dùng objective kiểu VQ-VAE để lượng tử hóa thay đổi giữa các frame thành các latent action rời rạc. Thay vì nói “joint 3 tăng 0,02 rad”, model học token kiểu “đưa tay về phía vật”, “đóng gripper”, “kéo vật sang trái” ở mức trừu tượng hơn. Sau đó VLA được pre-train để dự đoán latent action từ ảnh và instruction. Cuối cùng, khi có một dataset robot nhỏ, model học map latent action sang action thật của robot.

Điểm hay của LAPA là nó biến video không nhãn thành dữ liệu học policy. Ta không cần action label từ teleoperator cho mỗi frame web video. Video người cũng có thể tạo transfer tích cực vì nhiều thao tác có cấu trúc giống nhau: nhìn vật, tiếp cận, căn chỉnh, chạm, nắm, di chuyển, đặt xuống.

Pseudo-code tối giản:

# Conceptual only: not production code
for clip in human_video_dataset:
    frames = sample_frames(clip, fps=10)
    text = infer_or_load_instruction(clip)

    # Stage 1: learn motion tokens without robot labels
    z = action_tokenizer.encode(frames[:-1], frames[1:])

    # Stage 2: train latent policy
    latent_vla.train(
        observation=frames[:-1],
        instruction=text,
        target_latent_action=z,
    )

for episode in small_robot_dataset:
    latent = latent_vla.predict(episode.images, episode.instruction)
    robot_policy.train(
        latent_action=latent,
        robot_state=episode.state,
        target_action=episode.action,
    )

Tất nhiên bản thật phức tạp hơn: cần chọn window thời gian, xử lý camera, action chunking, normalization, và tránh để latent action chỉ học optical flow vô nghĩa. Nhưng trực giác rất quan trọng: latent action là cầu nối giữa “xem video” và “ra lệnh cho robot”.

GR00T N1 và data pyramid: web video → synthetic → real robot

NVIDIA GR00T N1 là ví dụ nổi bật về tư duy data pyramid cho humanoid foundation model. Theo mô tả kỹ thuật của NVIDIA, dữ liệu huấn luyện tạo thành hình kim tự tháp: càng xuống dưới càng nhiều và ít đặc thù embodiment; càng lên trên càng ít nhưng càng sát robot thật.

             real robot trajectories
          teleop, deployment logs, QA demos
        -------------------------------------
              synthetic robot data
       Isaac Sim / Omniverse / domain randomization
    -------------------------------------------------
                 human + web video
       Ego-style video, internet video, task videos

Tầng đáy là human/web video. Nó dạy model về thế giới: vật thể nào có thể cầm, cửa mở theo hướng nào, người thường dùng tay nào để giữ vật, trình tự “mở ngăn kéo rồi lấy đồ” khác gì “lấy đồ rồi đóng ngăn kéo”. Tầng giữa là synthetic data, nơi ta có thể render robot thật hoặc robot gần giống thật trong mô phỏng, tạo nhãn 3D, collision, joint state, segmentation, depth, và task variations. Tầng đỉnh là real robot trajectories: ít nhưng đắt, dùng để đóng khoảng cách cuối cùng giữa policy và hardware.

Trong bối cảnh GR00T N1 + G1 data collection, điều này giải thích vì sao không nên chỉ hỏi “tôi cần bao nhiêu episode teleop?”. Câu hỏi tốt hơn là:

1. Tác vụ của tôi cần bao nhiêu hiểu biết thế giới có thể học từ video người?
2. Phần nào có thể sinh trong simulation trước?
3. Phần nào bắt buộc phải thu trên robot thật vì liên quan lực, ma sát, safety hoặc embodiment?

Nếu chỉ có 200 episode robot thật, human video mining có thể giúp model nhìn thấy hàng nghìn biến thể vật thể và bối cảnh trước khi fine-tune. Nếu không có lớp pre-training này, 200 episode dễ bị overfit vào đúng bàn, đúng cốc, đúng ánh sáng.

EgoMimic: co-training từ egocentric video và robot data

EgoMimic đi theo hướng thực dụng hơn LAPA: không cố dùng video người một mình, mà co-train từ video egocentric của người và một lượng teleop robot có hạn. Framework này dùng egocentric human videos, 3D hand tracking, alignment xuyên miền, và kiến trúc policy thống nhất để cải thiện imitation learning trên các tác vụ thao tác thực.

Điểm cốt lõi là video người cung cấp đa dạng cảnh và chiến lược thao tác, còn robot data cung cấp embodiment thật. Khi training chung, model học biểu diễn chung cho “đang nhặt vật”, “đang mở”, “đang đặt”, nhưng vẫn có nhánh hoặc token để hiểu action space robot.

Một pipeline EgoMimic-style cho lab nhỏ có thể như sau:

1. Thu 50-200 video egocentric người làm cùng tác vụ
2. Chạy hand-object tracking và ước lượng 3D hand pose
3. Thu 20-50 episode robot teleop chất lượng cao
4. Chuẩn hóa camera robot gần với camera người nếu có thể
5. Train chung: human video loss + robot action loss
6. Eval trên robot thật với object/scene chưa thấy
7. Bổ sung robot episode cho failure cases

Co-training có ý nghĩa lớn cho humanoid vì nhiều tác vụ dùng toàn thân: đi tới bàn, cúi nhẹ, giữ thăng bằng, dùng hai tay, nhìn vật, sau đó thao tác. Human video cho thấy cấu trúc nhiệm vụ, nhưng robot data giữ policy không “ảo tưởng” rằng robot có bàn tay và cảm giác như người.

EgoHumanoid: từ egocentric video sang loco-manipulation

EgoHumanoid mở rộng ý tưởng này sang humanoid loco-manipulation: co-train vision-language-action policy từ nhiều demo người egocentric và một lượng dữ liệu robot giới hạn, đồng thời xử lý embodiment gap bằng view alignment và action alignment. Với humanoid, việc này khó hơn robot arm để bàn vì policy không chỉ điều khiển end-effector. Nó phải phối hợp base, chân, thân, đầu, tay và gripper/hand.

Một ví dụ: người trong video đi tới kệ, nhìn xuống, đưa tay phải lấy chai, tay trái giữ thăng bằng hoặc đỡ vật. Humanoid không thể copy xương người trực tiếp. Retargeting phải biến chuỗi đó thành subgoals:

• base đi tới vùng an toàn trước kệ;
• thân quay để camera thấy vật;
• tay phải đạt pre-grasp pose;
• tay trái tránh va chạm hoặc hỗ trợ;
• gripper đóng theo affordance;
• toàn thân giữ center of mass trong vùng ổn định.

Đây là lý do các bài như retargeting cho WholeBodyVLA quan trọng. Retargeting không chỉ “dịch joint người sang joint robot”. Nó là bài toán tối ưu có ràng buộc: kinematics, collision, joint limit, balance, reachability và task success.

Ba kỹ thuật bridge gap quan trọng

1. Retargeting: biến chuyển động người thành mục tiêu robot

Retargeting dùng pose người, hand trajectory hoặc object trajectory để sinh mục tiêu robot. Với manipulation đơn giản, ta có thể track bàn tay và vật thể, rồi tạo waypoint cho end-effector robot. Với humanoid, cần thêm whole-body inverse kinematics và kiểm tra thăng bằng.

Retargeting tốt nên ưu tiên mục tiêu task-level hơn joint-level. Nếu người cầm cốc bằng năm ngón, robot gripper hai ngón không cần copy từng ngón. Nó cần đạt outcome: cốc được kẹp ổn, không đổ, di chuyển tới vị trí mới.

human video
  -> estimate hand/object pose
  -> extract task waypoints
  -> solve robot IK / whole-body control
  -> simulate and filter failures
  -> use successful trajectories for training

2. Latent actions: học token hành động trước, map sau

Latent action tránh yêu cầu video phải có action robot. Nó học một không gian trung gian từ chuyển động hình ảnh, instruction và thay đổi trạng thái scene. Khi fine-tune bằng robot data, latent đó được neo vào motor command thật.

Cách này đặc biệt hữu ích khi data web rất lớn nhưng action label bằng 0. Thay vì bỏ qua YouTube vì “không có joint state”, ta dùng nó để học action prior: những gì thường xảy ra tiếp theo khi một người đang mở nắp, kéo ngăn kéo, nhấc hộp, lau mặt bàn.

3. Co-training: không để human video thống trị robot reality

Nếu chỉ train trên human video, policy có thể học affordance tốt nhưng hành động không khả thi. Nếu chỉ train trên robot data nhỏ, policy dễ overfit và nghèo ngữ nghĩa. Co-training đặt hai nguồn vào cùng quá trình học:

loss = language_video_loss
     + lambda_latent * latent_action_loss
     + lambda_robot * robot_action_loss
     + lambda_align * view_action_alignment_loss

Trong thực tế, phần khó không nằm ở công thức loss mà ở sampling ratio. Nếu human video quá nhiều, model bị kéo về miền người. Nếu robot data quá ít, action head yếu. Nếu robot data quá nhiều nhưng ít đa dạng, model mất lợi thế scale từ video. Tỷ lệ mix nên được đo bằng eval robot thật, không chỉ validation loss trên video.

Blueprint cho đội robotics nhỏ

Nếu bạn đang xây một robot humanoid hoặc mobile manipulator ở Việt Nam, không cần bắt đầu bằng một “YouTube-scale crawler”. Bắt đầu nhỏ và có kiểm soát:

Nguyên tắc quan trọng: video người phải được thu theo cách giúp robot học được. Camera nên thấy tay-vật thể rõ, tác vụ không nên bị cắt cảnh, instruction nên ngắn và nhất quán, môi trường nên có biến thể nhưng không quá hỗn loạn. Với YouTube, hãy dùng nó như dữ liệu bổ sung cho perception và sequence understanding, không phải nguồn duy nhất cho policy điều khiển.

Rủi ro pháp lý và đạo đức

Human video mining động tới quyền riêng tư, bản quyền và consent. Ego4D được thiết kế với quy trình consent và de-identification; YouTube hoặc video nội bộ công ty thì không tự động được phép dùng cho huấn luyện thương mại. Nếu dự án có khả năng triển khai sản phẩm, cần trả lời rõ:

• Video có quyền sử dụng để training không?
• Có mặt người, biển số, tài liệu nội bộ, màn hình máy tính không?
• Có dữ liệu trẻ em, bệnh viện, nhà riêng hoặc thông tin nhạy cảm không?
• Model có thể ghi nhớ và tái tạo thông tin cá nhân không?
• Dataset có bias về văn hóa, chiều cao, tay thuận, loại nhà bếp, loại công cụ không?

Trong cuộc chiến data 2026, lợi thế không chỉ là ai có nhiều video nhất. Lợi thế là ai có pipeline hợp pháp, sạch, có metadata tốt, và biết nối dữ liệu người với embodiment robot.

Kết luận

Human video mining là tầng dữ liệu giúp humanoid đi từ “học vài trăm demo đắt đỏ” sang “pre-train trên thế giới thật rồi fine-tune bằng robot thật”. Ego4D và EPIC-KITCHENS cho thấy egocentric video có thể scale; YouTube cho thấy web video có độ phủ gần như vô hạn; LAPA cho thấy có thể học latent action khi không có action label; GR00T N1 cho thấy data pyramid đang trở thành kiến trúc huấn luyện thực tế; EgoMimic và EgoHumanoid cho thấy co-training là hướng cầu nối đáng tin cậy.

Nhưng human video không phải phép màu. Nó rẻ hơn teleop vì không cần robot trong mỗi giờ dữ liệu, nhưng nó thiếu lực, trạng thái và action thật. Muốn biến video người thành robot skill, phải có retargeting, latent action, synthetic data và robot fine-tuning. Nói ngắn gọn: video người là “sách giáo khoa thị giác-hành động”; robot data là “bài thực hành trên cơ thể thật”.

Ở bài 4, chúng ta sẽ đi tiếp vào tầng synthetic pipelines: khi nào mô phỏng rẻ hơn video thật, khi nào synthetic data làm policy mạnh hơn, và khi nào nó tạo ra sim-to-real gap mới.

Nguồn tham khảo

• Ego4D: Around the World in 3,000 Hours of Egocentric Video
• EPIC-KITCHENS Dataset
• Latent Action Pretraining from Videos
• NVIDIA Isaac GR00T N1 data strategy
• EgoMimic: Scaling Imitation Learning via Egocentric Video
• EgoHumanoid: Human-to-Humanoid Transfer for Loco-Manipulation

Bài viết liên quan

• Bài 1: Landscape dữ liệu humanoid 2026
• Bài 2: Teleoperation và robot data thật
• Bài 4: Synthetic pipelines cho humanoid data