Tưởng tượng bạn nhờ một robot hình người đi vào bếp, cúi xuống mở tủ lạnh và lấy hộp nước mang ra — tất cả trong một chuỗi động tác liên tục, không dừng lại, không ngắt quãng. Đây là bài toán concurrent loco-manipulation: robot phải đi bộ, giữ thăng bằng, điều chỉnh tư thế và thao tác đồ vật cùng một lúc, như cách con người làm mà không hề suy nghĩ.
Hầu hết các hệ thống robot hiện tại thất bại ở đây vì một lý do đơn giản: locomotion và manipulation được thiết kế tách rời nhau. Robot dừng lại để gắp, gắp xong mới đi tiếp. Điều đó không chỉ chậm — nó còn không thực tế trong môi trường gia đình thực sự.
Ngày 6 tháng 8 năm 2026, nhóm nghiên cứu từ MARS Lab và HMI Lab công bố ω-0 (đọc là "omega-zero") — một Latent Predictive World Action Model đầu tiên giải quyết bài toán này ở quy mô thực tế. Kết quả: 81.8% success rate trên 11 tác vụ gia đình, vượt xa tất cả VLA và WAM baseline đã thử nghiệm.
Paper: ω-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation — arXiv:2608.06375, August 2026. Project page: gentlefress.github.io/OMEGA-0_page
Vấn đề: Tại sao "đi + gắp đồng thời" lại khó đến vậy?
Để hiểu ω-0, trước tiên cần hiểu tại sao concurrent loco-manipulation là bài toán khó bậc nhất trong robotics hiện đại.
Vấn đề 1 — Khớp thời gian: Đi bộ ổn định đòi hỏi tay robot cân bằng lực quán tính. Khi tay đồng thời cố gắp đồ vật theo quỹ đạo riêng, hai yêu cầu này xung đột về vật lý. Giải bài toán tối ưu này trong thời gian thực là cực kỳ khó.
Vấn đề 2 — Decomposition sai: Hầu hết các robot chia bài toán thành "upper body controller" (tay) + "lower body controller" (chân), sau đó ghép lại bằng interface. Cách này tạo ra độ trễ và mất đồng bộ — robot phải dừng chân trước khi tay có thể thao tác.
Vấn đề 3 — VLA bị giới hạn: Các mô hình VLA (Vision-Language-Action) hiện tại như π-0.5, GR00T-N1.7, EgoVLA chủ yếu được train cho arm-centric manipulation — tay robot cố định, chân đứng yên. Khi thêm locomotion vào, chúng không biết phải xử lý toàn bộ cơ thể như thế nào.
Vấn đề 4 — WAM cũ tạo video không dùng được: World Action Models trước đây (như Fast-WAM, DiT4DiT) dự đoán video tương lai như một mục tiêu huấn luyện. Điều này đòi hỏi giải bài toán ngược "video → action" tại inference time — vừa chậm, vừa dễ sai.
ω-0 giải quyết cả 4 vấn đề này bằng một thiết kế kiến trúc hoàn toàn mới.
Ý tưởng cốt lõi của ω-0
Thay vì dự đoán video tương lai (tốn tài nguyên, khó dùng), ω-0 học cách dự đoán compact future observation embeddings — một vector nhỏ gọn mô tả trạng thái tương lai trong không gian latent.
Cụ thể, mục tiêu huấn luyện phụ trợ (auxiliary objective) là:
ℒ_video = ||h^v - y^v_{t+1:t+K}||²₂
Trong đó:
h^vlà video queries output của Joint Predictory^v_{t+1:t+K}là embedding từ frozen Wan encoder của K frame tương lai
Tại sao điều này quan trọng? Bằng cách dự đoán embedding thay vì pixel, mô hình học được "ý thức về tương lai" (future awareness) với chi phí tính toán nhỏ hơn hàng chục lần so với video generation. Và vì đây chỉ là auxiliary task, đường dẫn chính vẫn là action generation — không cần inversion tại inference.
Nói đơn giản: ω-0 học nhìn về tương lai không phải để vẽ ra tương lai đó, mà để hiểu ngữ cảnh và ra quyết định hành động tốt hơn.
Kiến trúc 3 tầng của ω-0
ω-0 được xây dựng theo pipeline 3 giai đoạn liên kết chặt chẽ.
Tầng 1: Whole-Body Action VLM
Model: Fine-tuned Qwen3-VL-2B-Instruct với FAST tokenizer tùy chỉnh.
FAST (Frequency-Adaptive Sequence Tokenizer) tokenize quỹ đạo whole-body liên tục thành các discrete token. Mô hình VLM này sau đó autoregressive predict các token hành động từ:
- Language instruction (lệnh ngôn ngữ)
- Egocentric RGB (camera gắn trên robot)
- Exocentric RGB-D (camera bên ngoài, góc nhìn thứ ba)
Giai đoạn 1 được train trên dữ liệu công khai khổng lồ: ARCTIC, Xperience-10M, Motion-X — để VLM có general prior về chuyển động người và robot trước khi học dữ liệu robot thực.
Tầng 2: Joint Video-Action Latent Predictor
Đây là trái tim của ω-0 — module kết hợp nhiều nguồn thông tin:
| Input | Encoding |
|---|---|
| VLM features (từ Tầng 1) | Prefix features |
| Language instruction | Frozen T5 encoder |
| Visual observation | Frozen V-JEPA encoder |
| Viewpoint identity | Learnable view tokens (egocentric/exocentric) |
Module này dùng 2 loại learnable queries song song:
- Motion queries: học để generate action representation
- Video queries: học để predict future visual embedding
Cả hai dùng token-specific RoPE (Rotary Position Embedding):
- Visual tokens: 2D RoPE
- Video queries (temporal): 3D RoPE
- Action queries: 1D RoPE
Sự phân tách này cho phép mỗi loại query "chú ý" đúng vào cấu trúc không gian-thời gian phù hợp với vai trò của chúng.
Tầng 3: Action DiT (Diffusion Transformer)
Output của Joint Predictor (motion representation + text + robot state) được đưa vào Action DiT — một Diffusion Transformer denoising whole-body action latents.
Action space: 66 chiều:
- 64-dim: whole-body action latent từ SONIC controller (phân giải thành joint commands)
- 2-dim: hand grasp commands [0, 1]
SONIC controller (từ GR00T-N1.5) đóng vai trò low-level motion tracker — nhận action latents từ ω-0 và chuyển đổi thành joint-level torque commands cho robot thực. Để hiểu rõ hơn về SONIC, xem hướng dẫn SONIC controller trên GEAR humanoid.
Dataset ω-HOME: 40 Giờ Thực Tế
Nhóm tác giả thu thập ω-HOME — bộ dữ liệu humanoid household lớn nhất được công bố đến nay.
| Thông số | Giá trị |
|---|---|
| Tổng thời gian | 40.3 giờ |
| Số episode | 4,827 episodes |
| Tần suất | 30 Hz |
| Số tác vụ | 24 household tasks |
8 nhóm khả năng (capability groups):
- Object retrieval — lấy đồ vật
- Surface cleaning — lau bề mặt
- Appliance interaction — tương tác thiết bị
- Container transfer — chuyển đồ giữa các container
- Cloth handling — xử lý vải, khăn
- Storage — cất đồ vào tủ
- Mobile manipulation — thao tác khi đang di chuyển
- Floor operations — tác vụ trên sàn
Dữ liệu đa modal cho mỗi episode:
- Egocentric RGB (camera trên robot)
- Exocentric RGB-D (camera bên ngoài + depth)
- Whole-body SMPL motions (capture từ người tele-operate)
- Robot states (joint positions, hand config, torso orientation 6D)
- Action latents (64-dim SONIC latents)
Tele-operation setup: Người điều khiển mặc motion capture suit, robot mirror chuyển động người thông qua SONIC motion tracker. Đây là cách thu thập dữ liệu "whole-body" thực sự — không chỉ tay, mà cả thân và chân.
Pipeline Training 3 Giai Đoạn
Giai Đoạn 1: Whole-Body Action VLM Pretraining
# Khái niệm — huấn luyện FAST tokenizer trên continuous trajectories
# Sau đó fine-tune VLM với next-token prediction
# Dữ liệu public:
# - ARCTIC (hand-object interaction)
# - Xperience-10M (egocentric video + motion)
# - Motion-X (SMPL motion library)
Mục đích: VLM học general motion prior từ dữ liệu internet quy mô lớn trước khi tiếp xúc robot data.
Giai Đoạn 2: Action-Latent Pretraining với SONIC Simulation Replay
Đây là bước độc đáo nhất của ω-0. Nhóm tác giả dùng SONIC simulation replay để chuyển đổi dữ liệu chuyển động người công khai (human motion datasets) thành robot-executable supervision.
Human motion dataset (SMPL meshes)
↓ SONIC motion tracker (trong simulation)
↓ Filter physically infeasible motions
↓ Convert to 64-dim SONIC action latents
↓ Paired with egocentric + exocentric renders
Robot training data (không cần thu thập thực tế)
Loss function:
ℒ_stage2 = ℒ_action + λ_video · ℒ_video
Trong đó ℒ_video là loss dự đoán future embedding từ Wan encoder (frozen). λ_video là weight cân bằng hai mục tiêu.
Ý nghĩa: ω-0 học làm robot từ hàng chục giờ video người mà không cần tele-operation đắt tiền — simulation replay làm trung gian.
Giai Đoạn 3: Real-World Fine-tuning trên ω-HOME
Fine-tune toàn bộ mô hình trên dữ liệu robot thực từ ω-HOME. Giai đoạn này giới thiệu kỹ thuật quan trọng: Real-Time Chunking (RTC).
RTC giải quyết vấn đề gì? Action chunking truyền thống predict N bước nhưng thực thi từ đầu. Khi chunk tiếp theo được predict, có khoảng ngừng giữa các chunk — gây giật cục, không phù hợp cho locomotion liên tục.
RTC train mô hình với overlap giữa các chunk ngay từ training time, sao cho inference time có thể dùng overlap blending để chuyển tiếp mượt mà:
Chunk 1: bước 1→25
Thực thi: bước 1→8
Chunk 2 (predict song song): bước 9→33
Thực thi: bước 9→16
Blend: 8 bước overlap để smooth transition
...
Inference: 7+ Hz Trên Robot Thực
Sau khi train xong, ω-0 chạy trên robot với receding-horizon control:
- Predict 25-step chunk (~0.14 giây/forward pass)
- Thực thi 8 bước đầu trong khi predict chunk tiếp theo
- Cache 17 bước còn lại làm prefix cho prediction kế tiếp
- Overlap blending tại điểm nối chunk để smooth transition
Tốc độ cuối cùng: >7 Hz control — đủ nhanh cho locomotion thực tế trên humanoid robot.
Viewpoint flexibility: Trong lúc inference, ω-0 có thể dùng chỉ egocentric camera (không cần camera ngoài) nhờ learnable view tokens. Điều này quan trọng cho deployment thực tế khi không phải lúc nào cũng có camera ngoài cố định.
Kết Quả: 81.8% Trên 11 Tác Vụ Gia Đình
Bộ thử nghiệm
11 tác vụ loco-manipulation gia đình, yêu cầu lower-body active trong phần lớn tác vụ:
| # | Tác vụ | Yêu cầu lower-body |
|---|---|---|
| 1 | Pick apple, đặt vào rổ | Không |
| 2 | Arrange apple lên kệ | Có (cúi người) |
| 3 | Chuyển khăn từ giường sang rổ | Có (di chuyển) |
| 4 | Chuyển khăn vào máy giặt | Có (di chuyển + cúi) |
| 5 | Lau bàn | Có (di chuyển dọc bàn) |
| 6 | Lau sàn (mopping) | Có (cúi người, đẩy cây lau) |
| 7 | Nhặt rác multi-height | Có (cúi + vươn) |
| 8 | Apple → drawer → đóng drawer bằng gối | Có |
| 9 | Quét giường → xoay → ném vào thùng | Có |
| 10 | Lấy quần áo từ máy giặt | Có |
| 11 | Lấy đồ uống từ tủ lạnh | Có (di chuyển + cúi) |
So sánh với baseline
| Model | Loại | Success Rate | Subtasks (/ 41) |
|---|---|---|---|
| ACT | Imitation Learning | 8.2% | — |
| Diffusion Policy | Imitation Learning | 15.5% | — |
| π-0.5 | VLA | ~21% | — |
| GR00T-N1.7 | VLA (NVIDIA) | ~28% | — |
| EgoVLA | VLA | ~30% | — |
| InternVLA-M1 | VLA | ~32% | — |
| Fast-WAM | WAM (video prediction) | 37.1% | — |
| DiT4DiT | WAM (coupled DiTs) | 43.6% | — |
| ψ-0 | Humanoid WAM (arm-centric) | 44.5% | — |
| ω-0 (Ego) | WAM (egocentric only) | 79.1% | 32.4/41 |
| ω-0 (Omni) | WAM (multi-view) | 81.8% | 36.7/41 |
Khoảng cách với baseline tốt nhất (ψ-0): +37.3% — một bước nhảy vọt bất thường trong robotics research.
Ablation study — component nào quan trọng nhất?
| Bỏ component | Giảm success rate |
|---|---|
| Không có robot state | -18.2% |
| Không có video queries | -14.6% |
| Thay V-JEPA bằng Wan encoder | -15.5% |
| Không có VLM prefix | -12.7% |
| Không có RTC training | -7.3% |
Takeaway từ ablation:
- Robot proprioceptive state (joint positions, hand config, torso orientation) là thứ quan trọng nhất — thiếu nó, model mù về trạng thái cơ thể
- V-JEPA tốt hơn Wan encoder cho visual encoding vì nó được train đặc biệt cho temporal prediction
- Video queries (future awareness) đóng góp đáng kể — xác nhận rằng "nhìn về tương lai" thực sự giúp action generation tốt hơn
So Sánh ω-0 với Các Phương Pháp WAM Trước
Để hiểu tại sao ω-0 thắng, hãy xem cách các WAM khác tiếp cận:
Fast-WAM dùng video prediction như primary training signal → inference cần invert video thành action (chậm, error-prone).
DiT4DiT ghép hai DiT: một cho video, một cho action → coupled training nhưng vẫn cần test-time video inversion.
ψ-0 (arm-centric) train VLA cho cánh tay, dùng locomotion controller riêng → hai hệ thống không thống nhất, không học được whole-body coordination.
ω-0 khác biệt ở chỗ:
- Video prediction chỉ là auxiliary loss — không phải primary pathway
- Không cần video inversion tại inference — action được generate trực tiếp
- Toàn bộ 66-dim action latent được predict cùng lúc — locomotion và manipulation unified
Về kiến trúc, ω-0 gần nhất với GR00T-N1.5/SONIC — cùng dùng SONIC controller — nhưng thêm lớp latent prediction và huấn luyện đa giai đoạn phức tạp hơn nhiều.
Những Điểm Cần Biết Trước Khi Dùng
1. Code chưa public (WIP tại thời điểm viết bài)
GitHub repository được liệt kê là "Work in Progress". Nhóm tác giả đã công bố project page nhưng chưa release code. Theo dõi: gentlefress.github.io/OMEGA-0_page
2. Đòi hỏi phần cứng đặc thù
ω-0 được deploy trên humanoid robot thực có SONIC whole-body controller. Bạn cần:
- Humanoid platform tương thích với SONIC (hiện tại là Unitree G1 hoặc H1 variant)
- SONIC motion tracker setup (xem GEAR SONIC guide)
- Egocentric + exocentric cameras
3. Training resource requirements
Dựa trên model size (Qwen3-VL-2B + T5 + V-JEPA + Action DiT):
- Stage 1: Hàng trăm GPU-hours trên A100/H100 với ARCTIC, Xperience-10M, Motion-X
- Stage 2: SONIC simulation replay cần Isaac Sim hoặc tương đương
- Stage 3: Fine-tune trên ω-HOME data với robot thực
4. ω-HOME dataset sắp được release
Dataset 40.3 giờ được đề cập là "coming soon" trong project page. Đây sẽ là tài nguyên quý để train các mô hình tương tự.
Benchmark So Sánh Với Các Hướng Khác
Để có góc nhìn rộng hơn, hãy so sánh ω-0 với các benchmark humanoid wholebody VLA khác. LeverB benchmark cung cấp một framework đánh giá toàn diện hơn cho whole-body manipulation policy.
Điểm đáng chú ý: ω-0 được test trên robot thực, không phải simulation. Nhiều benchmark hiện tại vẫn chạy trong simulation — đây là sự khác biệt quan trọng về độ tin cậy của kết quả.
Tóm Tắt Kỹ Thuật
| Điểm | Chi tiết |
|---|---|
| Paper | arXiv:2608.06375, Aug 2026 |
| Model backbone | Qwen3-VL-2B-Instruct + T5 + V-JEPA + Action DiT |
| Action space | 66-dim (64 SONIC latent + 2 grasp) |
| Dataset | ω-HOME: 40.3h, 4,827 episodes, 24 tasks |
| Training stages | 3 (VLM pretrain → latent pretrain → real fine-tune) |
| Inference speed | ~7+ Hz (~0.14s/forward pass) |
| Best result | 81.8% success rate, 36.7/41 subtasks |
| Code | WIP — github.com (coming soon) |
Bài Viết Liên Quan
- SONIC Controller: Whole-Body Control cho GEAR Humanoid — Hiểu SONIC controller — module low-level được ω-0 dùng để convert action latents thành joint commands
- GR00T-SONIC: NVIDIA Wholebody VLA Pipeline — So sánh với pipeline GR00T + SONIC của NVIDIA, tiền thân trực tiếp của ω-0
- LeverB: Benchmark Đánh Giá Humanoid Wholebody VLA — Framework benchmark để đặt kết quả ω-0 vào bối cảnh rộng hơn
