Ở bài 3, DP3 cho ta một policy point-cloud mạnh — nhưng nó là single-arm, workspace nhỏ, camera nhìn thẳng vào bàn. Khi chuyển sang humanoid như Unitree G1, AgiBot X2 hay Fourier GR, bài toán perception thay đổi về chất.
Một con humanoid không đứng yên gắp đồ trên một cái bàn. Nó đi tới kệ, cúi xuống nhặt đồ dưới sàn, với tay ra sau lưng, xoay người để đặt vật lên băng chuyền. Workspace của nó là cả căn phòng, và phần lớn những gì nó cần thao tác đang nằm ngoài field-of-view (FOV) của camera gắn trên đầu. Bài này phân tích hai paper humanoid 2026 giải đúng bài toán đó: Omni-Manip và Active Spatial Reasoning.
Vì sao perception của humanoid khác hẳn robot arm
Với một cánh tay cố định, mọi thứ gọn gàng: một camera RGB-D nhìn thẳng vào workspace ~60×60cm là đủ. Mọi vật cần thao tác đều trong khung hình, depth ổn định, calib một lần là xong.
Humanoid phá vỡ ba giả định đó:
- Workspace lớn hơn FOV nhiều lần. Tay G1 với được ~70cm, nhưng nó di chuyển trong căn phòng vài mét. Camera đầu chỉ thấy một nón hẹp phía trước.
- Vật cần thao tác thường ngoài tầm nhìn. Lúc với tay xuống nhặt đồ dưới chân, đồ vật khuất khỏi camera đầu ngay khi tay tới gần — đúng lúc cần thấy nhất (vấn đề occlusion ta đã gặp ở bài 1).
- Cả thân phải tránh va chạm. Chân, hông, khuỷu tay đều có thể đập vào kệ, bàn, hoặc chính robot. Cần hình học 3D của toàn bộ không gian quanh robot, không chỉ vùng trước mặt.
Nói cách khác: robot arm cần "nhìn rõ một điểm", humanoid cần "hiểu cả không gian quanh mình". Đó là chuyển từ perception khung hình sang perception toàn cảnh.
Omni-Manip: perception ngoài FOV cho workspace lớn
Omni-Manip (Beyond-FOV Large-Workspace Humanoid Manipulation, arXiv 2603.05355, 2026) tấn công trực diện vấn đề "vật ngoài FOV". Ý tưởng cốt lõi: thay vì phụ thuộc vào một camera đầu nhìn thẳng, xây dựng một biểu diễn 3D omnidirectional của môi trường quanh robot — gần như "tầm nhìn 360°" về mặt hình học.
Các thành phần chính:
- Panoramic / multi-sensor 3D perception. Kết hợp nhiều nguồn — camera đầu, camera cổ tay, và LiDAR/RGB-D quét rộng — thành một point cloud bao phủ vùng lớn hơn FOV của bất kỳ camera đơn nào.
- Persistent scene memory. Khi robot xoay người hay cúi xuống, phần cảnh từng thấy được giữ lại trong bộ nhớ hình học, không biến mất khi ra khỏi khung hình hiện tại. Đây chính là "mô hình 3D trong đầu" mà con người có — và policy 2D thiếu.
- Large-workspace manipulation policy. Trên nền 3D omnidirectional đó, policy có thể lập kế hoạch grasp/place cho vật ở bất kỳ đâu trong workspace mở rộng, kể cả khi vật không nằm trong khung camera tại thời điểm ra lệnh.
Vì sao điều này quan trọng cho whole-body: khi đã có hình học 3D của cả vùng quanh robot, planner có thể kiểm tra va chạm cho toàn thân (chân + thân + tay) trong khi với tay ra xa — đúng cái mà bài 1 chỉ ra là bất khả thi với ảnh 2D đơn thuần.
Active Spatial Reasoning: nhìn chủ động, suy luận không gian
Paper thứ hai, Humanoid Whole-Body Manipulation via Active Spatial Reasoning (arXiv 2605.21133, 5/2026), bổ sung một mảnh khác: active perception và spatial reasoning.
Khác biệt cốt lõi với perception thụ động:
- Active perception. Thay vì chỉ xử lý ảnh đến từ camera cố định, robot chủ động điều chỉnh góc nhìn — quay đầu, nghiêng thân, di chuyển — để "nhìn thấy" phần không gian cần thiết cho task. Giống như con người nghiêng đầu để nhìn vật bị che.
- Spatial reasoning về quan hệ không gian. Policy suy luận các quan hệ như "cốc bên trái hộp", "lấy vật phía sau chai", "đặt lên kệ cao hơn". Đây là reasoning 3D, không phải chỉ detect object trên ảnh.
- Sample efficiency. Điểm đáng giá nhất: paper đạt whole-body manipulation 3D spatial-aware với ít dữ liệu robot thật hơn — nhờ biểu diễn không gian tốt giảm gánh nặng phải học mọi thứ từ demo.
Vì sao đây là bước tiến: VLA 2D phải học "cảm giác không gian" ngầm từ hàng triệu frame. Khi bơm spatial reasoning tường minh vào pipeline, model cần ít demo hơn để đạt cùng năng lực — một lợi thế khổng lồ khi data robot thật đắt đỏ (chủ đề của bài 6).
So sánh hai cách tiếp cận
| Tiêu chí | Omni-Manip | Active Spatial Reasoning |
|---|---|---|
| Vấn đề chính giải quyết | Vật ngoài FOV, workspace lớn | Suy luận quan hệ không gian, occlusion |
| Cơ chế perception | Omnidirectional 3D (passive, nhiều sensor) | Active — chủ động đổi góc nhìn |
| Scene memory | Persistent geometric memory | Reasoning theo task |
| Điểm mạnh | Bao phủ không gian rộng | Sample-efficient, ít data robot |
| Phù hợp khi | Kho/nhà xưởng workspace lớn | Task phức tạp về quan hệ không gian |
Hai hướng này bổ sung chứ không loại trừ nhau: Omni-Manip cho bạn bản đồ 3D toàn cảnh, Active Spatial Reasoning cho bạn cách dùng bản đồ đó một cách chủ động và tiết kiệm data. Một hệ humanoid lý tưởng dùng cả hai.
Ghép vào pipeline 3D của series
Nhìn lại bức tranh lớn, perception cho humanoid là một lớp nằm trên những gì ta đã học:
Robo3R (bài 2) → metric 3D từ RGB, mỗi camera
+
Omni-Manip → ghép nhiều view thành 3D omnidirectional
+
Active Spatial Reason → chủ động nhìn + suy luận quan hệ không gian
↓
Scene 3D toàn cảnh trong robot frame
↓
Policy (DP3 / WholeBodyVLA) → action cho cả hai tay + di chuyển
DP3 ở bài 3 vẫn là policy tốt cho từng thao tác tay, nhưng nó cần point cloud sạch, đúng vùng. Omni-Manip và Active Spatial Reasoning chính là tầng perception cung cấp point cloud đó cho một humanoid hoạt động trong không gian rộng.
Lưu ý khi áp dụng cho Unitree G1
- Bố trí cảm biến. Một camera đầu (RGB-D) là không đủ cho whole-body. Thực tế nên có thêm camera cổ tay (nhìn cận cảnh lúc grasp) và một cảm biến quét rộng (LiDAR hoặc RGB-D góc rộng) để dựng vùng ngoài FOV.
- Calib đa cảm biến. Mọi point cloud phải đưa về cùng một robot base frame mới ghép được — đây là phần kỹ thuật khó nhất, đòi hỏi extrinsic calibration chính xác giữa các camera và các khớp.
- Active perception cần controller phối hợp. "Quay đầu để nhìn" nghĩa là perception và motion control phải nói chuyện với nhau — không thể tách rời như ở robot arm cố định.
Kết: từ "nhìn rõ một điểm" đến "hiểu cả không gian"
Bài học lớn của phần này: humanoid manipulation là bài toán perception toàn cảnh, không phải perception khung hình. Omni-Manip giải bài toán "vật ngoài FOV" bằng 3D omnidirectional; Active Spatial Reasoning giải bài toán "suy luận không gian với ít data" bằng active perception. Cả hai đều dựng trên nền hình học 3D mà cả series này theo đuổi từ bài 1.
Có được perception toàn cảnh rồi, câu hỏi tiếp theo là: làm sao biến nó thành hành động toàn thân — vừa đi vừa thao tác? Đó là chủ đề của bài 5: WholeBodyVLA, học loco-manipulation từ video egocentric kết hợp RL.
Bài viết liên quan
- Bài 3: DP3 — Diffusion Policy với point cloud — Policy point-cloud nhận perception từ tầng này
- Bài 5: WholeBodyVLA — video egocentric + RL — Biến perception thành hành động toàn thân
- Bài 1: Vì sao VLA 2D chưa đủ cho manipulation — Vì sao occlusion & FOV phá ảnh 2D
