Ai Manipulation Agents

ManiAgent đạt 86.8% trên SimplerEnv — vượt xa pi0 55.7% và CogACT 51.3%. Phân tích kiến trúc 3-agent và lý do phân rã pipeline thắng end-to-end VLA.

Perception Agent của ManiAgent: Florence-v2 nhận diện vật thể zero-shot, AnyGrasp sinh 6-DoF grasp pose từ point cloud. Hướng dẫn build module Python.

So sánh hai execution mode của ALRM: CaP sinh Python gọi robot API một lần, TaP dùng ReAct lặp tool call. Benchmark 56 tasks, 10 LLMs để chọn đúng mode.

Chạy ds.py (DeepSeek-V3 decompose subgoals) và main.py (OpenVLA trên LIBERO). Implement Temporal Verifier sliding window — SAP protocol đạt 79.6% LIBERO avg.

Từ 79.6% trên LIBERO đến robot thật: calibrate camera-to-robot transform, xử lý domain gap, deploy SAP pipeline trên Franka/UR5, latency dưới 100ms.