Manipulation

Hướng dẫn EvoVLA (ECCV 2026): giải quyết stage hallucination trong VLA với SAR, Gemini hard negatives và memory dài hạn để đạt 69.2% trên benchmark thao tác dài hạn.

VLAC tích hợp critic vào vòng lặp RL thực tế, đưa success rate từ 30% lên 90% chỉ sau 200 episodes không cần reward engineering thủ công.

Hướng dẫn kỹ thuật Qwen-VLA từ Alibaba: kiến trúc Qwen3.5-4B + DiT decoder, 4 giai đoạn training, đạt 97.9% trên LIBERO và đánh bại pi0.5 trên ALOHA thực tế.

FM-VLA dùng Variational Autoencoder nén lịch sử cảm biến lực thành 8 memory token, giúp robot nhấn nút đúng số lần, lau chùi, tìm vật che khuất — đạt 83.3% success rate với overhead chỉ 3.3ms.

ICLR 2026: InstructVLA dùng VLA-IT với MoE LoRA để train manipulation policy hiểu câu lệnh phức tạp, đạt +96% so với OpenVLA trên SimplerEnv-Instruct 80 task.

Hướng dẫn chi tiết LaST-R1 — framework kết hợp Latent Chain-of-Thought reasoning với LAPO (RL) để fine-tune VLA đạt 99.8% success rate trên LIBERO chỉ với 1 demo/task.

UniTacVLA tích hợp tactile chain-of-thought và coarse-to-fine prediction vào VLA để xử lý thao tác tiếp xúc phức tạp — ECCV 2026 với code open-source.

Hướng dẫn TORL-VLA — framework kết hợp cảm biến xúc giác (tactile) và Online RL để fine-tune VLA cho thao tác tiếp xúc chính xác cao: latch, trứng, cốc cà phê.

Từ 79.6% trên LIBERO benchmark đến robot vật lý thực tế: calibrate camera-to-robot transform, handle domain gap với real-world augmentation, và deploy SAP pipeline trên Franka/UR5 với latency < 100ms.

Deep dive object tokenizer của VIMA: Mask R-CNN tách đối tượng, ViT encode crop, bbox MLP giữ vị trí, rồi ghép với T5 prompt.

Phân tích bộ dataset 650K trajectories của VIMA: procedural generation trong PyBullet, format pkl, cách tải từ HuggingFace, và tại sao 1% dữ liệu đã đủ để vượt baseline.

Giải mã kiến trúc cross-attention của VIMA: cách T5 encoder xử lý prompt đa phương thức và XAttn GPT decoder sinh lệnh cho 17 task robot.

Cài đặt VimaBench, chạy demo 200M checkpoint, và phân tích 4 cấp eval từ placement đến novel task generalization — cấp nào quan trọng nhất cho humanoid?

Khám phá Dexora — VLA mã nguồn mở đầu tiên chuyên biệt cho robot thao tác hai tay 36 bậc tự do, kết hợp exoskeleton và Apple Vision Pro để đạt 66.7% thành công trên tác vụ khéo léo.

ManiAgent đạt 86.8% trên SimplerEnv — vượt xa pi0 55.7% và CogACT 51.3%. Phân tích kiến trúc 3-agent và lý do phân rã pipeline thắng end-to-end VLA.

Deep dive vào Perception Agent của ManiAgent: Florence-v2 nhận diện vật thể zero-shot qua open-vocabulary detection, AnyGrasp sinh 6-DoF grasp pose từ point cloud. Hướng dẫn Python build perception module hoàn chỉnh.

So sánh hai execution mode của ALRM: CaP sinh Python gọi robot API trong một lần chạy, TaP dùng ReAct lặp từng tool call. Benchmark 56 tasks, 10 LLMs — giúp bạn chọn đúng mode cho dự án.

Chạy ds.py (DeepSeek-V3 decompose subgoals) và main.py (OpenVLA trên LIBERO). Implement Temporal Verifier sliding window — SAP protocol đạt 79.6% LIBERO avg.

Bài capstone: ghép Robo3R, DP3, Omni-Manip và WholeBodyVLA thành một pipeline triển khai cụ thể cho Unitree G1 — từ bố trí cảm biến, chọn policy, chọn data, đến checklist sim2real.

Tự điền bảng DH UR5, dựng robot model bằng NumPy/C++ Eigen, rồi đối chiếu với Robotics Toolbox và Pinocchio URDF.

Tự tính FK UR5 từ bảng DH, nhân A1...A6 bằng tay, rồi viết NumPy/C++ Eigen và verify bằng GoogleTest, RTB, Pinocchio.

Tự giải IK UR5 bằng tay, rồi viết solver numerical IK Python/C++ với Jacobian pseudo-inverse, DLS và tránh joint-limit.

Tự derive Jacobian UR5, phát hiện singularity bằng SVD và viết resolved-rate controller an toàn bằng Python/C++.

Giải thích base/tool/user/object frame, TCP 6-DOF và pose composition bằng SpatialMath Python và Eigen C++.

Tự viết MoveJ: nội suy joint space, đồng bộ thời gian, tôn trọng giới hạn vận tốc/gia tốc, prototype Python và C++ chạy được.

Tự implement MoveL: nội suy TCP theo đường thẳng, SLERP orientation, giải IK từng waypoint và verify độ thẳng path.

Bản đồ nhập môn controller robot arm cổ điển: MoveJ/MoveL, planner, trajectory, servo loop, C++/Python và thư viện 2026.

Tự dựng MoveC qua 3 điểm và MoveP qua nhiều via point với tốc độ TCP ổn định, blend radius, Python prototype và C++ Eigen.

Time-scaling cho robot arm: trapezoid, S-curve, giới hạn vận tốc/gia tốc/jerk, Python prototype và C++ class.

Hiểu blend radius, path deviation, vì sao robot chậm khi dừng ở mọi waypoint, rồi dựng Python/C++ cho chuyển động đa điểm mượt.

Hướng dẫn chi tiết MoveIt Servo trên ROS 2: joint jog, Cartesian twist jog, pose tracking thời gian thực, an toàn singularity/collision, C++ API và Python teleop keyboard.

Bài capstone: deploy controller lên UR robot thật qua ros2_control, joint_trajectory_controller và ur_rtde C++ với logging tracking error đầy đủ.

Setup C++/CMake/Eigen, GoogleTest và Python env để làm nền cho robot arm controller trong toàn bộ series.

DP3 biến point cloud thành input trực tiếp cho diffusion policy — 24.2% cải thiện trên 72 tasks, 85% success rate trên robot thật. Hands-on: cài đặt, train, eval từ repo YanjieZe/3D-Diffusion-Policy.

Cách đưa thế giới thật vào cuRobo planner: cuboid trước, depth sau, timestamp, filtering, TSDF/ESDF và chiến lược snapshot để tránh planner dùng scene cũ.

Hướng dẫn thực dụng để quyết định khi nào nên upgrade từ GoPro UMI sang RealSense D405: những gì D405 mang lại, những gì bạn phải tự xây, và kiến trúc đúng để không mất data quality.

Hướng dẫn build RUKA-v2, bàn tay robot open-source tendon-driven cho teleoperation, dexterous manipulation và policy learning.

Hướng dẫn AffordanceVLA từ paper mới, kiến trúc Which2Act/Where2Act/How2Act, cài đặt GitHub, training, inference và kết quả.

Scale UMI lên bimanual: in 2 unit, thu demo với cả hai tay, dùng demo_real_bimanual_robots.py và eval_real_bimanual_umi.py chính thức, train với config umi_bimanual. Cụ thể, step-by-step, không guesswork.

Hướng dẫn cài đặt, chạy inference và fine-tune OpenEAI-VLA, VLA mã nguồn mở dựa trên Qwen3-VL-4B cho robot arm giá rẻ.

Hướng dẫn FineVLA: ý tưởng paper, kiến trúc, cài đặt, training, inference và kết quả cho VLA dual-arm.

Thiết kế node ROS 2 bọc cuRobo planner: topic/service/action, lifecycle warmup, joint state reorder, trajectory retiming và watchdog.

Hướng dẫn EXPO-FT mã nguồn mở: fine-tune VLA π0.5 bằng RL online với chỉ 19.1 phút dữ liệu robot thật.

Hướng dẫn train Diffusion Policy từ replay_buffer.zarr.zip của UMI, đọc hiểu training metrics, và deploy policy lên robot arm thật với eval_real_umi.py — dùng configs chính thức đã được verify.

Hướng dẫn chạy pose-to-pose planning, obstacle collision, warmup, grasp approach-lift và cách tune planner cho robot arm trên Jetson.

Hướng dẫn từng bước thu demo UMI đơn tay, chạy toàn bộ 8 script SLAM pipeline chính thức (00-07), kiểm tra chất lượng data, và xuất replay_buffer.zarr.zip để train policy.

Hướng dẫn từng bước để in 3D và lắp ráp một UMI handheld unit với GoPro — đường đi đã được kiểm chứng từ repo Stanford. BOM đầy đủ, print settings, và cách test trước khi thu demo đầu tiên.

Bài thực hành kiểm tra forward kinematics, inverse kinematics, quaternion wxyz, joint order và lỗi frame thường gặp trước khi chạy planner trên robot thật.

Hiểu được ý tưởng cốt lõi của Universal Manipulation Interface: tại sao tách data collection ra khỏi robot lại là bước đột phá giúp scale imitation learning cho manipulation.

Cách chuyển URDF robot arm thành config cuRobo dùng được: mesh path, sphere fitting, self-collision ignore matrix, clipping link và tiêu chí pass/fail.

Thiết lập môi trường cuRoboV2 trên Jetson AGX Orin 64GB theo hướng reproducible: JetPack, uv, Python 3.11, CUDA 12.x, PyTorch và smoke test.

Hướng dẫn Multitask DiT Policy của LeRobot v0.5: train 1 policy cho nhiều task với CLIP text-conditioning, code open-source HuggingFace, deploy SO-100/SO-101.

Bài mở đầu series: cuRoboV2 dùng để làm gì, khi nào chạy trên Jetson AGX Orin 64GB, khi nào dùng workstation, và kiến trúc deploy cho robot arm lẫn Unitree G1.

Từng bước train cánh tay SO-101 trong NVIDIA Isaac Lab, thu thập dữ liệu teleop, fine-tune GR00T N1.5, và deploy policy lên robot thực tế.

Khám phá RoboTwin 2.0 — framework tạo dữ liệu synthetic quy mô lớn cho robot hai tay, với domain randomization mạnh và pipeline MLLM code generation tự động.

Hướng dẫn triển khai task planning cho robot manipulation trên NVIDIA Jetson AGX Orin 64GB — từ cuTAMP, cuMotion đến VLM inference.

Giải quyết manipulation dài hơi bằng RL — curriculum learning, hierarchical RL, skill chaining, và benchmark IKEA furniture assembly.

Dạy robot sử dụng dụng cụ bằng RL — affordance learning, two-phase grasp-then-use, và screwdriver insertion trong MuJoCo.

Giải quyết contact-rich manipulation bằng RL — peg-in-hole, assembly, tactile sensing, và domain randomization cho sim-to-real.

Huấn luyện robot bê vật thể ổn định bằng RL — từ carry-flat đến pouring, multi-objective reward cho speed vs stability.

Huấn luyện robot pick-and-place chính xác dưới 1cm với RL — HER cho sparse rewards, 6-DOF placement, và orientation alignment.

Huấn luyện robot giữ cốc nước không đổ bằng RL — reward design cho force control, impedance control baseline, và SAC training.

Huấn luyện robot nắm vật thể đa dạng bằng RL — từ reward design cho grasping đến curriculum learning với PPO và SAC.

Xây dựng nền tảng RL cho manipulation — từ MDP formulation, thiết kế reward function đến setup môi trường MuJoCo từ đầu.

Kết nối ROS 2 với phần cứng thực — viết hardware interface C++ cho motor driver và đọc encoder với ros2_control framework (Jazzy, cập nhật 6/2026).

End-to-end tutorial: setup LeRobot, record demonstrations, train policy (ACT/Diffusion), evaluate và deploy lên robot arm thật.

ALOHA hardware, Mobile ALOHA, ACT for bimanual tasks, data collection tips và LeRobot SO-100 dual arm -- hướng dẫn đầy đủ về bimanual manipulation.

Hướng dẫn cấu hình MoveIt2 cho robot arm — từ URDF, collision detection đến trajectory planning trong ROS 2.

In-hand rotation, tool use, DexGraspNet và tactile sensing -- hướng dẫn toàn diện về dexterous manipulation với multi-finger robot hands.

Vision-Language-Action models đang thay đổi manipulation -- từ RT-2 của Google đến pi0 của Physical Intelligence, cách fine-tune và hạn chế thực tế.

DDPM recap, Diffusion Policy architecture (CNN vs Transformer), code với LeRobot, và benchmark results -- hướng dẫn thực hành đầy đủ.

Data collection bằng teleoperation, Behavioral Cloning pipeline, DAgger fix distribution shift, và ACT -- tất cả để dạy robot manipulation từ demonstrations.

Từ force closure truyền thống đến deep learning grasp detection -- tổng quan các phương pháp grasping hiện đại và cách chọn đúng cho project.

Giải bài toán IK cho robot arm 6-DOF — từ DH parameters, forward kinematics đến numerical IK solver với Python và NumPy.

So sánh 5 hãng cobot phổ biến nhất — payload, tầm với, giá thành và ứng dụng thực tế cho nhà máy Việt Nam.

Python là ngôn ngữ phổ biến nhất trong robotics nhờ hệ sinh thái thư viện phong phú. Tìm hiểu cách điều khiển robot từ GPIO đến kinematics.