Humanoid

Bài cuối series: kiểm tra issue cuRobo hiện tại, rủi ro khi deploy trên Jetson AGX Orin 64GB, checklist an toàn cho robot arm và Unitree G1.

Capstone series VIMA: adapt từ tabletop 6-DoF lên Unitree G1 23-DoF — freeze backbone, swap action head, bridge data gap với teacher-student và LoRA fine-tuning.

Dùng Custom Function Editor trong PlotJuggler để viết Lua script tính power per joint (τ × dq), velocity tracking error — phát hiện khớp quá tải trên Unitree G1 mà kênh /lowstate không có sẵn.

Xây cầu nối ZMQ từ MuJoCo/Python sang PlotJuggler để stream state G1 simulation realtime, đồng bộ VideoViewer với dữ liệu thật, và so sánh gap sim-to-real từng khớp, từng pha gait — workflow nâng cao nhất của series.

Hướng dẫn triển khai hướng whole-body cho Unitree G1 bằng cuRobo: extra_links floating base, tool frames, MotionRetargeter, IK/MPC và dữ liệu BVH/SOMA.

Cài ros-humble-plotjuggler-ros, cấu hình CycloneDDS cho Unitree G1, rồi stream live /lowstate và /sportmodestate trong 15 phút.

Dùng ToolboxQuaternion chuyển quaternion IMU G1 sang roll/pitch/yaw, áp dụng ToolboxFFT trên gyroscope để phát hiện tần số cộng hưởng cơ học, và Moving Average làm mượt foot_force khi phân tích gait.

SOMA-X v0.2 thống nhất body model, pose, LOD và pose inversion cho physical AI, humanoid simulation và robotics.

Hướng dẫn MPC-RL cho humanoid: dùng MPC làm reward trong PPO, cài repo, training, inference và đọc kết quả locomotion, push recovery.

Kết nối SONIC với MotionBricks: VQVAE, pose/root models, synthetic training và ZMQ v4 token_state cho G1.

Đi theo pipeline OpenWBT: VR wrist pose, G1_29_ArmIK, clip action_hl_idx và chạy upper body G1 trong MuJoCo.

Checklist chuyển controller G1 từ MuJoCo sang robot thật: DDS, ROS_DOMAIN_ID, OpenWBT, log .pkl, PlotJuggler và torque guard.

Cách dùng cuRobo cho Unitree G1 ở chế độ arm-only: lock chân/waist, joint map, tool frame cổ tay, self-collision và giới hạn gửi command.

So sánh license robot dataset, rủi ro train model thương mại, data moat khép kín và dự báo open vs closed năm 2027.

So sánh AgiBot, Unitree XR, ALOHA 2, Mobile ALOHA và GELLO để chọn stack teleoperation thu dữ liệu robot thật theo ngân sách.

Cách dùng Ego4D, EPIC-Kitchens và video web để pre-train policy robot humanoid trước khi fine-tune bằng dữ liệu robot thật.

Cách biến vài demo người thành hàng nghìn trajectory robot bằng MimicGen, GR00T-Mimic, RoboCasa và co-training sim-real.

Data robot không scale theo số demo thô. Bài này giải thích power law theo diversity và khi nào thu thêm data là phí tiền.

Playbook thực chiến cho team nhỏ: thu data SO-101, chuẩn LeRobotDataset v2, fine-tune VLA và dùng cộng đồng Hugging Face.

Đi theo hai luồng retarget thật: H2O/OmniH2O với AMASS SMPL+H và GMR với SMPL-X, BVH, FBX, PICO.

So sánh TWIST và HOMIE để thiết kế trạm thu dữ liệu teleop toàn thân cho Unitree G1.

Từ H2O, OmniH2O và TWIST đến LMO RL: cách train controller có thể tái lập cho WholeBodyVLA.

Checklist sim-to-real cho Unitree G1: kiểm motion, checkpoint, Redis, MuJoCo và mạng trước khi chạm hardware.

So sánh Phantom và pi0.5 để biết khi nào video người trở thành dữ liệu train, dữ liệu robot phái sinh, hay bằng chứng benchmark.

Khép lại series bằng lifecycle VLA từ LeRobot dataset, norm stats, checkpoint pi0.5 đến policy server và action trên robot.

Bản đồ beginner-friendly về dữ liệu humanoid: file thô, LeRobot, Isaac Lab, Humanoid Everyday và ai kiểm soát giá trị ở từng lớp.

Walkthrough pipeline EgoHumanoid: PICO/ZED, HDF5 thô, 5 stage xử lý và checklist consent/licensing cho dữ liệu humanoid.

Giải thích cách EgoHumanoid dùng depth warping và inpainting để biến video egocentric của người thành quan sát tương thích robot.

Bài cuối series: khởi động FastAPI inference server, kết nối G1 qua SSH tunnel, gửi action commands, chạy arm VLA và locomotion đồng thời — kèm safety checklist và debug guide cho các lỗi thường gặp trên phần cứng thật.

Trace pipeline retarget của GRAIL: SMPL-X sang G1, hand action, table geometry, lift threshold và BPS.

Train task-general tracker trong SONIC, nối số liệu paper với code path, export rollout thành motion library.

Tách hai nhánh asset trong GRAIL: terrain thủ tục và Hunyuan3D text-to-mesh cho loco-manipulation.

Chạy gen_2dhoi cho cordless_drill: Bullet settling, scale/prompt refinement, render scene và video Kling.

Giải thích stack recon_4dhoi: pose người, mask/depth, FoundationPose, HOIOptimizer, filtering và visualization.

Deep dive vào các GitHub repos VLA và Whole-Body Control từ Trung Quốc và cộng đồng mở — Unitree (unifolm-vla, xr_teleoperate, unitree_rl_gym), THU RDT-1B, RobotEra humanoid-gym, và benchmark tools.

Kiến trúc và nguyên tắc thiết kế để mở rộng UMI từ upper-body manipulation sang whole-body humanoid data collection bằng cách kết hợp với mocap hoặc VR teleop — phân tích thực tế từ HumanPlus, OmniH2O, và Open-TeleVision.

Hướng dẫn fine-tune unifolm-vla từ checkpoint công khai Qwen2.5-VL-7B-Instruct (vì Unifolm-VLM-0 chưa public) — gồm approach chính thức 8-GPU DeepSpeed và workaround single-GPU với QLoRA cho beginner.

Closing the loop: domain randomization trong Isaac Lab, actuator modeling để thu hẹp sim2real gap, deploy lên G1 thật, và evaluate performance bằng humanoid-bench — cộng với debug guide cho các failure mode thường gặp.

Deep dive vào các GitHub repos VLA và Whole-Body Control từ các công ty và lab Mỹ — NVIDIA Isaac-GR00T, GR00T-WholeBodyControl, Physical Intelligence openpi, Berkeley HumanPlus, Stanford TeleVision, OpenHelix, và EgoHumanoid.

Hướng dẫn deploy GR00T-WBC stack (GEAR upper body 50Hz + SONIC locomotion 200Hz) trên Unitree G1 với checkpoint GR00T N1 đã fine-tune — joint mapping, PD tuning, safety, và adapt cho robot khác.

Tổng hợp toàn bộ repos GitHub đang hoạt động của các công ty và lab nghiên cứu humanoid về VLA (Vision-Language-Action) và WBC (Whole-Body Control) — từ NVIDIA đến Unitree.

Hướng dẫn chuyển đổi dữ liệu teleoperation 3 bước: từ JSON (xr_teleoperate) sang LeRobot V2.1, sang HDF5, sang RLDS format chuẩn cho training unifolm-vla — kèm cách verify dataset trước khi train.

Hướng dẫn chọn camera cho humanoid robot: head RGB-D, wrist camera, RealSense, OAK-D, latency, ROS 2, calibration và affiliate placement.

So sánh Jetson Orin Nano, Orin NX và cloud GPU cho humanoid robot theo ROS 2, camera, VLA inference, logging, training và ngân sách.

Hướng dẫn chọn phần cứng humanoid robot theo từng giai đoạn: compute, actuator, camera, IMU, nguồn, safety, logging và vị trí đặt affiliate links tự nhiên.

Hướng dẫn fine-tune GR00T N1 (2B params) với LeRobot dataset từ G1 — GPU requirements, training config, cách tránh overfitting, và evaluate checkpoint trước khi deploy.

Hướng dẫn thu data cho GR00T N1 theo hai track: Isaac Lab simulation teleop (không cần robot) và xr_teleoperate thật trên G1 — đều ra LeRobot format cho bước fine-tune.

Hướng dẫn chi tiết setup xr_teleoperate với Meta Quest 3, kết nối G1, record demo, và mẹo thu thập dữ liệu chất lượng cao để VLA học được hành vi chính xác trên phần cứng thật.

Hiểu cách GR00T N1 (VLA 6Hz) kết hợp với GR00T-WBC (200Hz) để điều khiển Unitree G1 — kiến trúc decoupled, tại sao không thể chạy end-to-end, và cách adapt cho robot khác.

Tổng quan kiến trúc 3 repo — unifolm-vla (VLA), xr_teleoperate (thu thập dữ liệu), unitree_rl_gym (locomotion) — và cách chúng kết nối thành pipeline whole-body control cho Unitree G1 trên phần cứng thật.

Hướng dẫn chi tiết SUGAR (arXiv 2026.05) — framework học loco-manipulation cho humanoid từ video người thật, full open-source, beginner-friendly từ A đến Z.

Hướng dẫn chi tiết Booster Gym — RL framework end-to-end open-source train humanoid Booster T1 walking từ teleop đến deploy thực tế.

Reproduce LIFT ICLR 2026: pretrain SAC trong MuJoCo Playground rồi sim2sim finetune world model trên Brax cho Booster T1, Unitree G1.

Hướng dẫn chi tiết reproduce SteadyTray trên IsaacLab — humanoid Unitree G1 bưng khay không rơi đồ bằng kiến trúc Residual RL hai tầng.

Pipeline hoàn chỉnh deploy RL locomotion policy lên robot humanoid thật — domain randomization, system identification, safety, và Unitree SDK.

Parkour cho humanoid robot — nhảy chướng ngại vật, leo cầu thang, vượt địa hình khó bằng RL với terrain perception.

Kết hợp locomotion và manipulation: bê hộp, đẩy xe, mở cửa trong khi đi, với reward design multi-objective và training pipeline.

Khám phá H1-2 với dexterous hands và improved actuators, cách hardware mới ảnh hưởng locomotion, và loco-manipulation cơ bản.

Mở rộng H1 policy sang running 2+ m/s, sharp turning, lateral walking, và multi-gait command-conditioned policy.

Huấn luyện locomotion cho Unitree H1 full-size, so sánh với G1, và điều chỉnh reward + PD gains cho robot 1.8m.

Phân tích chi tiết 3 nền tảng humanoid robot phổ biến nhất — specs, giá thành, SDK và khả năng ứng dụng thực tế.

Mở rộng walking policy cho G1 lên terrain phức tạp với curriculum learning, domain randomization, và teacher-student training.

Hướng dẫn từng bước train walking policy cho Unitree G1 với PPO trong Isaac Lab, từ config đến evaluation.

Phân tích chi tiết 12+ reward terms cho humanoid walking, kỹ thuật tránh reward hacking, và reward curriculum từ đứng đến đi.

Tìm hiểu tại sao locomotion humanoid là bài toán khó, MDP formulation cho bipedal walking, và setup Isaac Lab environment cho Unitree G1.

Thị trường humanoid robot $38B vào 2035, xu hướng tuyển dụng, kỹ năng cần thiết và lộ trình học cho kỹ sư robotics Việt Nam.

Kỹ thuật điều khiển humanoid đồng thời di chuyển và thao tác vật -- decoupled control, teleoperation và imitation learning.

Hướng dẫn train locomotion policy cho humanoid robot với Humanoid-Gym, từ cấu hình reward đến zero-shot sim-to-real transfer.

Whole-body Model Predictive Control với MuJoCo và iLQR -- từ lý thuyết contact dynamics đến deploy real-time trên humanoid robot.

Từ Inverse Kinematics đến operational space control -- lý thuyết và code Python cho điều khiển humanoid robot cân bằng và thực hiện task.

So sánh chi tiết Atlas, Optimus Gen 3, Figure 02, Unitree H1/G1/H2, Fourier GR-2 và 1X NEO -- specs, giá, SDK và ROS 2 support.

Tổng quan robot Humanoid — bipedal walking, whole-body control và các nền tảng Tesla Optimus, Figure 02, Unitree H1.