Humanoid

Bài cuối series: kiểm tra issue cuRobo hiện tại, rủi ro khi deploy trên Jetson AGX Orin 64GB, checklist an toàn cho robot arm và Unitree G1.

Capstone series VIMA: adapt từ tabletop 6-DoF lên Unitree G1 23-DoF — freeze backbone, swap action head, bridge data gap với teacher-student, LoRA fine-tuning.

Custom Function Editor trong PlotJuggler viết Lua tính power per joint (τ × dq), velocity tracking error — phát hiện khớp quá tải mà /lowstate không có sẵn.

Cầu nối ZMQ từ MuJoCo/Python sang PlotJuggler stream state G1 realtime, đồng bộ VideoViewer với dữ liệu thật, so sánh gap sim-to-real từng khớp, từng pha gait.

Hướng dẫn triển khai hướng whole-body cho Unitree G1 bằng cuRobo: extra_links floating base, tool frames, MotionRetargeter, IK/MPC và dữ liệu BVH/SOMA.

Dùng plugin DataLoadMCAP trong PlotJuggler để mở file .mcap từ G1, tạo grid multi-panel xem q/dq/tau của 23 khớp, và lưu layout XML để tái dùng nhiều session.

ToolboxQuaternion chuyển IMU G1 sang roll/pitch/yaw, ToolboxFFT trên gyroscope phát hiện cộng hưởng cơ học, Moving Average làm mượt foot_force.

Cài ros-humble-plotjuggler-ros, cấu hình CycloneDDS cho Unitree G1, rồi stream live /lowstate và /sportmodestate trong 15 phút.

Kết nối SONIC với MotionBricks: VQVAE, pose/root models, synthetic training và ZMQ v4 token_state cho G1.

SOMA-X v0.2 thống nhất body model, pose, LOD và pose inversion cho physical AI, humanoid simulation và robotics.

Checklist chuyển controller G1 từ MuJoCo sang robot thật: DDS, ROS_DOMAIN_ID, OpenWBT, log .pkl, PlotJuggler và torque guard.

Đi theo pipeline OpenWBT: VR wrist pose, G1_29_ArmIK, clip action_hl_idx và chạy upper body G1 trong MuJoCo.

Hướng dẫn MPC-RL cho humanoid: dùng MPC làm reward trong PPO, cài repo, training, inference và đọc kết quả locomotion, push recovery.

Cách dùng cuRobo cho Unitree G1 ở chế độ arm-only: lock chân/waist, joint map, tool frame cổ tay, self-collision và giới hạn gửi command.

So sánh license robot dataset, rủi ro train model thương mại, data moat khép kín và dự báo open vs closed năm 2027.

Data robot không scale theo số demo thô. Bài này giải thích power law theo diversity và khi nào thu thêm data là phí tiền.

Playbook thực chiến cho team nhỏ: thu data SO-101, chuẩn LeRobotDataset v2, fine-tune VLA và dùng cộng đồng Hugging Face.

Cách dùng Ego4D, EPIC-Kitchens và video web để pre-train policy robot humanoid trước khi fine-tune bằng dữ liệu robot thật.

Cách biến vài demo người thành hàng nghìn trajectory robot bằng MimicGen, GR00T-Mimic, RoboCasa và co-training sim-real.

So sánh AgiBot, Unitree XR, ALOHA 2, Mobile ALOHA và GELLO để chọn stack teleoperation thu dữ liệu robot thật theo ngân sách.

Khép lại series bằng lifecycle VLA từ LeRobot dataset, norm stats, checkpoint pi0.5 đến policy server và action trên robot.

So sánh Phantom và pi0.5 để biết khi nào video người trở thành dữ liệu train, dữ liệu robot phái sinh, hay bằng chứng benchmark.

Bản đồ beginner-friendly về dữ liệu humanoid: file thô, LeRobot, Isaac Lab, Humanoid Everyday và ai kiểm soát giá trị ở từng lớp.

Walkthrough pipeline EgoHumanoid: PICO/ZED, HDF5 thô, 5 stage xử lý và checklist consent/licensing cho dữ liệu humanoid.

Giải thích cách EgoHumanoid dùng depth warping và inpainting để biến video egocentric của người thành quan sát tương thích robot.

Bài cuối series: khởi động FastAPI inference server, kết nối G1 qua SSH tunnel, chạy arm VLA và locomotion đồng thời — kèm safety checklist, debug guide.

Trace pipeline retarget của GRAIL: SMPL-X sang G1, hand action, table geometry, lift threshold và BPS.

Train task-general tracker trong SONIC, nối số liệu paper với code path, export rollout thành motion library.

Tách hai nhánh asset trong GRAIL: terrain thủ tục và Hunyuan3D text-to-mesh cho loco-manipulation.

Chạy gen_2dhoi cho cordless_drill: Bullet settling, scale/prompt refinement, render scene và video Kling.

Giải thích stack recon_4dhoi: pose người, mask/depth, FoundationPose, HOIOptimizer, filtering và visualization.

Fine-tune unifolm-vla từ checkpoint Qwen2.5-VL-7B-Instruct (vì Unifolm-VLM-0 chưa public) — approach chính thức 8-GPU DeepSpeed và workaround single-GPU QLoRA.

Mở rộng UMI từ upper-body manipulation sang whole-body humanoid data collection bằng mocap hoặc VR teleop — phân tích từ HumanPlus, OmniH2O, Open-TeleVision.

Closing the loop: domain randomization trong Isaac Lab, actuator modeling thu hẹp sim2real gap, deploy G1 thật, evaluate bằng humanoid-bench, kèm debug guide.

GitHub repos VLA và Whole-Body Control từ Trung Quốc và cộng đồng mở — Unitree (unifolm-vla, xr_teleoperate, unitree_rl_gym), THU RDT-1B, RobotEra humanoid-gym.

Deploy GR00T-WBC (GEAR upper body 50Hz + SONIC locomotion 200Hz) trên Unitree G1 với checkpoint GR00T N1 đã fine-tune — joint mapping, PD tuning, safety.

GitHub repos VLA và WBC từ công ty, lab Mỹ — NVIDIA Isaac-GR00T, GR00T-WBC, Physical Intelligence openpi, Berkeley HumanPlus, Stanford TeleVision, OpenHelix.

Hướng dẫn chọn phần cứng humanoid robot theo từng giai đoạn: compute, actuator, camera, IMU, nguồn, safety, logging và vị trí đặt affiliate links tự nhiên.

Hướng dẫn chọn camera cho humanoid robot: head RGB-D, wrist camera, RealSense, OAK-D, latency, ROS 2, calibration và affiliate placement.

Chuyển đổi dữ liệu teleoperation 3 bước: JSON (xr_teleoperate) sang LeRobot V2.1, sang HDF5, sang RLDS chuẩn cho training unifolm-vla — kèm cách verify dataset.

Hướng dẫn fine-tune GR00T N1 (2B params) với LeRobot dataset từ G1 — GPU, training config, tránh overfitting, evaluate checkpoint trước khi deploy.

Tổng hợp repos GitHub đang hoạt động của công ty, lab nghiên cứu humanoid về VLA (Vision-Language-Action) và WBC (Whole-Body Control) — từ NVIDIA đến Unitree.

So sánh Jetson Orin Nano, Orin NX và cloud GPU cho humanoid robot theo ROS 2, camera, VLA inference, logging, training và ngân sách.

Hướng dẫn thu data cho GR00T N1 theo hai track: Isaac Lab simulation teleop (không cần robot) và xr_teleoperate thật trên G1 — ra LeRobot format cho fine-tune.

Hướng dẫn setup xr_teleoperate với Meta Quest 3, kết nối G1, record demo, và mẹo thu dữ liệu chất lượng cao để VLA học hành vi chính xác trên phần cứng thật.

Hiểu cách GR00T N1 (VLA 6Hz) kết hợp GR00T-WBC (200Hz) điều khiển Unitree G1 — kiến trúc decoupled, vì sao không chạy end-to-end, và cách adapt cho robot khác.

Kiến trúc 3 repo — unifolm-vla (VLA), xr_teleoperate (thu dữ liệu), unitree_rl_gym (locomotion) — cách kết nối thành pipeline whole-body control cho G1.

Hướng dẫn chi tiết SUGAR (arXiv 2026.05) — framework học loco-manipulation cho humanoid từ video người thật, full open-source, beginner-friendly từ A đến Z.

Hướng dẫn chi tiết Booster Gym — RL framework end-to-end open-source train humanoid Booster T1 walking từ teleop đến deploy thực tế.

Reproduce LIFT ICLR 2026: pretrain SAC trong MuJoCo Playground rồi sim2sim finetune world model trên Brax cho Booster T1, Unitree G1.

Hướng dẫn chi tiết reproduce SteadyTray trên IsaacLab — humanoid Unitree G1 bưng khay không rơi đồ bằng kiến trúc Residual RL hai tầng.

Pipeline hoàn chỉnh deploy RL locomotion policy lên robot humanoid thật — domain randomization, system identification, safety, và Unitree SDK.

Parkour cho humanoid robot — nhảy chướng ngại vật, leo cầu thang, vượt địa hình khó bằng RL với terrain perception.

Kết hợp locomotion và manipulation: bê hộp, đẩy xe, mở cửa trong khi đi, với reward design multi-objective và training pipeline.

Khám phá H1-2 với dexterous hands và improved actuators, cách hardware mới ảnh hưởng locomotion, và loco-manipulation cơ bản.

Mở rộng H1 policy sang running 2+ m/s, sharp turning, lateral walking, và multi-gait command-conditioned policy.

Huấn luyện locomotion cho Unitree H1 full-size, so sánh với G1, và điều chỉnh reward + PD gains cho robot 1.8m.

Phân tích chi tiết 3 nền tảng humanoid robot phổ biến nhất — specs, giá thành, SDK và khả năng ứng dụng thực tế.

Mở rộng walking policy cho G1 lên terrain phức tạp với curriculum learning, domain randomization, và teacher-student training.

Hướng dẫn từng bước train walking policy cho Unitree G1 với PPO trong Isaac Lab, từ config đến evaluation.

Phân tích chi tiết 12+ reward terms cho humanoid walking, kỹ thuật tránh reward hacking, và reward curriculum từ đứng đến đi.

Tìm hiểu tại sao locomotion humanoid là bài toán khó, MDP formulation cho bipedal walking, và setup Isaac Lab environment cho Unitree G1.

Thị trường humanoid robot $38B vào 2035, xu hướng tuyển dụng, kỹ năng cần thiết và lộ trình học cho kỹ sư robotics Việt Nam.

Kỹ thuật điều khiển humanoid đồng thời di chuyển và thao tác vật -- decoupled control, teleoperation và imitation learning.

Hướng dẫn train locomotion policy cho humanoid robot với Humanoid-Gym, từ cấu hình reward đến zero-shot sim-to-real transfer.

Whole-body Model Predictive Control với MuJoCo và iLQR -- từ lý thuyết contact dynamics đến deploy real-time trên humanoid robot.

Từ Inverse Kinematics đến operational space control -- lý thuyết và code Python cho điều khiển humanoid robot cân bằng và thực hiện task.

So sánh chi tiết Atlas, Optimus Gen 3, Figure 02, Unitree H1/G1/H2, Fourier GR-2 và 1X NEO -- specs, giá, SDK và ROS 2 support.

Tổng quan robot Humanoid — bipedal walking, whole-body control và các nền tảng Tesla Optimus, Figure 02, Unitree H1.