VnRoboVnRobo
Về chúng tôiBảng giáBlogLiên hệ
🇺🇸ENĐăng nhậpBắt đầu học
🇺🇸EN
VnRobo logoVnRobo logo

Học Physical AI và thử mô phỏng trong trình duyệt. Kết nối fleet khi bạn có robot thật.

Sản phẩm

  • Tính năng
  • Bảng giá
  • Kiến thức
  • Dịch vụ

Công ty

  • Về chúng tôi
  • Blog
  • Liên hệ

Pháp lý

  • Chính sách bảo mật
  • Điều khoản sử dụng

© 2026 VnRobo. Bảo lưu mọi quyền.

Được tạo với♥tại Việt Nam
VnRoboVnRobo
Về chúng tôiBảng giáBlogLiên hệ
🇺🇸ENĐăng nhậpBắt đầu học
🇺🇸EN
  1. Trang chủ
  2. Blog
  3. Hướng dẫn thực hành SimpleVLA-RL: Scale VLA với RL
wholebody-vlavlareinforcement-learningmanipulationopenvlaliberotrainingimitation-learning

Hướng dẫn thực hành SimpleVLA-RL: Scale VLA với RL

Hướng dẫn toàn diện từ ý tưởng đến triển khai SimpleVLA-RL — dùng reward 0/1 đơn giản để scale VLA manipulation lên 430%, có code ICLR 2026.

Nguyễn Anh Tuấn17 tháng 11, 202610 phút đọc
Hướng dẫn thực hành SimpleVLA-RL: Scale VLA với RL

SimpleVLA-RL: Khi VLA học được từ chính thất bại của mình

Có một nghịch lý thú vị trong robot manipulation hiện đại: bạn có thể tốn hàng tháng thu thập 10.000 bản demo teleoperation, train một VLA model khổng lồ, nhưng kết quả vẫn bị "đóng băng" ở mức 70-80% thành công. Thêm 10.000 demo nữa? Tỷ lệ tăng thêm chỉ vài phần trăm. Đây là data ceiling — trần dữ liệu mà mọi phương pháp Supervised Fine-Tuning (SFT) đều gặp.

SimpleVLA-RL, được công bố tại ICLR 2026 bởi nhóm PRIME-RL, đề xuất một lối thoát đơn giản đến bất ngờ: để robot tự luyện tập trong simulation với tín hiệu phản hồi nhị phân (thành công = 1, thất bại = 0), không cần reward engineering phức tạp. Kết quả? Từ 91% lên 99.1% trên LIBERO, và cải thiện 430% trong chế độ dữ liệu khan hiếm.

Bài viết này là hướng dẫn thực hành đầy đủ — từ hiểu ý tưởng paper đến chạy được code trên GPU cluster của bạn.


Tại sao SFT không đủ?

Trước khi vào code, cần hiểu vấn đề mà SimpleVLA-RL giải quyết.

Khi bạn train một VLA model như OpenVLA bằng SFT, model học cách bắt chước các bản demo của chuyên gia. Điều này hoạt động tốt khi robot gặp đúng những tình huống đã thấy trong training data. Nhưng:

  1. Distribution shift: Robot thực tế gặp ánh sáng khác, góc camera khác, vật thể ở vị trí hơi khác → model không khái quát hóa được
  2. Compounding errors: Mỗi bước nhỏ sai một chút, sau 100 bước sai tích lũy thành thất bại hoàn toàn
  3. Mode collapse trong SFT: Model chỉ học cách trung bình hóa các bản demo, không học được chiến lược "phục hồi khi đã sai"

Học tăng cường (RL) giải quyết cả ba vấn đề này bằng cách cho robot tự khám phá những chiến lược mà dữ liệu demo không bao giờ thể hiện — bao gồm cách phục hồi từ trạng thái lỗi.


Kiến trúc SimpleVLA-RL

Tổng quan kiến trúc SimpleVLA-RL — nguồn: repo PRIME-RL/SimpleVLA-RL
Tổng quan kiến trúc SimpleVLA-RL — nguồn: repo PRIME-RL/SimpleVLA-RL

SimpleVLA-RL được xây dựng trên ba thành phần chính:

1. VLA Backbone: OpenVLA-OFT

OpenVLA-OFT là phiên bản fine-tuned của OpenVLA với Optimal Fine-Tuning — tối ưu hóa cho robot manipulation thực tế. Đây là điểm khởi đầu (starting checkpoint) trước khi áp dụng RL.

2. RL Engine: veRL

veRL là framework RL phân tán hiệu năng cao, ban đầu được thiết kế cho LLM training. PRIME-RL đã mở rộng veRL với các thành phần đặc thù cho VLA:

  • VLA-specific trajectory sampling: Lấy mẫu trajectory từ nhiều simulation environment song song, không phải text token
  • Multi-environment rendering: Render nhiều cảnh simulation đồng thời để tăng throughput dữ liệu RL
  • Optimized loss computation: Tính toán policy gradient cho action token sequence của VLA model

3. Thuật toán: GRPO

Thay vì PPO phức tạp, SimpleVLA-RL dùng Group Relative Policy Optimization (GRPO) — thuật toán tương tự đã được dùng trong DeepSeek-R1. GRPO so sánh nhiều rollout của cùng một trạng thái và tính reward tương đối giữa chúng:

python
# Pseudo-code GRPO reward calculation
for state in batch_states:
    rollouts = [policy.sample(state) for _ in range(G)]  # G rollouts
    rewards = [env.check_success(r) for r in rollouts]   # 0 hoặc 1
    baseline = mean(rewards)
    advantages = [r - baseline for r in rewards]          # reward tương đối
    # Update policy để tăng xác suất rollout tốt, giảm rollout xấu

Tại sao GRPO thay vì PPO? PPO cần value function riêng (critic network), tốn thêm memory và compute. GRPO không cần critic — nó dùng chính các rollout song song làm baseline, đơn giản hơn và phù hợp với VLA models có kiến trúc decoder-only.


Hiện tượng "Pushcut": VLA khám phá chiến lược mới

Một trong những phát hiện thú vị nhất của paper là hiện tượng pushcut: sau RL training, model học được cách tiếp cận vật thể không có trong dữ liệu demo. Thay vì cầm thẳng, robot đôi khi đẩy nhẹ vật thể để điều chỉnh góc, rồi mới cầm — một chiến lược mà không có bản demo nào dạy.

Đây là bằng chứng rõ ràng rằng RL không chỉ cải thiện execution — nó thực sự mở rộng không gian chiến lược của robot.


Yêu cầu phần cứng

SimpleVLA-RL không phải dự án có thể chạy trên laptop. Yêu cầu tối thiểu:

Thành phần Yêu cầu
GPU 8× NVIDIA A800 80GB (hoặc A100 80GB)
CUDA 12.4+
RAM 256GB+
Storage 500GB+ (SFT checkpoint + logs)
Python 3.10

Nếu bạn không có GPU cluster nội bộ, có thể thuê cloud GPU (Lambda Labs, RunPod, hay AWS p4d.24xlarge).

Khuyến nghị công cụ

Stack train/deploy cho VLA

Train trên cloud/workstation, deploy bản tối ưu xuống Jetson hoặc robot computer.

Cloud GPU for VLA / policy training Dùng cho imitation learning, diffusion policy, RL và fine-tuning model robotics. Xem cloud GPU → NVIDIA Jetson Orin NX / Orin Nano Máy deploy edge cho perception, logging và inference đã tối ưu. Xem Jetson → Hugging Face / robotics dataset hosting Lưu dataset, checkpoint và model card để workflow LeRobot/VLA dễ chia sẻ hơn. Xem platform →

Cài đặt môi trường

Bước 1: Tạo conda environment

bash
conda create -n simplevla python=3.10 -y
conda activate simplevla

Bước 2: Clone repo chính

bash
git clone https://github.com/PRIME-RL/SimpleVLA-RL.git
cd SimpleVLA-RL

Bước 3: Cài đặt dependencies

bash
# Cài veRL và các dependencies
pip install -e .

# Cài OpenVLA-OFT
git clone https://github.com/moojink/openvla-oft.git
cd openvla-oft && pip install -e . && cd ..

Bước 4: Cài đặt LIBERO (nếu dùng benchmark LIBERO)

bash
# Cài LIBERO simulation environment
pip install git+https://github.com/Lifelong-Robot-Learning/LIBERO.git

Bước 5: Cài đặt RoboTwin 2.0 (nếu dùng benchmark RoboTwin)

bash
# Theo hướng dẫn tại repo RoboTwin 2.0
pip install git+https://github.com/TeleVU-Org/RoboTwin.git

Bước 6: Cấu hình WandB

SimpleVLA-RL dùng WandB để tracking experiments. Mở file align.json và điền API key:

json
{
    "wandb_api_key": "YOUR_WANDB_API_KEY_HERE"
}

Nếu bạn chưa có WandB account, đăng ký miễn phí tại wandb.ai.


Giai đoạn 1: SFT Cold-Start

RL không thể bắt đầu từ model random — cần một starting point có khả năng cơ bản. Đây là vai trò của SFT cold-start.

Tải SFT checkpoint

PRIME-RL cung cấp sẵn SFT checkpoint trên HuggingFace:

bash
# Checkpoint cho LIBERO với 10 trajectories
huggingface-cli download PRIME-RL/SimpleVLA-RL-Collection \
    --include "libero-10-traj1-sft/*" \
    --local-dir ./checkpoints/

# Checkpoint cho LIBERO với toàn bộ trajectories
huggingface-cli download PRIME-RL/SimpleVLA-RL-Collection \
    --include "libero-10-trajall-sft/*" \
    --local-dir ./checkpoints/

Hiểu tại sao "1 trajectory per task" lại quan trọng

Paper báo cáo kết quả với chỉ 1 trajectory mỗi task cho cold-start SFT — đây là chế độ dữ liệu cực kỳ khan hiếm. Kết quả SFT chỉ đạt 17.3% thành công. Nhưng sau khi áp dụng RL, con số này tăng lên 91.7% — đây là minh chứng mạnh nhất cho sức mạnh của RL trong việc vượt qua data ceiling.

Chế độ SFT RL
1 trajectory/task 17.3% 91.7%
100 demos 7.3% 25.4%
1000 demos 28.2% 50.4%
Toàn bộ LIBERO 91.0% 99.1%

Giai đoạn 2: RL Training trên LIBERO

Cấu hình training script

Mở examples/run_openvla_oft_rl_libero.sh và điều chỉnh:

bash
# Số node (1 node = 8 GPU)
export NUM_NODES=1

# Đường dẫn đến SFT checkpoint
export ALIGN_PATH="./checkpoints/libero-10-traj1-sft"

# Số parallel environment (tăng để tăng throughput)
export N_ENVS=8

# LIBERO task suite: libero_spatial, libero_object, libero_goal, libero_long
export TASK_SUITE="libero_long"

Chạy training

bash
bash examples/run_openvla_oft_rl_libero.sh

Script này sẽ:

  1. Khởi động veRL với distributed training
  2. Launch 8 LIBERO simulation environments song song
  3. Mỗi rollout: robot cố gắng thực hiện task, nhận reward 1.0 (thành công) hoặc 0.0 (thất bại)
  4. Tính GRPO loss và update policy
  5. Lặp lại ~1000 iterations

Monitoring

Mở wandb.ai để xem metrics theo thời gian thực:

  • train/success_rate: Tỷ lệ thành công hiện tại
  • train/policy_loss: Loss của policy gradient
  • train/entropy: Entropy của policy (quá thấp = collapsed)

Giai đoạn 3: RL Training trên RoboTwin 2.0

RoboTwin 2.0 là benchmark khó hơn LIBERO, với các task manipulation phức tạp hơn và đa dạng hơn về môi trường.

bash
# Chỉnh cấu hình cho RoboTwin
export ALIGN_PATH="./checkpoints/robottwin-sft"
export N_ENVS=8

bash examples/run_openvla_oft_rl_twin2.sh

Kết quả trên RoboTwin 2.0

Theo paper và dữ liệu từ bài đánh giá độc lập (dVLA-RL, 2025):

Model Average Success Rate
OpenVLA-OFT (SFT only) 34.2%
SimpleVLA-RL 68.7%
π0 Dưới SimpleVLA-RL

Đây là kết quả đáng kinh ngạc: vượt qua cả π0 — một trong những VLA model mạnh nhất hiện nay.


Inference: Chạy model đã train

Sau khi training, checkpoint được lưu tại outputs/<experiment_name>/. Để inference:

python
from openvla_oft import OpenVLAOFT
import numpy as np

# Load model
model = OpenVLAOFT.from_pretrained(
    "outputs/simplevla_rl_libero_long/checkpoint-1000"
)
model.eval()

# Inference loop
obs = env.reset()
for step in range(max_steps):
    # obs chứa: image (480x640x3), language instruction
    action = model.predict_action(
        image=obs["image"],
        instruction=obs["instruction"]
    )
    obs, reward, done, _ = env.step(action)
    if done:
        print(f"Task completed in {step+1} steps!")
        break

Triển khai lên robot thực

Điều đáng chú ý là SimpleVLA-RL được train hoàn toàn trong simulation nhưng vẫn transfer sang robot thực:

Môi trường SFT SimpleVLA-RL
Simulation (RoboTwin 2.0) 34.2% 68.7%
Real robot (sim-only training) 17.5% 38.5%

Sim-to-real gap vẫn còn (68.7% → 38.5%), nhưng RL giúp cải thiện real robot performance một cách đáng kể so với SFT (17.5%) mà không cần thêm bất kỳ real robot data nào.

Teaser figure SimpleVLA-RL — nguồn: repo PRIME-RL/SimpleVLA-RL
Teaser figure SimpleVLA-RL — nguồn: repo PRIME-RL/SimpleVLA-RL


Những lỗi thường gặp và cách xử lý

Lỗi 1: CUDA out of memory

code
RuntimeError: CUDA out of memory. Tried to allocate X GiB

Giảm N_ENVS hoặc batch_size trong script. Với 8× A100 40GB (thay vì 80GB), cần giảm xuống khoảng 60-70% settings gốc.

Lỗi 2: Import error với LIBERO

code
ModuleNotFoundError: No module named 'robosuite'

LIBERO phụ thuộc vào robosuite. Cài: pip install robosuite

Lỗi 3: Reward luôn bằng 0 Kiểm tra xem task setup có đúng không — robot có thể đang không nhìn thấy vật thể do camera misconfiguration. Chạy python examples/visualize_env.py để kiểm tra.

Lỗi 4: Training không hội tụ sau 500 iterations Thử giảm learning rate: --lr 1e-6 thay vì mặc định 5e-6. VLA models khá nhạy cảm với learning rate.


Giới hạn và hướng phát triển

SimpleVLA-RL hiện tại có một số giới hạn cần lưu ý:

  1. Chỉ hỗ trợ OpenVLA/OpenVLA-OFT: Support cho π0 và các VLA model khác đang được phát triển (feature pending trên GitHub)
  2. Yêu cầu GPU cao: 8× A800 80GB không phải ai cũng có; cộng đồng đang tìm cách giảm xuống 4× A100 40GB
  3. Reward chỉ là 0/1: Không có dense reward — học có thể chậm với task phức tạp. Có fork community thêm dense reward nhưng chưa chính thức

Tóm tắt: SimpleVLA-RL đáng để học gì?

Nếu chỉ có một điều bạn mang về từ bài này, hãy là: reward đơn giản nhất (0/1) vẫn đủ mạnh để vượt qua SFT với số lượng lớn dữ liệu, nếu bạn có đủ compute để rollout trong simulation.

Điều này mở ra một paradigm mới: thay vì tốn tiền thu thập demonstration data, đầu tư vào simulation infrastructure và RL compute để model tự cải thiện.


Bài viết liên quan

  • SimpleVLA-RL (1): Tổng quan & Ý tưởng — Từ SFT đến RL
  • SimpleVLA-RL (2): Kiến trúc & Thuật toán GRPO
  • RL-VLA³: Framework RL Bất đồng bộ cho VLA Training
NT

Nguyễn Anh Tuấn

Robotics & AI Engineer. Building VnRobo — sharing knowledge about robot learning, VLA models, and automation.

Khám phá VnRobo

Fleet MonitoringROS 2 IntegrationAMR Solutions
← Bài trước
SLA: Continual Pre-training π0.5 với Giám Sát 3D Tăng 24%

Bài viết liên quan

Nghiên cứu
TGRPO: Fine-tune VLA với Trajectory GRPO và LLM Dense Reward
vlagrporeinforcement-learning
wholebody-vla

TGRPO: Fine-tune VLA với Trajectory GRPO và LLM Dense Reward

TGRPO kết hợp LLM dense reward với dual-level advantage (step + trajectory) fine-tune OpenVLA-7B trên LIBERO, đạt 91% success rate — vượt SFT 4.6%, PPO 4.4%.

1/7/202611 phút đọc
NT
Tutorial
RISE: Hands-on training pipeline tự cải thiện
riseworld-modelvla
wholebody-vla

RISE: Hands-on training pipeline tự cải thiện

Từng bước chạy RISE training pipeline: cài đặt, chuẩn bị data LeRobot, offline policy training, dynamics model, và online self-improvement loop trên 4–8 GPU.

13/6/202612 phút đọc
NT
Deep Dive
VLA-RFT: RL Fine-Tune VLA trong World Simulator
vlavla-rftreinforcement-learning
wholebody-vla

VLA-RFT: RL Fine-Tune VLA trong World Simulator

VLA-RFT dùng world model làm simulator để fine-tune VLA bằng GRPO, reward kiểm chứng và code GitHub trên LIBERO.

3/6/202614 phút đọc
NT
VnRobo logoVnRobo logo

Học Physical AI và thử mô phỏng trong trình duyệt. Kết nối fleet khi bạn có robot thật.

Sản phẩm

  • Tính năng
  • Bảng giá
  • Kiến thức
  • Dịch vụ

Công ty

  • Về chúng tôi
  • Blog
  • Liên hệ

Pháp lý

  • Chính sách bảo mật
  • Điều khoản sử dụng

© 2026 VnRobo. Bảo lưu mọi quyền.

Được tạo với♥tại Việt Nam