Fine-tune InternVLA-A1.5 với LeRobot

InternVLA-A1.5 là bản nâng cấp rất đáng chú ý của InternRobotics/Shanghai AI Lab cho bài toán Vision-Language-Action (VLA) trong robot manipulation. Nếu InternVLA-A1 trước đó cố gắng hợp nhất understanding, generation và action trong một Mixture-of-Transformers, A1.5 chỉnh lại thiết kế theo hướng thực dụng hơn: giữ nguyên sức mạnh ngữ nghĩa của một VLM gốc, dùng latent foresight tokens để học dynamics từ một video generation model đã pretrain, rồi bỏ hẳn video branch khi inference để policy vẫn chạy real-time.

Bài này tập trung vào câu hỏi thực hành: nếu bạn có dataset dạng LeRobot và muốn fine-tune InternVLA-A1.5 cho một task manipulation riêng, cần hiểu kiến trúc nào, cài đặt ra sao, chuẩn bị dữ liệu thế nào, chạy training command nào, và kiểm tra inference bằng cách nào. Mục tiêu là đủ chi tiết để người mới với VLA có thể follow, nhưng vẫn giữ đúng các điểm kỹ thuật quan trọng từ paper arXiv 2607.04988, project page và repo GitHub InternVLA-A-series.

Nếu bạn đã đọc bài InternVLA-A1: VLA + World Model, hãy xem A1.5 như một bản sửa rất có chủ đích: thay vì bắt policy tự học pixel-level future generation từ đầu, A1.5 biến future prediction thành một bài toán latent-querying. Một nhóm token nhỏ học cách hỏi shared multimodal context: "tương lai nào liên quan đến hành động sắp tới?" Sau đó các token này được supervise bởi WAN2.2-5B trong training. Khi deploy, robot không cần sinh video tương lai nữa.

Ý tưởng paper: Giữ semantics, học dynamics, không trả giá khi deploy

Các VLA như OpenVLA, π0/π0.5, GR00T hay nhiều policy LeRobot hiện đại đều dựa vào một trực giác chung: pretrained VLM đã học rất nhiều kiến thức ngữ nghĩa từ ảnh và ngôn ngữ, nên ta có thể thêm action head để robot làm theo instruction. Vấn đề là robot manipulation không chỉ là hiểu câu lệnh. Robot còn cần biết dynamics: vật thể sẽ trượt ra sao, tay gắp đang đi tới đâu, giai đoạn hiện tại trong long-horizon task là gì, và hành động tại thời điểm này sẽ làm môi trường thay đổi thế nào.

Một hướng giải quyết là thêm world model hoặc video prediction vào policy. Nhưng paper A1.5 chỉ ra ba vấn đề hay gặp:

1. Semantic erosion: nếu fine-tune VLM quá mạnh bằng action/video loss, khả năng instruction following ban đầu có thể bị xói mòn.
2. Objective interference: language modeling, future prediction và continuous action regression có scale loss khác nhau, dễ kéo representation theo các hướng trái nhau.
3. Học future từ đầu quá đắt: nhiều mô hình dự đoán future frame từ scratch, trong khi các video generation model lớn đã có prior về motion, scene consistency và temporal structure.

InternVLA-A1.5 trả lời bằng ba quyết định thiết kế:

Điểm quan trọng nhất cho người deploy là: video generation branch chỉ có mặt trong training và visualization. Khi inference thật, bạn có thể bật action_loss_only hoặc optimized backend để không load WAN. Nhờ vậy, foresight trở thành knowledge đã được distill vào policy, không phải một module phải chạy song song mỗi control step.

Kiến trúc: Qwen3.5 + unified expert + latent foresight

A1.5 gồm hai khối chính.

Khối đầu tiên là Qwen3.5-2B VLM backbone. Nó nhận multi-view camera images, language instruction, control-mode token và proprioceptive state của robot. State được discretize bằng uniform binning rồi đưa vào token sequence, giúp VLM vẫn làm việc trong format quen thuộc thay vì bị ép sang một encoder robot riêng.

Khối thứ hai là unified expert khoảng 460M parameters. Expert này dùng cùng kiểu hybrid architecture với Qwen3.5 text model: xen kẽ 3 Gated DeltaNet linear-attention layers và 1 full-attention layer. VLM backbone và unified expert chỉ trao đổi context qua shared full-attention layers, còn Gated DeltaNet layers tách riêng để giữ xử lý modality-specific.

Trong unified expert có hai nhóm token:

• Foresight tokens: 50 learnable tokens, đóng vai trò latent query cho tương lai. Chúng đọc shared multimodal context, tạo conditioning signal cho frozen WAN2.2-5B, và nhận video prediction loss trong training.
• Action query tokens: chuỗi query tương ứng với action chunk. Action head dùng flow matching để dự đoán continuous action chunk, mặc định chunk size là 50.

Luồng forward có thể hình dung như sau:

Multi-view images + instruction + state + mode
        |
        v
Qwen3.5-2B VLM backbone
        |
        | shared full attention
        v
Unified expert
        |-------------------------|
        v                         v
50 foresight tokens          action queries
        |                         |
WAN2.2-5B video loss          flow matching action loss
(training only)               continuous action chunk

Với người dùng LeRobot, điều này giải thích vì sao config training có các flag như --policy.enable_vqa_loss=true, --dataset.use_fast_action_tokens=true, --policy.num_learnable_tokens=50, --policy.video_loss_weight=1 và --policy.action_loss_only=false. A1.5 không chỉ fine-tune một action decoder; nó giữ language/VQA supervision để policy không quên instruction semantics.

Data recipe: 1.2M episodes, 861M frames, 3M multimodal samples

Paper và project page mô tả hai stream dữ liệu lớn.

Stream robot manipulation gồm sáu nguồn, tổng cộng khoảng 1.2M robot episodes và 861M frames. InternData-A1 là nguồn simulation lớn nhất; các nguồn real-world như AgiBotWorld, UMI, DROID, Galaxea và RoboMind giúp tăng diversity về embodiment, camera viewpoint và scene. Tất cả được cast về một unified action space kiểu InternVLA-A1, với morphology-specific slots được padding vào layout chung để một action head có thể học nhiều robot.

Stream multimodal co-training gồm khoảng 3M samples từ InternVLA-M1 style data: General QA, Box QA, Point QA và Trajectory QA. Phần này không phải phụ kiện. Nó là cách A1.5 bảo vệ semantic/spatial grounding của VLM trong lúc học robot control. Nếu bạn chỉ fine-tune action loss trên vài nghìn demonstrations, model rất dễ học shortcut: nhìn pose hiện tại rồi lặp action, nhưng không thật sự hiểu câu lệnh.

Khi fine-tune ở lab nhỏ, bạn không cần tái tạo toàn bộ pretraining. Nhưng bạn nên giữ ba thói quen:

1. Dataset phải có instruction text rõ ràng, không chỉ action arrays.
2. Camera views phải ổn định và gần với setup deploy.
3. Action normalization/statistics phải khớp action mode abs hoặc delta.

Nếu bạn đang xây pipeline dữ liệu từ đầu, bài LeRobot ecosystem guide và VLA + LeRobot deployment là hai điểm đọc nền tảng trước khi chạy A1.5.

Cài đặt môi trường

Repo chính là InternRobotics/InternVLA-A-series. Theo tutorial installation của repo, môi trường đã được test với Python 3.11, CUDA 12.8 và PyTorch 2.10.0. Với model kiểu này, hãy dùng Linux + NVIDIA GPU; fine-tune thực tế nên có GPU lớn hoặc multi-GPU. Consumer GPU vẫn có thể chạy thử open-loop nhỏ, nhưng post-training full 60K steps sẽ nặng.

Các bước cài đặt cơ bản:

conda create -y -n internvla_a1_5 python=3.11
conda activate internvla_a1_5
pip install --upgrade pip

conda install -c conda-forge ffmpeg svt-av1 -y

pip install torch==2.10.0 torchvision==0.25.0 \
  --index-url https://download.pytorch.org/whl/cu128

pip install transformers==5.2.0
pip install -e .

pip install flash-attn==2.8.3 flash-linear-attention==0.5.0 causal-conv1d==1.6.1 \
  --no-build-isolation

Sau đó repo yêu cầu patch một số module vào Transformers để hỗ trợ Qwen3.5 và policy code:

TRANSFORMERS_DIR=${CONDA_PREFIX}/lib/python3.11/site-packages/transformers/

cp -r src/lerobot/policies/pi0/transformers_replace/models ${TRANSFORMERS_DIR}
cp -r src/lerobot/policies/pi05/transformers_replace/models ${TRANSFORMERS_DIR}
cp -r src/lerobot/policies/internvla_a1_5/transformers_replace/models ${TRANSFORMERS_DIR}

Thiết lập cache Hugging Face và LeRobot:

export HF_TOKEN=your_token
export HF_HOME=/data/huggingface
export HF_LEROBOT_HOME=${HF_HOME}/lerobot
ln -s ${HF_HOME}/lerobot data

Nếu bạn train với video foresight supervision, tải WAN2.2-TI2V-5B:

huggingface-cli download Wan-AI/Wan2.2-TI2V-5B \
  --local-dir ${HF_HOME}/hub/Wan2.2-TI2V-5B

Nếu chỉ chạy action-only inference/evaluation, có thể bỏ qua bước WAN. Đây là điểm thực dụng của A1.5: WAN rất hữu ích khi học latent foresight, nhưng không bắt robot thật phải trả latency của video generation.

Chuẩn bị LeRobot dataset

Tutorial chính thức dùng ví dụ A2D Pick-Pen từ InternData-A1, ở format LeRobot v2.1. Pipeline gồm bốn bước: download, extract, convert sang LeRobot v3.0, rồi compute normalization statistics.

Tải dataset:

hf download \
  InternRobotics/InternData-A1 \
  real/genie1/Put_the_pen_from_the_table_into_the_pen_holder.tar.gz \
  --repo-type dataset \
  --local-dir data

Giải nén và tổ chức lại:

tar -xzf data/real/genie1/Put_the_pen_from_the_table_into_the_pen_holder.tar.gz -C data
mkdir -p data/v21
mv data/set_0 data/v21/a2d_pick_pen

Convert v2.1 sang v3.0:

python src/lerobot/datasets/v30/convert_my_dataset_v21_to_v30.py \
  --old-repo-id v21/a2d_pick_pen \
  --new-repo-id v30/a2d_pick_pen

Nếu bạn dùng delta actions, compute stats cho chunk size 50:

python util_scripts/compute_norm_stats_single.py \
  --action_mode delta \
  --chunk_size 50 \
  --repo_id v30/a2d_pick_pen

File stats thường nằm ở:

${HF_HOME}/lerobot/stats/delta/v30/a2d_pick_pen/stats.json

Đây là bước người mới hay bỏ qua. Nếu stats sai, model có thể train loss giảm nhưng action unnormalize ra robot lại lệch scale. Với gripper, joint position hoặc end-effector delta, lệch mean/std nhỏ cũng đủ làm robot overshoot hoặc đứng im.

Fine-tune InternVLA-A1.5

Repo có quick start cho lerobot/pusht:

bash launch/internvla_a15_finetune.sh lerobot/pusht abs false

Trong command này:

• lerobot/pusht là dataset repo id.
• abs nghĩa là absolute action mode.
• false nghĩa là dùng stats.json có sẵn từ dataset thay vì external stats path.

Với dataset custom vừa convert, bạn nên copy script launch rồi chỉnh các biến quan trọng. Một cấu hình post-train điển hình từ repo:

POLICY="internvla_a1_5"
PRETRAINED_PATH="InternRobotics/InternVLA-A1.5-base"
DATASET_REPO_ID="v30/a2d_pick_pen"
ACTION_TYPE="delta"
USE_EXTERNAL_STATS=true

Các flag policy quan trọng:

--policy.type=internvla_a1_5
--policy.pretrained_path=InternRobotics/InternVLA-A1.5-base
--policy.dtype=bfloat16
--policy.optimizer_lr=5e-5
--policy.scheduler_warmup_steps=2000
--policy.scheduler_decay_steps=60000
--policy.scheduler_decay_lr=5e-6
--policy.freeze_vision_encoder=false
--policy.train_expert_only=false
--policy.enable_vqa_loss=true
--policy.tokenize_state=true
--policy.video_loss_only=false
--policy.video_loss_weight=1
--policy.action_loss_only=false
--policy.freeze_learnable_tokens=true
--policy.num_learnable_tokens=50

Các flag dataset quan trọng:

--dataset.type=internvla_a1_5
--dataset.repo_id=v30/a2d_pick_pen
--dataset.action_mode=delta
--dataset.use_external_stats=true
--dataset.external_stats_path=${HF_HOME}/lerobot/stats/delta/v30/a2d_pick_pen/stats.json
--dataset.tokenize_state=true
--dataset.use_fast_action_tokens=true

Và phần training:

--batch_size=8
--steps=60000
--save_freq=20000
--log_freq=200

Paper dùng post-training batch size 128, learning rate cosine decay từ 5e-5 xuống 5e-6 trong 60K steps, warmup 2K, weight decay 0.01, gradient clipping 1.0 và bfloat16. Script public mặc định batch size 8 để dễ chạy hơn trong setup nhỏ; nếu bạn có nhiều GPU, tăng PROC_PER_NODE, global batch và kiểm soát gradient accumulation theo VRAM.

Một recipe thực dụng cho lab nhỏ:

Nếu task là pick-and-place tĩnh, A1.5 có thể hơi nặng so với ACT hoặc Diffusion Policy. Nhưng nếu task có instruction binding, compositional objects, nhiều giai đoạn, hoặc môi trường thay đổi sau mỗi action, latent foresight bắt đầu có ý nghĩa.

Inference và evaluation

Để kiểm tra checkpoint trước khi đưa lên robot, repo có open-loop script:

python tests/openloop_internvla_a1_5.py \
  --ckpt-path outputs/internvla_a1_5/your_checkpoint \
  --dataset-root data/v30/a2d_pick_pen \
  --out-dir outputs/openloop/a2d_pick_pen \
  --num-episodes 2 \
  --max-samples-per-episode 8

Script này load checkpoint, load LeRobot demo dataset, dự đoán chunked actions, unnormalize action layout và có thể lưu visualization của future frames nếu bật --visualize-future. Với beginner, hãy nhìn ba thứ trước:

1. Predicted action có cùng scale với ground truth không?
2. Gripper close/open timing có đúng phase không?
3. Action chunk có nhảy đột ngột giữa các timestep không?

Khi deploy real robot, repo khuyến nghị optimized action-only inference:

config.inference_backend, config.action_loss_only = "optimized", True

Cấu hình này bỏ qua WAN video branch và chỉ dự đoán action. Theo paper, real-world experiments chạy trên một RTX 5090; với static-graph execution, SDPA và flash linear attention, một inference step khoảng 0.1 giây. Con số thực tế của bạn sẽ phụ thuộc camera pipeline, batch size, GPU, robot middleware và tần số control.

Nếu bạn muốn benchmark simulation, repo có hướng dẫn riêng cho LIBERO, LIBERO-Plus, RoboTwin, DOMINO và SimplerEnv. Với LIBERO, flow là policy server + simulator client; các biến quan trọng gồm CKPT_PATH, LIBERO_HOME, GPU_IDS, NUM_TRIALS_PER_TASK, REPLAN_STEPS và INFERENCE_BACKEND.

Kết quả: A1.5 mạnh nhất ở compositional generalization

Kết quả simulation nổi bật từ paper:

Trên RoboTwin, A1.5 gần như không giảm từ clean sang randomized: 93.3 so với 93.0. Trên DOMINO, benchmark dynamic manipulation với moving objects, model đạt 27.7% zero-shot success rate và 29.3% sau fine-tune. Đây là nơi latent foresight có vai trò rõ hơn so với bài toán tĩnh.

Ablation cũng rất đáng chú ý:

Nói ngắn gọn: bỏ video supervision hoặc bỏ foresight tokens đều làm tụt kết quả, đặc biệt ở LIBERO-Plus và DOMINO. Điều này củng cố luận điểm của paper: foresight tokens không phải decoration; chúng là interface để distill dynamics prior từ video model vào action policy.

Ở real world, paper dùng Sort Tubes, Insert Tubes, Move Tubes và MOF long-horizon chemistry. InternVLA-A1.5 dẫn đầu trên Insert Tubes, Move Tubes và MOF; riêng Sort Tubes hơi kém hơn một baseline mạnh trên overall, nhưng vẫn tốt ở held-out instruction bindings. Trên MOF, A1.5 đạt 76.4% trong khi π0.5 chỉ 29.3% và Motus không hoàn thành trial nào. Với một task dài gồm nhiều giai đoạn, subtask prediction và dynamics prior giúp policy không chỉ "pick đúng vật", mà còn giữ awareness về tiến trình task.

Checklist tránh lỗi khi fine-tune

Trước khi chạy một job 60K steps, hãy kiểm tra:

• Dataset có data/, meta/, videos/ đúng layout LeRobot v3.0.
• action_mode trong stats và training script giống nhau: abs hoặc delta.
• chunk_size=50 khớp transform, stats và policy config.
• Camera image resize về 224x224 không cắt mất end-effector hoặc object chính.
• Instruction text thống nhất nhưng không quá nghèo; đừng dùng một câu giống hệt cho mọi episode nếu bạn muốn compositional generalization.
• HF_HOME, HF_LEROBOT_HOME, WANDB_TOKEN, CONDA_ROOT, CUDA path và output directory đã set đúng trong launch script.
• Nếu chỉ inference, bật optimized/action-only path để tránh load WAN không cần thiết.

Liên hệ với các bài cùng mạch như VLA-JEPA latent world model hoặc Weaver world model cho π0.5, có thể thấy xu hướng chung năm 2026: VLA không chỉ học mapping ảnh-ngôn ngữ-sang-action, mà bắt đầu học representation của tương lai. InternVLA-A1.5 nổi bật vì future representation này được học từ video generator lớn, nhưng deployment vẫn giữ action-only.

Kết luận

InternVLA-A1.5 đáng học không chỉ vì benchmark cao, mà vì nó đưa ra một pattern rõ ràng cho manipulation VLA: giữ native VLM để không mất semantics, thêm expert nhẹ cho action, dùng latent foresight để distill dynamics từ video model, rồi bỏ video branch khi inference. Với LeRobot, repo đã có đường đi khá cụ thể: cài môi trường, convert v2.1 sang v3.0, compute stats, chạy internvla_a15_finetune.sh, kiểm tra open-loop, rồi deploy bằng optimized action-only backend.

Nếu bạn đang xây robot manipulation stack cho lab hoặc sản phẩm, hãy bắt đầu bằng task nhỏ: 200-500 episodes, một instruction family rõ ràng, camera cố định, action stats sạch. Khi pipeline ổn, mới mở rộng sang compositional instructions, nhiều object binding và long-horizon tasks. A1.5 sẽ có giá trị nhất ở chính những chỗ đó.

Bài viết liên quan

• InternVLA-A1: VLA + World Model
• LeRobot ecosystem guide
• PEFT/LoRA Fine-tune & Deploy VLA