Hãy thử nghĩ đến cảnh một robot đang cắm USB vào cổng cắm. Camera nhìn thấy cổng USB, VLA hiểu lệnh "insert the USB", tay robot di chuyển tới đúng vị trí — nhưng ngay khi đầu USB chạm vào cổng và cần xoay nhẹ 2 độ để khít vào, robot lại thất bại. Lý do? Nó không cảm nhận được tiếp xúc.
Đây là điểm mù lớn nhất của các Vision-Language-Action (VLA) model hiện tại: chúng rất giỏi hiểu ngôn ngữ và nhìn cảnh vật, nhưng khi đến các thao tác đòi hỏi cảm giác tinh tế — lắp ráp bánh răng, cắm dây điện, lau bề mặt cong — chúng thường xuyên thất bại vì thiếu xúc giác (tactile sensing).
UniTacVLA (arXiv 2606.31723, ECCV 2026) của nhóm tác giả Xidong Zhang, Yichi Zhang, Jiaxin Shi và cộng sự đề xuất một giải pháp toàn diện: thay vì chỉ thêm cảm biến xúc giác như một input thụ động, họ xây dựng một không gian biểu diễn xúc giác thống nhất (unified tactile latent space) kết hợp với khả năng suy luận chain-of-thought về tiếp xúc và dự đoán trạng thái xúc giác tương lai.
Kết quả: trên 4 nhóm tác vụ tiếp xúc phức tạp trong môi trường bị nhiễu loạn, UniTacVLA đạt 51% success rate so với chỉ 17% của các baseline tốt nhất — tức là gấp 3 lần.
Vì Sao VLA Hiện Tại "Mù" về Xúc Giác?
Các VLA như π0, OpenVLA, hay RoboVLMs được huấn luyện chủ yếu trên dữ liệu video + ngôn ngữ. Chúng rất mạnh ở các tác vụ pick-and-place, table-top rearrangement, hay navigation — nơi camera cung cấp đủ thông tin.
Nhưng với contact-rich manipulation — bao gồm lắp ráp linh kiện, vặn vít, cắm cắm, lau bề mặt — camera có giới hạn căn bản:
- Occlusion: Khi tay robot tiếp xúc với vật, camera thường không nhìn thấy điểm tiếp xúc.
- Subtle force feedback: Lực tiếp xúc 0.5N so với 1N trông y hệt nhau trên ảnh nhưng có hành vi vật lý hoàn toàn khác.
- Slip detection: Khi vật bắt đầu trượt khỏi gripper, camera không phát hiện được cho đến khi quá muộn.
Một số nhóm đã thử tích hợp xúc giác vào VLA (TacVLA, Tactile-VLA), nhưng theo UniTacVLA, các cách tiếp cận trước vẫn xử lý tín hiệu xúc giác một chiều (chỉ trạng thái hiện tại, không dự đoán tương lai) và thiếu khả năng lý luận ngữ nghĩa về tiếp xúc.
Kiến Trúc UniTacVLA: 4 Khối Chính
UniTacVLA được xây dựng trên backbone π0.5 và bổ sung 4 thành phần mới:
1. Tactile Encoder — VMAE
Cảm biến xúc giác được sử dụng là DM-Tac W — loại visuo-tactile sensor ghi lại hình ảnh biến dạng của bề mặt gel khi tiếp xúc, cho phép đo phân bố lực theo không gian.
Encoder cho tín hiệu này là Variational Masked Autoencoder (VMAE) dựa trên ViT-Small:
- 12 Transformer layers, 8 attention heads
- Hidden dimension: 192, latent dimension: 32
- Masking ratio 25% khi pretraining để học biểu diễn robust
VMAE được pretrain trên dữ liệu xúc giác trước, sau đó fine-tune end-to-end cùng toàn bộ hệ thống.
2. Unified Tactile Tokens
Đây là "cầu nối" giữa tín hiệu xúc giác và VLA backbone. Thay vì chèn raw tactile features trực tiếp vào VLM, nhóm tác giả thiết kế 16×K learnable query embeddings (K=12 là prediction horizon).
Những token này:
- Extract thông tin liên quan đến tiếp xúc từ toàn bộ multimodal input (ảnh + ngôn ngữ + xúc giác)
- Tạo ra unified representation bao gồm cả trạng thái hiện tại lẫn xu hướng tương lai
- Làm "anchor" để kết nối T-CoT reasoning với coarse-to-fine prediction
3. Tactile Chain-of-Thought (T-CoT)
Đây là đóng góp độc đáo nhất của paper. Nhóm tác giả sử dụng Qwen3-0.6B language model để tạo ra chuỗi suy luận có cấu trúc về trạng thái tiếp xúc, gồm 3 thành phần:
a) Interaction-stage reasoning: Phân loại trạng thái tiếp xúc hiện tại
loose: chưa tiếp xúc hoặc tiếp xúc rất nhẹholding: đang giữ vật ổn địnhcontact: đang trong giai đoạn thao tác tiếp xúc tích cực
b) Modality-dependency analysis: Đánh giá các yếu tố
- Cường độ lực tiếp xúc (contact intensity)
- Rủi ro trượt vật (slip risk)
- Khả năng quan sát bằng camera (visual observability)
c) Action-guidance reasoning: Quyết định modality nào nên chiếm ưu thế trong điều khiển — vision hay tactile.
Văn bản T-CoT được tạo ra phục vụ 2 mục đích: (1) cung cấp semantic context cho prediction stages, và (2) là supervision signal trong training để buộc mô hình học lý luận về tiếp xúc.
4. Coarse-to-Fine Future Tactile Prediction
Sau khi có unified tactile tokens và T-CoT context, hệ thống dự đoán trạng thái xúc giác trong 12 timestep tiếp theo qua 2 giai đoạn:
Coarse stage: MLP 2 lớp đơn giản
- Projection: 2048 → 512 → 32 dimensions
- Nắm bắt xu hướng tiếp xúc tổng thể (tăng/giảm lực, trượt bắt đầu...)
Fine stage: Diffusion Transformer (DiT) với 8 blocks
- Sử dụng flow-matching objective để tinh chỉnh từ coarse prediction
- Inject local tactile details từ unified tokens
- Output: chi tiết phân bố lực ở từng điểm tiếp xúc cho K=12 bước tới
Tại sao cần 2 giai đoạn? Dự đoán trực tiếp chi tiết xúc giác là bài toán rất khó và dễ bị noise. Coarse stage ổn định hóa quá trình học xu hướng tổng thể, còn DiT fine-tune tinh tế hơn sau đó.
Action-Tactile Mixed Controller
Sau khi có dự đoán xúc giác tương lai, hệ thống không thay toàn bộ action của VLA. Thay vào đó, một Lightweight Transformer (6 layers, hidden dim 192, 3 attention heads) tính toán residual correction nhỏ:
- Input: action gốc từ π0.5 VLA + predicted future tactile latents + real-time tactile observations
- Output: bounded residual correction qua tanh activation để tránh deviation quá lớn
- Cộng correction này vào action gốc → action cuối cùng
Thiết kế này rất thông minh: controller chỉ "điều chỉnh vi chỉnh" khi cần thiết, thay vì override toàn bộ policy. Điều này đảm bảo tính ổn định và tránh controller "overfit" vào các tình huống không có trong training.
Hardware Setup
Hệ thống chạy trên:
- Robot arm: RealMan 7-DoF
- Tactile sensors: DM-Tac W visuo-tactile sensor gắn ở 2 đầu ngón gripper
- Cameras: Intel RealSense D405 (wrist camera) + L515 (first-person view)
- Sampling rate: 30 Hz
DM-Tac W là loại cảm biến gel-based: khi tiếp xúc với bề mặt, gel biến dạng và camera bên trong sensor ghi lại hình ảnh biến dạng đó, từ đó suy ra phân bố lực 2D.
Quy Trình Training
Training được chia làm 2 stage rõ ràng:
Stage 1: Joint Optimization trên Clean Demonstrations
# Loss tổng hợp
L_total = L_action + λ_sem * L_sem + λ_coarse * L_coarse + λ_fine * L_fine
# Trong đó:
# L_action: flow-matching loss cho action generation (từ π0.5)
# L_sem: cross-entropy cho T-CoT text prediction
# L_coarse: L1 loss cho coarse tactile prediction
# L_fine: flow-matching loss cho DiT fine prediction
# λ_sem = λ_coarse = λ_fine = 0.1
Tất cả components được optimize đồng thời. Weighting factor 0.1 cho auxiliary losses đảm bảo action quality là ưu tiên chính.
Stage 2: Controller Training
Chỉ train controller trên mixed dataset:
- 80% clean demonstrations (robot thực hiện suôn sẻ)
- 20% disturbance-recovery trajectories (người tác động vào robot, robot tự hồi phục)
Loss cho controller: L1 residual correction loss.
Compute: 4 NVIDIA A100 GPUs, 5k-10k steps, AdamW optimizer với learning rate 2.5×10⁻⁵, weight decay 0.01, cosine decay schedule.
Data collection: Mỗi task ~1 giờ dữ liệu teleoperation (khoảng 100-150 trajectories), thu thập bằng handheld gripper gắn cùng cấu hình cảm biến như robot.
Kết Quả Thực Nghiệm
UniTacVLA được đánh giá trên 8 subtasks thuộc 4 nhóm:
- Adjust: pencil, tube (điều chỉnh vị trí vật nhỏ)
- Wipe: board, vase (lau bề mặt phẳng và cong)
- Insert: USB, plug (cắm đầu nối)
- Assemble: large gear, small gear (lắp bánh răng)
Mỗi task được test cả trong điều kiện clean và perturbed (người tác động gây nhiễu trong lúc robot đang thực hiện).
Kết quả nổi bật (perturbed setting):
| Task | UniTacVLA | TacVLA (baseline tốt nhất) |
|---|---|---|
| USB insertion | 58% | 22% |
| Plug insertion | 48% | 18% |
| Board wipe | 64% | 28% |
| Trung bình | 51% | 17% |
Ablation Study — Từng Component Đóng Góp Bao Nhiêu?
Trên USB task (clean setting):
| Configuration | Success Rate |
|---|---|
| Tactile input only | 30% |
| + T-CoT | 36% |
| + Coarse prediction | 44% |
| + Fine prediction | 52% |
| + Controller (full model) | 62% |
Rõ ràng mỗi component đều đóng góp thực sự. T-CoT thêm 6%, dự đoán tương lai thêm 16% tổng cộng, và controller thêm 10% nữa.
Prediction horizon tối ưu: K=12 timestep. Horizon quá ngắn (K=4,6) không có đủ context tương lai; quá dài (K=16,20) thì prediction kém chính xác hơn do uncertainty tích lũy.
Mã Nguồn và Tái Hiện
Paper được chấp nhận tại ECCV 2026 và nhóm tác giả công bố mã nguồn open-source kèm theo. Bạn có thể tìm thấy code và instructions tại arXiv paper (arXiv:2606.31723).
Dependencies chính (từ architecture):
- PyTorch + Transformers (Qwen3-0.6B)
- π0.5 VLA backbone
- Custom VMAE tactile encoder
- DiT flow-matching modules
Nếu muốn reproduce, bạn cần:
- Hardware: RealMan 7-DoF hoặc arm tương đương + DM-Tac W sensors
- Hoặc: chạy inference demo trên data có sẵn từ repo
- Training: 4×A100, khoảng 5k-10k steps là converge
Điều Gì Làm UniTacVLA Khác Biệt?
Điểm mà mình thấy đặc biệt thú vị là T-CoT không chỉ là thêm language supervision — nó buộc model phải học một dạng "ngôn ngữ của tiếp xúc". Khi model phải mô tả được "đây là giai đoạn holding, slip risk cao, cần tăng lực kẹp", nó xây dựng được semantic understanding về dynamics tiếp xúc — thứ mà việc học pure regression từ data rất khó làm được.
Kết hợp với coarse-to-fine prediction, model không chỉ phản ứng với xúc giác hiện tại mà còn anticipate xúc giác tương lai — giống như một kỹ sư giàu kinh nghiệm biết rằng "khi tôi đẩy USB vào thêm 2mm nữa, tôi sẽ cần xoay nhẹ để vào".
Cách tiếp cận phân tách rõ thành 2 stage training cũng rất pragmatic: stage 1 học unified representation và prediction; stage 2 chỉ học controller trên data có disturbance. Điều này tránh việc controller "học lại" từ đầu và converge nhanh hơn.
Ứng Dụng Thực Tế
UniTacVLA mở ra hướng đi cho nhiều ứng dụng:
- Sản xuất điện tử: Lắp ráp linh kiện nhỏ, cắm connector, vặn vít tự động
- Kho hàng logistics: Xử lý vật thể dễ vỡ, đóng gói hàng theo shape
- Phẫu thuật robot hỗ trợ: Thao tác mô mềm với lực kiểm soát chặt chẽ
- Humanoid tại nhà: Vặn nắp chai, cắm điện, xử lý đồ vật nhỏ
Nút thắt hiện tại là hardware — DM-Tac W là cảm biến chuyên dụng chưa phổ biến rộng. Nhưng với trend gel-based tactile sensors đang phát triển (GelSight, DIGIT, Tactip), bài toán này sẽ ngày càng accessible hơn.
Kết Luận
UniTacVLA là một bước tiến quan trọng trong việc đưa xúc giác vào VLA một cách hệ thống và có lý luận. Không chỉ đơn giản là "thêm một camera nữa vào gripper", framework này giải quyết vấn đề từ gốc rễ: làm cho model hiểu và dự đoán được dynamics của tiếp xúc.
Với việc được chấp nhận tại ECCV 2026 và code open-source, đây là paper đáng để mọi kỹ sư robotics quan tâm đến manipulation đọc kỹ.
Paper gốc: UniTacVLA: Unified Tactile Understanding and Prediction in Vision Language Action Models — Xidong Zhang et al., ECCV 2026.
