Benchmark chính là lập luận: NAVSIM v2, Bench2Drive, WOD-E2E

Khi đọc một paper autonomous driving mới, điều đầu tiên mắt bạn sẽ tìm là dòng số: "Our method achieves 91.0 EPDMS on NAVSIM-v2 navtest." Ấn tượng. Nhưng trước khi bạn kịp gật đầu tán thưởng, hãy tự hỏi: đây là loại điểm gì, và nó đo được cái gì thực sự?

Bài này là vắc-xin. Mục tiêu không phải giới thiệu thêm một benchmark mới — mà là dạy bạn cách đọc con số benchmark trước khi tin vào nó.

Vấn đề cốt lõi: Ba loại điểm, ba ý nghĩa hoàn toàn khác nhau

Trong thế giới autonomous driving năm 2026, có ít nhất ba loại điểm đánh giá đang cùng tồn tại trên các leaderboard, paper, và blog kỹ thuật. Chúng thường được in sát nhau trong bảng so sánh nhưng không thể so sánh trực tiếp với nhau vì đo những thứ khác nhau:

Nếu bạn chỉ đọc headline số, bạn sẽ bị đánh lừa. Một model đạt 91 điểm EPDMS trên navtest có thể sụp hoàn toàn trên navhard — và đó chính xác là điều xảy ra với ví dụ chúng ta sẽ phân tích.

Loại 1: Open-loop L2 — Metric cũ, hữu ích nhưng lừa đảo

L2 error (còn gọi là Average Displacement Error — ADE hoặc Final Displacement Error — FDE) đo khoảng cách trung bình giữa quỹ đạo mà model dự đoán và quỹ đạo mà tài xế người thực sự đi.

Ưu điểm: dễ tính, dễ so sánh, không cần simulation.

Nhược điểm chết người: một model có thể giả vờ rất giỏi bằng cách copy quỹ đạo lịch sử. Nếu xe luôn đi thẳng, model nào dự đoán "đi thẳng" cũng đạt L2 thấp — dù nó không thể xử lý ngã tư.

Bench2Drive [NeurIPS 2024] đã dẫn chứng thẳng thắn trong paper: "L2 error is not a meaningful indicator at all" trong đánh giá closed-loop. Nghiên cứu của họ cho thấy nhiều model đạt L2 thấp nhưng khi chạy thật trong CARLA simulator lại gây tai nạn liên tiếp.

Khi nào vẫn còn giá trị: L2 hữu ích như là sanity check — nếu một model có L2 rất cao (sai nhiều mét), thì đó là dấu hiệu thật sự tệ. Nhưng L2 thấp không đảm bảo gì về độ an toàn.

Loại 2: NAVSIM — Pseudo Closed-Loop (và sự khác biệt v1 vs v2)

NAVSIM (NeurIPS 2024) là bước tiến lớn: thay vì so sánh quỹ đạo, nó simulate xem planner có vi phạm quy tắc giao thông không trong 4 giây sau dự đoán.

PDMS (v1) vs EPDMS (v2)

NAVSIM v1 dùng PDMS (Predictive Driver Model Score), tổng hợp các sub-metric:

• NC — No at-fault Collisions
• DAC — Drivable Area Compliance
• TTC — Time to Collision
• EP — Ego Progress (xe có tiến lên không?)
• C — Comfort

NAVSIM v2 nâng lên EPDMS (Extended PDMS), thêm:

• DDC — Driving Direction Compliance (đi đúng chiều không?)
• TLC — Traffic Light Compliance (tuân đèn giao thông không?)
• LK — Lane Keeping (giữ làn không?)
• HC — History Comfort (quỹ đạo có nhất quán với lịch sử chuyển động không?)
• EC — Extended Comfort (acceleration và jerk có ổn định qua các frame không?)

Đặc biệt, EPDMS có cơ chế lọc false-positive thông minh: nếu tài xế người cũng vi phạm quy tắc đó, penalty sẽ bị vô hiệu hóa — tránh phạt model oan khi tình huống vốn không có lối thoát đẹp.

⚠️ Bẫy vận hành #1: Branch v1 vs v2

Đây là bẫy quan trọng nhất nếu bạn đang tự cài đặt NAVSIM:

• NAVSIM v2 nằm ở branch main của repo autonomousvision/navsim
• NAVSIM v1 + leaderboard navtest đã được chuyển sang branch v1.1

Nếu bạn follow tutorial cũ (nhiều blog post và README từ 2024-2025 không cập nhật điều này), bạn sẽ cài branch main nhưng expect kết quả v1 — hoặc ngược lại. Leaderboard submission format cũng khác nhau giữa hai version.

navtest vs navhard — Khoảng cách kinh hoàng

NAVSIM v2 có hai split đánh giá chính:

• navtest: Tình huống lái xe bình thường trên đô thị. Chỉ có Stage I (EPDMS₁). Tương đối dễ vì xe thường đang đi thẳng hoặc rẽ đơn giản.
• navhard: Tình huống dài hạn và nguy hiểm — rẽ không có đèn bảo vệ, traffic dày đặc, thời tiết bất lợi. Có hai stage: Stage I (tình huống gốc) + Stage II (5.462 observations tổng hợp từ nhiều điểm kết thúc khác nhau của Stage I, theo cơ chế gaussian kernel weighting).

Navhard mô phỏng điều mà các kỹ sư an toàn gọi là long-tail events — những tình huống ít xảy ra nhưng cực kỳ nguy hiểm nếu hệ thống xử lý sai. Đây là lý do khoảng cách điểm giữa navtest và navhard thường rất lớn.

Ví dụ chủ lực: SUV và khoảng cách 91.0 vs 36.9

Paper SUV: Future Scene Understanding as Video Generation for End-to-End Driving (arXiv:2608.03084v1, ngày 4/8/2026, nhóm tác giả từ Xi'an Jiaotong University, USTC, Yinwang Intelligent Technology và Fudan University) là ví dụ hoàn hảo để minh họa vấn đề.

SUV tiếp cận autonomous driving bằng cách coi dự đoán tương lai như bài toán video generation: model đồng thời sinh ra 4 luồng tương lai — appearance (bề mặt), semantics (ngữ nghĩa), relative depth (độ sâu tương đối) và instance-level dynamics (chuyển động của từng vật thể). Cơ chế joint video-action attention cho phép action expert attend vào latent representation của cả 4 luồng để lập kế hoạch quỹ đạo.

Điều đặc biệt: SUV chỉ dùng một camera trước duy nhất và không dùng candidate-trajectory selection (phương pháp phổ biến là generate nhiều quỹ đạo ứng viên rồi chọn cái tốt nhất).

Kết quả trên leaderboard:

NAVSIM-v2 navtest : 91.0 EPDMS   ← Ấn tượng
NAVSIM-v2 navhard : 36.9 EPDMS   ← Thực tế

WOD-E2E           : 7.94 RFS

91.0 xuống 36.9 — một khoảng cách 54 điểm. Đây không phải là mô hình tệ; đây là bản chất của vấn đề long-tail.

Demo trên là tình huống unprotected left turn — rẽ trái không có đèn bảo vệ, phải nhường đường cho xe đến từ hướng ngược lại. Đây là loại tình huống xuất hiện trong navhard nhưng gần như vắng mặt trong navtest. Model đạt 91.0 navtest chưa chắc đã vượt qua được nó.

Bài học cốt lõi: Khi đọc một paper tuyên bố SoTA trên NAVSIM, câu hỏi đầu tiên là: navtest hay navhard? Nếu chỉ có navtest, tìm navhard. Nếu không có navhard, tự hỏi tại sao.

SimWAM: Đánh đổi PDMS và Latency

SimWAM (arXiv:2608.07468v3, repo H-EmbodVis/SimWAM) là ví dụ thứ hai, tập trung vào một chiều kích khác: trade-off giữa chất lượng và chi phí tính toán.

SimWAM dùng video generation chỉ như tín hiệu huấn luyện — tức là sau khi train xong, bạn vứt bỏ video branch và chỉ giữ lại action expert để chạy inference. Cơ chế isolated attention mask đảm bảo action tokens không nhìn thấy future frames trong quá trình prediction, do đó không cần generate video ở inference time.

Kết quả:

NAVSIM navtest  (PDMS)  : 91.5    ← cao hơn SUV 0.5 điểm
NAVSIM-v2 navtest       : 90.2 EPDMS
NAVSIM-v2 navhard       : 37.6 EPDMS   ← cao hơn SUV 0.7 điểm

Human agent baseline    : 94.8 PDMS

Biểu đồ PDMS-vs-latency của SimWAM cho thấy một điều quan trọng: các model world-model-based trước đó (DriveWAM, DriveLaW) có PDMS thấp hơn nhưng latency cao hơn đáng kể, vì họ phải generate video frames trước rồi mới extract hành động. SimWAM bẻ gãy trade-off đó bằng cách tách hai phase training vs inference.

Component analysis từ paper:

• Action-only baseline: 86.6 PDMS
• • Video co-training: 90.3 PDMS (+3.7)
• • Reinforcement learning: 91.5 PDMS (+1.2)

Đây là ví dụ tốt về cách đọc ablation study: video generation không trực tiếp cải thiện inference — nó cải thiện representation trong quá trình train.

Bench2Drive: Khi Closed-Loop thật sự là Closed-Loop

NAVSIM vẫn là pseudo closed-loop — xe không thực sự tương tác với môi trường, các agent khác không phản ứng với hành động của ego vehicle. Bench2Drive (NeurIPS 2024 Datasets and Benchmarks Track, repo Thinklab-SJTU/Bench2Drive) là bước tiếp theo: simulation thật trong CARLA 0.9.15.

Bench2Drive đánh giá nhiều khả năng riêng biệt:

• Driving Score: chỉ số chính
• Success Rate: tỷ lệ hoàn thành nhiệm vụ
• Multi-Ability Results: overtaking, merging, emergency braking, yielding, traffic sign recognition

Version 0.0.4 chuẩn hóa training data thành 44 scenarios × 25 routes (1.100 routes), đảm bảo phân phối đồng đều. Test set có 220 routes chính thức.

Tại sao Bench2Drive khó hơn NAVSIM? Vì các xe khác trong CARLA thực sự phản ứng với ego vehicle. Nếu bạn phanh đột ngột, xe phía sau sẽ thay đổi hành vi. Nếu bạn vào làn trái, xe đến từ sau sẽ phải né. NAVSIM không làm điều này — các agent khác được "đóng băng" trong replay.

⚠️ Bẫy vận hành #2: CARLA Leaderboard và AD Challenge

• CARLA Leaderboard hiện tại là version 2.1 (từ tháng 3/2025). Nếu bạn thấy kết quả từ Leaderboard 2.0 hoặc 1.0, chúng không thể so sánh trực tiếp.
• CARLA Autonomous Driving Challenge (AD Challenge) đã không tổ chức trong suốt năm 2025. Nhiều paper cite "CARLA Challenge" nhưng thực ra đang chạy trên setup private hoặc version cũ.

CLEAR: RL trong CARLA — Tham chiếu, không phải Tutorial

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving (arXiv:2607.02841v1, Qualcomm AI Research) là một trong những paper thú vị nhất năm 2026 về closed-loop RL.

CLEAR huấn luyện một residual waypoint policy built on top của pretrained Vision-Language-Action model, dùng RL để fine-tune trong môi trường CARLA longest6 v2 và Bench2Drive. Họ giải quyết bài toán sample efficiency bằng heterogeneous computing pipeline cho phép chạy song song nhiều CARLA environment.

Kết quả: state-of-the-art trên cả CARLA longest6 v2 và Bench2Drive.

Nhưng có một điều quan trọng phải nói thẳng: CLEAR không có code công khai và không có hình minh họa nào tôi có thể verify được. Đây là paper tham chiếu tốt về methodology, nhưng nếu bạn muốn reproduce hay build on top — bạn sẽ phải implement từ đầu. Tôi đề cập nó ở đây vì nó minh họa rõ hướng đi của closed-loop RL, không phải để hướng dẫn setup.

WOD-E2E: Thang đo của Waymo

WOD-E2E (Waymo Open Dataset — End-to-End track) dùng metric RFS (Relative Frequency Score). Khác với NAVSIM, RFS đánh giá xem model có thể reproduce phân phối hành vi của tài xế người trên real-world data từ fleet của Waymo hay không.

SUV đạt 7.94 RFS trên WOD-E2E — một con số không có ngữ cảnh nếu bạn không biết baseline human là bao nhiêu. Quan trọng là WOD-E2E bao gồm nhiều tình huống long-tail từ dataset thực của Waymo, không phải CARLA simulation.

⚠️ Bẫy vận hành #3: Waymo không có Challenge năm 2026

Waymo Open Dataset không tổ chức challenge chính thức nào trong năm 2026, nhưng leaderboard vẫn hoạt động — bạn vẫn có thể submit và nhận ranking. Đừng nhầm "không có competition" với "leaderboard không còn giá trị".

Tóm tắt bẫy vận hành — Checklist trước khi đọc paper

Dưới đây là checklist nhanh để đọc bất kỳ paper autonomous driving nào năm 2026:

Khi thấy: "91.x EPDMS/PDMS trên NAVSIM"
→ Hỏi: navtest hay navhard? Nếu chỉ navtest → tìm navhard

Khi thấy: "SoTA trên CARLA"
→ Hỏi: CARLA Leaderboard 2.1? CARLA 0.9.15? longest6 v2?
          Hay họ chạy CARLA riêng không theo chuẩn nào?

Khi thấy: "NAVSIM" nhưng code có vấn đề
→ Hỏi: Đang dùng branch main (v2) hay branch v1.1 (v1)?
          Format submission có khác nhau không?

Khi thấy: L2 error thấp, ấn tượng
→ Hỏi: Họ có chạy closed-loop evaluation không?
          L2 thấp ≠ driving tốt

Khi thấy: "RFS trên WOD-E2E"
→ Hỏi: Waymo không có challenge 2026 nhưng leaderboard vẫn hoạt động
          RFS = relative vs human distribution, không phải tuyệt đối

Ba loại điểm — Đọc paper như một kỹ sư senior

Để tổng kết, đây là cách một kỹ sư senior nhìn vào bảng kết quả:

Nếu chỉ có open-loop L2/ADE/FDE → Paper đang báo cáo khả năng bắt chước quỹ đạo, không phải khả năng lái xe an toàn. Hỏi thêm về closed-loop.

Nếu có NAVSIM navtest EPDMS → Tốt, nhưng hãy tìm navhard. Khoảng cách giữa hai số này nói lên rất nhiều về tính robust của model.

Nếu có cả navtest + navhard + WOD-E2E → Đây là paper nghiêm túc về deployment. Model được thử thách ở nhiều axis: tình huống thông thường, tình huống dài hạn nguy hiểm, và phân phối behavior thực tế.

Nếu có Bench2Drive Driving Score → Model được test trong true closed-loop với reactive agents. Đây là gần thực tế nhất hiện nay mà không cần xe thật.

Bài viết tiếp theo trong series

Bài 4 sẽ đi sâu vào NVIDIA Alpamayo — mô hình reasoning-based từ NVIDIA với thiết kế kiến trúc đặc biệt cho autonomous driving. Sau khi đọc bài này, bạn đã có "miễn dịch" để đọc bảng kết quả của Alpamayo mà không bị ấn tượng bởi một con số duy nhất.

Bài viết liên quan

• Từ UniAD tới VLA: Bản đồ end-to-end driving 2026
• Tự chạy một VLA lái xe: OpenDriveVLA trên nuScenes
• World model cho autonomous driving: đo lường và giới hạn