Bạn mở một paper mới về xe tự hành. Tiêu đề có chữ end-to-end. Abstract đề cập BEV planning, VLA, world model, privileged distillation. Tất cả được gắn nhãn "autonomous driving", nhưng chúng hoạt động theo cách hoàn toàn khác nhau — và tác giả paper hiếm khi giải thích tại sao.
Vấn đề không phải là các từ đó sai. Vấn đề là chúng ta thiếu một bộ khung chung để đặt câu hỏi nhất quán khi so sánh các hệ thống với nhau.
Bài này xây dựng bộ khung đó: bốn trục phân loại vay mượn từ survey Planning-Oriented End-to-End Autonomous Driving: Architectures, Evaluation, and Emerging Paradigms (Guan et al., arXiv:2608.20111, tháng 8/2026) — một trong những survey toàn diện nhất về lĩnh vực này tính đến thời điểm viết bài. Cộng với taxonomy VLA từ survey Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future (Hu et al., arXiv:2512.16760v2, tháng 12/2025).
Không có số benchmark ở bài này — đó là việc của bài 3. Giá trị của bài này là định nghĩa thuật ngữ để bạn không bị lạc khi đọc 5 bài tiếp theo.
Roadmap series: End-to-End Autonomous Driving 2026
Series này đi từ nền tảng đến biên giới nghiên cứu, theo cấu trúc: từ vựng → chạy thử được → đọc số đúng → hệ flagship → biên giới → thực tế đội xe.
| Bài | Nội dung |
|---|---|
| Bài 1 (bài này) | Taxonomy bốn trục — bộ từ vựng để đọc mọi paper trong lĩnh vực |
| Bài 2 | OpenDriveVLA trên nuScenes — repo chạy được đầu tiên, code step-by-step |
| Bài 3 | NAVSIM E-PDM vs Bench2Drive — tại sao hai số này không thể so sánh trực tiếp |
| Bài 4 | NVIDIA Alpamayo — chain-of-causation reasoning và flagship VLA 2026 |
| Bài 5 | World models cho driving — SUV, OmniDreams, WorldLens benchmark |
| Bài 6 | Waymo 220.6M miles, Baidu 3.2M chuyến driverless — khi số thực tế gặp benchmark |
Mốc lịch sử: UniAD và VAD
Trước khi đi vào bộ từ vựng, cần đặt mốc thời gian để hiểu bức tranh đã thay đổi thế nào.
UniAD — Planning-Oriented Unified Architecture (CVPR 2023 Best Paper)
Hu et al. đề xuất một kiến trúc Transformer xử lý đồng thời nhiều nhiệm vụ trong một mạng duy nhất: tracking, mapping, motion prediction, occupancy prediction, và cuối cùng là planning. Thay vì pipeline module rời — perception → prediction → planner — UniAD học tất cả cùng nhau, được tối ưu theo mục tiêu planning.
Hai insight quan trọng từ UniAD:
- Joint optimization cải thiện planning hơn là tối ưu từng module riêng lẻ. Khi bạn train perception và planning cùng nhau, perception sẽ tự học cách chú ý vào những gì quan trọng cho planning — không phải mọi pixel.
- BEV (Bird's Eye View) là không gian biểu diễn phù hợp để tích hợp thông tin từ nhiều camera. Từ các ảnh 2D nhìn từ nhiều góc, model học cách dựng lên một bản đồ nhìn từ trên xuống trong không gian thực.
VAD và VADv2 — Vectorized Scene Representation (ICCV 2023)
Jiang et al. kế thừa triết lý của UniAD nhưng chuyển từ BEV dense sang biểu diễn vector (vectorized scene representation). Thay vì duy trì một grid BEV đầy đủ, VAD mô hình hóa môi trường bằng các entity vector — đối tượng động, làn đường, vùng cấm. Kiến trúc gọn hơn, inference nhanh hơn.
VADv2 đẩy thêm một bước với probabilistic planning: thay vì output một trajectory duy nhất, nó output phân phối xác suất trên tập trajectory. Đây là bước đầu tiên để model hóa uncertainty trong quyết định của xe.
Tuy nhiên, từ 2024 đến nay, cả UniAD lẫn VAD đều trở thành baseline — điểm xuất phát, không phải đích đến. Câu hỏi nghiên cứu đã thay đổi, và để hiểu tại sao, bạn cần bộ từ vựng bốn trục.
Bốn trục phân loại
Survey arXiv:2608.20111 tổ chức mọi hệ end-to-end driving theo bốn trục. Đây không phải phân loại kiến trúc (transformer vs CNN, BEV vs vector) — mà là phân loại theo chức năng trong quá trình quyết định.
Tác giả chủ ý chọn phân loại theo chức năng vì cùng một kiến trúc (ví dụ transformer) có thể đảm nhận nhiều vai trò khác nhau tùy vào cách nó được train và đánh giá. Nhãn kiến trúc không cho bạn biết xe thực sự học gì hay được đo bằng gì.
Trục 1: Input Representation — Xe thấy gì?
Đây là dữ liệu đầu vào và cách nó được mã hóa trước khi đưa vào model.
| Loại | Ví dụ hệ thống | Đặc điểm |
|---|---|---|
| Camera + BEV | BEVFormer, BEVDet | Hình ảnh từ nhiều camera, IPM/transformer dựng BEV 2D |
| Tokenized scene | UniAD, VAD | Queries/vectors đại diện cho agent, lane, region |
| LiDAR point cloud | CenterPoint, BEVFusion | Đám mây điểm 3D, thường kết hợp camera |
| Sensor fusion | BEVFusion, SparseFusion | Camera + LiDAR trong không gian chung |
| Language-augmented | DriveVLM, OpenDriveVLA | Visual tokens kết hợp text tokens từ VLM |
Điểm quan trọng: input không phải chỉ là cảm biến thô. Cách mã hóa quyết định những gì model có thể học được. Một BEV dense grid chứa thông tin tất cả mọi nơi nhưng tốn tính toán; sparse query chỉ chú ý vào entity quan trọng nhưng có thể bỏ sót thông tin ambient. Language-augmented input mở ra khả năng reasoning nhưng đòi hỏi alignment giữa vision và language.
Không có loại nào tốt nhất trong mọi tình huống — mỗi lựa chọn là một tradeoff.
Trục 2: Planning Output (Output Space) — Xe quyết định gì?
Đây là thứ model xuất ra và cách nó được chuyển thành lệnh điều khiển.
| Loại output | Ví dụ | Mô tả |
|---|---|---|
| Low-level control | ALVINN (1989), BC thuần túy | Steering angle, throttle, brake trực tiếp |
| Waypoints | UniAD, VAD, Senna | Chuỗi tọa độ (x, y) theo thời gian |
| Trajectory distribution | VADv2, DiffusionDrive | Phân phối xác suất trên nhiều trajectory khả dĩ |
| Structured plan | PDM-Closed, Ego-MoE | Quyết định cấp cao (lane change, speed target) |
| Language action | DriveVLM, OpenDriveVLA | Hành động được generate qua language decoder |
Xu hướng 2025–2026 dịch chuyển từ waypoints đơn lẻ sang trajectory distribution, rồi sang language-conditioned action. Lý do: waypoints đơn lẻ không biểu diễn được uncertainty. Trong giao lộ phức tạp, câu trả lời đúng không phải một trajectory — mà là phân phối trên các trajectory an toàn, với mode mạnh nhất được chọn sau khi kiểm tra thêm constraints.
Trục 3: Supervision Signal — Xe học từ đâu?
Đây là objective function và nguồn nhãn trong quá trình training.
| Loại supervision | Kỹ thuật | Đặc điểm |
|---|---|---|
| Behavior Cloning (BC) | Imitation learning | Sao chép trajectory của tài xế người |
| Conditional Imitation | CIL, CILRS | BC có điều kiện theo lệnh (rẽ/thẳng/về) |
| Privileged Distillation | Roach, TCP | Học từ teacher có thông tin đặc quyền (GT lidar, HD map) |
| RL với reward function | InterFuser-RL | Tối ưu reward trong simulator |
| World model supervision | GAIA-1, DriveDreamer | Dự đoán trạng thái tương lai để giám sát planning |
| Language supervision | VLA models | Instruction following + reasoning chain |
Vấn đề cốt lõi của Behavior Cloning: Tài xế người không bao giờ cho bạn thấy họ sẽ xử lý thế nào khi xe gần đâm vào tường — bởi vì họ không để xảy ra tình huống đó. BC chỉ có data từ những tình huống bình thường. Kết quả: model BC mạnh ở tình huống thường gặp, yếu ở tình huống edge case — chính xác là những tình huống quan trọng nhất.
Privileged distillation giải quyết một phần bằng cách cho student model học từ teacher có access ground truth (biết chính xác vị trí mọi agent, không cần perception). World model supervision giải quyết theo hướng khác: buộc model phải dự đoán tương lai chính xác để có supervision tốt cho planning.
Trục 4: Evaluation Protocol — Kết quả được đo như thế nào?
Đây là trục bị bỏ qua nhiều nhất trong các paper — và cũng là trục gây nhiều hiểu nhầm nhất khi so sánh kết quả.
| Protocol | Metric điển hình | Vấn đề chính |
|---|---|---|
| Open-loop | L2 displacement error, collision rate từ log | Xe không thật sự lái; so sánh trajectory với log người |
| Closed-loop simulation | DrivingScore (DS) trong CARLA | Xe lái thật trong simulator; agent khác phản ứng |
| Non-reactive replay | nuPlan closed-loop | Log thật nhưng agent khác không tương tác |
| Long-tail testing | NAVSIM E-PDM Score | Tập test tập trung vào tình huống khó, hiếm gặp |
| Human preference | Win-rate qua so sánh cặp đôi | Đánh giá bởi người thật hoặc VLM-as-judge |
Luận điểm cốt lõi của survey 2608.20111: Open-loop L2 error thấp không đồng nghĩa với closed-loop performance tốt. Thực tế đã có nhiều trường hợp ngược chiều: model cho L2 error xuất sắc trong open-loop lại tệ trong closed-loop vì nó không học được cách phản ứng với hành động của các agent khác — thứ chỉ xuất hiện khi xe thật sự lái.
Đây là lý do bài 3 của series sẽ dành riêng cho việc đọc đúng con số benchmark.
Taxonomy VLA: nhánh đang nổi nhất 2025–2026
Survey arXiv:2512.16760v2 cung cấp taxonomy riêng cho nhóm VLA (Vision-Language-Action) — nhóm đang thu hút nhiều nghiên cứu nhất trong giai đoạn hiện tại.
VLA trong xe tự hành chia làm hai nhánh chính:
1. End-to-End VLA: Một mô hình duy nhất xử lý toàn bộ từ pixel camera đến lệnh điều khiển. Vision, language instruction, và action được xử lý trong cùng một kiến trúc unified. Ưu điểm là thông tin chảy liên tục không bị bottleneck giữa các module. Nhược điểm là khó đảm bảo safety constraint, latency cao, và khó fine-tune từng thành phần.
2. Dual-System VLA: Tách hai tầng. VLM nặng, chậm ("System 2" trong thuật ngữ cognitive science) đảm nhận reasoning và ra quyết định cấp cao. Một planner nhỏ, nhanh ("System 1") xử lý real-time control. Kiến trúc này gần với cách não người hoạt động khi lái xe — tư duy chậm khi phân tích tình huống phức tạp, phản xạ nhanh khi cần phanh khẩn cấp.
Ví dụ dual-system: DriveVLM (VLM + motion planner), Senna (VLM advisor + IL planner).
Bên trong mỗi nhánh còn có phân chia theo loại action generator (textual vs numerical) và cơ chế hướng dẫn (explicit scene description vs implicit embedding fusion).
World models đang nổi lên như một thành phần supervision quan trọng (trục 3). Thay vì chỉ dùng BC từ log người, model được train để dự đoán trạng thái tương lai của thế giới — và planning tốt chính là planning dẫn đến trạng thái tương lai tốt. Bài 5 của series sẽ đi sâu vào thành phần này.
Tại sao câu hỏi "có intermediate representation không" là sai
Một hiểu lầm phổ biến: "truly end-to-end" có nghĩa là không có intermediate representation — camera pixel đi thẳng ra steering angle.
Survey 2608.20111 lập luận ngược lại: intermediate representation không phải vấn đề — cách chúng được học và đánh giá mới là vấn đề.
UniAD có BEV representation, occupancy map, motion prediction — tất cả đều là intermediate representations. Nhưng chúng được học end-to-end cùng với planning objective, được supervise bởi ground truth perceptual labels, và trong pipeline tổng thể đều phục vụ mục tiêu cuối: planning an toàn. Đây là "end-to-end" theo nghĩa mục tiêu.
Ngược lại, một model chỉ output waypoints từ camera (không có intermediate representation rõ ràng) nhưng được train bằng open-loop BC thuần túy, không bao giờ test trong closed-loop — thì dù trông có vẻ "pure end-to-end" hơn về mặt kiến trúc, nhưng thực tế không đảm bảo safety tốt hơn.
Câu hỏi đúng khi đọc bất kỳ paper nào: Các intermediate representations đó có được supervise để phục vụ planning và đánh giá trong protocol phù hợp không?
Danh mục cộng đồng: awesome-vla-for-ad
Nếu bạn muốn theo dõi toàn bộ hệ sinh thái, repo cộng đồng awesome-vla-for-ad (465 sao, cập nhật 2026-08-21) được maintain bởi team đứng sau survey arXiv:2512.16760. Repo tổng hợp paper, dataset, benchmark, và code theo taxonomy của survey — có thể dùng như một chỉ mục nếu bạn muốn đọc một hệ cụ thể nằm ở đâu trong bức tranh toàn cảnh.
Bốn câu hỏi bạn nên đặt ra khi đọc paper tiếp theo
Tóm lại bộ từ vựng bốn trục thành bốn câu hỏi thực hành:
1. Input: Xe đang nhìn gì và mã hóa thế nào?
- Camera thôi hay có LiDAR? Dense BEV hay sparse token? Có language input không?
2. Output: Xe quyết định gì và ở mức độ nào?
- Control trực tiếp, waypoints, trajectory distribution, hay language-conditioned action?
3. Supervision: Xe học từ signal nào?
- BC thuần túy, privileged distillation, RL, world model, hay language supervision?
4. Evaluation: Kết quả được đo trong điều kiện nào?
- Open-loop hay closed-loop? Simulator nào? Long-tail hay phân phối thường?
Bốn câu hỏi này — không phải tên model hay số tham số — là thứ bạn cần đặt ra mỗi khi đọc một paper mới. Và chúng là ngôn ngữ chung mà series này sẽ dùng xuyên suốt từ bài 2 đến bài 6.
