World model thôi làm video đẹp, chuyển sang đo lường policy

Tại sao metric cũ không còn đủ

Cho đến khoảng 2023–2024, một world model lái xe tốt được định nghĩa đơn giản: sinh video trông như ảnh thật. FID (Fréchet Inception Distance), FVD (Fréchet Video Distance), PSNR, SSIM — những con số này đo khoảng cách phân phối giữa frame sinh và frame thật. Model nào FVD thấp nhất thắng bảng xếp hạng, và câu chuyện kết thúc ở đó.

Vấn đề nằm ở chỗ FVD thấp không có nghĩa là bạn có thể dùng world model đó để huấn luyện hoặc đánh giá policy. Hãy tưởng tượng một model sinh ra đường phố lung linh dưới mưa với texture hoàn hảo — nhưng khi bạn hỏi "nếu xe quẹo trái thêm 5 độ, chuyện gì xảy ra với xe tải phía trước?", nó có thể vẫn sinh ra cùng đường phố đó, hoàn toàn bỏ qua mối nhân quả giữa quyết định lái và phản ứng của môi trường.

Đó chính là câu hỏi cốt lõi của bước chuyển khái niệm mà bài này sẽ phân tích: world model không phải là công cụ sinh cảnh — nó là công cụ đo lường policy. Và hai yêu cầu này đặt ra những ràng buộc hoàn toàn khác nhau lên kiến trúc, dữ liệu huấn luyện, và tiêu chí đánh giá.

Để sinh video đẹp, bạn cần perceptual loss và discriminator mạnh. Để đo policy, bạn cần causal fidelity — môi trường sinh phải phản ứng đúng với từng quyết định của agent, kể cả trong các tình huống counterfactual chưa từng xảy ra trong dữ liệu thực.

Năm 2026, bốn công trình minh họa bốn mặt của bước chuyển đó theo những cách khác nhau: OmniDreams (NVIDIA, mã nguồn mở — cả policy lẫn simulator), GAIA-4 (Wayve, không có paper, báo cáo công nghiệp), Orbis 2 (University of Freiburg, học thuật tái lập được), và WorldLens (phản biện cần thiết: model tốt nhất vẫn chỉ đạt 2–3/10 theo đánh giá người).

Trụ 1 — OmniDreams: World-Action Model 2 tỷ tham số thắng VLA 10 tỷ tham số

OmniDreams tạo chuỗi video có điều kiện theo hành động, đạt 68 FPS real-time trên GB300 — nguồn: arXiv:2606.03159

NVIDIA công bố OmniDreams (arXiv:2606.03159v2, phát hành 2026-06-02, cập nhật 2026-07-23) là một foundation generative world model được mid/post-train từ Cosmos diffusion model trên 21.000 giờ kịch bản lái xe. Dữ liệu huấn luyện bao gồm thời tiết cực đoan, hành vi agent bất thường, và các điều kiện đường sá hiếm gặp mà dataset thông thường thiếu.

Điểm kỹ thuật đáng chú ý nhất không phải là chất lượng video. Đó là World-Action Model (WAM) — một biến thể của OmniDreams được post-train thêm để vừa sinh môi trường, vừa đưa ra hành động điều khiển trong cùng một forward pass. Thay vì tách "sinh cảnh" và "chọn hành động" thành hai thành phần riêng, WAM xử lý cả hai đồng thời và chia sẻ chung biểu diễn về trạng thái thế giới.

Kết quả trên tập đánh giá Physical AI AV NuRec: WAM (≈2 tỷ tham số) thắng Alpamayo 1.5 — VLA research policy lớn nhất của NVIDIA với khoảng 10 tỷ tham số — tức chỉ dùng 1/5 kích thước:

Điều này nói lên gì về kiến trúc? Khi world model và action head được huấn luyện chung, model buộc phải học biểu diễn trạng thái thế giới phục vụ cho việc ra quyết định, không chỉ cho việc trông đẹp. Đây là sự khác biệt giữa "biểu diễn để reconstruct" và "biểu diễn để plan".

Hiệu năng thời gian thực

Tốc độ suy luận không bị hy sinh: single-view đạt 68 FPS ở 720p (704×1280) trên một GPU GB300; bốn camera đồng thời đạt 105 FPS hiệu dụng mỗi camera với 16 GPU GB300, dùng 2-step diffusion.

Kiến trúc đạt được hiệu quả này nhờ factorized attention: tách attention theo chiều thời gian (per-view, trong từng luồng camera) và chiều không gian (cross-view, giữa các camera), giảm độ phức tạp từ O(N²T²) xuống O(NT²) + O(N²), với N là số camera và T là số frame. Với 4 camera và 16 frame, đây là tiết kiệm đáng kể.

Vòng kín hoàn chỉnh, cả ba thành phần đều mở

OmniDreams ghép với Alpamayo-R1 (policy với Chain-of-Causation reasoning) và AlpaSim (orchestrator phân phối kịch bản) tạo thành vòng đánh giá khép kín:

Policy (Alpamayo)
    ↓  hành động điều khiển
Orchestrator (AlpaSim)
    ↓  kịch bản + điều kiện ban đầu
Môi trường sinh (OmniDreams)
    ↓  frame tiếp theo
    └──────────────────────────┘

Cả ba thành phần đều được công bố mã nguồn mở. Trong lĩnh vực AV, điều này cực kỳ hiếm — thường chỉ có policy model được share, còn simulator là proprietary và là lợi thế cạnh tranh. Repo OmniDreams hiện có 314 sao trên GitHub: github.com/nv-tlabs/omni-dreams (repository đã đổi tên thành Cosmos-Dreams); model weight trên HuggingFace tại nvidia/omni-dreams-models.

Trụ 2 — GAIA-4: Wayve định nghĩa lại "độ trung thực" theo ba tầng

Wayve công bố GAIA-4 qua blog kỹ thuật ngày 2026-08-03. Trước khi đi vào chi tiết, cần nêu rõ một điều quan trọng: không có paper đi kèm, không có code được release. Đây là báo cáo thực hành công nghiệp — không phải nghiên cứu tái lập được theo nghĩa học thuật. Trong cộng đồng nghiên cứu, hai loại công bố này cần được xử lý và trích dẫn khác nhau.

Ràng buộc world-on-rails

Ý tưởng cốt lõi: khi replay một kịch bản thực, tất cả phương tiện và người đi bộ xung quanh giữ nguyên hành vi đã ghi lại từ log thực tế. Chỉ có ego vehicle (xe đang được test) mới thay đổi theo quyết định thực của model.

Nghe có vẻ là một hạn chế, nhưng đây là thiết kế có chủ ý. Nếu cho phép các agent xung quanh phản ứng lại quyết định của ego, bạn phải model hành vi của tất cả mọi người — điều này nhân đôi nguồn không chắc chắn và làm mờ tín hiệu đánh giá. World-on-rails cô lập biến kiểm soát: chỉ có policy của ego thay đổi, mọi thứ khác giữ nguyên. Kết quả: fidelity tăng 2,5 lần so với world model đa dụng không có ràng buộc này.

Industry-first: radar tổng hợp đồng bộ với camera

GAIA-4 là hệ thống đầu tiên trong ngành AV sinh radar tổng hợp đồng bộ cùng camera, bao gồm cả Doppler velocity relative to ego vehicle. Điều này quan trọng vì hệ thống AV thực tế phụ thuộc nặng vào radar để ước lượng tốc độ tương đối của xe xung quanh và tracking đối tượng trong điều kiện thiếu sáng. Test policy chỉ trên camera là test một stack sensor khác với stack chạy trên xe thật — và khoảng cách đó có thể tạo ra false confidence.

Ba tầng fidelity

Wayve định nghĩa ba cấp độ đánh giá, từ thô đến tinh:

1. Outcome fidelity — Kết quả mô phỏng (va chạm? tránh được?) có khớp kết quả thực tế không?
2. Closed-loop fidelity — Output của hệ thống có nhất quán với hành vi lái xe thực không?
3. Component fidelity — Từng thành phần riêng lẻ (3D realism, độ chính xác radar) có hợp lệ không?

Framework ba tầng này thực ra là câu trả lời cho câu hỏi "đo cái gì?" — không phải FVD, mà là hành vi của policy dưới các điều kiện counterfactual được kiểm soát. Đây là cách tư duy của đội ngũ kỹ thuật đang triển khai hệ thống thật, không phải đội nghiên cứu tối ưu hóa điểm benchmark.

Trụ 3 — Orbis 2: Công thức học thuật tái lập được

Orbis 2 (arXiv:2607.15898v1, 2026-07-17) đến từ LMB — Laboratory for Machine Learning and Biometry, University of Freiburg. Đây là đối trọng học thuật tái lập được: code, checkpoint, và kết quả định lượng đều được release — đủ để bất kỳ nhóm nào có thể reproduce và xây tiếp.

Đóng góp kỹ thuật cốt lõi là pipeline huấn luyện hai giai đoạn kết hợp hai objective tưởng như mâu thuẫn:

Giai đoạn 1 — Diffusion forcing pretraining:

Model học dự đoán toàn bộ chuỗi frame tương lai từ tập các frame ở các mức nhiễu khác nhau (không chỉ từ frame sạch). Cách học này buộc model xây dựng biểu diễn nội tại phong phú về cấu trúc cảnh vì nó không thể "nhìn trộm" frame kế tiếp theo thứ tự thông thường — model phải hiểu cấu trúc của cảnh để predict frame ở bất kỳ timestep nào.

Biểu diễn phong phú này đặc biệt có giá trị cho counterfactual queries: "nếu ego rẽ phải thay vì đi thẳng, cảnh sẽ như thế nào?" — loại câu hỏi mà policy evaluation cần đặt ra liên tục.

Giai đoạn 2 — Teacher forcing fine-tuning:

Model được fine-tune theo cách tiêu chuẩn: dự đoán frame tiếp theo từ context sạch. Giai đoạn này ổn định hóa autoregressive rollout dài hạn — điểm yếu kinh điển của diffusion-based models khi deploy inference. Khi bạn phải sinh 10 giây video (100+ frame) liên tục, lỗi tích lũy qua mỗi diffusion step có thể làm cảnh "drift" xa thực tế sau vài giây.

Kết hợp hai giai đoạn: biểu diễn phong phú từ diffusion forcing + rollout ổn định từ teacher forcing = world model thích hợp cho đánh giá policy dài hạn.

Kiến trúc phân cấp:

• High-level predictor: dự đoán cấu trúc cảnh thô theo chân trời dài (layout đường, vị trí agent)
• Low-level generator: sinh chi tiết pixel được điều kiện bởi output của high-level predictor

Lưu ý quan trọng về số liệu: Project page của Orbis 2 không in bảng FVD/mIoU ra headline. Các con số định lượng cụ thể nằm trong PDF paper. Bài này không trích dẫn các con số đó vì chưa đọc trực tiếp từ nguồn gốc, và không muốn đưa số thiếu căn cứ. Điều này nhắc lại nguyên tắc từ bài 3 về benchmark: không tin headline số, hỏi thêm "số đó đo cái gì, dưới điều kiện nào?"

Trụ 4 — WorldLens: Phản biện cần thiết — model tốt nhất vẫn chỉ 2–3/10

Bài này sẽ không hoàn chỉnh nếu không có phần phản biện: sau tất cả những tiến bộ kể trên, chúng ta đang đứng ở đâu thực sự?

WorldLens (arXiv:2605.10858v1) đặt ra câu hỏi đó một cách có hệ thống. Benchmark đánh giá 6 driving world model tiêu biểu trên 5 khía cạnh và 24 chiều chuẩn hóa, bao gồm pixel quality, 4D geometry, closed-loop driving behavior, và human perception.

Kết quả: không ai thống trị mọi trục

Không có model nào nhất quán tốt trên tất cả 24 chiều. Model tốt nhất chỉ đạt 2–3 trên 10 về độ chân thực theo đánh giá người. Phân tích định tính tiết lộ hai pattern thất bại đặc trưng:

• Model giàu texture, nghèo vật lý: sinh đường phố đẹp nhưng xe có thể xuyên qua nhau, bóng đổ sai chiều, mặt nước phản chiếu không khớp.
• Model nhận thức hình học, thiếu hành vi xác thực: layout 3D đúng nhưng pedestrian đi thẳng dù có xe đang lao đến, xe không nhường đường dù đèn đỏ.

Hai chiều fail này hoàn toàn độc lập — cải thiện texture không sửa được vấn đề hành vi, và ngược lại.

WorldLens-26K và WorldLens-Agent

Để có ground truth cho human perception, nhóm tác giả xây dựng WorldLens-26K: 26.808 cặp ưa thích (preference pairs) do người gán nhãn, mỗi cặp kết hợp điểm số số học với giải thích bằng ngôn ngữ tự nhiên. Từ dataset đó, họ distill WorldLens-Agent — một VLM evaluator tự động được fine-tune để đánh giá world model mà không cần người thật trong vòng lặp, nhưng vẫn align với phán đoán của người.

Về venue — có mâu thuẫn: Comment arXiv ghi "CVPR 2026 VideoWorldModel Workshop"; mô tả repo trên GitHub ghi "[CVPR 2026 Oral]". Có mâu thuẫn giữa hai nguồn — không rõ đây là workshop oral hay main conference oral. Nêu để tránh trích dẫn sai.

Tổng hợp: Ba cấp độ của bước chuyển khái niệm

Bốn công trình trên minh họa một sự dịch chuyển diễn ra ở ba cấp:

Cấp 1 — Thay metric đánh giá:

Từ "FVD thấp nhất = tốt nhất" sang "policy nào ít va chạm hơn khi test trong simulator này?" OmniDreams đo collision rate. GAIA-4 đo outcome fidelity. Không ai báo cáo FVD như metric chính nữa.

Cấp 2 — Thay kiến trúc để hỗ trợ counterfactual:

World model phải phản ứng đúng với hành động của policy, không chỉ sinh frame tiếp theo theo quán tính. OmniDreams dùng action conditioning trong forward pass. Orbis 2 xây biểu diễn counterfactual qua diffusion forcing pretraining. GAIA-4 dùng world-on-rails để cô lập biến kiểm soát.

Cấp 3 — Xây thêm meta-evaluation:

WorldLens là benchmark của benchmark — đo xem các world model đang dùng để đánh giá policy có đáng tin đến đâu. Điều này phản ánh rằng cả stack đánh giá (policy → world model → meta-benchmark) vẫn đang được xây dựng song song với các thành phần trong stack.

Điểm hiếm có: vòng kín hoàn toàn mở

Lần đầu tiên trong lịch sử AV research, toàn bộ vòng kín policy + orchestrator + môi trường sinh đều có mã nguồn mở (với stack NVIDIA). Điều này có nghĩa là nhóm nghiên cứu nhỏ có thể chạy evaluation nghiêm túc mà không cần tự build simulator từ đầu, kết quả có thể được reproduce giữa các lab, và cộng đồng có thể cải tiến từng thành phần một cách độc lập.

Tất nhiên, WorldLens nhắc nhở rằng "mở" không đồng nghĩa với "hoàn hảo". Khi world model tốt nhất vẫn chỉ 2–3/10 về độ chân thực theo đánh giá người, kết luận rút ra từ policy evaluation trong đó cần được diễn giải với sự thận trọng tương ứng.

Bài 6 cuối series sẽ đưa những con số này về thực tế: robotaxi đang chạy thật, dữ liệu vận hành thực tế, và khoảng cách giữa "đánh giá tốt trong simulator" với "chạy được trên đường thật" trông như thế nào.

Bài viết liên quan

• Suy luận kiểm tra được: Alpamayo-R1 và Chain-of-Causation — Policy chạy trong vòng kín OmniDreams hoạt động ra sao
• Benchmark chính là lập luận: NAVSIM v2, Bench2Drive, WOD-E2E — Tại sao open-loop FVD không đủ để đánh giá policy
• Từ UniAD tới VLA: bản đồ end-to-end driving 2026 — Bức tranh toàn cảnh trước khi đi sâu vào world model