“2024中國汽車重慶論壇”近日在重慶車展期間舉行。本屆論壇以“在變革的時代 塑造行業(yè)的未來”為主題，吸引全球行業(yè)100多位精英匯聚一堂，圍繞新能源化、智能網(wǎng)聯(lián)化、AGI產(chǎn)業(yè)化、新投資賽道、供應(yīng)鏈發(fā)展、海外出口等熱點(diǎn)話題展開對話和探討。

理想汽車董事長李想在論壇上表示，理想汽車將在今年第三季度推無圖NOA，在今年年底或明年年初推出基于理想自研的端到端大模型+VLM視覺模型L3級自動駕駛體系。李想同時認(rèn)為，基于這一體系，無監(jiān)督L4級別自動駕駛?cè)陜?nèi)可以實(shí)現(xiàn)。

據(jù)李想介紹，理想汽車從去年9月就開始思考自動駕駛突破問題，并專門建立了相關(guān)研究團(tuán)隊(duì)，目前已放入約100萬Clips用于端到端的訓(xùn)練。

以下為李想演講全文:

我今天分享我們在過去半年多的時間做的一個重要技術(shù)的突破，是關(guān)于自動駕駛的技術(shù)的突破。

我這里強(qiáng)調(diào)一下，我講的是4個字“自動駕駛”，不是“智能駕駛”，也不是“輔助駕駛”，這是最關(guān)鍵的。公司內(nèi)部從去年9月份開始來思考一個問題，并專門建立了一個用于自動駕駛研究的團(tuán)隊(duì)，一個最簡單的問題，人類開車為什么不涉及學(xué)習(xí)cornercase 。如果不解決這個問題，所有自動駕駛團(tuán)隊(duì)每天干的活都是靠人工去調(diào)試各種各樣的cornercase，而且人越多，cornercase越多，離真正的自動駕駛就越遙遠(yuǎn)。

最核心的一個原因，當(dāng)人工智能技術(shù)不斷發(fā)展的時候，其實(shí)人類開車的方式不是過去這么多年用的自動駕駛研發(fā)的一個方式，這是一個根本的不同。因?yàn)槿碎_車沒那么辛苦，沒那么累，不需要養(yǎng)幾千人的團(tuán)隊(duì)去搞cornercase。而且團(tuán)隊(duì)越多，cornercase就越多。所以我們從理論和技術(shù)的兩個角度研究，人類到底怎么開車，新的技術(shù)如何解決自動駕駛開車的問題。

首先從理論的角度，我們先是從一本書里得到了啟示，叫做《思考快與慢》。

這本書講述了日常的時候，大腦在工作的時候，分為系統(tǒng)1和系統(tǒng)2。系統(tǒng)1來處理一些直覺、快速響應(yīng)的事情，其實(shí)就像我們在開車，很多時候我們在開車，腦子在想別的事情，但我們?nèi)匀辉谔幚砺飞系母鞣N事情，這就意味著我們用系統(tǒng)1在工作，并不是大腦不在工作，是大腦以一種獨(dú)有的低能耗的方式工作。當(dāng)去到一個復(fù)雜的路段，比如十字路口或者遇到一個水坑，這時候調(diào)用大腦系統(tǒng)2工作，處理復(fù)雜邏輯推演的能力，但是對大腦的消耗比較大，所以大家不會一直用系統(tǒng)2的方式來開車。解決各種復(fù)雜路況，解決泛化的問題、未知的問題，大腦會啟用系統(tǒng)2工作。正常我們開車95%的時間使用系統(tǒng)1，5%的時間使用系統(tǒng)2，所以人腦每天不需要每天的功耗，人不需要學(xué)習(xí)這些就學(xué)會開車。

如果這樣的人類工作方式，自動駕駛應(yīng)該怎么工作，什么是自動駕駛的系統(tǒng)1，什么是自動駕駛的系統(tǒng)2？隨著對各種技術(shù)的研究，自動駕駛系統(tǒng)1，今天很多自動駕駛團(tuán)隊(duì)都在做的端到端這樣一個技術(shù)。端到端，就意味著我們把完整的訓(xùn)練頻段放進(jìn)來，最后結(jié)果是輸入直接產(chǎn)出輸出，不像過往一個感知的模塊，一個規(guī)劃的模塊，一個決策的模塊，一個執(zhí)行的模塊。這樣效率更高。但是它的挑戰(zhàn)也來了，各種人類規(guī)則在里面也不發(fā)揮作用了。

挑戰(zhàn)有三個方面:一是要有真正做端到端包括這方面數(shù)據(jù)訓(xùn)練的人才，二是需要真正高質(zhì)量的數(shù)據(jù)，三是需要足夠多的算力。因?yàn)槎说蕉藢τ谒懔Φ男枨螅鸵酝兊貌灰粯恿?。在端到端方面，我們大概放入?00萬Clips，用于端到端的訓(xùn)練，大概一個月十輪左右的訓(xùn)練，基本就可以完成一個無圖NOA的上限水平。但是面對中國的復(fù)雜路況，只有端到端不夠，我們要思考什么是系統(tǒng)2。系統(tǒng)2的啟發(fā)在于什么呢？在于解決各種各樣的cornercase和各種泛化的問題，人類并不是通過學(xué)習(xí)cornercase來開車的。

最明顯的一個案例和啟發(fā)是什么呢？我的愛人剛學(xué)會開車，連續(xù)好多年都不停地刮蹭。你和她分析下一次怎么不刮蹭，還是沒有用，還是刮蹭。我就分析是不是買的車太大，換一輛小的車，她仍然刮蹭，怎么說都會刮蹭。這時我們會發(fā)現(xiàn)學(xué)習(xí)cornercase沒有用，我們能不能通過提升能力的方式？當(dāng)時我做了挺重要的一個判斷，給我愛人報寶馬駕駛培訓(xùn)的初級班。寶馬駕駛培訓(xùn)初級班一整天，通過各種各樣的方式，只教了兩個:一是無論在賽道上過彎還是繞樁還是處于環(huán)形路面的時候，你在打轉(zhuǎn)向之前眼睛看向哪里？不是看你通過的路口，而是看你接下來要去的地方。用各種各樣的方式，教我們開車要看路。另外寶馬駕駛培訓(xùn)班教了另外一個能力，各種復(fù)雜場景里如何把剎車踩到底，包括濕滑的路面、轉(zhuǎn)彎的路面，一半鋼板一半道路的路面。寶馬培訓(xùn)班就教了兩個事情:一是教你看路的能力，二是教你剎車的能力，只經(jīng)過這么一天的訓(xùn)練，我愛人就徹底和刮蹭告別了。所以在接下來的十幾年里，沒有出現(xiàn)過任何的刮蹭。所以這是人類學(xué)習(xí)的一個方式。

我們在考慮如何把這樣能力給到車上，很重要的一個技術(shù)是VLM，即視覺語言模型，為什么不是大語言模型？因?yàn)闆]有辦法把一個大語言模型在云端使用，這個響應(yīng)速度就會車毀人亡了。所以我們還是思考如何把一個視覺大語言模型進(jìn)行足夠壓縮，最后放到車上去。它能夠在面對一個沒有紅綠燈的左轉(zhuǎn)路口提前作出預(yù)判，來知道我這個路口如何進(jìn)行特殊復(fù)雜的處理。

還有另外一個重要的功能，就是告別高清地圖。因?yàn)橐曈X的語言模型還有一個最重要的功能，是能夠像人類一樣去讀懂導(dǎo)航地圖。包含導(dǎo)航地圖的橫向、縱向、速度、時間，包括紅綠燈，哪怕車輛的遮擋紅綠燈也不再成為問題。我們會發(fā)現(xiàn)可以有效通過視覺語言模型解決系統(tǒng)2的問題，一方面為端到端進(jìn)行一個兜底，另一方面解決各種各樣泛化的問題。我們認(rèn)為最早在今年年底，最晚在明年上半年，真正有監(jiān)督的L3自動駕駛就就可以批量向用戶交付了，而不是做實(shí)驗(yàn)了。

解決這兩個問題還有第三個問題。因?yàn)槎说蕉耸呛诤凶樱琕LM也是黑盒子，AI最大的區(qū)別是能力，而過去的編程體系最重要是功能。功能要通過實(shí)驗(yàn)和測試來驗(yàn)證的，而能力怎么拿測試和實(shí)驗(yàn)驗(yàn)證，是不可能的。所以這時候一個新的挑戰(zhàn)，我們用什么樣的技術(shù)方式驗(yàn)證能力，這時候我們又找到一個新的方式，主要的原理來自于Sora，我們來構(gòu)建一個小型的視覺模型，拿這個視覺模型讓我們的車在里面考試。這樣我們模擬人的一套真正工作原理開始呈現(xiàn)了，端到端承載人的系統(tǒng)1，VLM來承載人的系統(tǒng)2。系統(tǒng)1來解決所有正常自動駕駛的能力，系統(tǒng)2來解決兜底和泛化的能力，并應(yīng)用生成式的小的視覺模型來進(jìn)行考試。這是我們在過去一段時間里做的最重要的一個技術(shù)性突破，而且我們的研究團(tuán)隊(duì)已經(jīng)完全通過了正常的研究驗(yàn)證。

接下來會怎么樣呢？我們在3季度正式推全國無圖NOA的時候，也會向測試用戶通過300萬Clips訓(xùn)練出來的端到端+VLM的一套監(jiān)督型自動駕駛體系。最早會在今年的年底，最晚明年年初，我們會推出超過1000萬Clips訓(xùn)練的端到端+VLM的帶有監(jiān)督的自動駕駛體系。我們認(rèn)為端到端+VLM+生成式的驗(yàn)證系統(tǒng)，也會是未來整個物理世界機(jī)器人最重要技術(shù)架構(gòu)和技術(shù)體系。

接下來一段時間，包含最近本月還有下月還有幾個關(guān)鍵AI方面的技術(shù)論壇里，我們技術(shù)研究的同事也會向整個行業(yè)來分享我們對這方面的研究、治理原理和實(shí)際結(jié)果，把我們進(jìn)行的一些探索，能夠和同行進(jìn)行有效的分享。另一方面，就像剛才講的，我們會在7月份，以及最早年底、最晚明年年初，把這樣的技術(shù)帶給用戶。通過這樣的技術(shù)，可以確定的堅(jiān)信一件事情，在現(xiàn)有的計算平臺上，帶有監(jiān)督L3級別的自動駕駛可以百分之百實(shí)現(xiàn)。并且隨著這套技術(shù)的演進(jìn)、算力增強(qiáng)，我認(rèn)為L4級別無監(jiān)督的自動駕駛在三年內(nèi)一定能夠?qū)崿F(xiàn)。