上海AI實(shí)驗(yàn)室揭秘：自動(dòng)駕駛視覺語言模型可靠性測(cè)試

當(dāng)你坐在一輛自動(dòng)駕駛汽車?yán)铮囕dAI系統(tǒng)通過攝像頭觀察路況并告訴你"前方有行人正在過馬路，我們需要減速"，你會(huì)完全相信這個(gè)電子司機(jī)的判斷嗎？最近，由上海AI實(shí)驗(yàn)室、新加坡國立大學(xué)、加州大學(xué)爾灣分校等多個(gè)頂級(jí)研究機(jī)構(gòu)組成的國際團(tuán)隊(duì)發(fā)表了一項(xiàng)突破性研究，他們深入調(diào)查了當(dāng)前最先進(jìn)的視覺語言模型在自動(dòng)駕駛場(chǎng)景中的真實(shí)表現(xiàn)。這項(xiàng)研究由上海AI實(shí)驗(yàn)室的孔令東博士領(lǐng)導(dǎo)，于2025年1月發(fā)表在計(jì)算機(jī)視覺頂級(jí)會(huì)議上，有興趣深入了解的讀者可以訪問論文網(wǎng)站 drive-bench.github.io 獲取完整研究內(nèi)容。

研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)令人深思的現(xiàn)象：這些被譽(yù)為"智能"的AI系統(tǒng)在面對(duì)復(fù)雜駕駛場(chǎng)景時(shí)，經(jīng)常會(huì)像一個(gè)剛學(xué)會(huì)開車的新手一樣，表面上說得頭頭是道，實(shí)際上卻是在"胡說八道"。更令人擔(dān)憂的是，即使在完全看不見路況的情況下，這些AI系統(tǒng)仍然能夠給出聽起來合理的駕駛建議，就像一個(gè)蒙著眼睛的司機(jī)還在裝作能看見一樣。

這項(xiàng)研究的核心貢獻(xiàn)是創(chuàng)建了一個(gè)名為DriveBench的全新測(cè)試平臺(tái)，這個(gè)平臺(tái)就像是給AI司機(jī)安排的一場(chǎng)全面駕照考試，不僅要在理想條件下測(cè)試，還要在各種惡劣環(huán)境中檢驗(yàn)AI的真實(shí)能力。研究團(tuán)隊(duì)測(cè)試了12種不同的先進(jìn)AI模型，涵蓋了從商業(yè)化產(chǎn)品到開源模型的各個(gè)類型，測(cè)試內(nèi)容包括感知識(shí)別、預(yù)測(cè)判斷、路徑規(guī)劃和行為決策等四大核心駕駛技能。

這項(xiàng)研究的意義不僅僅局限于自動(dòng)駕駛領(lǐng)域。隨著AI系統(tǒng)越來越多地參與到安全關(guān)鍵的決策場(chǎng)景中，從醫(yī)療診斷到金融投資，了解這些系統(tǒng)的真實(shí)可靠性變得至關(guān)重要。研究結(jié)果揭示的問題提醒我們，不能僅僅因?yàn)锳I系統(tǒng)能夠生成看似合理的解釋就認(rèn)為它們是可靠的。

一、測(cè)試平臺(tái)構(gòu)建：為AI司機(jī)量身定制的全能考場(chǎng)

研究團(tuán)隊(duì)面臨的第一個(gè)挑戰(zhàn)就像是設(shè)計(jì)一套全面的駕考系統(tǒng)。傳統(tǒng)的AI測(cè)試往往只在理想條件下進(jìn)行，就好比只在晴天的空曠道路上練車，這樣培養(yǎng)出來的司機(jī)一旦遇到雨雪天氣或者復(fù)雜路況就會(huì)手忙腳亂。為了真正檢驗(yàn)AI司機(jī)的實(shí)力，研究團(tuán)隊(duì)創(chuàng)建了一個(gè)名為DriveBench的綜合測(cè)試平臺(tái)，這個(gè)平臺(tái)的設(shè)計(jì)理念就是要讓AI系統(tǒng)在各種可能遇到的真實(shí)駕駛場(chǎng)景中接受考驗(yàn)。

DriveBench測(cè)試平臺(tái)包含了19200個(gè)駕駛場(chǎng)景圖像和20498對(duì)問答樣本，覆蓋了從簡單的物體識(shí)別到復(fù)雜的決策推理等各個(gè)層面。研究團(tuán)隊(duì)將測(cè)試內(nèi)容分為四個(gè)核心模塊，每個(gè)模塊都對(duì)應(yīng)著人類司機(jī)必須掌握的基本技能。感知模塊就像是測(cè)試司機(jī)的眼力，要求AI準(zhǔn)確識(shí)別道路上的各種物體，包括車輛、行人、交通標(biāo)志等，并且能夠判斷它們的運(yùn)動(dòng)狀態(tài)。預(yù)測(cè)模塊則考驗(yàn)AI的預(yù)判能力，就像一個(gè)有經(jīng)驗(yàn)的司機(jī)能夠預(yù)測(cè)前方車輛可能變道一樣，AI需要根據(jù)當(dāng)前觀察到的情況預(yù)測(cè)未來可能發(fā)生的變化。

規(guī)劃模塊是整個(gè)測(cè)試的核心，它要求AI系統(tǒng)像一個(gè)合格的司機(jī)一樣制定行駛計(jì)劃。當(dāng)面對(duì)復(fù)雜的交通場(chǎng)景時(shí)，AI需要綜合考慮安全性、效率性和合規(guī)性等多個(gè)因素，給出合適的駕駛策略。行為模塊則測(cè)試AI對(duì)具體駕駛動(dòng)作的控制能力，包括加速、減速、轉(zhuǎn)向等基本操作的時(shí)機(jī)和幅度掌握。

更有挑戰(zhàn)性的是，研究團(tuán)隊(duì)還設(shè)計(jì)了17種不同的測(cè)試環(huán)境，從完美的理想條件到極端的惡劣環(huán)境。這些環(huán)境包括不同的天氣條件，比如明亮陽光、昏暗光線、雨雪天氣等，就像讓司機(jī)在各種天氣條件下都能安全駕駛一樣。研究團(tuán)隊(duì)還模擬了各種設(shè)備故障情況，比如攝像頭被遮擋、圖像傳輸出現(xiàn)錯(cuò)誤、視頻壓縮導(dǎo)致的質(zhì)量損失等，這些都是現(xiàn)實(shí)中可能遇到的技術(shù)問題。

最極端的測(cè)試是完全移除視覺信息，讓AI系統(tǒng)僅僅根據(jù)文字描述來做出駕駛判斷。這就像是讓一個(gè)司機(jī)蒙著眼睛開車，只能聽別人的口頭描述來判斷路況。這種測(cè)試看似不合理，但它揭示了一個(gè)關(guān)鍵問題：AI系統(tǒng)的回答究竟是基于真實(shí)的視覺理解，還是僅僅依靠預(yù)先學(xué)習(xí)的知識(shí)和常識(shí)推測(cè)？

二、測(cè)試結(jié)果分析：AI司機(jī)的真實(shí)表現(xiàn)令人意外

當(dāng)研究團(tuán)隊(duì)開始分析測(cè)試結(jié)果時(shí)，他們發(fā)現(xiàn)了許多意想不到的現(xiàn)象。首先讓人震驚的是，即使在視覺信息完全缺失的情況下，大多數(shù)AI系統(tǒng)仍然能夠給出看似合理的駕駛建議，而且這些建議的質(zhì)量評(píng)分與正常情況下相比差別不大。這就像是一個(gè)司機(jī)即使閉著眼睛也能口若懸河地分析路況，說得頭頭是道但實(shí)際上完全是在憑感覺猜測(cè)。

研究團(tuán)隊(duì)對(duì)比了人類司機(jī)在相同測(cè)試條件下的表現(xiàn)。結(jié)果顯示，當(dāng)視覺條件惡化時(shí)，人類的判斷準(zhǔn)確率會(huì)顯著下降，這是完全符合常理的反應(yīng)。然而，大部分AI系統(tǒng)在面對(duì)視覺干擾時(shí)卻表現(xiàn)出了"超人"的穩(wěn)定性，它們的回答質(zhì)量幾乎沒有變化。這種現(xiàn)象初看起來似乎說明AI系統(tǒng)具有超強(qiáng)的抗干擾能力，但深入分析后發(fā)現(xiàn)，這恰恰暴露了一個(gè)嚴(yán)重問題：這些AI系統(tǒng)可能并沒有真正"看懂"路況，而是在根據(jù)常識(shí)和統(tǒng)計(jì)規(guī)律來構(gòu)造答案。

具體來看感知任務(wù)的測(cè)試結(jié)果，研究團(tuán)隊(duì)發(fā)現(xiàn)AI系統(tǒng)在識(shí)別物體運(yùn)動(dòng)狀態(tài)時(shí)存在明顯的偏向性。在大多數(shù)情況下，AI系統(tǒng)傾向于回答"直行前進(jìn)"，即使實(shí)際情況是車輛正在轉(zhuǎn)彎。這種現(xiàn)象可以用一個(gè)簡單的比喻來理解：就像一個(gè)從來沒有真正觀察過交通的人，只是聽說過"大部分時(shí)候車輛都在直行"，于是無論什么情況都給出這個(gè)答案。通過統(tǒng)計(jì)分析，研究團(tuán)隊(duì)發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)中確實(shí)存在嚴(yán)重的不平衡現(xiàn)象，直行場(chǎng)景占了絕大多數(shù)，這導(dǎo)致AI系統(tǒng)學(xué)會(huì)了一種"投機(jī)取巧"的策略。

在預(yù)測(cè)和規(guī)劃任務(wù)中，情況變得更加復(fù)雜。當(dāng)研究團(tuán)隊(duì)要求AI系統(tǒng)預(yù)測(cè)其他車輛的行為或者規(guī)劃自己的行駛路徑時(shí)，他們發(fā)現(xiàn)AI系統(tǒng)經(jīng)常會(huì)給出非常詳細(xì)和專業(yè)的解釋，但這些解釋往往缺乏對(duì)具體視覺細(xì)節(jié)的準(zhǔn)確把握。比如，AI系統(tǒng)可能會(huì)說"根據(jù)前方車輛的位置和速度，我們應(yīng)該保持安全距離并準(zhǔn)備變道"，聽起來非常專業(yè)，但實(shí)際上它可能根本沒有準(zhǔn)確識(shí)別出前方車輛的真實(shí)狀態(tài)。

更令人擔(dān)憂的是，當(dāng)研究團(tuán)隊(duì)故意在問題中明確提到視覺條件很差時(shí)，比如"在這個(gè)霧天場(chǎng)景中"，AI系統(tǒng)的回答準(zhǔn)確率會(huì)顯著下降，并且會(huì)承認(rèn)視覺條件的限制。這說明AI系統(tǒng)確實(shí)具有一定的"自知之明"，能夠意識(shí)到視覺條件的問題。但在正常情況下，即使視覺信息已經(jīng)嚴(yán)重干擾，AI系統(tǒng)也不會(huì)主動(dòng)承認(rèn)自己看不清楚，而是繼續(xù)給出看似自信的判斷。

三、評(píng)估體系的深層問題：為什么現(xiàn)有測(cè)試方法失效了

研究過程中，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)更深層次的問題：傳統(tǒng)的評(píng)估方法根本無法有效識(shí)別出AI系統(tǒng)的這種"虛假自信"行為。這就像是一個(gè)考試系統(tǒng)只看答案是否正確，而不關(guān)心學(xué)生是真的理解了題目還是僅僅是蒙對(duì)了答案。

目前廣泛使用的評(píng)估指標(biāo)主要包括準(zhǔn)確率和各種語言相似度評(píng)分。準(zhǔn)確率看起來是最直觀的評(píng)估方式，但在實(shí)際應(yīng)用中卻存在嚴(yán)重缺陷。由于訓(xùn)練數(shù)據(jù)的不平衡性，AI系統(tǒng)可以通過記住最常見的答案來獲得很高的準(zhǔn)確率。研究團(tuán)隊(duì)發(fā)現(xiàn)，僅僅回答"直行前進(jìn)"就能在某些測(cè)試中獲得超過90%的準(zhǔn)確率，這顯然不能說明AI系統(tǒng)具備了真正的駕駛理解能力。

語言相似度評(píng)分方法，比如常用的ROUGE和BLEU評(píng)分，原本是為機(jī)器翻譯和文本摘要等任務(wù)設(shè)計(jì)的，它們主要關(guān)注文本表面的相似性而不是語義的準(zhǔn)確性。在駕駛場(chǎng)景中使用這些評(píng)分方法就像是用測(cè)量文章字?jǐn)?shù)的方法來評(píng)判文章質(zhì)量一樣，抓不住重點(diǎn)。研究團(tuán)隊(duì)發(fā)現(xiàn)，一些經(jīng)過特定訓(xùn)練的AI模型能夠生成格式規(guī)整、用詞專業(yè)的回答，在語言評(píng)分上獲得高分，但實(shí)際的駕駛理解能力卻很有限。

即使是看起來更先進(jìn)的GPT評(píng)分方法也存在問題。當(dāng)研究團(tuán)隊(duì)使用GPT模型來評(píng)估其他AI系統(tǒng)的回答質(zhì)量時(shí)，他們發(fā)現(xiàn)評(píng)分結(jié)果很大程度上依賴于回答的表達(dá)方式而不是內(nèi)容的準(zhǔn)確性。一個(gè)措辭專業(yè)、邏輯清晰但事實(shí)錯(cuò)誤的回答往往比一個(gè)簡單直接但準(zhǔn)確的回答獲得更高的評(píng)分。這就像是一個(gè)只看表面功夫的評(píng)委，被華麗的包裝迷惑了雙眼。

更關(guān)鍵的是，所有這些評(píng)估方法都無法檢測(cè)出AI系統(tǒng)在缺乏視覺信息時(shí)的"胡編亂造"行為。研究團(tuán)隊(duì)進(jìn)行了一個(gè)對(duì)比實(shí)驗(yàn)：同一個(gè)AI系統(tǒng)在有圖像輸入和無圖像輸入時(shí)給出的回答，在各種評(píng)估指標(biāo)上的得分幾乎沒有差異。這意味著現(xiàn)有的評(píng)估體系完全無法區(qū)分真正基于視覺理解的回答和基于猜測(cè)的回答。

為了解決這個(gè)問題，研究團(tuán)隊(duì)提出了改進(jìn)的評(píng)估方法。他們認(rèn)為有效的評(píng)估應(yīng)該包含更多的上下文信息，比如具體的駕駛場(chǎng)景描述、關(guān)鍵物體的詳細(xì)信息等。同時(shí)，評(píng)估過程應(yīng)該關(guān)注AI系統(tǒng)對(duì)具體視覺細(xì)節(jié)的把握程度，而不僅僅是回答的總體合理性。他們還建議采用對(duì)比測(cè)試的方法，通過比較相同AI系統(tǒng)在不同視覺條件下的表現(xiàn)來判斷其真實(shí)的視覺理解能力。

四、專業(yè)化模型的表現(xiàn)：術(shù)業(yè)有專攻還是換湯不換藥

在測(cè)試的12個(gè)AI系統(tǒng)中，有兩個(gè)是專門為自動(dòng)駕駛場(chǎng)景訓(xùn)練的專業(yè)化模型：DriveLM和Dolphins。研究團(tuán)隊(duì)特別關(guān)注這些專業(yè)模型的表現(xiàn)，希望了解針對(duì)性的訓(xùn)練是否能夠帶來更可靠的駕駛理解能力。

DriveLM是基于nuScenes數(shù)據(jù)集訓(xùn)練的專業(yè)駕駛模型，而Dolphins則是在BDD數(shù)據(jù)集上訓(xùn)練的。從測(cè)試結(jié)果來看，這些專業(yè)化模型在某些方面確實(shí)表現(xiàn)出了優(yōu)勢(shì)。比如在語言評(píng)分方面，DriveLM獲得了顯著高于通用模型的分?jǐn)?shù)，這主要是因?yàn)樗鼘W(xué)會(huì)了生成符合駕駛場(chǎng)景特點(diǎn)的專業(yè)表達(dá)方式。專業(yè)模型的回答往往更加規(guī)范化，使用的術(shù)語也更加準(zhǔn)確，就像是一個(gè)接受過專業(yè)培訓(xùn)的司機(jī)和一個(gè)普通司機(jī)在描述同一個(gè)交通場(chǎng)景時(shí)的差別。

然而，當(dāng)研究團(tuán)隊(duì)深入分析這些專業(yè)模型的核心能力時(shí)，卻發(fā)現(xiàn)了一些令人失望的現(xiàn)象。首先是數(shù)據(jù)集轉(zhuǎn)換能力的問題。Dolphins模型主要在BDD數(shù)據(jù)集上訓(xùn)練，當(dāng)面對(duì)來自nuScenes數(shù)據(jù)集的測(cè)試題目時(shí)，它的表現(xiàn)出現(xiàn)了明顯的下降。這就像是一個(gè)只在某個(gè)城市開過車的司機(jī)，到了另一個(gè)城市就不適應(yīng)當(dāng)?shù)氐慕煌ōh(huán)境一樣。這種現(xiàn)象暴露了專業(yè)化模型的一個(gè)重要局限：它們的"專業(yè)性"可能更多體現(xiàn)在對(duì)特定數(shù)據(jù)格式和表達(dá)方式的記憶上，而不是對(duì)駕駛本質(zhì)的深度理解。

更深入的分析顯示，即使是這些專業(yè)化模型，在面對(duì)視覺信息缺失或嚴(yán)重干擾時(shí)，也表現(xiàn)出了與通用模型類似的問題。它們同樣傾向于依賴統(tǒng)計(jì)規(guī)律和常識(shí)推理來生成回答，而不是基于真實(shí)的視覺理解。在某些測(cè)試中，專業(yè)化模型甚至比通用模型表現(xiàn)得更加"頑固"，更堅(jiān)持給出看似專業(yè)但實(shí)際上缺乏視覺根據(jù)的回答。

研究團(tuán)隊(duì)還觀察到了一個(gè)有趣的現(xiàn)象：專業(yè)化模型在處理簡單駕駛場(chǎng)景時(shí)表現(xiàn)不錯(cuò)，但在面對(duì)復(fù)雜或非典型場(chǎng)景時(shí)，它們的局限性就暴露無遺。這種現(xiàn)象可以這樣理解：專業(yè)化訓(xùn)練讓模型學(xué)會(huì)了應(yīng)對(duì)常見駕駛場(chǎng)景的標(biāo)準(zhǔn)答案，但沒有培養(yǎng)出真正的場(chǎng)景理解和靈活應(yīng)變能力。

五、腐敗感知能力測(cè)試：AI司機(jī)能否察覺自己的"視力問題"

研究團(tuán)隊(duì)設(shè)計(jì)了一系列特殊測(cè)試來探究AI系統(tǒng)是否具備"自知之明"，也就是能否察覺到自己的視覺輸入出現(xiàn)了問題。這就像是測(cè)試一個(gè)司機(jī)在視線受阻時(shí)是否會(huì)主動(dòng)承認(rèn)看不清楚，而不是繼續(xù)裝作一切正常。

測(cè)試分為兩個(gè)層面進(jìn)行。第一個(gè)層面是隱式測(cè)試，研究團(tuán)隊(duì)在問題中暗示了視覺條件的惡化，比如"在這個(gè)雪天場(chǎng)景中，哪些物體需要特別注意？"當(dāng)問題中明確提到了惡劣天氣條件時(shí)，大多數(shù)AI系統(tǒng)的回答準(zhǔn)確率都會(huì)顯著下降，并且會(huì)在回答中承認(rèn)視覺條件的限制。這說明AI系統(tǒng)確實(shí)具備一定程度的情境理解能力，能夠根據(jù)問題中的線索調(diào)整自己的回答策略。

第二個(gè)層面是顯式測(cè)試，研究團(tuán)隊(duì)直接要求AI系統(tǒng)識(shí)別圖像中存在的視覺干擾類型。結(jié)果顯示，大多數(shù)AI系統(tǒng)都能夠相當(dāng)準(zhǔn)確地識(shí)別出常見的視覺問題，比如模糊、噪點(diǎn)、色彩失真等。特別是在天氣和運(yùn)動(dòng)模糊類型的干擾識(shí)別上，AI系統(tǒng)的準(zhǔn)確率甚至超過了80%。這表明AI系統(tǒng)并非完全"盲目"，它們確實(shí)具備檢測(cè)視覺異常的能力。

然而，最關(guān)鍵的發(fā)現(xiàn)是：即使AI系統(tǒng)能夠識(shí)別出視覺問題，它們?cè)谡Ｇ闆r下也不會(huì)主動(dòng)承認(rèn)或報(bào)告這些問題。只有在被明確詢問時(shí)，AI系統(tǒng)才會(huì)坦承視覺條件的局限性。這種行為模式非常值得深思，它暴露了當(dāng)前AI系統(tǒng)設(shè)計(jì)中的一個(gè)重要缺陷：缺乏主動(dòng)的不確定性表達(dá)機(jī)制。

研究團(tuán)隊(duì)進(jìn)一步測(cè)試了AI系統(tǒng)在不同程度視覺干擾下的行為模式。他們發(fā)現(xiàn)，隨著視覺干擾程度的加重，AI系統(tǒng)的回答并不是漸進(jìn)式地變得保守或不確定，而是在某個(gè)臨界點(diǎn)突然"崩潰"。在輕度干擾下，AI系統(tǒng)依然保持高度自信；但一旦干擾超過某個(gè)閾值，它們的回答就變得明顯不合理。這種"懸崖式"的性能下降模式在安全關(guān)鍵應(yīng)用中是非常危險(xiǎn)的，因?yàn)樗鼪]有給用戶提供漸進(jìn)的警告信號(hào)。

這些發(fā)現(xiàn)對(duì)自動(dòng)駕駛系統(tǒng)的實(shí)際部署具有重要啟示。理想的AI駕駛系統(tǒng)應(yīng)該像一個(gè)負(fù)責(zé)任的人類司機(jī)一樣，當(dāng)察覺到視線不好或者對(duì)情況不確定時(shí)，會(huì)主動(dòng)減速、提高警惕或者尋求幫助。但目前的AI系統(tǒng)更像是一個(gè)過度自信的司機(jī)，即使在看不清楚的情況下也要硬著頭皮往前開。

六、數(shù)據(jù)偏差的深層影響：當(dāng)AI司機(jī)只記住了標(biāo)準(zhǔn)答案

通過深入分析訓(xùn)練數(shù)據(jù)的構(gòu)成，研究團(tuán)隊(duì)發(fā)現(xiàn)了影響AI系統(tǒng)表現(xiàn)的一個(gè)根本性問題：數(shù)據(jù)分布的嚴(yán)重偏差。這個(gè)問題就像是一個(gè)司機(jī)教練只在某種特定的道路條件下練車，結(jié)果培養(yǎng)出來的學(xué)員只會(huì)應(yīng)對(duì)這一種情況。

以行為預(yù)測(cè)任務(wù)為例，研究團(tuán)隊(duì)統(tǒng)計(jì)發(fā)現(xiàn)，在訓(xùn)練數(shù)據(jù)中約有78.6%的場(chǎng)景標(biāo)注為"直行前進(jìn)"。這種極度不平衡的分布直接導(dǎo)致AI系統(tǒng)學(xué)會(huì)了一種"投機(jī)策略"：無論遇到什么情況，都傾向于回答"直行前進(jìn)"。更令人擔(dān)憂的是，這種策略在傳統(tǒng)的評(píng)估體系下往往能夠獲得很高的準(zhǔn)確率分?jǐn)?shù)，從而掩蓋了AI系統(tǒng)真實(shí)能力的不足。

研究團(tuán)隊(duì)通過混淆矩陣分析發(fā)現(xiàn)，某些AI模型幾乎對(duì)所有測(cè)試樣本都給出相同的答案。比如LLaVA-1.5模型在感知任務(wù)中，無論輸入什么圖像，都有超過90%的概率回答"直行前進(jìn)"。這種現(xiàn)象不僅在純文本輸入時(shí)出現(xiàn)，甚至在有正常圖像輸入時(shí)也會(huì)發(fā)生，說明模型并沒有真正學(xué)會(huì)從視覺信息中提取有用的特征，而是單純依賴統(tǒng)計(jì)偏差來做決策。

數(shù)據(jù)偏差的問題不僅僅存在于答案分布中，也體現(xiàn)在問題設(shè)計(jì)上。研究團(tuán)隊(duì)發(fā)現(xiàn)，許多現(xiàn)有的駕駛問答數(shù)據(jù)集中包含了大量需要時(shí)序信息才能正確回答的問題，但實(shí)際上只提供了單幀圖像。比如判斷一輛車是否正在轉(zhuǎn)彎，往往需要觀察車輛的運(yùn)動(dòng)軌跡，僅憑一張靜態(tài)圖片是很難準(zhǔn)確判斷的。這種問題設(shè)計(jì)不當(dāng)導(dǎo)致即使是人類專家也很難給出準(zhǔn)確答案，更不用說AI系統(tǒng)了。

為了驗(yàn)證數(shù)據(jù)偏差的影響程度，研究團(tuán)隊(duì)進(jìn)行了一個(gè)對(duì)照實(shí)驗(yàn)。他們創(chuàng)建了一個(gè)平衡版本的測(cè)試集，確保各種答案選項(xiàng)的分布相對(duì)均勻。結(jié)果顯示，在平衡數(shù)據(jù)集上，幾乎所有AI系統(tǒng)的表現(xiàn)都出現(xiàn)了顯著下降，這進(jìn)一步證實(shí)了數(shù)據(jù)偏差掩蓋真實(shí)能力的假設(shè)。

這個(gè)發(fā)現(xiàn)對(duì)整個(gè)AI訓(xùn)練領(lǐng)域具有重要警示意義。它提醒研究者和工程師，不能僅僅追求在現(xiàn)有基準(zhǔn)測(cè)試上的高分?jǐn)?shù)，而應(yīng)該深入分析數(shù)據(jù)的質(zhì)量和分布特性。特別是在安全關(guān)鍵的應(yīng)用領(lǐng)域，數(shù)據(jù)的代表性和平衡性比數(shù)據(jù)的絕對(duì)數(shù)量更加重要。

七、人機(jī)對(duì)比實(shí)驗(yàn)：真正的司機(jī)在惡劣條件下如何反應(yīng)

為了更好地理解AI系統(tǒng)表現(xiàn)的合理性，研究團(tuán)隊(duì)進(jìn)行了人類基線測(cè)試。他們招募了多名具有駕駛經(jīng)驗(yàn)的志愿者，讓他們?cè)谙嗤臏y(cè)試條件下回答駕駛相關(guān)問題。這個(gè)對(duì)比實(shí)驗(yàn)的結(jié)果為整個(gè)研究提供了重要的參考基準(zhǔn)。

人類測(cè)試者的表現(xiàn)展現(xiàn)出了與AI系統(tǒng)截然不同的模式。在理想的視覺條件下，人類的判斷準(zhǔn)確率達(dá)到了93.3%，明顯高于大多數(shù)AI系統(tǒng)。但更重要的是，當(dāng)視覺條件惡化時(shí)，人類的表現(xiàn)表現(xiàn)出了符合直覺的下降趨勢(shì)。在昏暗光線條件下，人類的準(zhǔn)確率下降到約53%，在雪天條件下更是降到了33%左右。

這種性能下降模式恰恰體現(xiàn)了人類認(rèn)知的合理性。真正的司機(jī)在視線不好時(shí)會(huì)變得更加謹(jǐn)慎和不確定，他們會(huì)承認(rèn)自己看不清楚，或者要求減速慢行。相比之下，大多數(shù)AI系統(tǒng)在相同條件下的表現(xiàn)卻異常"穩(wěn)定"，幾乎不受視覺干擾的影響。

研究團(tuán)隊(duì)還觀察到了人類測(cè)試者在面對(duì)困難問題時(shí)的行為模式。當(dāng)遇到確實(shí)很難判斷的場(chǎng)景時(shí)，有經(jīng)驗(yàn)的司機(jī)往往會(huì)選擇更保守的答案，或者明確表示不確定。他們會(huì)說"這種情況我需要更仔細(xì)地觀察"或者"光線太暗了，我不確定那是什么"。這種謙遜和謹(jǐn)慎的態(tài)度正是當(dāng)前AI系統(tǒng)所缺乏的。

人機(jī)對(duì)比實(shí)驗(yàn)還揭示了另一個(gè)有趣現(xiàn)象：人類和AI系統(tǒng)犯錯(cuò)的類型完全不同。人類的錯(cuò)誤往往與注意力分配和經(jīng)驗(yàn)局限有關(guān)，比如可能忽略了某個(gè)不太顯眼的交通標(biāo)志。但AI系統(tǒng)的錯(cuò)誤更多體現(xiàn)在對(duì)基礎(chǔ)概念的混淆上，比如把明顯靜止的物體判斷為運(yùn)動(dòng)狀態(tài)。這種差異提示我們，AI系統(tǒng)的"智能"與人類智能在本質(zhì)上可能存在根本性的不同。

通過定性分析人類測(cè)試者的回答，研究團(tuán)隊(duì)發(fā)現(xiàn)人類在描述駕駛場(chǎng)景時(shí)會(huì)更多地關(guān)注安全相關(guān)的細(xì)節(jié)。比如在描述一個(gè)路口場(chǎng)景時(shí)，人類會(huì)特別提到"需要注意從右側(cè)可能出現(xiàn)的車輛"或者"行人可能隨時(shí)進(jìn)入路面"。而AI系統(tǒng)的描述往往更加機(jī)械化，更像是在復(fù)述訓(xùn)練時(shí)見過的標(biāo)準(zhǔn)表達(dá)方式。

八、實(shí)際案例分析：當(dāng)AI司機(jī)遭遇復(fù)雜路況

為了更直觀地展示AI系統(tǒng)的問題，研究團(tuán)隊(duì)選擇了幾個(gè)典型的失敗案例進(jìn)行深入分析。這些案例就像是駕駛考試中的經(jīng)典難題，能夠清楚地暴露出AI系統(tǒng)的短板所在。

第一個(gè)案例涉及夜間駕駛場(chǎng)景。在一張昏暗的街道照片中，可以看到遠(yuǎn)處有車輛燈光和一些模糊的建筑輪廓。當(dāng)研究團(tuán)隊(duì)詢問"在這個(gè)場(chǎng)景中應(yīng)該采取什么安全措施"時(shí)，GPT-4o給出了非常詳細(xì)和專業(yè)的回答，提到了打開車燈、保持安全距離、注意行人等多個(gè)要點(diǎn)。但關(guān)鍵問題是，當(dāng)研究團(tuán)隊(duì)提供完全相同的問題但不提供任何圖像時(shí)，同一個(gè)AI系統(tǒng)給出了幾乎完全相同的回答。這說明AI系統(tǒng)的專業(yè)建議實(shí)際上是基于對(duì)"夜間駕駛"這個(gè)概念的一般性知識(shí)，而不是基于對(duì)具體場(chǎng)景的視覺分析。

第二個(gè)案例更加令人擔(dān)憂。在一個(gè)雨天場(chǎng)景中，路面有積水反光，能見度很低。研究團(tuán)隊(duì)詢問一個(gè)具體坐標(biāo)位置上的物體運(yùn)動(dòng)狀態(tài)。AI系統(tǒng)不僅給出了明確的答案，還提供了詳細(xì)的解釋，說明為什么該物體是在向前行駛。但實(shí)際上，由于圖像質(zhì)量的嚴(yán)重?fù)p害，人類觀察者都很難在該坐標(biāo)位置準(zhǔn)確識(shí)別出任何物體。這種情況下，AI系統(tǒng)的"自信"回答實(shí)際上是完全基于猜測(cè)的。

第三個(gè)案例涉及運(yùn)動(dòng)模糊的圖像。當(dāng)車輛高速行駛或者攝像頭快速移動(dòng)時(shí)，圖像中的物體會(huì)出現(xiàn)明顯的運(yùn)動(dòng)拖影。有趣的是，AI系統(tǒng)在這種情況下往往會(huì)在答案中提到"高速行駛"，似乎正確地識(shí)別了運(yùn)動(dòng)模糊的存在。但進(jìn)一步分析發(fā)現(xiàn)，AI系統(tǒng)是根據(jù)圖像的模糊特征推測(cè)可能存在快速運(yùn)動(dòng)，然后據(jù)此構(gòu)造了后續(xù)的分析，而不是真正理解了場(chǎng)景中各個(gè)物體的實(shí)際運(yùn)動(dòng)狀態(tài)。

最具啟發(fā)性的是傳感器故障模擬案例。研究團(tuán)隊(duì)模擬了攝像頭完全黑屏或者出現(xiàn)嚴(yán)重噪點(diǎn)的情況。在這種極端條件下，AI系統(tǒng)依然能夠給出看似合理的駕駛建議。比如在攝像頭黑屏?xí)r，AI系統(tǒng)會(huì)說"基于車輛的坐標(biāo)信息，建議保持當(dāng)前速度并注意周圍環(huán)境"。雖然這個(gè)建議聽起來還算合理，但它暴露了一個(gè)嚴(yán)重問題：AI系統(tǒng)沒有足夠的安全意識(shí)來在傳感器失效時(shí)要求人工干預(yù)或者緊急停車。

這些案例分析清晰地展示了當(dāng)前AI系統(tǒng)的一個(gè)核心問題：它們更像是一個(gè)善于編織故事的說書人，而不是一個(gè)真正理解場(chǎng)景的觀察者。當(dāng)面對(duì)復(fù)雜或者不確定的情況時(shí)，AI系統(tǒng)傾向于用聽起來專業(yè)的語言來掩蓋自己理解上的不足，這在安全關(guān)鍵的應(yīng)用中是非常危險(xiǎn)的行為模式。

九、改進(jìn)建議與未來方向：讓AI司機(jī)變得更可靠

基于研究發(fā)現(xiàn)，研究團(tuán)隊(duì)提出了一系列改進(jìn)當(dāng)前AI駕駛系統(tǒng)的建議。這些建議不僅針對(duì)技術(shù)層面的優(yōu)化，也涉及評(píng)估方法和數(shù)據(jù)收集策略的根本性改變。

首先在數(shù)據(jù)質(zhì)量方面，研究團(tuán)隊(duì)強(qiáng)調(diào)需要構(gòu)建更加平衡和真實(shí)的訓(xùn)練數(shù)據(jù)集。這不僅意味著要在各種答案類別之間保持合理的分布，更重要的是要確保每個(gè)訓(xùn)練樣本都能夠僅憑提供的視覺信息得出正確答案。許多現(xiàn)有數(shù)據(jù)集中包含的需要時(shí)序信息或者外部知識(shí)才能回答的問題應(yīng)該被重新設(shè)計(jì)或者剔除。同時(shí)，數(shù)據(jù)收集過程應(yīng)該覆蓋更多樣化的駕駛環(huán)境，包括各種邊緣情況和罕見場(chǎng)景。

在模型訓(xùn)練方面，研究團(tuán)隊(duì)建議引入不確定性表達(dá)機(jī)制。理想的AI駕駛系統(tǒng)應(yīng)該像一個(gè)誠實(shí)的司機(jī)一樣，當(dāng)遇到看不清楚或者不確定的情況時(shí)，能夠主動(dòng)承認(rèn)并采取保守策略。這需要在訓(xùn)練過程中明確鼓勵(lì)模型在不確定時(shí)表達(dá)猶豫，而不是總是給出看似自信的回答。

評(píng)估方法的改進(jìn)是另一個(gè)重要方向。研究團(tuán)隊(duì)提出了基于對(duì)比測(cè)試的評(píng)估框架，通過比較AI系統(tǒng)在不同視覺條件下的表現(xiàn)來判斷其真實(shí)的視覺理解能力。他們還建議開發(fā)更加注重安全性的評(píng)估指標(biāo)，不僅關(guān)注答案的準(zhǔn)確性，更要關(guān)注AI系統(tǒng)在不確定情況下的行為合理性。

在技術(shù)架構(gòu)方面，研究團(tuán)隊(duì)建議開發(fā)具有視覺質(zhì)量評(píng)估能力的AI系統(tǒng)。這種系統(tǒng)應(yīng)該能夠?qū)崟r(shí)監(jiān)測(cè)輸入圖像的質(zhì)量，并根據(jù)質(zhì)量水平調(diào)整自己的回答策略。當(dāng)檢測(cè)到視覺輸入嚴(yán)重降級(jí)時(shí)，系統(tǒng)應(yīng)該能夠自動(dòng)降低置信度或者請(qǐng)求人工干預(yù)。

研究團(tuán)隊(duì)還提出了漸進(jìn)式訓(xùn)練策略的概念。與其讓AI系統(tǒng)一開始就面對(duì)各種復(fù)雜場(chǎng)景，不如采用由簡到難的訓(xùn)練過程，確保AI系統(tǒng)在每個(gè)層次上都能建立起扎實(shí)的理解基礎(chǔ)。這種方法可能有助于減少AI系統(tǒng)對(duì)統(tǒng)計(jì)偏差的過度依賴。

對(duì)于實(shí)際部署的AI駕駛系統(tǒng)，研究團(tuán)隊(duì)強(qiáng)烈建議采用多模態(tài)冗余設(shè)計(jì)。不應(yīng)該僅僅依賴視覺-語言模型的輸出來做關(guān)鍵決策，而應(yīng)該結(jié)合其他傳感器信息和傳統(tǒng)算法的結(jié)果進(jìn)行綜合判斷。同時(shí)，系統(tǒng)應(yīng)該具備完善的故障檢測(cè)和安全降級(jí)機(jī)制。

最后，研究團(tuán)隊(duì)呼吁整個(gè)行業(yè)建立更加嚴(yán)格的AI駕駛系統(tǒng)測(cè)試標(biāo)準(zhǔn)。他們認(rèn)為，任何用于安全關(guān)鍵應(yīng)用的AI系統(tǒng)都應(yīng)該經(jīng)過類似于藥物臨床試驗(yàn)?zāi)菢訃?yán)格的多階段測(cè)試過程，不能僅僅基于基準(zhǔn)測(cè)試的高分?jǐn)?shù)就認(rèn)為系統(tǒng)已經(jīng)可以投入實(shí)用。

這項(xiàng)研究的價(jià)值不僅在于揭示了當(dāng)前AI駕駛系統(tǒng)的問題，更在于為整個(gè)AI安全領(lǐng)域提供了重要的方法論啟示。隨著AI系統(tǒng)在更多安全關(guān)鍵領(lǐng)域的應(yīng)用，如何確保這些系統(tǒng)具備真正的可靠性而不是表面的流暢性，將成為一個(gè)越來越重要的研究方向。

歸根結(jié)底，這項(xiàng)研究告訴我們一個(gè)重要道理：在將AI系統(tǒng)應(yīng)用于關(guān)乎生命安全的場(chǎng)景之前，我們需要更加謹(jǐn)慎和徹底地了解這些系統(tǒng)的真實(shí)能力邊界。一個(gè)能夠生成流暢解釋的AI系統(tǒng)不一定是一個(gè)可靠的AI系統(tǒng)，而一個(gè)誠實(shí)承認(rèn)自己局限性的AI系統(tǒng)可能比一個(gè)過度自信的AI系統(tǒng)更加安全可靠。

Q&A

Q1：DriveBench測(cè)試平臺(tái)具體測(cè)試了哪些AI駕駛能力？

A：DriveBench測(cè)試了四大核心駕駛技能：感知識(shí)別（識(shí)別道路物體和運(yùn)動(dòng)狀態(tài)）、預(yù)測(cè)判斷（預(yù)測(cè)未來可能發(fā)生的變化）、路徑規(guī)劃（制定行駛策略）和行為決策（具體駕駛動(dòng)作控制）。測(cè)試涵蓋了從理想條件到17種惡劣環(huán)境，包括不同天氣、設(shè)備故障，甚至完全沒有視覺信息的極端情況。

Q2：為什么AI系統(tǒng)在看不見路況時(shí)還能給出駕駛建議？

A：研究發(fā)現(xiàn)AI系統(tǒng)經(jīng)常依賴預(yù)先學(xué)習(xí)的常識(shí)和統(tǒng)計(jì)規(guī)律來構(gòu)造答案，而不是基于真實(shí)的視覺理解。就像一個(gè)司機(jī)蒙著眼睛還在裝作能看見一樣，AI系統(tǒng)學(xué)會(huì)了根據(jù)問題中的文字線索和訓(xùn)練數(shù)據(jù)中的偏向性來"猜測(cè)"答案，因?yàn)橛?xùn)練數(shù)據(jù)中大部分場(chǎng)景都是"直行前進(jìn)"。

Q3：如何判斷AI駕駛系統(tǒng)是否真正可靠？

A：研究團(tuán)隊(duì)建議采用對(duì)比測(cè)試方法，觀察AI系統(tǒng)在不同視覺條件下的表現(xiàn)差異。可靠的AI系統(tǒng)應(yīng)該像人類司機(jī)一樣，在視覺條件惡化時(shí)表現(xiàn)出合理的不確定性和保守策略，而不是始終保持過度自信。同時(shí)還需要檢驗(yàn)AI系統(tǒng)是否具備主動(dòng)承認(rèn)視覺局限和請(qǐng)求幫助的能力。