蓋世汽車訊 基礎(chǔ)模型是大規(guī)模深度學(xué)習(xí)模型，已在大量通用、未標記的數(shù)據(jù)上進行了預(yù)訓(xùn)練，可應(yīng)用于各種任務(wù)，例如生成圖像或回答客戶問題。這些模型是ChatGPT和DALL-E等人工智能工具的支柱，但它們可能會提供錯誤或誤導(dǎo)性的信息，在安全攸關(guān)的情況下這些錯誤信息可能造成嚴重后果。

據(jù)外媒報道，為了幫助防止出現(xiàn)此類錯誤，麻省理工學(xué)院和MIT-IBM沃森人工智能實驗室(MIT-IBM Watson AI Lab)的研究人員開發(fā)出一種技術(shù)，可以在將基礎(chǔ)模型部署到特定任務(wù)之前評估其可靠性。

研究人員考慮通過一組彼此略有不同的基礎(chǔ)模型來實現(xiàn)這一目標，然后利用其算法來評估每個模型學(xué)習(xí)到的關(guān)于同一測試數(shù)據(jù)點的表示的一致性。如果這些表示一致，則意味著模型可靠。

與最先進的基線方法相比，這種技術(shù)能夠更好地體現(xiàn)在各種下游分類任務(wù)中基礎(chǔ)模型的可靠性。人們可以利用這種技術(shù)來決定是否可以在特定環(huán)境中應(yīng)用模型，而無需在真實數(shù)據(jù)集上進行測試。當數(shù)據(jù)集可能因隱私問題而無法訪問時，這可能特別有用。此外，該技術(shù)還可用于根據(jù)可靠性評分對模型進行排名，從而使用戶能夠為其任務(wù)選擇最佳模型。

研究人員Navid Azizan表示:“所有模型都可能出錯，但知道自己什么時候出錯的模型更有用。對于這些基礎(chǔ)模型來說，量化不確定性或可靠性的問題更具挑戰(zhàn)性，因為它們的抽象表示難以進行比較。這種方法允許人們量化表示模型對于各種給定輸入數(shù)據(jù)的可靠性?！?/p>