新京報貝殼財經(jīng)訊(記者羅亦丹)記者1月10日獲悉,商湯絕影與國內知名車企聯(lián)手打造的行業(yè)首個原生流式多模態(tài)座艙產(chǎn)品已經(jīng)量產(chǎn)上車,并向用戶進行OTA(在線升級)推送。
兩個月前,商湯絕影首發(fā)了AI汽車創(chuàng)新產(chǎn)品“A New Member For U(你的家庭新成員)”,通過AI能力,該產(chǎn)品能夠“察言觀色”,例如會在注意到后排孩子睡覺時升高空調溫度,降低音樂聲量,調整駕駛模式為舒適等,原生流式多模態(tài)大模型是其能力核心所在。
如今,隨著多模態(tài)艙外識別功能量產(chǎn)上車,它已經(jīng)開始認識并且理解世界。據(jù)了解,目前其已經(jīng)具備前車識別、交通標志識別、沿途風光識別三項基于AI的能力。
例如,前面如果有三輛車,左中右分別為紅黃藍,如果問“藍色車輛是什么車”,傳統(tǒng)模型可能依舊會識別中間黃車,而原生流式大模型能精準識別右前方的藍色車輛,甚至是偽裝車、無車標等特殊外觀,通過尾燈、外形、構造等品牌特點也可以識別。
識別前方藍色汽車 官方供圖
此外,其還能夠進行車輛行駛途中的建筑物和景點的識別,并在此基礎上提供圖文介紹,詳細講解景點和建筑,相關的歷史典故、趣聞逸事等。
商湯絕影CEO、商湯科技聯(lián)合創(chuàng)始人、首席科學家王曉剛表示,原生流式多模態(tài)大模型是讓文字、語音、視頻等模態(tài)一同輸入,模型統(tǒng)一處理后輸出相應模態(tài)的信息。
“原生流式多模態(tài)是一種非常自然且新穎的交互方式,將會成為一個全新的直接接觸用戶的超級入口,而智能汽車是這個超級入口的最佳落地場景。依靠智能汽車內外各種常開的攝像頭,用戶可以實時跟汽車通過多模態(tài)的方式進行交互。同時,智能汽車的保有量不斷增加,能夠產(chǎn)生豐富的終端用戶反饋和數(shù)據(jù)信息,讓模型不斷迭代成長?!蓖鯐詣傉f。
校對 盧茜