為聽障人士打造的“冬奧手語(yǔ)播報(bào)數(shù)字人”近日在北京衛(wèi)視正式上崗。在電視屏幕左下角，以虛擬學(xué)生“華智冰”為外形的數(shù)字人手指翻飛，迅速用手語(yǔ)進(jìn)行播報(bào)。新京報(bào)記者獲悉，數(shù)字人采用我國(guó)首個(gè)超大規(guī)模智能信息模型和虛擬數(shù)字人技術(shù)，它將為聽障人士提供手語(yǔ)信息播報(bào)服務(wù)，使他們收看賽事專題報(bào)道時(shí)快速獲取訊息。
“冬奧手語(yǔ)播報(bào)數(shù)字人”在《北京您早》節(jié)目投入應(yīng)用。受訪者供圖
構(gòu)建高質(zhì)量手語(yǔ)語(yǔ)料庫(kù)，詞匯語(yǔ)句規(guī)模超10萬(wàn)
目前，我國(guó)聽障人群數(shù)量達(dá)到2700萬(wàn)，專業(yè)場(chǎng)景的手語(yǔ)服務(wù)資源匱乏。與此同時(shí)，手語(yǔ)翻譯供需缺口大，冬奧專業(yè)術(shù)語(yǔ)翻譯難度大。在北京市科委、中關(guān)村管委會(huì)的支持下，智譜AI、凌云光和北京廣播電視臺(tái)聯(lián)合打造了“冬奧手語(yǔ)播報(bào)數(shù)字人”。
手語(yǔ)生成涉及多領(lǐng)域交叉，包括計(jì)算機(jī)視覺、自然語(yǔ)言處理、跨媒體計(jì)算、人機(jī)交互等，面臨的挑戰(zhàn)巨大。系統(tǒng)以超大規(guī)模預(yù)訓(xùn)練模型為核心技術(shù)，自主搭建多模態(tài)肢體動(dòng)作、表情、手指同步采集系統(tǒng)，運(yùn)用跨模態(tài)擬人生成算法、超高精度寫實(shí)數(shù)字人等行業(yè)領(lǐng)先技術(shù)，實(shí)現(xiàn)冬奧期間賽事新聞的專業(yè)手語(yǔ)翻譯播報(bào)。
“我們首先構(gòu)建了國(guó)內(nèi)最大規(guī)模多模態(tài)手語(yǔ)語(yǔ)料庫(kù)?！敝亲VAI高級(jí)副總裁左家平介紹，“冬奧手語(yǔ)播報(bào)數(shù)字人”系統(tǒng)完成了《國(guó)家通用手語(yǔ)詞典》收錄的8214條通用手語(yǔ)的采集和錄制，并且語(yǔ)法都以聽障群體習(xí)慣打法為準(zhǔn)，以確保手語(yǔ)播報(bào)成果的準(zhǔn)確性和專業(yè)度，更好地服務(wù)聽障人群。
由于當(dāng)前國(guó)內(nèi)缺少較完善的手語(yǔ)語(yǔ)料數(shù)據(jù)，研發(fā)人員在北京市殘疾人聯(lián)合會(huì)和市殘聯(lián)聾人協(xié)會(huì)的支持下，邀請(qǐng)超過(guò)40余位聾人老師及手語(yǔ)專家進(jìn)行手語(yǔ)文本轉(zhuǎn)寫和動(dòng)作捕捉錄制，并進(jìn)行大范圍聽障群體評(píng)測(cè)，最終構(gòu)建了高質(zhì)量的手語(yǔ)語(yǔ)料庫(kù)，詞匯及語(yǔ)句總規(guī)模超10萬(wàn)?！斑@里不光有體育詞匯和冬奧術(shù)語(yǔ)，還有新聞播報(bào)會(huì)用到的各種詞匯?！?/p>
打造“智能數(shù)字腦”，播報(bào)語(yǔ)音關(guān)鍵信息并轉(zhuǎn)換手語(yǔ)
手語(yǔ)和口語(yǔ)的播報(bào)速度不同。主播進(jìn)行播報(bào)時(shí)，一分鐘大概可以說(shuō)兩百多個(gè)字，手語(yǔ)靠肢體表達(dá)，速度比較慢，因此要跟得上播報(bào)的速度，需要對(duì)播報(bào)內(nèi)容進(jìn)行摘要，將核心語(yǔ)義表達(dá)出來(lái)。
“比如主播說(shuō)今天北京風(fēng)和日麗、晴空萬(wàn)里，手語(yǔ)播報(bào)要和語(yǔ)音同步匹配，就只表達(dá)‘今天北京天氣好’”。智譜AI數(shù)字人事業(yè)部CTO杜冀中說(shuō)。
他還提到，手語(yǔ)語(yǔ)序和自然語(yǔ)言有所區(qū)別，習(xí)慣“否定詞后置”。比如“我不高興”，手語(yǔ)會(huì)按照“我”“高興”“不”的順序翻譯出來(lái)。
“冬奧手語(yǔ)播報(bào)數(shù)字人”如何能參透手語(yǔ)的這些特點(diǎn)？據(jù)悉，系統(tǒng)以超大規(guī)模預(yù)訓(xùn)練模型為核心技術(shù)，通過(guò)語(yǔ)義蒸餾及手語(yǔ)翻譯快編模型，實(shí)現(xiàn)對(duì)新聞播報(bào)語(yǔ)音進(jìn)行精簡(jiǎn)，并翻譯成符合手語(yǔ)習(xí)慣的語(yǔ)序。
數(shù)字人播報(bào)逼真自然，表達(dá)可懂度達(dá)90%
數(shù)字人進(jìn)行口語(yǔ)播報(bào)，也需要親切自然，符合審美觀，不能讓觀眾產(chǎn)生“生硬”的感覺。
為實(shí)現(xiàn)高精度、高自然度的人物形象和手語(yǔ)動(dòng)作姿態(tài)，研發(fā)團(tuán)隊(duì)還自主搭建了多模態(tài)肢體動(dòng)作、表情、手指同步采集系統(tǒng)。通過(guò)采集多模態(tài)動(dòng)作捕捉數(shù)據(jù)，運(yùn)用跨模態(tài)擬人生成算法對(duì)超寫實(shí)數(shù)字人進(jìn)行自然、流暢的驅(qū)動(dòng)和渲染，算法可以自動(dòng)對(duì)其每段動(dòng)作捕捉數(shù)據(jù)，為相鄰動(dòng)作之間生成平滑的過(guò)渡動(dòng)作。
左家平說(shuō)，口語(yǔ)老師進(jìn)行口語(yǔ)播報(bào)時(shí)，也會(huì)借助口型，讓聽障人士理解得更清楚。因此數(shù)字人播報(bào)時(shí)也會(huì)有口型的變化?！澳壳?，這套系統(tǒng)只做了九個(gè)月，已經(jīng)能夠?qū)崿F(xiàn)手勢(shì)和口型的匹配。未來(lái)通過(guò)進(jìn)一步研發(fā)，數(shù)字人還將在表情上有更加豐富的體現(xiàn)?！?/p>
目前，“冬奧手語(yǔ)播報(bào)數(shù)字人”已經(jīng)實(shí)現(xiàn)了“表意的準(zhǔn)確性”和“表達(dá)的可懂性”。經(jīng)過(guò)測(cè)評(píng)，其表達(dá)可懂度已經(jīng)達(dá)到90%。
數(shù)字人能7×24小時(shí)工作，未來(lái)或可用于手語(yǔ)教學(xué)
“冬奧手語(yǔ)播報(bào)數(shù)字人”已于冬奧開幕后，每日持續(xù)在北京衛(wèi)視《北京您早》節(jié)目中對(duì)“冬奧賽事集錦”和“一起看冬奧”進(jìn)行手語(yǔ)播報(bào)。
后奧運(yùn)時(shí)代，“冬奧手語(yǔ)播報(bào)數(shù)字人”還將有哪些應(yīng)用？據(jù)悉，數(shù)字人可以為新聞媒體提供數(shù)字人手語(yǔ)生成服務(wù)，方便聽障人士快速了解新聞簡(jiǎn)訊。同時(shí)，數(shù)字人可以7×24小時(shí)工作，解決手語(yǔ)翻譯人員不足的問(wèn)題。
北京廣播電視臺(tái)新聞?lì)l道中心副主任王毅說(shuō)，手語(yǔ)比較復(fù)雜，中國(guó)手語(yǔ)存在“方言”上的差異。在手語(yǔ)老師緊缺的情況下，如果用人工智能進(jìn)行標(biāo)準(zhǔn)版手語(yǔ)播報(bào)和教學(xué)，會(huì)減少誤差，加速國(guó)家通用手語(yǔ)推廣落地，為殘疾人平等參與社會(huì)生活創(chuàng)造無(wú)障礙環(huán)境。他表示，未來(lái)將在更多頻道和節(jié)目中運(yùn)用手語(yǔ)播報(bào)，方便聽障人士獲得更多資訊。
左家平表示，手語(yǔ)播報(bào)數(shù)字人的形象也不局限于“華智冰”，可以根據(jù)使用用戶喜好換成其他偶像形象。
新京報(bào)記者 張璐
編輯 樊一婧 校對(duì) 李立軍
