智東西(公眾號:zhidxcom)
編 |?王穎
導(dǎo)語：亞馬遜研究人員用遷移學(xué)習(xí)簡化為Alexa添加新語種的過程，將訓(xùn)練數(shù)據(jù)減少50%。
智東西4月9日消息，亞馬遜研究人員開發(fā)了一種新方法，通過遷移學(xué)習(xí)來簡化為Alexa語音助手添加新語言的過程。
亞馬遜研究人員在報告中提到，通過不斷實驗，機器學(xué)習(xí)模型學(xué)習(xí)新語言所需的數(shù)據(jù)需求已經(jīng)降低了50%。他們將在5月在巴塞羅那舉行的國際聲學(xué)、語言和信號處理會議ICASSP上展示這項語言訓(xùn)練的方法。
一、什么是遷移學(xué)習(xí)？
遷移學(xué)習(xí)的過程是，首先在基礎(chǔ)數(shù)據(jù)集和任務(wù)上訓(xùn)練基礎(chǔ)網(wǎng)絡(luò)，然后將學(xué)習(xí)的新特征重新調(diào)整或轉(zhuǎn)移到第二個目標(biāo)網(wǎng)絡(luò)，以便在目標(biāo)數(shù)據(jù)集和任務(wù)上進行訓(xùn)練。
亞馬遜研究人員發(fā)表的論文Cross-Lingual Transfer Learning for Spoken Language Understanding（跨語言學(xué)習(xí)促進口語理解），描述了一種用最少的訓(xùn)練數(shù)據(jù)，將原本只適應(yīng)一種固定語言訓(xùn)練的機器學(xué)習(xí)模型，適應(yīng)到另一種語言的技術(shù)過程。
該論文的合著者，Alexa AI 自然理解實驗室的科學(xué)家Quynh Do和Judith Gaspers表示，這種機器學(xué)習(xí)模型依靠跨語言遷移學(xué)習(xí)（cross-lingual transfer learning）來引導(dǎo)新的功能，這是跨語言遷移學(xué)習(xí)第一次被用來將聯(lián)合意圖槽分類器翻譯成一種新的語言。
二、跨語言遷移機器學(xué)習(xí)模型的開發(fā)過程
模型中包含的口語理解（SLU）系統(tǒng)通常包括兩個子任務(wù)，意圖分類和插槽標(biāo)記。意圖是用戶想要執(zhí)行的任務(wù)，插槽表示意圖所作用的實體。（例如，人們語音命令A(yù)lexa播放Panic演唱的High Hopesby，意圖是播放音樂，插槽即在相應(yīng)的位置填上歌曲名和藝人名。）
Quynh Do和Judith Gaspers注意到，通過不斷的訓(xùn)練，意圖和插槽分類器共同提高了性能。因此他們又繼續(xù)探索了六種不同的聯(lián)合訓(xùn)練AI系統(tǒng)。在將這六種訓(xùn)練系統(tǒng)的表現(xiàn)與英語SLU示例的開源基準(zhǔn)數(shù)據(jù)集進行比較后，研究人員確定了三個表現(xiàn)優(yōu)于前系統(tǒng)的聯(lián)合訓(xùn)練AI系統(tǒng)。
接下來，他們嘗試了詞嵌入（與多維空間中的點對應(yīng)的一系列固定長度坐標(biāo)）和字符嵌入（反映單詞及其組成部分的意義的集群），他們總共輸入了六個不同的神經(jīng)網(wǎng)絡(luò)，其中包括一種稱為長短時記憶模型（LSTM）網(wǎng)絡(luò)的循環(huán)網(wǎng)絡(luò)類型，該網(wǎng)絡(luò)按順序處理有序輸入和有序輸出。研究人員預(yù)先訓(xùn)練SLU模型，并對目標(biāo)數(shù)據(jù)集進行微調(diào)，使用源語言（英語）的數(shù)據(jù)來提高SLU在目標(biāo)語言（德語）中的表現(xiàn)。
二、跨語言遷移機器學(xué)習(xí)模型的效果
在一次大規(guī)模測試中，亞馬遜研究團隊創(chuàng)建了一個語料庫，其中包括從英語Alexa SLU系統(tǒng)中采集的一百萬個語句，以及來自德國Alexa SLU系統(tǒng)的10000和20000個隨機語句樣本。開發(fā)集包括來自德國系統(tǒng)的2000個語句。
通過訓(xùn)練雙語輸入嵌入，對來自兩種語言中語義相似的單詞進行分組，研究人員發(fā)現(xiàn)，一個源數(shù)據(jù)為100萬個英語單詞，目標(biāo)數(shù)據(jù)為10000個德語單詞的遷移模型，比一個訓(xùn)練了2萬個德語單詞的單語模型更準(zhǔn)確地分類了意圖。與單語言訓(xùn)練系統(tǒng)相比，跨語言學(xué)習(xí)模型的槽分類得分提高了4%。
研究人員表示，盡管LSTM模型在英語測試集中表現(xiàn)最好，但并不能保證它會產(chǎn)生最佳的遷移學(xué)習(xí)效果。在正在進行的工作中，他們也在嘗試把其他模型轉(zhuǎn)移到德語環(huán)境中。
論文鏈接：https://arxiv.org/pdf/1904.01825.pdf
原文來自：Machine Learning、VentureBeat
