Pre-training of Cross-syntax Language Model for Syntactically Controllable Text Generation

摘要

目前在機器翻譯、自動化摘要、聊天機器人等自然語言任務中，通常依賴給定的訓練文本資料當作標準答案，然而在英文中並沒有所謂的標準答案，我們能用不同的句法結構表達同一件事。近年有些研究關於提升自然語言模型泛化(Generalization)能力，讓一個句子意思用不同方式表現出來。這些方法通常是基於序列到序列模型(SEQ2SEQ)，當輸入一句英文時，依據控制條件輸出另一句不同句法結構的英文句子表達同樣的意思，這稱之為句法可控的文本生成任務，此問題難度在於如何有效的描述與利用句法結構資訊。在本篇論文中，我們針對句子和其句法結構提出一個新的假設，以及基於此假設下的兩個自監督預訓練任務。此假設的核心想法是將句法結構看作是一種在跨語言翻譯中的語言編碼，如此一來我們可以將句法可控的文本生成任務看作是在不同語言編碼之間的翻譯。兩個預先訓練任務目標是分別讓模型理解單一句法結構的Mono-syntax Pre-training任務，和在一組回譯(Back-translation)句子上理解不同句法之間差異的Cross-syntax Pre-training任務。我們在人工撰寫的數據集上對我們的模型進行效能評估。結果表明對比其它相關研究，我們的模型能夠在句法結構差異較小的情況下，在BLEU、ROUGE和METEOR指標上獲得較高的分數。此外，我們進一步分析預訓練的有效性、不同噪聲因子下對句法和語意之間的影響、消融研究和分析模型產生的句子。

獎項日期	2021
原文	English
監督員	Hung-Yu Kao (Supervisor)