摘要
如何學習文字的特徵表示對於文本分類、對話生成等等的自然語言處理任務是非常重要的。最近有不同的神經網路模型被提出來學習文字的特徵表示,但像這樣人工設計的神經網路模型架構可以有無數種,我們並不知道哪一種模型架構是最優的。由於神經網路搜索技術的發展日益成熟,因此我們可以使用此技術來自動搜尋神經網路架構,然而,大多數的神經網路搜索技術的目標是嘗試去最大化資料集的分類準確率而不是著重在學習文字的特徵表示,因此會引發過擬合資料集的問題,所以我們結合互信息來學習文字的特徵表示,同時最大化資料集的分類準確率以及互信息進行聯合學習。我們的方法應用神經網路搜索技術於自然處理領域並結合互信息進行聯合學習,並且我們的方法在文本分類的資料集上打敗其他文本分類的模型以及能夠在資料較少的情況下有好的表現。獎項日期 | 2020 |
---|---|
原文 | English |
監督員 | Kuo-Jung Lee (Supervisor) |