AICURE: Pre-training of Cross-Modality Transformer Encoder for ICU Electronic Health Records Prediction

摘要

近年來，深度學習逐漸被使用在醫療領域來協助解決臨床問題。其中對於電子病歷的深度學習研究雖逐年增加，但研究方法、任務定義卻相當分歧，且通常僅單靠醫療代碼如診斷碼或藥物編碼這單一種資料類型來學習病人的健康狀況及進行預測，這些問題都限制了深度學習模型在醫療領域的可應用性。 為了解決上述這些問題，我們提出了加護病房病歷編碼器（a ICU record encoder AICURE），其為編碼器預訓練在各次就診病歷資料上以學習出好的就診病歷向量表達，再針對各個電子病歷預測任務做微調訓練以進行預測。模型的資料集為就診病歷，內容包含醫療代碼、臨床紀錄與病人資訊。我們在病歷編碼器中使用跨領域學習的機制來學習這些不同領域的資料，並導入自然語言處理的概念來處理病史資料（即多次就診病歷）。並且我們依據不同臨床場景設計了四個更符合實際場域狀況的預測任務。 因為預訓練病歷編碼器得到好的就診病歷向量表達，我們的模型可以廣泛應用在多種類型的電子病歷預測任務上，並在此四個任務上都得到突出的表現。此外，透過模型推理過程的視覺分析，病歷編碼器可以提供可解釋的預測結果。最後我們以個案探討的方式呈現此病歷編碼器的表現及性能。

獎項日期	2021
原文	English
監督員	Hung-Yu Kao (Supervisor)