深度強化學習法於金融科技時間序列預測之研究

"在機器學習的研究領域中，預測問題始終是個非常重要的議題。隨著大數據的蓬勃發展，資料規模飛快地成長，特別是在社交網路媒體方面，文字型態的時間序列資料也是一種常見且重要的資料。不同於一般數值型時間序列，文字型態的時間序列結合了文字資料與時間序列資料的特性，但與文字資料相比，此類型的資料在特徵擷取上要困難許多。再者，近來許多時間序列應用方面，早期預測的需求日漸殷切，也加深了問題的複雜度。因此，如何有效率以及有效地處理這些大量資料，並進行早期預測是一個相當重要且具有挑戰性的議題。除了社交網路中的資料，與財務和金融相關的數據也是文字型態時間序列與早期預測的一種；特別是近年來，因金融科技(Fintech)的興起，許多文獻陸續探討並有效解決了許多和金融相關的問題，像是群眾募資活動的預測、股票價格預測、股票市場交易和投資組合管理等，亦皆屬於文字型時間序列的範疇。
另一方面，根據過去的機器學習方面的文獻分析，強化學習(reinforcement learning)可以有效的解決時間序列資料型態的問題，因其架構完整描述了個體(agent)和環境(environment)之間的互動，特別是深度學習的崛起，許多結合深度學習與強化學習演算法被提出，進一步提升了強化學習的效能。但這些新近提出的演算法中，多屬僅能接受固定長度的資料做為輸入變數並進行建模。為了能夠解決與金融相關的早期預測問題，本研究預計將針對深度強化學習建構一個泛用的早期預測框架(Early Prediction for Deep Reinforcement Learning, ep-DRL)，並將此框架應用至解決Fintech領域上的重要議題。上述目標預期在三年內完成，首先，進行深度學習和強化學習相關的演算法與模型的分析，包含Q-learning、policy gradients、SARSA、deep Q-network (DQN)、以及進階的DQN結構，像是double DQN 和dueling DQN等，並對其研發早期預測框架的理論推演。第二，利用隱含狄利克雷分布(latent Dirichlet allocation, LDA)主題模型來萃取群眾募資活動的主題分佈，並用於所提出的ep-DRL早期預測模型進行群眾募資活動的預測。第三，根據股票價格預測的相關文獻建立綜合指標，並透過此綜合指標以及早期預測框架來建構理財機器人。"