影像情感辨識技術研發

Abstract

影像因為方便使用且具有能保存豐富的隱含資訊的特性(包含當下的情緒以及回憶)，而被人們廣泛使用於紀錄生活中發生的事情，其中包括事件、地點、物品、人等構成日常生活的要素。因此在這些日常的生活照中必定保存有作者想表達的情感，甚至能與觀看者產生共鳴。但是?多研究多注重在外顯元素的辨識，如：場景的辨識、物件的標註等，忽略了內隱影像情感的辨識。情感是影像中最核心也是最重要的內涵，卻少有相關研究。 本研究提出一個辨識影像情感的方法，利用色彩以及人物情緒作為影像情感的特徵，因為這兩個特徵是影像中最為直接影響觀看者的情緒的特徵。其中，色彩的特徵萃取是基於色彩心理學定義，每種色系會給予人不同的感觸進而誘發各式各樣的情緒。而人物情緒則是基於人類觀看影像的方式而選定的特徵，研究指出(Vonikakis & Winkler 2012)，當影像中有人存在時，觀看者會立刻將注意力放在人物及人臉上，並且大幅地忽略影像中的其他特徵。因此，人物因素(人臉、表情、姿勢、活動等)在影像中是很重要的特徵。本研究提出的方法包含使用色彩特徵的場景氣氛辨識、辨識人物情緒特徵的表情辨識以及最後將兩個特徵整合並使用於影像情感辨識的影像情感特徵整合。本研究將能以影像情感來分類影像並可以分得更細膩、同時拓展了可應用之影像的種類，並且將抽象的影像情感轉換為較具體的形容詞，更方便於相關應用的發展。

Date of Award	2014 Sept 3
Original language	Chinese
Supervisor	Yuh-Min Chen (Supervisor)