三上悠亚久久 I chinese麻豆xxxⅹ对白 I jizz内谢中国亚洲jizz I 亚洲69 I 国产精品超碰 I 亚洲国产成人精品激情在线 I 韩国三级av I 午夜小毛片 I 国内裸体无遮挡免费视频 I 9久久9毛片又大又硬又粗 I 91精品国产三级 I 日韩精品视频在线一区 I 日韩综合精品视频 I 九九九九精品九九九九 I 男女激情网站免费 I 黄色网址在线免费观看 I 欧美成人一级视频 I 日韩乱视频 I 狠狠撸网 I av三级在线免费观看 I 极品美女一级片 I 男人的天堂av社区在线 I 亚洲成人aaa I 国产婷婷色综合av性色av I 亚洲精品偷拍视频 I 久久小视频 I 亚a∨国av综av涩涩涩 I 国产88av I 久久久久久免费精品 I 日韩毛片无码永久免费看 I 91色噜噜狠狠狠狠色综合 I 午夜精品福利一区二区蜜股av I 亚洲va久久久噜噜噜久牛牛影视

　　從實際使用精度和學術上非受控環(huán)境人臉表情識別精度來看，目前人臉表情識別遠沒有達到像人臉識別一樣的高度。其主要問題在于：可靠的表情數據量少、表情圖片存在不確定性問題、非受控環(huán)境下人臉遮擋和姿態(tài)問題、以及方法的對比公平性和可重復性問題。

　　1 可靠的表情數據規(guī)模較小

　　目前，經心理學家驗證的數據庫，如CK+等，是*的可靠表情數據。但是，這些數據庫的規(guī)模非常小且是實驗室受控環(huán)境下的正臉拍攝，在該類型數據庫上訓練的模型一般現實應用效果比較差。比如使用深度學習方法，模型學習的特征可能是記住特定人的信息以及特定的表情表演方式，泛化能力較差。最近，在非受控環(huán)境下采集的網絡數據，如FERPlus和RAF-DB之類的數據庫，經過多人眾包標注可靠性有所增加，但是標注數量也只是在3萬左右。利用數據驅動型深度學習方法，在該類數據庫上直接訓練的精度也不高。AffectNet雖然標注44萬基本表情，但標注質量相對差，使得模型難以學習到真正的表情特征。

　　近年來，緩解表情數據庫規(guī)模問題的流行策略就是將物體識別模型或者人臉識別模型遷移到表情識別任務，即遷移學習方法。（Ding 等，2017）提出一種FaceNet2ExpNet框架。該框架首先在大規(guī)模人臉識別數據庫上進行訓練，然后聯(lián)合訓練人臉表情和人臉識別，最后在人臉表情任務上進行微調以減少模型對人臉身份信息的依賴。在EmotiW2017的音視頻情感識別競賽中，（Knyazev 等，2017）使用超大規(guī)模的私有人臉數據庫訓練的VGGFace網絡在比賽中獲得了亞軍。在EmotiW2018的音視頻情感識別比賽中，前五名的方法基本上都使用了人臉識別模型和物體識別模型進行初始化。（Zhou 等，2019）在EmotiW2019的音視頻情感識別比賽中對人臉識別模型、人臉識別預訓練的數據庫等進行了綜合評估。另外，除了遷移學習策略，利用半監(jiān)督方法也是未來可能的發(fā)展趨勢，其主要原因是1)大規(guī)模人臉識別數據庫中包含了非常多的表情人臉和2）像AffectNet和EmotioNet等數據庫還有很大一部分表情人臉沒有進行標注。最近，（Liu 等，2020）建立了一些半監(jiān)督人臉表情識別基本策略。

　　2 表情的不確定性問題

　　對于基本表情識別而言，模擬兩可的表情、低質量表情圖片、以及標注者的情感主觀性導致表情類別很多時候不是wei一確定的，即表情存在不確定性（Wang和Peng 等，2020）。表情的不確定性問題和噪聲標簽問題非常類似，它們的差別主要體現在：1）表情是本身也存在模擬兩可的不確定性，而一般物體分類的噪聲標簽是由于沒有進行人工標注的原因；2）物體分類的噪聲可以用人工標注方式進行有效消除，然而由于標注者的主觀性，大規(guī)模的表情分類里面的噪聲很難用標注的方式進行消除。表情的不確定性問題也導致了很難有較大規(guī)模的可靠表情數據庫。

　　為了緩解表情的不確定性問題，（Zeng 等，2018）和（Wang和Peng等，2020）分別進行了初步探索。其中，（Zeng 等，2018）利用多數據庫上的深度學習模型預測結果輔助訓練潛在的正確標簽，以提升特征學習的魯棒性。（Wang和Peng等，2020）在每個Batch使用自注意力機制和重標注方案，抑制表情不確定的部分樣本。鑒于基本表情分類不可避免出現的不確定性問題，將大規(guī)模表情問題定義成多標簽表情分類問題（Li 等，2018）或者符合表情問題EmotioNet（Benitez 等，2016）也是兩種可選策略。

　　3 非受控環(huán)境的人臉遮擋和姿態(tài)問題

　　類似于人臉識別，非受控自然環(huán)境下人臉表情識別受人臉的遮擋和姿態(tài)影響較大。傳統(tǒng)方法研究人臉表情識別的遮擋問題一般是使用人工設定局部黑塊方式（Irene等，2008），其不一定適合現實中的遮擋情況，如戴眼鏡、帶口罩等。最近，（Wang和Peng等，2020）統(tǒng)計了在FERPlus數據庫的測試集上的遮擋和大姿態(tài)識別情況，結果表明平均精度為86%左右的模型在遮擋和大姿態(tài)情況下的精度只有73%-75%。

　　為了緩解遮擋和姿態(tài)對人臉表情識別的影響，利用人臉局部信息是比較*的有效策略。（Li 等，2019）和（Wang和Peng等，2020）分別在特征層次和圖片層次使用局部塊注意力機制，以提升模型對遮擋和姿態(tài)的魯棒性。（Wang 等，2020）使用人臉關鍵點作為注意圖引導深度網絡，使得網絡集中關注人臉關鍵區(qū)域提高模型的魯棒性。另一個可能的策略就是利用大規(guī)模人臉識別數據，先學習一個對姿態(tài)和遮擋魯棒的人臉識別模型然后再對人臉表情識別進行微調。筆者觀察到，（Wang 等，2020）使用VGGFace2數據庫進行人臉識別模型預訓練，最終得到的人臉表情識別性能比比其他數據庫預訓練的模型要好2%左右，這充分表明了先學一個對姿態(tài)和遮擋魯棒的人臉識別模型是可行的。

　　4 表情識別方法的對比性不強

　　由于深度學習方法中超參數比較多，最終性能對各個超參數都有一定的影響，且這種影響有時候是新方法的關鍵因素，這就導致了表情識別方法存在對比性不強以及可重復性不強問題。雖然這個問題是深度學習的一個普遍性問題，但是由于前面三個問題的存在，筆者認為超參數對表情識別性能的影響相對較大。比如其他參數相同情況下，在RAF-DB數據庫上使用batchsize為256訓練的ResNet18模型（ImageNet預訓練）比batchsize為32訓練的模型（RAF-DB測試精度約86%）平均精度低5-10個百分點。如此簡單的基本方法就能獲得86%的平均精度，已經優(yōu)于最近很多發(fā)表方法。

　　為了提高人臉表情識別方法的對比性，筆者認為有必要在對比時候將每種預訓練模型和對性能敏感的參數進行討論評估。為了避免有些方法是在比較低的基線方法才有效，有必要在簡單有效的基線方法（比如使用預訓練的ImageNet模型、人臉識別模型）基礎上進行比較。

　　總結與展望

　　目前，雖然非受控自然環(huán)境下的表情分析得到較快發(fā)展，但是眾多問題和挑戰(zhàn)仍然有待解決。人臉表情分析是一個比較實用的任務，未來發(fā)展除了要討論方法的精度也要關注方法的耗時以及存儲消耗。在全面深度學習化的時代，人臉AU檢測也在飛快發(fā)展，人臉表情識別未來可以考慮用非受控環(huán)境下高精度的人臉AU檢測結果進行表情類別推斷。由于人臉表情通常比較復雜多樣，單一標簽很難進行描述，未來多標簽人臉表情問題應該受到更多關注。另外，表情和情感本身是連續(xù)性的，未來應該加強對非受控條件人臉的二維V-A情感研究。