面部表情分析對于理解人類情感和社會互動至關(guān)重要。由于嬰兒尚未發(fā)育完善的語言溝通能力，需依靠非語言行為來表達他們的感受，分析嬰兒的面部表情有助于研究者和照料者更多地了解情緒和社交互動的早期發(fā)展。因此，面部表情分析在針對嬰兒的研究中更有價值。

而隨著計算機技術(shù)的發(fā)展，走向自動化的行為分析逐漸勢不可擋。這種趨勢同樣展現(xiàn)在對嬰兒的面部表情測量中。諾達思的嬰幼兒面部表情分析系統(tǒng)(Baby FaceReader)就是一個重要里程碑。

那么，Baby FaceReader的自動測量分析能力到底如何呢？

本文將帶您解讀Zaharieva和她的研究團隊進行的Baby FaceReader與人工編碼的情緒測量效果的對比評估。

為什么自動面部表情分析更好？

關(guān)注嬰兒面部表情實時變化的情緒研究一直是發(fā)展科學(xué)的核心課題之一，這對更好地理解人類在嬰兒期的情緒調(diào)節(jié)發(fā)展和非語言社會互動等問題具有重要意義。

傳統(tǒng)上，研究者依靠人工觀察并采用人工編碼技術(shù)來探究情緒變化，而編碼系統(tǒng)在用于描述面部表情所代表的情感分類程度上存在很大差異，且成人與嬰兒之間有很大不同。目前全面的嬰兒編碼系統(tǒng)是Oster的嬰兒動作編碼系統(tǒng)(Baby FACS) ，它是基于解剖學(xué)的系統(tǒng)分類，以獨立面部肌肉動作單元(Action Units, AU)的激活頻率和持續(xù)時間進行分類，同時考慮到嬰兒和成人在面部形態(tài)上的差異。動作單元的組合及其強度可以用來推斷獨立的情感狀態(tài)。

然而，面部表情的人工編碼是一個費時耗力的過程，程序上的差異以及主觀因素可能會限制在不同研究中結(jié)果的可重復(fù)性。最新的計算機視覺技術(shù)在成人自動面部表情識別方面取得了實質(zhì)性進展，為人工行為編碼提供了一種功能強大且降低時間成本的替代方案。

同樣，將自動測量方法應(yīng)用于嬰兒面部表情分析，不僅可以加快分析過程，還能提供具有更高一致性和客觀性的數(shù)據(jù)結(jié)果，允許對嬰兒在各種情景中的行為進行詳細的在線和離線分析，這是很難用標(biāo)準(zhǔn)的人工編碼技術(shù)獲得的。此外，它使得獲取大型數(shù)據(jù)庫和復(fù)制早期研究變得更加容易。因此，自動面部表情分析的發(fā)展為情緒測量研究帶來了重大飛躍。

技術(shù)創(chuàng)新：Baby FaceReader

嬰幼兒面部表情分析系統(tǒng)(Baby FaceReader)是自動面部表情分析領(lǐng)域的一個重要里程碑。它專門用于研究嬰幼兒面部表情，可自動分析6-24個月嬰幼兒的面部表情。軟件基于嬰兒面部動作編碼系統(tǒng)(Baby FACS)開發(fā)，采用先進的算法和機器學(xué)習(xí)技術(shù)定位并分析人臉，使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來識別和解釋各種面部動作單元(AU)。

Baby FaceReader使用 AU 來計算整體情緒效價。通過這種方式，軟件可以檢測面部表情的細微變化，從而提供對嬰兒情緒狀態(tài)的細致入微的洞察。與容易產(chǎn)生主觀誤差的人工編碼不同，Baby FaceReader提供了一種理解面部表情的標(biāo)準(zhǔn)化方法。

然而，在將這種方法可靠地引入嬰兒研究之前，需要對其可靠性和有效性進行評估。之前沒有研究將其性能與人工編碼的嬰幼兒面部表情數(shù)據(jù)進行比較，因此，研究者在先前的工作基礎(chǔ)上，比較了4個月和8個月大的嬰兒在自然狀態(tài)下面對面互動期間的面部表情分別通過Baby FaceReader的自動編碼和人工編碼的結(jié)果，詳細地探討了其可靠性和有效性。

Baby FaceReader VS人工編碼

Zaharieva和她的團隊共觀察了 58 名嬰兒在4 個月和 8 個月時與不同照護者（母親、父親與陌生人）進行2分鐘面對面自然互動的過程(圖1)。在生命的早期階段，面部表情的發(fā)展變化很快。因此，這是研究情感交流的理想時期。

圖1

4個月/8個月時的視頻錄制設(shè)置:交互視圖(A/B)

研究者主要關(guān)注Baby FaceReader分辨積極、消極和中性面部情緒表達的能力，因為準(zhǔn)確解讀這些細微差別對于發(fā)展心理學(xué)至關(guān)重要。對于人工編碼，是使用The Observer XT 進行的。

面部表情以四類進行人工編碼:

1)積極：微笑(AU12)，嘴巴張閉(AU25, AU26, AU27)，臉頰提升(AU6)等;

2)消極：包括皺眉、哭泣，即眉毛內(nèi)角抬起(AU1)、嘴角拉伸(AU20)、眉毛下垂(AU3 + AU4)、眼瞼緊收(AU7)、下唇抬起(AU17)等；

3)中性：沒有看到肌肉運動，也沒有看到肌肉運動表明情緒的面部表情;

4)不可見：當(dāng)面部被遮擋或失焦時。

原始動作單元的輸出結(jié)果表示從低到高的連續(xù)動作單元強度，范圍在[0-1]。整體情緒效價結(jié)果表示面部表情從消極到積極的情感強度，范圍在[-1-1]。

識別積極情緒具有更高的精準(zhǔn)性

研究結(jié)果提供了不同的見解（表1）。與人工編碼的面部表情相比，Baby FaceReader在區(qū)分積極表情與消極或中性表情方面表現(xiàn)出較高的準(zhǔn)確性(AUC=0.81; PA=0.84; NA=0.67)。然而，它在區(qū)分消極和中性表達方面的表現(xiàn)仍存在挑戰(zhàn)(AUC=0.49; PA =0.69; NA =0.14)。

表1

因此，研究者探究了特定動作單元在區(qū)分積極、消極和中性表達方面的表現(xiàn)。結(jié)果發(fā)現(xiàn)，自動檢測的微笑(AU12)在區(qū)分積極表情和消極或中性表情方面表現(xiàn)較好(NA=0.69) (圖2)；自動檢測的眉毛下垂(AU3 + AU4)，能夠良好地區(qū)分消極和中性的面部表情(AUC=0.79) (表2)；自動檢測的嘴角拉伸(AU20，是嬰兒哭泣臉的核心面部動作肌肉)在區(qū)分消極和中性的面部表情表現(xiàn)較好(AUC=0.70)。這些結(jié)果為應(yīng)用Baby FaceReader的AU12和AU3+AU4(可能還有AU20)在嬰兒面對面互動中區(qū)分積極和消極的面部表情提供了實證驗證。

圖2                                    

表2

利用 Baby FaceReader推進嬰兒研究

過去十年中，在開發(fā)測量嬰兒面部表情的自動化技術(shù)方面取得了實質(zhì)性進展。有效的嬰兒面部表情的自動測量依賴于對面部動作及其情感意義之間關(guān)系的理論性理解和系統(tǒng)化實踐。例如，識別負性情緒的面部表情仍具挑戰(zhàn)性，因為嬰兒在表達較低強度的負性情緒時不會使用一套一致的動作單元。因此，動作單元自動檢測算法至關(guān)重要，需要持續(xù)研究。

在發(fā)展心理學(xué)和兒科護理中引入自動面部表情分析是向前邁出的重要一步。這項技術(shù)為嬰兒情緒表達的發(fā)展提供了新的見解，它將幫助我們更好地理解早期人類情感和交流是如何發(fā)展及變化的，從而為發(fā)育障礙提供更明確的護理和治療的理論基礎(chǔ)和實踐路徑。

參考文獻

Zaharieva, M.; Salvadori, E.; Messinger, D.; Visser, I.; Colonnesi, C. (2024). Automated facial expression measurement in a longitudinal sampleof 4 and 8montholds: Baby FaceReader 9 and manual coding of affective expressions. Behavior Research Methods.

關(guān)注諾達思公眾號，聯(lián)系我們獲取更多產(chǎn)品信息及學(xué)術(shù)文章！