在嬰兒語言發展關鍵期，準確感知語音對后續能力發展至關重要。
傳統研究多依賴注視測量，卻難全面捕捉嬰兒復雜反應。本研究聚焦嬰兒語音感知中面部情感變化，引入自動化面部表情分析，探究了嬰兒在面對母語與非母語時的面部變化與感知調諧能力之間的關系，旨在挖掘面部表情分析作為注視測量補充的潛力，為早期語言發展研究提供更豐富、精準的工具與視角（Tsuji et al., 2025）

嬰兒語言的感知調諧發展
嬰兒在出生后的第一年內，其語言能力的發展經歷了從廣泛感知到精細區分的顯著變化。最初，嬰兒能夠區分世界各種語言中的廣泛音素對比，但隨著年齡的增長，他們對非母語音素的敏感性逐漸下降，而對母語音素的區分能力則顯著增強。這一過程被稱為感知調諧（Perceptual Attunement），它反映了神經可塑性和突觸修剪在關鍵發展期的作用，并與后期的語言技能正相關。

傳統的感知調諧研究主要依賴于注視時間測量，即通過測量嬰兒對新穎聲音和熟悉聲音的注視時間差異來判斷其區分能力。然而，感知調諧并非一個統一的過程，它受到語言和社會環境豐富性的影響。例如，雙語嬰兒可能比單語嬰兒需要更長的時間來調諧其語音類別，而社會互動豐富的環境則能增強嬰兒對語音對比的習得。

鑒于這些多方面的影響，僅依賴注視時間這一單一測量指標可能無法全面捕捉嬰兒在感知調諧過程中的豐富反應。而面部表情能提供關于嬰兒情感狀態和認知參與的額外信息，這些信息可能揭示感知調諧過程中更復雜的機制。

因此，本研究旨在探索將面部表情分析作為注視時間測量的補充工具，以更全面地理解嬰兒在語音感知過程中的情感和認知反應。
 

  利用Baby FaceReader捕捉嬰兒情感變化
實驗研究被試來自東京的日語單語嬰兒，分為9個月和12個月兩個年齡組。對于母語音素區分實驗，9個月組有31名嬰兒，12個月組有33名嬰兒；對于非母語音素區分實驗，9個月組有29名嬰兒，12個月組有29名嬰兒。

每個嬰兒需要參與包含兩組會話的實驗，即使用母語刺激（日語）的會話和使用非母語刺激（英語）的會話。實驗在隔音實驗室中進行，視覺刺激顯示在顯示屏中，音頻刺激通過屏幕下方的前置揚聲器播放。嬰兒坐在照顧者的腿上，照顧者佩戴降噪耳機播放音樂以屏蔽音頻刺激。實驗者通過攝像機觀察嬰兒，并通過按鍵記錄其注視屏幕的情況。

實驗采用改進的視覺習慣化范式，包括四個階段：預測試、習慣化、測試和后測試。習慣化階段持續呈現一種語音類型的刺激列表，伴隨靜態紅黑棋盤格視覺刺激，直到嬰兒達到習慣化標準。測試階段包括四個試次：兩個“轉換”試次（呈現與習慣化不同的語音類型）和兩個“相同”試次（匹配習慣化刺激）。其中，注視行為數據通過提取記錄的按鍵數據來分析嬰兒注視和遠離屏幕的情況。

整個過程使用諾達思的嬰幼兒面部表情分析系統(Baby FaceReader)進行記錄分析。軟件能夠檢測嬰兒面部標志點并逐幀分析注視、頭部方向和面部肌肉運動。Baby FaceReader根據面部動作編碼系統（FACS）生成面部肌肉動作單元(Action Units, AU)數據，并組成特定表情的表達式；同時，系統會分析情緒效價和喚醒度。效價反映了整體的情緒基調，喚醒度表示強度。此外，研究者對由特定的消極情緒（AU3 +AU4）和積極情緒（AU12）進行了分析。
    語感能力引起情感變化
研究者首先分析了注視行為以評估感知調諧，使用線性混合效應模型分別對母語和非母語實驗中的每個年齡組進行建模。結果表明，對于母語語音感知調諧，9個月和12個月的嬰兒均表現出顯著的區分能力。對于非母語語音感知調諧：9個月和12個月的嬰兒均無顯著區分能力。

接下來對面部表情進行三組驗證性分析，以效價、喚醒度、積極情緒或消極情緒作為因變量創建混合效應模型。

習慣化階段的結果表明（圖1），效價隨著試次數量的增加顯著下降。母語刺激的效價低于非母語刺激。年齡與母語性存在交互作用，9個月的嬰兒在非母語刺激下的效價顯著高于12個月的；喚醒度隨著試次數量的增加顯著下降。非母語刺激的喚醒度高于母語刺激；積極情緒隨著試次數量的增加而顯著增加，9個月的嬰兒的積極情緒高于12個月的。母語刺激的積極情緒高于非母語刺激。測試階段的結果顯示，不同試次中面部表情沒有出現顯著差異，這表明這些條件可能不會引起情感反應的足夠強烈的變化。
  圖1

此外，結果表明面部情緒與母語語音區分能力有關，更好的區分能力與較低的負面情緒有關（圖2）。這種模式可能表明，成功處理熟悉的對比會減少挫敗感或消極反應。對母語的偏好也被認為反映了對信息的期望，目前的結果可能表明，在檢測相關信息方面做得更好的嬰兒表現出更好的感知調諧。
 

圖2   面部表情分析助力理解嬰兒語言發展
本研究通過增加面部表情分析到傳統的注視時間測量中，探索了嬰兒在視覺習慣化范式中的面部情感反應，以更全面地理解其對母語和非母語語音的感知調諧。

研究結果表明，面部表情分析可以作為研究感知調諧的傳統注視時間測量的補充工具，特別是在捕捉習慣化階段的情感變化方面。然而，并非所有刺激都能引發可檢測的面部情感差異，這可能受到刺激的非社交和非情感特性的限制。未來的研究可以進一步探索面部表情分析在不同實驗設計和刺激類型中的應用，以更全面地理解嬰兒在語音感知過程中的情感和認知反應。此外，將面部情感數據與嬰兒的社會交流環境和語言結果測量相結合，可能有助于深化我們對嬰兒情感反應和參與度如何影響語言學習的理解。

參考文獻

• Tsuji S, Alonso F, Hagihara H, Kimura N, Polka L and Lov?evi? I (2025) Facial affect and arousal as a complement to gaze measures in infant speech sound perception studies.Front. Neural Circuits 19:1553918.

歡迎關注諾達思官方公眾號，了解更多精彩內容！