[한국심리학신문=송주영 ]

네이버 웹툰《우바우》13화 中

입을 가리면 정말 표정을 맞추기 어려워질까?

당신은 사람의 정서가 얼굴에 반영된다고 생각하는가? 아마도 너무나 당연한 질문이라고 느낄 것이다. 그렇다면 두번째 질문을 던져보자. 얼굴을 통한 정서 표현은 타고난 것일까 아니면 단지 학습된 것일까?

위 그림은 네이버 웹툰《우바우》속의 한 장면이다. 이 만화는 일상 속 인간관계나 진로 고민을 현실적이고 냉소적인 어조로 그려낸 특유의 내용 덕에 청년층에게 큰 공감을 얻은 작품이다. 특히 해당 장면은 비웃음이라는 소재를 재밌게 그려내 인터넷 밈으로 자주 활용되곤 한다. 그림 속에서도 볼 수 있듯 등장인물이 입을 가렸을 때는 상대방을 걱정하는 것처럼 보이지만, 입을 드러내자 실제로는 비웃고 있었음이 드러난다. 이 역설적인 반전은 웃음을 자아내는 동시에, “입”이 감정을 얼마나 전달할 수 있는 지에 대해 질문을 던진다. 입이 가려진다면 감정을 읽는 것이 정말 어려워질까?

정서 인식에서 "입"의 중요성은 문화적 차이를 통해서도 드러난다. 최근 우리나라에서 유행하는 ‘라부부’, ‘산리오’, ‘농담곰’ 등의 캐릭터는 단순하고 귀여운 외형적 특징으로 사랑 받고 있다. 이러한 캐릭터들의 조상 격인 캐릭터가 바로 헬로키티이다. 그러나 이처럼 아시아에서는 큰 성공을 거둔 헬로키티가 미국에서는 실패했다는 사실은 꽤나 놀랍게 느껴진다. 이에 대한 많은 의견이 있었지만, 그 이유 중 하나로 지목되는 것은 바로 동양인과 서양인의 감정 인식 방법의 차이이다. 

헬로키티의 가장 뚜렷한 외형적 특징 중 하나는 바로 입의 부재이다. 정재승 KAIST 교수는 한 기사에서 서양인은 감정을 읽거나 이입하기 위해 ‘입’의 단서를 필요로 하지만, 헬로키티엔 그런 정보가 부족하기 때문에 아시아만큼의 인기를 얻기 쉽지 않다고 설명했다. 비슷한 맥락에서 메신저의 이모티콘 표현 방식에서도 문화적 차이가 나타난다. 서양인은  “:)”나 “;(“처럼 입의 모양을 중심으로 감정을 표현하는 반면, 한국을 비롯한 동양 문화권에서는 “^^”, “ㅠㅠ”와 같이 눈 모양을 이용해 감정을 표현한다. 캐릭터나 이모티콘의 차이로 미루어 보았을 때, 정서 표현에는 문화적 맥락이 깊게 자리하고 있음을 알 수 있다. 

그렇다면 이러한 차이는 실제로 심리학적으로도 검증될 수 있을까? 

연구 1: Yuki, Maddux, & Masuda (2007)

Yuki, Maddux & Masuda (2007)의 연구는 정서 표현에 문화적 차이가 존재함을 실험적으로 보여준 대표적 연구이다. 연구자들은 미국 대학생 118명과 일본 대학생 95명을 대상으로 눈과 입의 모양을 다양하게 조합한 이모티콘을 제시하고 슬픔과 행복을 평가하게 했다. 

논문 결과 사진

그 결과, 표정에서의 행복 인식에 있어 일본 참여자들은 입 모양보다는 눈 모양에 더 민감하게 반응한 반면, 미국 참여자들은 눈보다는 입의 변화에 더 주목했다. 연구자들은 이러한 차이를 문화 특수적인 정서 표현 규칙으로 설명하였다. 정서 표현 규칙이란 특정 정서가 어떤 상황에 적절한지, 이를 언제 그리고 어떻게 표현해야 하는지 판단하는 기준으로, 정서 표현이 사회화를 통해 학습된다는 주장이다. 

서양 문화권은 개인의 정서를 자유롭게 표현하는 경향이 있는 반면, 동아시아 문화권은 정서 표현을 조절하고 억제하는 성향을 보인다. 이러한 문화적 차이는 감정 인식 방식에도 영향을 미친다. 동양인은 근육이 많아 쉽게 통제할 수 있는 입보다, 상대적으로 조절이 어려운 눈을 통해 타인의 정서를 읽는 경향이 있다. 입은 감정을 숨기기에 용이하여 정보 전달력이 낮은 반면, 눈은 미세한 감정의 흔적을 드러내기 때문에 정서 파악의 주요 단서로 작용할 수 있기 때문이다. 이는 감정 표현과 인식이 단순한 생물학적 보편성의 결과가 아니라, 사회화와 학습을 통해 형성된 문화적 산물임을 보여준다.

연구 2: Zhou, Wang, Yang, & Majka (2024) 

코로나 팬데믹 이후 마스크 착용이 일상화되면서 사람들은 일시적으로 의사소통 과정에서 얼굴의 하반부, 특히 입 주변의 정보를 인식하기 어려워졌다. 이는 비언어적 단서에 의존하는 감정 전달과 사회적 상호작용에 제약을 초래했다. 한국에서도 이러한 변화에 대한 우려가 제기되었으며, 특히 유아 및 아동의 언어 발달과 사회·정서 발달에 미치는 영향이 논의되었다. 아이들은 타인의 얼굴 표정을 통해 감정을 인식하고 사회적 규범을 학습하는 중요한 발달 단계에 있기 때문에 입이 가려진 얼굴은 감정 해석과 표현 능력의 발달에 걸림돌이 될 수 있다는 지적이 제기된 것이다. 

그렇다면 마스크 착용은 실제로 정서 인식을 방해할까? 그리고 그 영향은 문화권에 따라 달라질까? 선행 연구인 Yuki 외(2007)는 감정 인식 과정에서 문화적 차이가 존재함을 보여주었다. 서양 문화권은 주로 입 주변의 단서에 의존한 반면, 동양 문화권은 눈 주변의 미세한 변화를 더 중시했다. 이를 고려하면 마스크 착용의 부정적 영향은 동양 문화권에서 상대적으로 적을 것으로 예상할 수 있다. 

이러한 문화적 차이에 주목한 Zhou 외(2024)는 미국과 중국 참가자를 대상으로 두 가지 실험을 진행해 마스크 착용이 감정 인식에 미치는 영향을 검증했다. 연구자들은 다음 두 가지 가설을 세웠다. 

(1) 최대 자신감 손실 가설 (Maximum Confidence-Loss Hypothesis)

• 입이 실제 웃음의 진위 판단 여부에 크게 진단적이지 않음에도(non-diagnose) 사람들은 감정을 파악할 때 입이 가장 중요하다고 잘못 믿는 경향이 있다. 따라서 입을 가렸을 때는 실제 감정 판단의 정확도보다 자신감이 현저히 떨어지게 된다. 흥미롭게도 이 자신감의 손실은 진짜로 많은 정보를 담고 있는 눈을 가렸을 때의 자신감 손실보다도 더 크다고 본다. 

• 
  

2. (2) 역설적 수행 향상 가설 (Ironic Performance-Gain Hypothesis)

• 입이 웃음 판별에 도움이 되지 않는 비진단적(non-diagnostic) 단서라면 아무런 영향도 가지지 않아야 하지만, 실제로는 오히려 판단을 왜곡 시킬 수 있다는 가설이다. 따라서 입을 가리는 것이 오히려 감정 판단의 정확도를 높일 수 있다고 판단해 마스크 착용 시 웃음의 진위 여부를 도울 수 있다고 가정한다. 

첫번째 실험에서는 참가자들이 입, 눈, 이마를 가리는 3가지 조건에서 가상의 인물의 웃음을 판별한 뒤, 자신의 판단에 대한 확신 정보(자신감)를 평가했다. 이 실험은 참가자들이 웃음의 진위를 어떻게 추론하고 있으며, 어떤 단서를 신뢰하는 지를 파악하기 위한 것이었다. 그 결과, 미국인과 중국인 참가자 모두 입이 가려진 조건에서 자신감이 가장 낮게 나타났다. 이는 두 문화권 모두 감정 판단에서 입의 역할을 실제보다 과대평가하고 있음을 보여준다. 즉, '최대 자신감 손실 가설'이 미국인과 중국인 참여자 모두에게서 확인된 것이다.

두번째 실험에서는 실제 인물의 웃는 얼굴 영상을 활용해, 마스크 착용이 웃음의 진위 판단 정확도에 어떤 영향을 미치는 지를 검증했다. 참가자들은 무작위로 세가지 조건 (기본 조건, 입가림 조건, 눈가림 조건)에  배정되어 과제를 수행했다. 

실험 결과는 예상과 달리 입을 가린 조건에서 판단 정확도가 가장 높게 나타났다. 심지어 얼굴 전체를 볼 때보다도 더 높은 정확도를 보였으며, 이는 '역설적 수행 향상 가설'을 지지하는 결과였다. 즉, 사람들은 입이 아닌 눈을 통해 감정을 더 정확히 판단할 수 있으며, 입에서 얻는 정보는 도움이 되지 않을 뿐만 아니라 오히려 판단을 왜곡시킬 수 있다는 것이다. 

더욱 흥미로운 점은 이러한 효과가 문화적으로 동일하게 나타났다는 사실이다. 기존 연구에서는 동양은 눈, 서양은 입을 더 중시한다고 알려졌지만, 이번 연구에서는 두 문화권 모두 입의 정보를 과대평가하고 눈의 정보를 과소평가하는 경향을 보였다. 이는 감정 인식에서 문화적 차이보다 인지적 편향이라는 보편적 기제가 더 강력하게 작용함을 시사한다.

감정 인식의 편향을 넘어 진심을 찾기

입을 가린 채 웃는 만화 속 장면, 입이 없는 헬로키티, 팬데믹 속 마스크로 가려진 얼굴들. 이 모든 장면은 결국 하나의 질문으로 이어진다. 우리는 정말 얼굴을 통해 ‘감정’을 읽고 있는 걸까, 아니면 단지 우리가 믿고 싶은 단서만을 따라가고 있는 걸까.

Zhou 외(2024)의 연구는 우리가 얼마나 쉽게 익숙한 단서에 의존해 왔는지를 보여준다. 그리고 그 익숙함이 때로는 진실을 가리는 방해물이 될 수 있음을 보여준다. 흥미롭게도 이러한 경향은 동서양을 막론하고 공통적으로 나타났으며, 문화적 차이보다 인지적 공통점이 더 강하게 작용했음을 시사했다.  

이 연구는 단순한 문화 차이를 논하는 데 그치지 않고 인간의 근본적인 인지적 편향을 드러낸다. 동서양 모두 감정 판단에서 입의 정보에 과도하게 의존하고, 반대로 눈의 정보는 과소평가하는 경향을 보였다. 그러나 연구 결과는 입이 감정적 판단에 비효과적일 뿐 아니라, 때로는 감정 인식을 왜곡할 수 있다는 사실을 밝혀냈다. 

이는 우리가 얼마나 논리보단 직관에 기대어 왔는지를 보여준다. 그리고 아이러니하게도, 감정을 가리는 도구라고 생각했던 마스크는 오히려 이러한 직관을 차단함으로써 오히려 더 정확한 판단을 가능하게 했다. 감정을 숨긴다고 여겨졌던 마스크가 사실은 오히려 우리가 감정을 바라보는 방식을 되묻게 만든 셈이다. 

결국 감정 인식은 단순히 얼굴의 어느 부위를 보고 판단하느냐의 문제가 아니다. 그것은 우리가 무엇을 믿고, 어디에 집중하며, 어떤 단서를 신뢰하느냐의 문제이다. 입이 사라진 얼굴은 낯설었지만, 그 낯섦 속에서 우리는 서로의 눈을 바라보게 되었고, 그 눈은 그동안의 시간보다 더 많은 것을 이야기하고 있었을지도 모른다. 

팬데믹은 우리에게 분명 많은 어려움과 슬픔을 안겨주었다. 하지만 동시에 세상을 바라보는 또 다른 방식을 제시해주기도 했다. 가족과 시간을 보내기 어려웠던 사람들에게 함께하는 소중함을, 늘 바쁘게만 살아갔던 우리들은 자신을 돌아보는 여유를 얻었다. 소통을 가로막는 장애물로만 생각했던 마스크가 오히려 진정한 소통의 계기가 되었듯이 오늘 하루 익숙한 것들을 낯섦 속에서 새롭게 바라보는 건 어떨까? 그 너머에는 우리가 아직 닿지 못한 진심이 존재할지도 모른다. 

<출처>

1. (1) 상대 감정 읽을 때 서양인은 입, 동양인은 눈을 본다 - 조선비즈

2. (2) 어린이 정서 발달 위기...초등 고학년 70% “학교서 여전히 마스크”

3. (3) 코로나19가 아동 언어발달에 미치는 영향...소아청소년과 오성근 원장 [인터뷰] - 하이닥

4. (4) [SNS세상] "가족 베프되고 십자수 취미도…긍정으로 코로나블루 극복해요" | 연합뉴스

5. (5) Yuki, M., Maddux, W. W., & Masuda, T. (2007). Are the windows to the soul the same in the East and West? Cultural differences in using the eyes and mouth as cues to recognize emotions in Japan and the United States. Journal of Experimental Social Psychology, 43(2), 303–311. https://doi.org/10.1016/j.jesp.2006.02.004

(6) Zhou, H., Wang, M., Yang, Y., & Majka, E. A. (2024). Face masks facilitate discrimination of genuine and fake smiles—But people believe the opposite. Journal of Experimental Social Psychology, 115, 1–21. https://doi.org/10.1016/j.jesp.2024.104658

※ 심리학에 대한 더 많은 정보는 한국심리학신문(The Psychology Times) 에 방문해서 확인해보세요! 

※ 심리학, 상담 관련 정보 찾을 때 유용한 사이트는 한국심리학신문(The Psychology Times) 

※ 심리학, 상담 정보 사이트도 한국심리학신문(The Psychology Times) 

※ 재미있는 심리학, 상담 이야기는 한국심리학신문(The Psychology Times)