AI 경영, 정서적 양극화 시대의 집단 편향을 극복하는 데이터 검증 전략 [2025년 3월 MISQ]

DO CROWDS VALIDATE FALSE DATA? SYSTEMATIC DISTORTION AND AFFECTIVE POLARIZATION.

Pienta, Daniel A., Somanchi, Sriram, Vishwamitra, Nishant, Berente, Nicholas, Thatcher, Jason Bennett

MIS Quarterly. Mar2025, Vol. 49 Issue 1, p347-365. 20p. 2 Diagrams, 3 Charts, 2 Graphs

 

MIS Quarterly. Mar2025, Vol. 49 Issue 1, p347-365. 1p

 

 

CEO 인사이트

 

유투브의 위기를 언급하는 사람들은 알고리즘의 함정에 대해 이야기하곤 합니다. 알고리즘에 의해 사용자의 컨텐츠 소비가 개인의 편향에서 빠져나오기 어렵다는 것입니다. AI가 이 편향 문제를 어떻게 해결할 수 있을까에 대한 연구가 활발하게 이뤄지고 있습니다. 하위 그룹 기반 사회인지적 영향과 정서적 양극화 등 편향 리스크에 대한 연구내용입니다. AI에 대해 참 다양한 연구가 진행되고 있습니다.

 

 

1. 주요 연구 질문 및 목표

 

본 연구는 "군중의 지혜"라는 통념에 도전하며, 특히 정서적 양극화와 같은 사회인지적 영향이 크라우드소싱 기반 데이터 검증에서 '그라운드 트루스(ground truth)'를 체계적으로 왜곡할 수 있음을 입증하는 데 초점을 맞춥니다. 연구자들은 식별 가능한 하위 그룹(subgroups)이 군중 내에서 어떻게 왜곡을 유발하는지 탐구하고, 이러한 왜곡을 설명하기 위한 지침을 제공하고자 합니다.

 

2. 핵심 개념 및 정의

 

1) 사회인지적 영향(Sociocognitive influences)

공유된 경험과 행동 관찰을 통해 집단 내 개인의 사고 및 감정 패턴을 형성하는 요인입니다. 가족, 또래 집단, 조직, 교육 및 정치 기관 등 다양한 사회 집단이 개인의 인지에 체계적인 영향을 미칠 수 있습니다.

"For example, sociocognitive influences tied to the family transmit important determinants of behavior such as national, religious, and cultural values(예를 들어, 사회인지적 영향은 가족과 연결되어 국가적, 종교적, 문화적 가치와 같은 행동의 중요한 결정 요소를 전달합니다.)"

출처 입력

 

2) 하위 그룹(Subgroup)

 

"Subgroups refer to peer groups, communities, and organizations that are comprised of individuals who often share experiences and, consequently, relatively consistent patterns of human cognition(하위 그룹은 또래 집단, 커뮤니티, 그리고 종종 경험을 공유하고 결과적으로 비교적 일관된 인간 인지 패턴을 공유하는 개인들로 구성된 조직을 지칭합니다.)"

출처 입력

 

3) 정서적 양극화(Affective polarization)

 

"Affective polarization results from emotional aspects of identification with a social group (e.g., political party).(정서적 양극화는 사회 집단(예: 정당)과의 동일시의 정서적 측면에서 비롯됩니다)."

출처 입력

이는 개인이 세상을 '내 집단(in-group)'과 '타 집단(out-group)'으로 나누고, 내 집단에 대해 강한 긍정적 감정을, 타 집단에 대해 부정적 감정을 갖게 하는 경향을 말합니다.

 

4) 충성도(Loyalty)

집단에 대한 긍정적인 경험에서 비롯되는 헌신감입니다.

 

5) 배신감(Betrayal)

신뢰하는 집단에 의한 상호 행동 기대 위반입니다. 이는 일반적으로 부정적인 영향을 미치고 편향된 결정과 악의적인 행동으로 이어집니다.

 

3. 연구 방법론

 

1) 실험 설계

2020년 폭력적인 공공 폭동 데이터를 검증하도록 요청받은 다양한 정서적 양극화 수준의 평가자들을 대상으로 몰입적이고 탐색적인 온라인 실험(실험적 비네트 방법, EVM)을 수행했습니다.

 

2) 하위 그룹 처리(Treatment)

평가자들에게 폭력을 '프라우드 보이스' 그룹이 저지른 것, 'ANTIFA' 그룹이 저지른 것, 또는 '알 수 없는' 그룹이 저지른 것으로 귀인하는 시나리오를 제시했습니다.

 

3) 데이터 분석:이중 편향 제거 기계 학습(Double Debiased Machine Learning, DML)

전통적인 회귀 기반 기술로는 다루기 어려운 비선형 관계를 포착하고, 체계적이고 알려지지 않은 편향을 가질 수 있는 하위 그룹을 식별하는 데 도움이 됩니다. 특히 하위 그룹의 이질적인 처리 효과(heterogeneous treatment effects)를 추정하는 데 사용되었습니다.

 

4) 이항 로지스틱 회귀(Binary Logistic Regression)

그룹 충성도와 배신감이 데이터 검증에 미치는 영향을 분석하는 데 사용되었습니다.

 

4. 주요 연구 결과

 

1) 하위 그룹 기반 사회인지적 영향의 왜곡

"We found that subgroup-based sociocognitive influences systematically distort the wisdom of the crowd for event based data(하위 그룹 기반 사회인지적 영향이 이벤트 기반 데이터에 대한 군중의 지혜를 체계적으로 왜곡한다는 것을 발견했습니다)."

출처 입력

이는 하위 그룹을 고려하지 않으면 크라우드소싱 기반 검증이 실제 결과에 영향을 미치는 잘못된 긍정 또는 부정을 초래할 수 있음을 시사합니다.

 

2) 정서적 양극화와 진실 검증:"프라우드 보이스"에게 폭력이 귀인되었을 때:

더 강한 진보주의자로 식별되는 평가자들은 더 강한 보수주의자로 식별되는 평가자들보다 진실된 정보를 더 정확하게 검증할 가능성이 높았습니다.

 

3) "ANTIFA"에게 폭력이 귀인되었을 때

강한 진보주의자와 강한 보수주의자 모두에게 통제 조건과 비교하여 진실된 정보를 검증하는 경향이 달라졌습니다.

 

4) 충성도와 배신감의 비대칭적 영향:진실된 정보 검증:

개인이 어떤 그룹에 충성할 때, 그들은 진실된 정보를 검증하지 않을 가능성이 더 높습니다. 반대로 개인이 배신감을 느낄 때, 그들은 진실된 정보를 검증할 가능성이 더 높습니다. 충성도는 진실된 정보를 검증하지 않는 데 2.0%의 즉각적인 변화를, 배신감은 진실된 정보를 검증하는 데 2.0%의 즉각적인 변화를 나타냈습니다.

 

5) 거짓 정보 검증 (딥페이크 및 다른 이벤트)

그룹 충성도는 거짓 정보를 검증하는 데 유의미한 긍정적 관계를 보였습니다. 충성도가 1단위 증가할 때마다 딥페이크를 검증하는 데 4.0%의 즉각적인 변화가 있었고,다른 이벤트에서 가져온 거짓 정보를 검증하는 데 5.0%의 즉각적인 변화가 있었습니다.

 

6) 정보 유형별 차이

이 연구는 정보 유형(진실 또는 거짓)이 평가자가 데이터를 검증하는 방식에 변동성을 도입한다는 것을 보여줍니다. 사회인지적 영향은 제시된 정보 유형에 따라 하위 그룹에서 다르게 나타납니다.

 

7) 극단주의자들의 유사한 검증 방식

흥미롭게도, 연구는 다른 그룹의 극단주의자들이 충성도와 배신감에 대한 반응에서 비슷한 방식으로 검증한다는 것을 발견했습니다. 이는 하위 그룹의 차이가 미묘하고 복잡할 수 있음을 나타냅니다.

 

실험적 치료법

 

5. 함의 및 실질적 조언

 

1) 군중 기반 편향 조정의 필요성

정확한 '그라운드 트루스'를 확립하기 위해서는 하위 그룹 기반 군중 편향을 이해하고 조정할 필요가 있습니다.

 

2) 하위 그룹 감지 및 조정

의사 결정자는 사회인지적 영향으로 인한 잠재적 패턴을 밝히는 데 중점을 두어야 합니다.

 

3) 하위 그룹 및 관련 검증 패턴 감지

왜곡의 원천을 식별하는 데 도움이 됩니다.

 

4) 체계적인 조정 수행

식별된 하위 그룹에 대한 가중치를 학습하는 것을 포함할 수 있으며, 이는 크라우드소싱 검증의 편향을 줄일 수 있습니다.

 

5) 전문성 있는 팀 구성

조직은 팀이 사회인지적 영향의 존재와 같은 맥락, 군중의 구성(예: 하위 그룹), 그리고 그라운드 트루스의 왜곡을 피하기 위해 정보를 정확하게 제시할 수 있는 능력을 이해하는 전문성을 갖추도록 해야 합니다.

 

6) 정서적 양극화의 위험성

정서적 양극화는 부분적인 진실 또는 노골적인 허위 사실로 이어질 수 있으며 부적절한 하위 그룹 데이터 검증 및 후속 대응을 악화시킬 수 있습니다.

 

6. 결론

 

본 연구는 "군중의 지혜"라는 개념에 중요한 도전을 제기하며, 특히 정서적 양극화와 같은 사회인지적 영향이 크라우드소싱 데이터 검증에서 그라운드 트루스를 체계적으로 왜곡할 수 있음을 강력히 시사합니다. 하위 그룹의 식별, 그들의 검증 패턴에 대한 이해, 그리고 이러한 편향을 조정하기 위한 방법론의 적용은 신뢰할 수 있는 데이터 검증 시스템을 구축하는 데 필수적입니다.

 

실험적인 3x3x4 데이터 표현 방식

 

묻고 답하기

 

1. 군중 기반 데이터 검증의 '집단 지성' 개념에 도전하는 주요 발견은 무엇입니까?

기존의 통념은 크고 이질적인 군중이 다양한 관점으로 인해 더 나은 결과를 낳는다는 것이었습니다. 그러나 이 연구는 하위 그룹 기반의 사회인지적 영향이 합의 기반의 군중 소싱 검증 결과를 체계적으로 왜곡할 수 있음을 보여줍니다. 즉, '집단 지성'은 하위 그룹의 편향을 간과할 경우 정확한 '사실'을 산출하지 못할 수 있다는 것입니다. 특히, 정서적 양극화와 같은 요인이 개입할 때, 특정 하위 그룹은 실제 사실을 왜곡하여 검증하는 경향이 있습니다.

 

2. '사회인지적 영향'이란 무엇이며, 데이터 검증에 어떻게 영향을 미칩니까?

사회인지적 영향은 개인의 사고와 감정 패턴을 형성하는 공유된 경험과 행동 관찰에서 비롯됩니다. 이는 가족, 또래 집단, 조직, 교육 또는 정치 기관과 같은 하위 그룹 내에서 발생합니다. 이러한 영향은 개인이 데이터를 인식하고, 의미를 부여하고, 검증하는 방식에 체계적인 편향을 도입할 수 있습니다. 예를 들어, 한 사회 집단에 대한 충성심이나 배신감은 데이터의 진실성 평가에 영향을 미쳐, 실제와 다른 결과를 낳을 수 있습니다.

 

3. '정서적 양극화'는 군중 소싱 데이터 검증에 어떤 영향을 미칩니까?

정서적 양극화는 사회 집단(예: 정당)과의 감정적인 동일시에서 발생합니다. 이 연구는 정서적 양극화가 존재하는 상황에서 평가자의 정치적 성향이 검증 결정에 영향을 미친다는 것을 밝혔습니다. 예를 들어, 폭력이 특정 그룹에 귀인될 때, 강한 진보적 성향의 평가자는 실제 정보를 더 잘 검증하는 반면, 강한 보수적 성향의 평가자는 그렇지 않을 수 있습니다. 이는 '우리 그룹'에 대한 긍정적인 감정과 '다른 그룹'에 대한 부정적인 감정이 데이터 검증에 편향을 가져올 수 있음을 시사합니다.

 

4. '충성심'과 '배신감'은 데이터 검증 결과에 어떻게 관련됩니까?

연구 결과에 따르면 집단 충성심은 실제 정보와 허위 정보의 검증 모두와 유의미한 관계를 가집니다. 특히, 개인들이 한 집단에 충성할 때, 그들은 실제 정보를 검증하지 않을 가능성이 더 높습니다. 반대로, 배신감을 느낄 때 그들은 실제 정보를 검증할 가능성이 더 높습니다. 허위 정보(딥페이크나 다른 사건에서 온 정보)의 경우, 집단 충성심은 허위 정보를 검증하는 것과 유의미한 긍정적 관계를 보였습니다. 이는 특정 집단에 대한 강한 소속감이 객관적인 정보 평가를 저해할 수 있음을 나타냅니다.

 

5. 이 연구에서 사용된 '이중 편향 제거 기계 학습(DML)' 방법은 무엇이며, 왜 중요합니까?

이중 편향 제거 기계 학습(DML)은 조건부 평균 처리 효과를 추정하는 최신 기술입니다. 이 연구에서 DML은 데이터의 이질성을 탐색하고 정치적 성향에 기반한 하위 그룹을 식별하는 데 사용되었습니다. DML은 통계적으로 유의미하지 않을 수 있는 전통적인 회귀 기법으로는 감지하기 어려운 비선형 관계를 포착하고, 하위 그룹 내에 존재하는 체계적인, 알려지지 않은 편향을 식별하는 데 도움을 줍니다. 이는 군중 내 '파단선'을 발견하고, 데이터 검증에 영향을 미치는 숨겨진 패턴을 이해하는 데 필수적입니다.

 

6. 정서적 양극화의 스펙트럼에서 평가자들이 비대칭적으로 행동한다는 것은 무엇을 의미합니까?

이는 하위 그룹마다 내부 그룹 및 외부 그룹 검증 패턴이 다르다는 것을 의미합니다. 즉, 서로 다른 하위 그룹은 다른 사회인지적 패턴을 가질 수 있으며 다르게 행동할 수 있습니다. 그러나 흥미롭게도 연구는 다른 그룹의 극단주의자들이 충성심과 배신감에 대한 반응에서 유사한 방식으로 검증한다는 것을 발견했습니다. 이는 하위 그룹의 차이가 미묘하고 복잡할 수 있으며, 정확한 사실을 확립하기 위해서는 검증 패턴의 세분화된 이해가 필요함을 시사합니다.

 

7. 이 연구 결과는 군중 소싱 검증의 실제 적용에 어떤 실질적인 지침을 제공합니까?

이 연구는 의사 결정자들이 잠재적인 사회인지적 영향으로 인한 패턴을 발견하는 데 집중할 것을 촉구합니다. 첫째, 하위 그룹과 관련된 검증 패턴을 감지하면 군중 소싱 검증에서 왜곡의 원인을 식별하는 데 도움이 될 수 있습니다. 둘째, 식별된 하위 그룹에 대해 가중치를 학습하는 등 체계적인 조정이 필요합니다. 이는 조직이 하위 그룹에 대한 깊은 지식을 가진 전문가 팀을 구성하여 진실성 왜곡을 피할 수 있도록 정보를 정확하게 제시해야 함을 의미합니다.

 

8. 이 연구가 기존의 정보 시스템(IS) 연구에 던지는 주요 도전 과제는 무엇입니까?

이 연구는 군중 소싱 검증 연구에 중요한 의미를 가집니다. 기존 IS 연구가 군중 내 개인과 전체 군중의 왜곡을 설명하지만, 이 연구는 군중 내 반대하는 하위 그룹에 주목합니다. 하위 그룹이 고려되지 않으면 합의 기반의 군중 소싱 검증 기술은 실제 세계에 영향을 미치는 거짓 양성 또는 음성을 생성할 수 있습니다. 이는 사회 기술적 환경이 하위 그룹, 군중 검증 패턴, 정보 인식 및 진실성 왜곡을 어떻게 형성하는지 추가로 탐구해야 할 필요성을 강조합니다.

 

핵심 용어

 

• 사회인지적 영향 (Sociocognitive Influences): 공유된 경험과 행동 관찰을 통해 개인의 인지(사고방식)와 감정 패턴이 형성되는 사회적 요인들의 총체.
• 하위 집단 (Subgroups): 공통된 경험을 공유하고 비교적 일관된 인지 패턴을 보이는 개인들의 그룹. (예: 동료 집단, 지역사회, 조직).
• 정서적 양극화 (Affective Polarization): 특정 사회 집단(특히 정치적 정당)에 대한 강한 긍정적 또는 부정적 감정적 동일시로 인해 발생하는 감정적 분열 상태.
• 충성도 (Loyalty): 특정 그룹에 대한 긍정적인 경험에서 비롯된 헌신과 소속감으로, 의사 결정에 영향을 미칠 수 있다.
• 배신감 (Betrayal): 신뢰하는 그룹이 상호 기대되는 행동을 위반했을 때 발생하는 부정적인 감정으로, 편향된 결정과 적대적인 행동으로 이어질 수 있다.
• 집단 지성 (Wisdom of Crowds): 다양한 개인들의 독립적인 판단을 통합할 때, 그 결과가 개별 전문가의 판단보다 더 정확하고 신뢰할 수 있다는 개념.
• 군중 소싱 (Crowdsourcing): 조직이 대규모의 불특정 다수(군중)로부터 아이디어, 솔루션, 서비스, 또는 데이터를 얻는 것.
• 데이터 검증 (Data Validation): 데이터의 정확성, 완전성, 일관성 및 무결성을 확인하는 과정.
• 실험적 비네트 방법 (Experimental Vignette Method, EVM): 연구 대상자들에게 짧은 시나리오(비네트)를 제시하고, 그들의 반응을 통해 특정 변수의 영향을 측정하는 실험 설계 기법.
• 딥페이크 (Deepfake): 인공지능(특히 딥러닝) 기술을 사용하여 원본 영상이나 오디오를 조작하여 실제와 같이 보이거나 들리게 만드는 기술.
• 이중 편향 제거 머신 러닝 (Double/Debiased Machine Learning, DML): 통계적 추론을 위해 머신 러닝 모델을 활용하여 공변량의 영향을 제거하고 처리 효과를 추정하는 고급 방법론.
• 조건부 평균 처리 효과 (Conditional Average Treatment Effect, CATE): 특정 공변량(X)의 조건 하에서 처리(treatment)의 평균 효과를 나타내는 값.
• 교차 피팅 (Cross-fitting): DML에서 사용되는 기술로, 데이터를 여러 개의 폴드로 분할하여 한 폴드에서 모델을 훈련하고 다른 폴드에서 잔차를 계산함으로써 추정의 편향을 줄이는 방법.
• 랜덤 포레스트 분류기 (Random Forest Classifier): 의사 결정 트리들을 앙상블하여 예측을 수행하는 머신 러닝 알고리즘의 한 종류로, 복잡한 비선형 관계를 모델링하는 데 효과적이다.
• 사회기술적 환경 (Sociotechnical Environment): 사회적 요소(사람, 조직, 문화)와 기술적 요소(도구, 프로세스, 시스템)가 상호작용하는 환경.