Some Reflections on Drawing Causal Inference using Textual Data: Parallels Between Human Subjects and Organized Texts 요약 설명

이번 글에서는 Some Reflections on Drawing Causal Inference using Textual Data: Parallels Between Human Subjects and Organized Texts 논문의 핵심 포인트만 간단히 정리한다.

• 2022년 2월 2일(Arxiv), 1st Conference on Causal Learning and Reasoning
• Zhang, Bo, Zhang, Jiayao.
• Department of Statistics and Data Science, University of Pennsylvania, University of Pennsylvania
• 논문 링크

영문판 보기

요약

• 이 논문은 문서 자체를 연구 단위로 삼을 때 인과적 질문을 어떻게 설정할지 살펴본다. 사람을 대상으로 한 연구와 개념적으로 비교하면서, 인식된 특성이나 그 구성 요소에 대한 개입을 정의하면 모호한 인과적 질문을 명확히 할 수 있다고 주장한다. 실험 성능 비교는 보고하지 않는다.
• 저자들은 학술대회 논문 채택과 Reddit 게시물의 인기도를 예로 들어, 보정 변수가 정의된 처치의 영향을 받지 않아야 한다고 강조한다. 또한 직접 관측할 수 있는 텍스트 특성과 추론한 특성을 구분하고, 측정 오류와 관측되지 않은 교란이 인과적 결론을 저해할 수 있다고 지적한다.

1. Introduction: Causal Inference with Textual Data

텍스트는 인과적 지식을 전달하거나, 사람을 대상으로 한 연구에서 변수를 표현하거나, 그 속성을 조사하는 연구 단위 자체가 될 수 있다. 이 논문은 3번째 역할에 초점을 맞추고, 서로 다른 처치 아래의 결과를 비교해 인과 효과를 정의하는 potential outcomes framework를 사용한다.

2. Study Units and Covariates

추정 대상은 연구에서 추정하려는 양이다. 저자들은 알고리즘을 정하기 전에 추정 대상과 연구 단위를 정의할 것을 권한다. Veitch et al. (2020)의 학술대회 논문 사례에서는 주제가 정리의 존재 여부와 채택 여부 모두에 영향을 줄 수 있으며, 초록을 주제에 관한 정보원으로 제안한다.

공변량은 처치 전에 결정되거나 처치의 영향을 받지 않는 변수다. 처치의 영향을 받는 변수를 보정하면 그 보정으로 인해 결과가 왜곡되는 처치 후 편향이 발생할 수 있다. 따라서 텍스트 특성이 공변량에 해당하는지는 처치를 어떻게 정의하는지에 따라 달라진다.

3. Immutable Characteristics and Causal Variables

저자들은 정리의 개수가 명확하게 정의된 처치인지 의문을 제기한다. 일부 논문에는 정리를 추가하는 것이 타당하지 않으며, 수렴 정리를 추가하는 것과 minimax 하한 정리를 추가하는 것도 서로 다르다. 이처럼 처치의 형태가 다르면 처치가 충분히 명확하게 정의되어야 한다는 stable unit treatment value assumption에 문제가 생길 수 있다.

초록을 비롯해 정리를 설명하는 단어는 정리가 바뀌면 함께 바뀔 수 있으므로 보정 변수로 적합하지 않을 수 있다. 이 단어에서 도출한 수치 표현인 embedding에도 같은 문제가 적용된다. 저자들은 타당한 개입과 영향을 받지 않는 메타데이터에 초점을 맞추되, 이 방법도 불완전한 해결책이라고 설명한다.

4. Two Strategies Facilitating Framing Proper Causal Queries

논문은 인과적 질문을 명확히 하는 2가지 방법을 제안한다. 의사결정자가 특성을 인식하는 방식에 개입하거나, 구성 특성을 통해 더 넓은 개념을 정의하는 방법이다. 2가지 방법 모두 처치를 명시하고 어떤 특성을 보정에 사용할 수 있는지 판단해야 한다.

4.1. Shifting from actual traits to perceptions of them

Reddit 게시물에 관해 저자들은 Greiner and Rubin (2011)의 인식된 특성 프레임워크를 따라, 성별을 나타내는 해시태그나 아이콘을 조작해 작성자의 성 정체성은 유지하면서 독자의 인식을 바꾸는 방법을 제안한다. 이렇게 설정하면 변하지 않은 게시물 내용은 처치 전 공변량으로 볼 수 있지만, 이후 독자가 작성한 댓글은 처치 후 변수다.

4.2. Shifting from one trait to a property/concept including many traits

저자들은 인식된 수학적 엄밀성을 정리, 그래프, 논문의 전개 방식, 이론 논문에 대한 참조 등을 포함하는 묶음으로 연구할 것을 제안한다. 인식된 공손함의 경우 감성과 격식은 처치의 구성 요소가 될 수 있고, 주제, 저자, 간결함은 공변량이 될 수 있다. 이 구분에는 분야 지식이 필요하며 여전히 모호할 수 있다.

5. A Dichotomy of Covariates

인과적 질문이 정의되면 명시적으로 관측된 공변량에는 그림의 개수처럼 직접 얻을 수 있는 수치가 포함된다. 암묵적으로 관측된 공변량에는 추론한 감성이나 텍스트 표현이 포함된다. 적절한 공변량 집합은 질문에 따라 달라지며, 언어 모델에서 도출한 특성은 부정확하게 측정되거나 텍스트를 충분히 요약하지 못할 수 있다.

관측 연구에서 인과 추론은 처치 배정과 결과 모두에 영향을 미치지만 측정되지 않은 교란 요인에 관한 가정에 의존한다. 관련 의미 정보를 모두 복원하지 못할 수 있으므로, 저자들은 숨겨진 교란이 결론에 미치는 영향을 평가하는 민감도 분석, 편향을 탐지하는 데 도움이 되는 음성 대조군, 식별 가정 아래 외부 변수를 사용하는 도구변수 방법을 살펴볼 것을 제안한다.

6. Conclusion

저자들은 연구 단위를 식별하고, 처치와 그 시점 또는 구성 요소를 명시하며, 각 보정 변수의 타당성을 설명할 것을 권한다. 가상의 실험으로도 대응시킬 수 없는 질문은 부적절하게 설정되었거나 식별되지 않을 수 있다. 식별되지 않는다는 것은 이용 가능한 정보로 인과 효과를 결정할 수 없다는 뜻이다. 이러한 단계는 문제를 드러내지만 해결을 보장하지는 않는다.

짧은 생각

이 사례들은 텍스트 특성과 실행 가능한 개입의 차이를 구체적으로 보여준다. 정리를 추가하면 초록도 바뀔 수 있지만, 성별 표기를 바꾸면서 게시물 자체는 그대로 유지할 수 있다. 이 논문은 개념적 논의이므로 제안한 질문의 설정 방식이 특정 데이터셋에서 편향을 줄이는지는 실증적으로 입증하지 않는다.