[ Cathy O’Neil (2016), Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy (Crown).
캐시 오닐, 「1장. 대량살상수학무기의 탄생: 빅데이터 시대, 알고리즘이 신을 대체하다」, 『대량살상 수학무기』, 김정혜 옮김 (흐름출판, 2017), 35-62쪽. ]
1. 모형이란 무엇인가?
2. 과연, 알고리즘은 공정한가?
3. 재범위험성모형과 편견의 덫
4. 대량살상무기의 3가지 조건
1. 모형이란 무엇인가?
40-
서론에서 소개한 모형(워싱턴 공립학교들이 교사를 평가할 때 사용한 모형)과 야구 모형의 차이
야구 모형에서는 야구라는 운동 전체의 아주 세세한 부분까지 모형에 반영되고 데이터가 지속적으로 업데이트됨.
교사평가모형은 비밀에 싸여 있을 뿐만 아니라 교사를 평가하는데 전년도와 당해연도의 몇 가지 시험결과에 크게 의존함.
43-
모형은 복잡한 현실을 단순화한 개념
세상의 모든 복잡성이나 인간 커뮤니케이션의 미묘한 차이를 완벽히 반영한 모형은 존재하지 않음.
2. 과연, 알고리즘은 공정한가?
45
모형들은 수학에 깊이 뿌리내린 지극히 개인적인 의견이다.
46
개인이든 기업이든 누가 모형을 만들었는지, 그리고 개발자가 모형을 통해 성취하려는 목표가 무엇인지 알아야 함.
48
인종차별주의자들은 자신의 왜곡된 모형을 수정할 생각이 없고, 신뢰성 있는 데이터를 수집할 노력도 거의 하지 않음.
그 결과 인종차별은 가장 추악한 예측모형이 됨.
인종차별 모형은 무계획적인 데이터 수집과 허위 상관(spurious correlation)에 의해 작동하고, 제도적 불공평(institutional inequity)에 의해 강화되며, 확증 편향(confirmation bias)에 의해 오염됨.
3. 재범위험성모형과 편견의 덫
50
<미국시민자유연맹>(American Civil Liberties Union, ACLU)은 흑인들에게 선고된 형량이 비슷한 범죄를 저지른 백인 범죄자들보다 20% 정도 더 길다고 주장함.
미국 인구에서 흑인은 13%에 불과하지만 교도소 수감자 중 40%를 차지함.
50-
미국 24개 주의 법원이 재범위험성 모형(recidivism models)를 도입함.
51-
가장 인기 있느 재범위험성 모형의 하나인 LSI-R(Levels of Service Inventory-Revised)
재소자가 답해야 하는 다양한 문항
“유죄 확정 판결을 받은 게 몇 번입니까?”
“공범은 어떤 역할을 했습니까?”
“약물과 알코올은 어떤 영향을 미쳤습니까?”
여기까지는 범죄와 유관할 수 있는데
“처음으로 경찰에 붙잡혔던 때 몇 살이었습니까?”라고 물으면
교외 지역의 안정된 환경에서 성장한 범죄자는 이번이 처음이라고 대답할지 모르지만
흑인 청년들은 아무런 잘못을 저지르지 않았는데도 경찰에 수십 차례 불심검문 당했을 가능성이 큼.
52-
2013년 <미국시민자유연맹>이 실시한 조사
14-24세 흑인과 히스패닉은 뉴욕 인구 4.7%에 불과하지만 불심검문을 받은 사람의 40.6%를 차지함.
한다.
~
54
LSI-R 같은 재범위험성 모형은 치명적인 피드백 루프를 확대재생산함.
4. 대량살상무기의 3가지 조건
55-
세 가지 모형
야구 모형
가설적인 식단 모형
재범위험성 모형
56-
사람들은 자신이 모형에 포함된다거나 그 모형이 어떻게 사용되는지 알더라도 그 모형이 불투명하거나 비공개적인지 따져보아야 함.
비-공개적인 모형
57-
질문(2): 모형이 대상자에게 불리하게 작용할까?
58-
질문(3): 모형이 기하급수적으로 성장할 역량이 있느냐
확장성은 WMD를 지엽적인 골칫거리에서 막대한 피해를 초래하는 것으로 만듦.
60-
WMD의 세 가지 요소는 불투명성, 확장성, 피해
61-
물론 WMD 모형으로 혜택을 받은 사람이 있음.
일부 예외를 제외하면 고통받는 사람이 너무 많다는 것이 문제다.
알고리듬에 의해 작동되는 모형은 수백만 명을 기회를 박탈하고 이의를 제기할 가능성도 허용하지 않음.
(2023.10.12.)
댓글 없음:
댓글 쓰기