[ Cathy O’Neil (2016), Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy (Crown).
캐시 오닐, 「결론: 수학 모형의 여행을 마치며」, 『대량살상 수학무기』, 김정혜 옮김 (흐름출판, 2017), 329-359쪽. ]
1. IBM이 동성애 지지에 나선 이유
2. 도덕적 상상력이 필요하다
3. 알고리즘을 감시하라
4. 착한 모형을 위한 새로운 여행
1. IBM이 동성애 지지에 나선 이유
333-
IBM 등 IT 기업들의 인적자원 정책을 알고리듬이라고 보면, 이들ㅇ느 이젞지 수십 년간 성소주가 차별을 코드화해옴.
성소수자들에 대한 혜택을 평등화하는 조치는 이들 기업이 공정성의 방향으로 나아가게 만듦.
333-
미국 전역의 기업들은 부유한 LGBT 소비자를 공략하기 위해 이들에게 맞춤 크루즈 여행과 해피아워, 그리고 동성애를 주제로 하는 TV 프로그램을 제공함.
이런 포용성에 일부 무관용주의자가 불만을 제기했지만 기업들은 그런 불만이 주는 손해를 상쇄할 만한 커다란 이익을 돌려받음.
334-
반면 WMD를 무장해제 하는 일은 기업 수익으로 연결되지 않음.
WMD를 포기하면 사회 전체가 더욱 공정해지고 정의로워지며 사회 구성원 전체에게 골고루 혜택이 돌아가겠지만 기업은 오히려 경제적인 이익을 볼 기회를 놓칠지 모름.
2. 도덕적 상상력이 필요하다
337
데이터 처리 과정은 과거를 코드화할 뿐 미래를 창조하지 않음.
미래를 창조하려면 도덕적 상상력이 필요함.
이런 능력은 오직 인간만이 가짐.
우리는 더 나은 가치를 알고리즘에 명백히 포함시키고 우리가 생각하는 윤리적 지표에 맞게 빅 데이터 모형을 새로 만들어야 함.
그렇게 하려면 가끔은 이익보다 공정성을 우선시해야 함.
337-
어찌 보면 지금 우리 사회는 새로운 산업혁명과 씨름하는 중이라고 할 수 있음.
20세기 초는 위대한 진보의 시대
전깃불로 집안을 밝혔고 석탄으로 난방할 수 있게 됨.
철도에서 고기와 야채, 가공식품을 실어 나름.
의학이 발달하고, 위생이 개선되었으며 매체가 발달함.
이런 기술 혁신을 바탕으로 대다수 평균적인 삶을 사는 사람들은 갈수록 풍요로워짐.
그러나 이 모든 진보에는 끔직한 이면도 있었음.
풍요 속에는 끔찍한 현상도 있었음.
노동자와 아동, 여성들은 착취당함.
언론인들이 자유시장체제의 문제들을 고발하기 시작함.
정부가 나섦.
노동조합이 결성되었고 이들을 보호하는 법률이 시행되어 1일 8시간 노동과 주말 휴무가 점진적으로 정착됨.
오염된 식품을 판매하지 않던 양심적 기업들을 보호함.
339-
2008년 금융시장이 붕괴한 이후 금융공학자 이매뉴얼 더만과 폴 윌모트는 모형 개발자를 위한 히포크라테스 선서를 작성함.
• 나는 내가 세상을 만드는 것이 아니며, 세상이 내 방정식을 따르지 않음을 명심하겠습니다.
• 나는 가치를 추산하기 위해 모형을 대담하게 사용할지언정 수학에 지나치게 감동받지는 않겠습니다.
• 나는 이유를 설명하지 않고는 우아함 때문에 현실을 결코 희생시키지 않겠습니다.
• 나는 내 모형을 사용하는 사람들이 그 정확성에 대해 거짓된 위안을 갖도록 하지 않겠습니다. 대신에 나는 모형에 이용된 가정과 간 과된 점들을 분명히 밝히겠습니다.
• 나는 내 일이 사회와 경제에 지대한 영향을 끼칠 수 있음을, 그런 영향 가운데 상당 부분이 나의 이해 수준을 능가하는 것임을 명심하겠습니다.
340-
유해한 WMD를 제거하려면, 데이터 세상에서 모범적인 관행을 구축하는 것 이상을 해야 함. 즉, 법률을 바꿔야 함.
340-
모형의 성공 여부를 따지는 현행 기준도 반드시 재평가되어야 함.
오늘날 모형의 성공은 종종 이익이나 효율성 또는 채무불이행 관점에서 측정됨.
342-
WMD를 통제하는 규제 시스템은 숨겨진 비용을 측정하는 동시에 수치로 계산되지 않는 다양한 가치를 포함할 필요가 있음.
342-
공정성과 공익은 오직 인간 머릿속에만 존재하는 개념으로 정량화하기 어려움.
그런데 모형은 인간의 손에서 탄생함.
효용성을 희생시키는 한이 있더라도 알고리즘에 인간적인 가치를 반영할 필요가 있음.
343-
무엇보다도 WMD를 무장해제 하려면 모형 영향력을 측정하고 알고리즘을 대상으로 감사(audit)를 실시해야 함.
특히 소프트웨어 코드를 파헤치기 전에 연구조사 활동부터 그것이 이루어져야 함.
3. 알고리즘을 감시하라
347-
알고리즘을 감시하자는 움직임은 이미 학계를 중심으로 확산되고 있음.
프린스턴 대학교 연구가들은 이른바 웹 투명성 및 책임성 프로젝트(Web Transparency and Accountability)를 출범시킴.
이들은 온라인 세상에서 부자, 가난한 사람, 남성, 여성, 정신질환자 등 온갖 종류인 사람으로 위장하여 활동하는 소프트웨어 로봇을 만듦.
그런 다음 로봇이 온라인 세상에서 받는 대우를 조사함으로써 검색엔진부터 구인구직 사이트에 이르기까지 자동화된 시스템에서 벌어지는 편견과 차별을 조사하고 있음.
349-
하지만 감시자들은 종종 오늘날 사회 구조물 중에서도 공공정보기관에 가장 가까워 보이는 인터넷 공룡들 저항에 부딪힘.
일례로 구글은 연구가들이 검색엔진이 가지는 편견을 조사하기 위해 가짜 프로필을 대량 유포하는 것을 금지함.
구글이 편견 검사를 한다면 가장 바람직한 방법은 내부 감사일 것임.
그러나 구글 내부자도 확증편향에 빠져 결과적으로 자신이 찾고자 하는 것만을 확인할 가능성
페이스북도 외부인이 감사 활동을 하는 것을 심각하게 제한함.
물론 실명 정책도 장점이 있음.
그러나 페이스북도 우리 모두에게 책임 있게 행동해야 함.
이는 더 많은 데이터 감시자들에게 플랫폼을 개방해야 한다는 뜻
352-
유럽 법률은 수집되는 모든 데이터가 특정 대상에 이용되기 전에 반드시 사전 동의 형태로 사용자 승인을 받도록 규정함.
사전 동의를 받지 않은 상태로 데이터를 재사용하는 것은 엄격히 금지됨.
그러나 사전 동의 조건은, 사용자에게 복잡한 법률을 읽었다는 ‘동의함’을 클릭하는 것으로 대체되는 경우가 허다함.
그렇더라도 재사용 불가조항은 매우 강력한 의미를 가짐.
이는 사용자의 데이터를 판매하는 행위를 불법화하는 조치임.
352-
신용평가점수와 e점수를 포함해 대중에게 막대한 영향을 미치는 모형은 대중에게 공개해 대중도 사용할 수 있도록 해야 함.
4. 착한 모형을 위한 새로운 여행
355-
데이터 경제는 유익할 뿐 아니라 위대한 모형이 될 수학 모형이 다수 존재함.
하버드 대학교에서 수학 박사학위를 받은 번스타인은 강제노동의 징후를 발견하겠다는 목표 아래 휴대전화, 운동화, SUV 같은 공산품을 생산하는데 필요한 부품의 거대한 공급사슬을 조사하기 위한 모형을 만듦.
비-영리기업 메이드 인 어 프리 월드(Made in a Free World)를 위해 번스타인이 개발한 일면 ‘노예 모형'은 기업들이 노예 노동력으로 만들어진 부품을 완성품에 사용하지 않도록 도움을 주는 것이 목표였음.
모형이 갖는 기본 논리는 이렇다.
기업은 노동력을 사용하는 데 반대할 것임.
이유는 자기 기업이 노예 노동력과 연결된 것이 밝혀지면 악덕 기업으로 비춰져서 브랜드 가치를 무너뜨릴 수 있기 때문
357-
공익을 위한 또 다른 모형은 사회복지 분야에서 만들어짐.
자녀 학대 가능성을 예측하는 모형
템파 주변에 있는 큰 도시인 힐즈버러 카운티에서는 모형이 적용되기 전 2년 간 어린이 아홉 명이 부모 학대로 목숨을 잃었음.
그 가운데는 자동차 창문 너머로 내던져진 아이도 있었음.
모형 개발자들은 이 사건을 포함해 아동 학대 사건 1,500건을 데이터베이스화함.
그들은 동거, 중독이나 가정폭력 기록, 어릴 적 수양 가정에서 성장한 부모 등 아동학대 가해자의 공통된 특징을 발견함.
이 모형이 갖는 목적은 부모를 처벌하는 것이 아니라 도움일 필요한 아이에게 도움을 제공하는 것이기에 잠재적인 WMD는 착한 모형으로 변신할 수 있었음.
실제 이 모형을 적용한 뒤 2년간 힐즈버러 카운티에서는 아동학대로 인한 사망자가 단 한 명도 나오지 않았음.
(2023.10.12.)
