AI 기반 범죄 탐지 시스템의 신뢰성 문제 – 정의를 위협하는 알고리즘

1. 범죄를 예측하는 시대, AI가 정의를 판단한다면

오늘날 범죄 예방과 수사는 점점 더 기술 중심으로 전환되고 있다.
CCTV, 지문 인식, DNA 분석 같은 과학적 수사 기법은
AI 기술과 결합되면서 새로운 국면을 맞이했다.
AI는 이제 단순한 증거 분석을 넘어서
범죄를 ‘예측’하고 ‘선별’하며,
심지어는 잠재적 범죄자를 식별하려는 시도에까지 동원되고 있다.

예를 들어, 미국 시카고의 ‘히트 리스트(Heat List)’ 프로그램은
AI 알고리즘을 통해 도시 내에서 범죄를 저지를 가능성이 높은 사람들을
우선 감시 대상으로 분류했다.
또한 경찰 순찰을 ‘예측 범죄 지역’에 집중 배치하여
범죄 발생률을 낮추려는 시도도 이어졌다.
이와 유사한 AI 범죄 예측 시스템은
영국, 독일, 중국, 싱가포르 등에서도 도입되었고,
얼굴 인식과 행동 분석, 위치 기반 데이터 수집 등이 결합된
‘스마트 치안’ 체계로 확장되고 있다.

그러나 문제는 여기서 시작된다.
AI는 객관적인 도구가 아니라,
사람이 만든 데이터에 의해 학습된 ‘편향된 모델’일 수 있다는 사실이다.
예측이란 결국 과거의 데이터를 기반으로 미래를 추론하는 행위다.
그렇다면 과거의 데이터가 특정 인종, 계층, 지역에 대해
편향된 수사 이력을 포함하고 있다면,
AI는 그 편향을 그대로 강화하고 재생산하게 된다.

이처럼 범죄 탐지의 정밀성과 자동화는
정의의 공정성이라는 가치와 충돌할 수 있으며,
우리는 지금 ‘기술이 판단한 정의’를
무비판적으로 수용하고 있는지도 모른다.

 

2. 알고리즘의 편향과 차별 – 신뢰를 해치는 구조적 위험

AI 기반 범죄 탐지 시스템의 가장 큰 위험은
알고리즘이 ‘무오류의 판단자’로 여겨지는 사회적 착각이다.
AI는 통계적 연관성을 기반으로 판단을 내리지만,
이는 인과관계와는 전혀 다르다.
예를 들어, 특정 지역의 범죄율이 높다고 해서
그곳에 사는 모든 사람이 범죄자가 될 확률이 높다고 단정할 수는 없다.
그러나 AI는 과거 데이터에서
‘그 지역에서 범죄가 많이 발생했다’는 기록만으로
그 지역 주민 전체를 고위험군으로 분류할 수 있다.

실제로 미국의 COMPAS 시스템(형사사법 예측 알고리즘)은
피고인의 재범 가능성을 예측하는 데 사용되었으나,
그 알고리즘이 흑인에게 불리한 판단을 더 많이 내린다는 결과가
공익 언론 ‘ProPublica’의 분석을 통해 밝혀졌다.
같은 범죄 전력과 배경을 가진 백인보다
흑인이 ‘재범 가능성 높음’ 판정을 받을 확률이 2배 이상 높았던 것이다.
이러한 현상은 알고리즘이
기존 사회의 구조적 차별을 그대로 반영하거나,
오히려 그 차별을 강화하는 방향으로 작동하고 있음을 보여준다.

AI 시스템은 ‘중립적’이라는 오해는
기술이 인간보다 더 공정하게 판단할 것이라는 기대에서 비롯된다.
그러나 AI가 학습하는 데이터는
경찰의 수사 패턴, 판사의 판결 기록, 사회적 통념,
미디어 보도 등을 기반으로 구성되기 때문에
이미 편향된 세계관이 내재되어 있는 경우가 많다.
결국, AI는 인간의 선입견과 차별을 더욱 정밀하게 반복하는
‘편견의 증폭기’가 될 수 있다.

이와 같은 알고리즘 편향은 단순히 잘못된 판단으로 끝나지 않는다.
AI의 판단은 공식적인 수사, 체포, 구금, 보석 심사,
심지어 형량 판단까지 영향을 줄 수 있는 법적 결정의 근거가 되며,
이로 인해 한 개인의 인권과 자유는 쉽게 침해될 수 있다.

3. 투명하지 않은 블랙박스 – 신뢰를 가로막는 불투명성

AI 기반 범죄 탐지 시스템은 대체로 **‘블랙박스 모델’**로 작동한다.
즉, 입력된 데이터가 어떤 과정을 거쳐 결과를 도출했는지
외부에서 명확하게 이해하거나 해석할 수 없는 구조다.
이는 법적, 사회적으로 심각한 문제를 야기한다.
어떤 사람이 왜 ‘고위험군’으로 분류되었는지 설명할 수 없다면,
그 판단을 받아들일 이유도, 반박할 방법도 존재하지 않는다.

특히 범죄 탐지 시스템은 ‘설명 가능성(Explainability)’이 핵심이다.
사법 제도는 ‘이유 있는 판단’을 요구하며,
모든 결정에는 그에 대한 설명이 따라야 한다.
하지만 딥러닝 기반 AI는
수백만 개의 변수와 가중치에 의해 결과를 도출하기 때문에
인간이 이해할 수 없는 방식으로 결론을 내리기도 한다.
이 경우, AI의 판단은 무조건적으로 받아들여질 수밖에 없으며,
시민의 권리 침해는 ‘설명되지 않는 방식’으로 정당화된다.

또한, 대부분의 범죄 예측 시스템은
상업적 기업이 개발하고, 운영한다는 점에서
그 알고리즘의 설계 방식과 데이터 출처가 비공개로 유지되기도 한다.
이는 공공 시스템이 사적인 논리에 의해
불투명하게 작동할 수 있다는 것을 의미하며,
정의 구현의 핵심인 ‘공개성과 책임성’을 저해하는 요인이 된다.

이러한 불투명성은 피해자에게만 불이익을 주는 것이 아니다.
경찰과 판사 등 수사기관 및 사법 시스템 구성원 역시
AI의 판단에 의존하게 되면서
자신의 직무 판단을 기계에 ‘위탁’하는 구조로 바뀔 수 있다.
결국, 사람이 책임지는 것이 아니라
기계가 판단한 결과에 따라 책임을 회피하는 시스템이 만들어질 위험이 존재한다.

4. AI 범죄 탐지의 미래 – 공정성과 신뢰를 위한 제언

AI 기술을 수사와 범죄 탐지에 활용하는 것은
분명 효율성과 정확성 면에서 많은 이점을 준다.
그러나 그러한 기술적 가능성만으로
‘신뢰할 수 있는 정의’를 구현할 수 있는 것은 아니다.
AI가 범죄를 탐지하는 데 쓰일수록
우리는 더 정교한 윤리적, 법적, 기술적 장치를 함께 마련해야 한다.

첫째, 모든 AI 기반 범죄 탐지 시스템은
**설명 가능성(Explainability)**을 확보해야 한다.
모델이 어떻게 판단을 내렸는지,
어떤 데이터를 어떤 기준으로 사용했는지에 대한
명확한 설명 구조가 있어야 하며,
사용자는 그 판단에 대해 ‘이의 제기’를 할 수 있어야 한다.
이는 단지 기술의 문제가 아니라
기본적인 시민의 권리를 보장하는 문제다.

둘째, 데이터의 편향 제거를 위한 철저한 검증 절차가 필요하다.
모든 알고리즘은 학습 데이터의 질에 따라
결과가 달라진다.
따라서 수사 이력, 판결문, 인구통계 정보 등이
인종, 성별, 계층에 따라 왜곡되었는지 여부를
정기적으로 점검하고, 독립적인 감시 기구가
이를 검토할 수 있어야 한다.

셋째, 공공성과 투명성 확보를 위한 법적 장치가 마련되어야 한다.
사법기관이 사용하는 AI 시스템은
그 알고리즘의 설계 구조, 의사결정 방식, 데이터 사용 이력 등을
공개하고, 시민에게 설명할 의무가 있다.
또한, 상업적 기업이 개발한 시스템이라도
공공목적에 사용된다면 일정 수준의 공개성을 확보해야 하며,
그 책임 소재를 분명히 해야 한다.

마지막으로, 우리는 AI를 범죄 예방의 수단으로만 보지 말고
사회 구조적 불평등을 교정하는 도구로 발전시켜야 한다.
AI는 범죄를 예측하는 데 그치지 않고
범죄 발생 원인을 분석하고,
사회적 약자를 보호하는 방향으로 설계되어야 한다.
예를 들어, 지역 간 교육 격차, 주거 환경,
청소년 돌봄 시스템 부족 등을
AI가 조기에 감지하고 정책 개입을 유도할 수 있다면
그 기술은 진정한 예방의 의미를 가지게 될 것이다.