폭력성 감지한 인공지능과 침묵한 기업, 신고 의무의 경계를 묻다
오픈AI는 시스템을 통해 한 사용자의 범죄 모의 정황을 감지하고 계정을 정지시켰지만, 이를 사법당국에 전달하지 않았다.

2026년 2월 캐나다 텀블러리지에서 발생한 총기 난사 사건은 인공지능 기술의 발전과 기업의 한정된 자체 규정 사이의 제도적 충돌을 명확히 보여준다. 알고리즘이 위험 데이터를 실시간으로 판별하는 현재, 사기업의 자체 조치를 넘어선 공공의 개입 기준 논의가 시급하다.

시스템의 폭력성 분류와 제재의 한계
2026년 2월 10일, 캐나다 텀블러리지의 한 중고등학교와 인근 주택에서 총기 난사로 10명이 사망하는 사건이 발생했다. 두 달 뒤인 4월 24일, 오픈AI의 샘 올트먼 최고경영자는 현지 언론 서한을 통해 사법당국에 해당 용의자의 계정 정보를 사전 제공하지 않은 사실을 사과했다.

수사 결과, 용의자는 범행 8개월 전인 지난해 6월 챗GPT에 폭력적인 범행 계획을 묘사한 것으로 확인되었다. 당시 오픈AI의 오용 감지 시스템(모더레이션 API)은 용의자의 대화에서 폭력성 활동을 포착했다. 시스템은 내부 정책 위반을 근거로 해당 계정을 정지했다.

인공지능 알고리즘은 텍스트의 위험성을 분류하는 기술적 기능을 정상적으로 수행했지만, 오픈AI는 이를 '신뢰할 만하고 즉각적인 위협'으로 판단하지 않아 사법기관에 통보하지 않았다.

사전 신고의 기술적 제약과 법률적 충돌
위험 데이터를 확보하고도 수사기관에 제공하지 않은 배경에는 기술적 한계와 법적 딜레마가 공존한다. 대규모 언어 모델은 텍스트의 맥락과 사용자의 실제 실행 의도를 완벽하게 분석하지 못한다.

사용자가 창작 활동을 위해 폭력적인 상황을 묘사하는 것인지, 실제 범행을 준비하는 것인지 알고리즘이 스스로 확신하여 판별하는 것은 현재 기술로 불가능하다. 인공지능 기업이 정책 위반으로 분류된 대화를 모두 사법당국에 일괄 제공한다면, 이는 다수 사용자의 일상을 광범위하게 감시하는 결과로 이어진다.

사용자의 명시적 동의 없이 대화 기록을 수사기관에 제공하는 행위는 헌법이 보장하는 프라이버시 보호 원칙과 상충한다. 오픈AI가 사법당국 신고 대신 계정 정지라는 자체 조치를 택한 것은 이러한 법률적 제약이 작용한 결과다.

제도적 공백 속, 사기업에 맡겨진 판단 기준
본질적인 문제는 치명적인 위험 판단과 외부 신고 여부가 개별 사기업의 내부 기준에 전적으로 맡겨져 있다는 점이다. 알고리즘이 심각한 수준의 폭력성을 감지했을 때 언제, 어떤 기준으로 공권력에 데이터를 제공해야 하는지 명시한 공적 가이드라인은 확립되지 않았다.

한국은 2026년 1월부터 인공지능기본법을 시행하고 있으나, 현행법의 주요 내용은 인공지능 생성물에 대한 표기 의무와 기술적 투명성 확보 등에 집중되어 있다. 인공지능이 포착한 위험 신호를 수사기관과 연계하는 절차나, 미신고 시의 법적 책임을 다루는 조항은 부재하다. 법적 제도의 빈자리를 기업의 자의적인 약관이 대체하는 AI 규제 공백 현상이 뚜렷하다.

자체 검열을 넘어선 공공의 가이드라인으로
대화형 인공지능은 다수 사용자의 일상적 텍스트를 처리하는 인프라로 자리 잡았다. 기술이 유해성 콘텐츠를 실시간으로 분류할 수 있는 능력을 갖추었음에도, 이를 사회적 대응 체계와 연계할 규범이 없다면 시스템의 효용은 기업 내부에 머물게 된다.

사기업의 자체 판단이나 알고리즘 고도화에만 공공의 안전을 맡길 수는 없다. 사용자의 프라이버시를 침해하지 않는 범위 내에서, 시스템이 치명적 위험 신호를 분류했을 때 이를 사법 기관과 연계하는 합의된 절차를 논의해야 한다. 기술 발전 속도에 부합하는 정교하고 객관적인 법적 제도를 설계할 시점이다.

[전문 용어 사전]
▪️챗GPT: 대규모 언어 모델을 활용하여 사용자의 질문에 맞춰 실시간으로 텍스트를 생성하는 오픈AI의 대화형 인공지능 서비스.

▪️모더레이션 API: 인공지능 서비스에서 혐오 표현, 자해, 폭력성 등 정책에 위배되는 유해 콘텐츠를 자동으로 식별하고 차단하는 소프트웨어 기능.

▪️프라이버시 보호: 개인의 내밀한 정보와 사생활이 타인이나 국가 기관에 의해 무단으로 수집되거나 노출되지 않도록 보장하는 법적 원칙.

▪️인공지능기본법: 인공지능 기술의 규제 및 진흥을 위해 제정된 법률로, 고위험 시스템의 기준 및 생성물 표기 의무 등을 포함하여 한국에서 2026년 1월부터 시행되었다.

▪️AI 규제 공백: 기술의 발전 속도를 법률과 제도가 따라가지 못해, 기술 활용에 따른 법적 책임 소재와 안전장치를 통제할 공적 근거가 부족한 상태.