고영향 AI, 판정은 누가 하나 — 지원데스크도 대신 정해주지 않는다
AI기본법 이후 기업이 가장 많이 놓치는 질문은 "우리가 법 적용 대상인가"가 아니라 "우리가 쓰는 이 AI가 고영향인가"다. 대상 여부는 대부분 회사가 이미 안다. 문제는 그다음이다 — 사내에서 쓰는 AI 시스템 하나하나가 법이 말하는 '고영향 AI'에 해당하는지는, 회사가 스스로 판정해야 한다.
정부는 판정해주지 않는다
과학기술정보통신부와 전문기관이 운영하는 지원데스크에서 무료 상담을 받을 수는 있다. 그런데 이 상담은 안내이지 판정이 아니다. 우리 회사의 특정 AI 시스템이 고영향 AI에 해당하는지 최종적으로 정하는 책임은 회사 자신에게 있다. "물어봤으니 됐다"는 접근이 통하지 않는 이유다.
판정 3단계
실무에서 쓸 수 있는 자가진단 흐름은 세 단계로 정리된다.
- 법정 10대 영역에 해당하는가. 채용·신용평가·의료·보험 심사처럼 사람의 권리·의무에 큰 영향을 미치는 영역으로 법이 이미 열거해 둔 범주다. 이 범주 밖이면 고영향 AI 논의 자체가 성립하지 않는다.
- 그 AI가 결과를 실질적으로 좌우하는가. 참고 자료 수준으로 쓰이는 AI와, 결과가 사실상 그대로 채택되는 AI는 다르게 취급된다.
- 판단 과정이 문서로 남아 있는가. 어떤 데이터로 어떤 기준을 적용했는지가 기록돼 있지 않으면, 뒤에서 사람이 개입했다는 주장 자체를 증명할 방법이 없다.
계도기간은 면제가 아니다. 계도기간이 유예하는 것은 제재이지, 위험관리방안을 수립하고 운영해야 하는 절차 자체가 아니다. 판정을 미루는 동안에도 의무는 이미 진행 중이라는 뜻이다.
"최종 결정은 사람이 한다"는 항변, 언제 성립하는가
많은 조직이 여기서 안도한다. "AI는 초안만 내고, 최종 승인은 사람이 하니까 우리는 대상이 아니다"는 논리다. 그런데 이 항변이 성립하려면 사람이 그 결과를 실질적으로 검토하고, 필요하면 뒤집을 수 있는 구조여야 한다. 화면에 뜬 결과에 승인 버튼만 누르는 구조라면, 형식상 사람이 마지막에 있어도 실질적인 판단 주체는 AI로 본다.
정책 인과지도를 분석하는 작업을 하며 반복해서 확인한 패턴이 있다. 제도는 부작용이 표면화된 뒤에야 따라오고, 그 전까지는 인식의 공백이 실무 리스크로 남는다. 이 자가판정 흐름을 구조화해 정리하는 방법은 『조용한 침식』을 쓰며 다듬은 인터뷰·문서 대조 방식에서 그대로 가져왔다.
어디서부터 시작할 것인가
해결의 첫 단계는 거창하지 않다. 사내에서 쓰는 AI 시스템을 전부 나열하고, 각각에 대해 "이 결과를 사람이 실제로 뒤집은 적이 있는가"를 한 줄로 기록하는 것부터다. 이 한 줄이 비어 있는 시스템일수록, 위 3단계 판정에서 고영향으로 분류될 가능성이 높다.
Q. 고영향 AI인지 어떻게 판정하나요?
A. 3단계로 스스로 확인해야 한다. ①법정 10대 영역 해당 여부 ②AI가 결과를 최종적으로 좌우하는지 ③판단 과정의 문서화 여부. 정부나 지원데스크가 대신 판정해 주지 않는다.
Q. 계도기간이니 지금 당장 안 해도 되지 않나요?
A. 계도기간이 유예하는 것은 제재이지 사전 검토 의무가 아니다. 고영향 AI로 판단되면 위험관리방안 수립·운영 절차는 계도기간 중에도 이미 요구된다.
Q. "최종 결정은 사람이 한다"고 하면 고영향 AI에서 빠지나요?
A. 빠지지 않는다. 사람이 결과를 실질적으로 검토·번복할 수 있는 구조여야 항변이 성립한다. 승인 버튼만 누르는 구조라면 판단 주체는 여전히 AI로 본다.
조직이 쓰는 AI 시스템 목록 중, 사람이 결과를 실제로 뒤집은 사례는 몇 건이나 되는가.