“내 목소리로 만든 보이스피싱, 내 얼굴로 조작된 영상.”
2025년, AI 기술의 발전은 인간의 편의를 넘어 개인의 신원 자체를 위협하는 단계에 이르렀다. 최근 국내외에서 급증하는 ‘딥페이크 사기’와 ‘AI 보이스피싱’ 사건의 공통점은 명확하다. 바로 유출된 개인정보가 AI 범죄의 ‘연료’로 사용되고 있다는 점이다.

2024년은 개인정보 유출 사건이 빈번하게 발생한 해로, 2024년 한 해 동안 발생한 단일 최대 개인정보 유출 건수는 135만 건에 달한 것으로 집계되었다. 금융권, 병원, 공공기관까지 광범위하게 피해가 확산되고 있으며, 유출된 정보는 범죄조직의 AI 시스템 학습 데이터로 흡수되고 있다.

① 유출된 개인정보, 인공지능의 학습 재료로 전락하다

개인정보 유출은 과거에는 단순한 스팸 문자나 계정 해킹 수준의 피해로 인식됐다. 그러나 최근에는 상황이 완전히 달라졌다. AI 학습 모델이 인터넷상의 이미지와 음성 데이터를 대량으로 학습하면서, 유출된 개인정보가 그대로 AI 범죄에 활용되고 있는 것이다.

예를 들어 범죄자들은 SNS에서 수집한 사진과 음성을 합성해 딥페이크 영상을 제작한다. 이를 통해 지인을 속이거나 기업의 보안 시스템을 우회한다.

AI 기업들은 개인정보 보호를 위해 ‘비식별화’ 기술을 도입하고 있다고 주장하지만, 전문가들은 “이미 유출된 데이터는 비식별화 이전에 학습에 쓰였을 가능성이 높다”고 지적한다. 또한, “AI가 학습한 데이터의 출처를 추적하는 것은 거의 불가능하다”며 “유출된 정보가 딥페이크 영상이나 보이스피싱에 사용되더라도 법적 책임을 묻기 어렵다”고 밝혔다.

② 기술 진화보다 빠른 범죄… 보안체계는 여전히 구멍 투성이

문제는 기술의 발전 속도가 보안 대응 체계보다 훨씬 빠르다는 점이다. AI 보이스피싱의 경우, 피해자 본인의 목소리를 딥러닝 모델로 모방해 가족이나 회사 상사로 가장하는 사례가 급증하고 있다. 

실제로 2025년 상반기 경찰청이 발표한 자료에 따르면, 보이스피싱 발생 건수는 5,878건으로, 전년 동기 대비 약 17% 증가했다. 피해액은 총 3,116억원으로 놀랍게도 작년 같은 기간 대비 2.2배나 늘었다.

기업과 공공기관의 클라우드 전환 속도가 빨라지면서 보안 관리 부실로 인한 2차 유출도 이어지고 있다. 2024년 말에는 한 대형 통신사의 고객정보 300만 건이 외부 AI 학습 서버에 저장된 사실이 드러나 논란이 됐다.

전문가들은 “보안은 기술보다 제도가 먼저 변해야 한다”고 입을 모은다. AI 기술을 악용한 범죄는 단순히 IT 부서의 문제가 아니라, 국가 차원의 데이터 관리 체계 구축과 개인정보보호법 개정이 병행돼야 한다는 것이다.

 ‘보안’이 아닌 ‘데이터 인권’의 문제로 접근해야

이제 개인정보 유출은 단순한 보안 사고가 아니라, 인공지능 시대의 ‘데이터 인권’ 침해로 인식해야 한다. 딥페이크와 AI 보이스피싱은 한 개인의 목소리, 얼굴, 행동 데이터를 상품처럼 거래하고, 이를 기반으로 범죄를 자동화하는 새로운 범죄 생태계를 만들고 있다.

정부는 2025년 들어 ‘AI 데이터 윤리 가이드라인’을 강화하고 있지만, 실질적인 피해 구제와 사후 대응은 여전히 부족하다. 보안 기술보다 중요한 것은 국민의 데이터 주권을 지키는 법·제도적 장치다. 유출된 정보를 삭제할 권리, AI 학습에 내 데이터를 사용하지 않을 권리, 데이터 이동 경로를 확인할 수 있는 ‘데이터 투명권’이 앞으로의 핵심 과제가 될 것이다.

AI는 인간을 모방할 수는 있지만, 인간의 신뢰를 복제할 수는 없다. 그 신뢰를 지키는 출발점은 개인정보 보호다. 이는 기술보다 더 강력한 사회적 합의의 문제다.