최근 마이크로소프트 코파일럿 챗 사용 중 작성 중인 메일이나 보낸 메일함의 기밀 내용이 AI에 의해 요약되는 보안 사고가 발생했습니다. 기업용 협업 툴로서 안전성을 강조해온 만큼 이번 사태는 많은 사용자에게 상당한 충격을 주고 있습니다. 마이크로소프트는 즉각적인 업데이트로 문제를 해결했다고 밝혔으나 기업 데이터 보안에 대한 우려는 여전히 남은 상태입니다.
코파일럿 챗 보안 사고는 왜 발생했을까
이번 보안 이슈의 핵심은 마이크로소프트 365 코파일럿 챗이 사용자의 의도와 다르게 민감한 경로에 접근했다는 점입니다. 구체적으로는 아웃룩 데스크톱 버전의 임시 저장함과 보낸 편지함에 보관된 메시지들을 AI가 스캔하여 요약본을 생성하는 과정에서 발생했습니다.
조사 결과에 따르면 이는 단순한 설정 오류가 아닌 코드 수준의 결함으로 밝혀졌습니다. 마이크로소프트는 다음과 같은 상황에서 문제가 발생했음을 인정했습니다.
- 사용자가 직접 작성하여 저장한 이메일 초안 접근
- 이미 발송이 완료되어 보관된 메일함의 데이터 처리
- 기밀 레이블이 적용된 문서에 대한 예외적 접근
영국 NHS 등 주요 기관의 IT 지원 대시보드에서도 해당 버그가 공유되었으며 기업 데이터 보호 정책이 설정되어 있음에도 불구하고 AI가 이를 우회하여 정보를 처리한 것이 문제의 발단이었습니다.
마이크로소프트 365의 데이터 유출 범위
이번 사고에서 가장 우려되는 부분은 보안 레이블이 지정된 콘텐츠조차 보호받지 못했다는 사실입니다. 데이터 손실 방지 정책이 구성되어 있었음에도 불구하고 코파일럿의 워크 탭 기능이 해당 메시지들을 분석 대상으로 삼았습니다.
데이터 유출과 관련하여 확인된 주요 내용은 다음과 같습니다.
- 권한이 없는 외부로 데이터가 유출되지는 않았음
- 동일 조직 내에서 작성자 본인에게 요약 정보가 노출됨
- 하지만 의도치 않은 데이터 처리가 이루어졌다는 점이 핵심
비록 환자 정보나 외부 기밀이 타인에게 노출된 사례는 아직 보고되지 않았지만 AI가 기업 내부의 보호된 구역을 임의로 넘나들 수 있다는 가능성을 보여준 사례입니다.
기업용 코파일럿 보안 설정을 강화하는 방법
마이크로소프트는 전 세계 기업 고객을 대상으로 구성 업데이트를 배포하여 해당 문제를 수정했습니다. 하지만 향후 유사한 사고를 방지하기 위해서는 기업 차원에서의 선제적인 보안 관리가 필수적입니다.
안전한 사용을 위해 다음 3가지 단계를 실행해 보세요.
- 민감도 레이블 및 권한 재점검: 코파일럿이 접근할 수 있는 데이터의 범위를 다시 한번 정의하고 레이블링 정책이 최신 버전인지 확인해야 합니다.
- AI 전용 DLP 정책 적용: 생성형 AI 도구가 데이터를 처리할 때 예외 상황이 발생하지 않도록 전용 데이터 보호 규칙을 수립하는 것이 좋습니다.
- 사용자 교육 및 모니터링: AI가 생성한 요약 정보에 기밀 내용이 포함되어 있는지 사용자가 스스로 인지하고 보고할 수 있는 프로세스를 구축해야 합니다.
실제로 많은 조직이 AI 기능을 도입할 때 기본 설정에만 의존하는 경향이 있는데 이는 잠재적인 보안 구멍을 방치하는 결과를 초래할 수 있습니다.
AI 도입 시 반드시 체크해야 할 보안 거버넌스
새로운 기술이 출시되는 속도가 워낙 빠르다 보니 기업의 거버넌스가 기술의 발전 속도를 따라가지 못하는 경우가 많습니다. 가트너의 분석가들은 이러한 실수가 생성형 AI 환경에서는 피할 수 없는 과정이라고 지적하기도 합니다.
보안 거버넌스 수립 시 아래 항목을 반드시 고려해야 합니다.
- 데이터 격리 수준 확인: AI 모델이 기업 내부 데이터를 학습에 사용하는지 아니면 단순 처리만 하는지 명확히 구분해야 합니다.
- 옵트인 방식 검토: 새로운 AI 기능이 추가될 때 자동으로 활성화되기보다 관리자가 확인 후 승인하는 방식을 채택하는 것이 안전합니다.
- 실시간 업데이트 관리: 마이크로소프트와 같은 서비스 제공자가 배포하는 보안 패치가 즉각적으로 적용되는 환경을 유지해야 합니다.
전문가들은 AI 경쟁이 치열해질수록 속도를 중시하는 풍토 때문에 보안 검증이 소홀해질 수 있음을 경고하고 있습니다.
생성형 AI의 필연적인 버그와 잠재적 위험
서리 대학교의 보안 전문가 앨런 우드워드 교수는 이러한 도구들에서 버그가 발생하는 것은 필연적이라고 강조합니다. 기술이 한계 속도로 발전하고 있기 때문에 의도하지 않은 데이터 누출은 언제든 일어날 수 있다는 것입니다.
현재 AI 시장의 분위기는 다음과 같은 특징을 보입니다.
- 근거 없는 기대감으로 인한 과도한 도입 압박
- 거버넌스 체계가 잡히기 전에 기능부터 활성화하는 성급함
- 복잡한 코드 구조로 인해 발생하는 예측 불가능한 오류
결국 기술을 사용하는 주체인 기업과 개인이 AI를 완벽하게 신뢰하기보다는 보조적인 도구로 인식하고 항상 데이터 처리 과정을 감시하는 태도가 필요합니다.
안전한 AI 업무 환경을 위한 기업의 과제
마치며 정리하자면 이번 마이크로소프트 코파일럿 챗 보안 사고는 우리에게 중요한 교훈을 남겼습니다. 강력한 보안 정책을 가진 대기업의 툴이라 하더라도 완벽할 수는 없으며 지속적인 관심과 관리가 뒷받침되어야 한다는 사실입니다.
단순히 편리함에 매몰되어 소중한 기업 자산인 데이터를 위험에 빠뜨려서는 안 됩니다. 지금 바로 사내 AI 활용 가이드를 점검하고 최신 업데이트 상태를 확인하여 안전하고 효율적인 업무 환경을 만들어 가시길 바랍니다.
출처: https://www.bbc.com/news/articles/c8jxevd8mdyo
이어서 보면 좋은 글
#마이크로소프트 #코파일럿챗 #AI보안 #데이터유출 #마이크로소프트365 #생성형AI #보안사고 #기업보안 #IT트렌드 #사이버보안