생성AI 시대, 기업 보안의 새로운 도전과 기회

윤두식 이로운앤컴퍼니 대표가 19일 서울 강남구 한국기술센터에서 열린 한국정보산업연합회 CRM·BI협의회 정례 세미나에서 '조직 내 안전한 생성AI 활용과 기업의 AI 보안 로드맵'을 주제로 발표했다. 그는 생성형 인공지능(AI) 시대에 접어들면서 이러한 기술을 악용한 공격 기법이 발전하고 있다고 지적하였다. 특히, 프롬프트 입력만으로 취약점을 찾아내는 우회 기법이 더욱 진화하고 있어, 보안을 강화하는 기술 연구가 필요하다고 강조했다.

윤 대표는 현재의 거대언어모델(LLM)이 초기 단계에 있다는 점을 언급하며, LLM을 활용한 에이전트 서비스가 내년부터 기관 및 기업에서 활발히 도입될 것으로 예상되므로 그에 대한 보안 로드맵이 필수적이라고 밝혔다. 그는 기관과 기업이 생성형 AI 도입 시 기밀정보 유출, LLM 모니터링, 제일브레이크(Jailbreak)와 같은 문제를 우려하고 있다고 설명했다.

제일브레이크는 제한된 기능과 가이드를 해제하여 사용자가 원하는 대로 조작할 수 있도록 하는 행위로, 이와 같은 악용 사례가 세계 각지에서 발생하고 있다고 했다. 특히, 생성형 AI 서비스에 랜섬웨어 제작법을 묻는 사례가 나타나며, 프롬프트 인젝션 사례도 급증하고 있다. 윤 대표는 캐나다 자동차 판매점 왓슨빌의 사례를 들어 해커가 AI 챗봇에 특정 질문을 던져 의도한 답변을 얻은 사례를 설명했다.

이런 공격 기법의 발전에 대응하기 위해, 일부 AI 서비스에서는 프롬프트 변화를 사전 차단하는 기능이 도입되고 있다. 그러나 해커들이 이러한 방어를 우회하는 방법을 계속해서 개발하고 있어, 악용 사례는 지속적으로 진화하고 있다고 경고했다. 윤 대표는 공격자들이 AI와의 신뢰 관계를 조성하는 방식으로 질문을 하며 보안 장치를 낮추고 있다는 점을 강조했다.

이러한 공격 기법은 이메일 통신에서부터 의료와 같은 대규모 산업에 이르기까지 광범위하게 적용될 가능성이 있어 주의가 필요하다. 그러나 이를 방어할 보안 기술은 진화 속도를 따라가지 못하고 있는 상황이다. 메타의 '라마 가드'와 같은 기술이 사용자 대화와 답변을 분석할 수 있지만, 분석 결과가 나오는 데 시간이 소요되는 단점이 있다. 또한, 다양한 언어 지원에도 한계가 있어, 대부분의 프롬프트 인젝션 공격이 영어로 이루어지는 점도 지적했다.

윤 대표는 국내 AI 보안 시장이 아직 초기 단계인 만큼, 기업과 기관들이 AI 기술 시대에 맞는 보안을 구축할 수 있도록 더 많은 노력이 필요하다고 주장했다. 그는 대학에서 AI 관련 연구를 이어갈 수 있도록 정책적 지원이 중요하다고 덧붙였다. 이로운앤컴퍼니는 프롬프트 제일브레이킹 및 인젝션을 탐지하는 사업을 운영하며, 대표 제품인 '세이프엑스(SAIFE X)'는 AI 기반으로 개인정보를 판별하고 비정형 데이터를 분석하는 등 기업의 보안 강화를 목표로 하고 있다.

│

이 포스트는 피시아(PHYSIA) 사에서 운영하는 게임메이커.KR 게임 개발 뉴스 블로그에서 작성되었으며, 공공의 이익에 기여하는 목적을 제외한 다른 용도의 무단 배포 및 수정을 금합니다. 참조 - 피시아(PHYSIA), 게임메이커.KR, 게임투비즈(GameToBiz), 게임S/W에이전시, 저널CTL코리아