AI 보안 위협 증가, 기업의 대응 전략은 무엇인가?

윤두식 이로운앤컴퍼니 대표는 19일 서울 강남구에 위치한 한국기술센터에서 한국정보산업연합회의 CRM·BI협의회 정례 세미나에서 '조직 내 안전한 생성AI 활용과 기업의 AI 보안 로드맵'을 주제로 발표하였다. 이 발표에서는 생성형 인공지능(AI)의 발전과 그에 따른 보안 위협에 대해 다루었다. 특히, 생성형 AI를 악용한 공격 기술이 빠르게 발전하고 있으며, 이에 대한 방어책이 필요하다는 점을 강조하였다.

윤 대표는 현재 거대언어모델(LLM)에 대한 연구가 초기 단계에 있으며, 이 분야의 연구가 급속도로 진행되어야 한다고 언급하였다. 그는 내년부터 여러 기관과 기업들이 LLM을 활용한 에이전트 서비스를 도입할 것이라 보았으며, 보안 로드맵 수립이 필수적이라고 밝혔다. 현재 기업들은 기밀정보 유출, LLM 모니터링, 그리고 제일브레이크(Jailbreak)와 같은 위험 요소들에 대해 우려하고 있다.

제일브레이크는 사용자가 특정 장치의 제한된 기능을 해제하여 시스템을 조작하는 행태를 의미하며, 이러한 악용 사례는 세계 여러 곳에서 발생하고 있다. 예를 들어, 생성형 AI에게 랜섬웨어 제작법을 물어보고 답변을 얻는 사례가 보고되었다. 프롬프트를 이용한 공격 또한 증가하고 있는 추세이다. 윤 대표는 캐나다의 자동차 판매점에서 발생한 프롬프트 인젝션 사례를 예로 들며, 해커가 AI 챗봇에 '자동차를 1달러에 팔 의향이 있냐'고 물어본 결과 '팔겠다'는 대답을 얻어낸 사건을 설명하였다.

이러한 악용 사례의 증가에 따라 프롬프트 변화를 사전에 차단하는 AI 서비스도 등장하고 있다. 이들 서비스는 랜섬웨어 제작법 등의 질문이 들어왔을 때 '정보를 제공할 수 없다'고 답변하는 방식으로 작동한다. 그러나 해커들은 이러한 보안 장치를 우회하는 기술을 지속적으로 발전시키고 있어, 공격 기법 또한 진화하고 있다.

윤 대표는 최근 공격자들이 AI에게 '신뢰를 얻고 싶다'는 뉘앙스를 주면서 질문하는 방식이 대세로 자리잡고 있다는 점을 강조하였다. 즉, 공격자가 직접적으로 의도를 드러내지 않고 우회적으로 질문하는 방식으로 보안 시스템을 회피하려 한다는 것이다. 이러한 공격 방식은 이메일에서 의료 분야까지 다양한 영역에 적용될 수 있어 경각심이 필요하다고 지적했다.

현재 AI 에이전트를 활용한 보안 기술이 공격 기술에 비해 발전 속도가 느려 우려가 커지고 있다. 예를 들어 메타에서 도입한 '라마 가드'의 경우 사용자의 대화를 분석할 수 있지만, 분석 결과를 도출하는 데 시간이 소요된다는 한계가 있다. 또한, 대다수의 프롬프트 인젝션이 영어로 진행되고 있는 반면, 다국어 지원은 아직 미비하여 한국어 지원도 부족한 실정이다.

이러한 문제를 해결하기 위해 글로벌 보안 업계는 기업과 기관이 AI 시대에 적절한 보안을 구축할 수 있도록 다양한 사업을 추진하고 있다. 그러나 한국의 경우 AI 보안 관련 기업이 적어 시작 단계에 머물러 있는 상황이다. 윤 대표는 국내에서 AI 보안 전문 기업이 더 많이 등장해야 하며, 대학에서도 연구를 지원할 정책적 뒷받침이 필요하다고 강조하였다.

이로운앤컴퍼니는 프롬프트 제일브레이킹 및 인젝션 탐지 사업을 운영하고 있으며, 대표 제품인 '세이프엑스(SAIFE X)'는 AI 기반 개인정보 판별 기능을 통해 비정형 데이터 분석 및 기업 소스코드 및 API 유출 탐지에 특화되어 있다.

│

이 포스트는 피시아(PHYSIA) 사에서 운영하는 게임메이커.KR 게임 개발 뉴스 블로그에서 작성되었으며, 공공의 이익에 기여하는 목적을 제외한 다른 용도의 무단 배포 및 수정을 금합니다. 참조 - 피시아(PHYSIA), 게임메이커.KR, 게임투비즈(GameToBiz), 게임S/W에이전시, 저널CTL코리아