박진석 금융보안원 디지털전략본부장, 두 얼굴의 AI, 안전성 확보가 전제조건

금융산업은 디지털 전환(이하 DX : Digital Transformation) 시대를 넘어 금융산업의 패러다임을 근본적으로 변화시킬 인공지능 전환(이하 AX: AI Transformation) 시대로 진입하고 있다. AX는 인간의 지적 능력을 확장하여 인간의 개입 없이 스스로 학습하고 진화하는 AI를 통해 기존의 금융산업 구조와 프로세스를 근본적으로 재편성하여 전례 없는 수준의 변화와 가치를 창출할 것이다.

JP모건 CEO인 제이미 다이먼은 AI가 금융서비스의 모든 측면을 혁신할 잠재력을 가지고 있으며, AI 이용이 고객 서비스 향상, 리스크 관리 강화, 그리고 운영 효율성 증대로 이어질 것이라고 강조한 바 있다.

AX는 금융의 전 분야에 걸쳐 이루어지고 있다. 미국 주요 은행들의 금융범죄 차단을 위한 AI 기반 시스템 도입 비율은 `22년 34%에서 `23년 71%로 크게 증가하였고, JP모건 체이스는 AI 기반 가상 비서를 도입하여 고객 문의를 실시간으로 처리하고 복잡한 금융 업무를 지원함으로써 업무 효율성을 크게 높였다. 국내 금융산업 역시 신용평가나 맞춤형 상품제공 업무에 AI를 활용하고 있고, 자금세탁 방지 및 사기 탐지, 챗봇이나 투자보고서 생성 등으로 AI 활용 업무 영역을 지속적으로 확장해 나가고 있다.
AI는 로마신화에 등장하는 야누스(Janus)처럼 두 얼굴을 가지고 있다. AI는 금융산업이 직면하고 있는 다양한 문제를 해결할 수 있는 희망의 얼굴과 금융산업에 심각한 피해와 재앙을 부를 수 있는 절망의 얼굴을 함께 가지고 있다.

미국 국무부의 의뢰를 받아 작성된 글래드스톤의 AI 보고서는 AI의 무기화(weaponization)를 통해 생화학 및 사이버 전쟁을 설계하고 실행하는 데 사용될 수 있으며, 일반인공지능(Artificial General Intelligence, AGI)이 개발되고 AI가 인간의 통제를 벗어나게 되면 인류에게 예측 불가한 방식으로 최악의 경우 인류 멸종 수준의 재앙적 결과를 초래할 수 있다고 경고하고 있다.

이미 금융산업을 대상으로 AI 기술을 활용한 사이버 위협과 공격이 현실화하고 있다. 공격자들은 AI 기술을 활용하여 더욱 신속하게 금융시스템과 금융서비스의 보안 취약점을 찾아내고 정교한 악성 소프트웨어를 개발하고 있으며, 생성형 AI를 활용하여 피싱 메일과 같은 공격 수단을 더욱 빠르고 정교하게 만들어 내고 있다.

금융산업의 AI에 대한 관심과 투자가 크게 증가하고 있는 지금이 바로 AX에 따른 발생 가능한 위험성을 면밀하게 평가ㆍ분석하고, 선제적으로 대비하여 최고의 AI 안전성(AI Safety)를 확보할 수 있는 중요한 시점이다.

AI 기술 도입 시 효과성과 위험성을 종합적으로 평가ㆍ분석하기 위해서는 단기적 효과뿐만 아니라 윤리적 가치와 규제 준수 관점에서 투명성ㆍ편향성ㆍ책임성ㆍ공정성 등 다양한 특성에 따른 장기적 결과를 균형 있게 고려하여야 하고, AI 기획ㆍ설계ㆍ개발ㆍ운영 등 전 과정에서 효과성을 높이고 위험성을 완화할 수 있는 전사적 AI 거버넌스 체계를 마련할 필요가 있다.
금융보안원은 AX를 통해 금융산업이 고부가가치를 창출하고 시장 경쟁력을 제고할 수 있도록 다양한 지원 활동을 수행하고 있다. 이를 통해 AI 기술 활용 활성화에 따른 금융산업의 신뢰를 확보하고 금융산업에서 안전하고 혁신적이면서 포용적인 AI 기술 활용이 가능할 것으로 기대한다.

첫째, 금융산업이 AI 시스템을 안전하게 활용하고 AI 모델 및 데이터에 대한 침해를 방지할 수 있도록 금융분야 AI 보안 가이드라인을 발간ㆍ배포하여 AI 기술 도입ㆍ운영 과정에서 발생할 수 있는 보안 위협을 예방ㆍ관리할 수 있는 구체적인 방안을 제공하였다.

둘째, AI 모델의 취약점을 서비스 전에 미리 발견하고 조치함으로써 악의적인 공격으로부터 AI 시스템을 보호할 수 있도록 금융분야 AI 모델에 대한 보안성 검증체계를 구축하여 운영하고 있다.

셋째, 금융산업에서 AI 기술을 활용한 의사결정의 투명성을 확보하기 위해 설명 가능한 인공지능(XAI) 안내서 발간을 진행하고 있고, AI 언어모델의 금융보안 이해도를 측정할 수 있도록 금융보안 이해도 측정 지표(FSKU, Financial Security Knowledge Understanding)를 개발하고 있다.
넷째, 금융산업에서 비대면 방식의 디지털금융 확산에 따른 부정거래ㆍ보이스피싱 같은 사기ㆍ사고 예방이 중요하다. 민감한 개인정보를 보호하면서도 AI 모델 개발을 지원하기 위해 실제 데이터와 유사한 가상의 합성 데이터를 생성하고 합성 데이터 생성 도구를 제작하여 배포할 계획이다.

다섯째, 연합학습 기술을 활용하여 개별 금융회사의 거래 데이터는 공유하지 않고 개별 금융회사가 개발한 AI 모델만 공유하여, 데이터 유출 위험을 최소화하고 더욱 높은 성능의 공동 AI 모델을 개발하여 개별 금융회사에 제공할 계획이다.

금융보안원은 금융산업의 안전하고 혁신적이고 포용적인 AI 생태계 조성을 위해 금융산업에 적합한 인공지능 안전성 프레임워크(AI Safety Framework)을 개발ㆍ제공하고 금융산업의 인공지능 거버넌스 체계 확립을 적극 지원해 나갈 것이다.

금융산업에 새로운 기술이 도입될 때마다 안전성 확보는 신뢰가 최고의 가치인 금융산업이 풀어야 할 중요한 숙제였다. 인공지능 기술의 파괴력이 핵무기와 유사한 수준이라는 점에서 금융산업의 인공지능 기술 도입에 있어 이전보다 더욱 강력하고 확실한 안전성 확보가 필요하다. 금융산업의 성공적인 인공지능 전환을 위해서는 안전성 확보는 전제조건이고 safety by Default와 safety by Design은 필수이다.

[박진석 금융보안원 디지털전략본부장[