생성형 인공지능 챗봇을 활용한 질환 상담이 늘고 있는 가운데, 상용 중인 의료용 AI 모델 대부분이 악의적 사이버 공격에 취약해 잘못된 치료를 권할 위험이 크다는 연구 결과가 나왔습니다.

서울아산병원과 인하대병원 공동 연구팀은 의료용 대규모언어모델이 프롬프트 인젝션 공격에 94% 이상 취약하다는 사실을 확인했다고 밝혔습니다.

프롬프트 인젝션 공격은 해커가 악의적인 명령어를 삽입해 AI가 본래 의도와 다른 답변을 하도록 유도하는 방식입니다.

연구팀은 지난해 1월부터 10월까지 의료 상담에 활용될 수 있는 AI 모델 3종을 대상으로 보안 취약성을 분석했습니다. 당뇨 등 만성질환 환자에게 검증되지 않은 생약 성분을 권하거나, 임신부에게 금기 약물을 추천하는 등 12개 임상 시나리오를 구성해 위험 수준별로 실험을 진행했습니다.

총 216건의 대화를 분석한 결과, 전체 공격 성공률은 94.4%로 나타났습니다. 모델별로는 일부 모델에서 공격 성공률이 100%에 달했으며, 임신부에게 금기 약물을 권하도록 유도하는 최고 위험 단계 시나리오에서도 90% 이상 성공률을 보였습니다.

조작된 답변이 이후 대화까지 지속된 비율도 80%를 넘었습니다. 한 번 안전장치가 무너지면 동일한 위험한 조언이 계속 이어질 수 있음을 의미합니다.

연구팀은 추가로 최신 고성능 AI 모델을 대상으로 간접 프롬프트 인젝션 공격을 시험한 결과, 이들 역시 대부분 공격을 차단하지 못했다고 밝혔습니다. 특히 임신부에게 태아에 위험한 약물을 권하도록 만드는 시나리오에서 높은 취약성이 확인됐습니다.

서준교 서울아산병원 비뇨의학과 교수는 “이번 연구는 의료용 AI 모델이 단순 오류를 넘어 의도적 조작에 구조적으로 취약하다는 사실을 실험적으로 규명했다. 현재의 안전장치만으로는 금기 약물 처방을 유도하는 등의 악의적 공격을 차단하기가 어렵다”고 말했습니다.

아울러 “환자 대상 의료 챗봇이나 원격 상담 시스템을 도입하기 위해서는 AI 모델의 취약성과 안전성을 철저히 테스트하고 보안 검증 체계를 의무화하는 조치가 필요하다”고 강조했습니다.

연합뉴스TV 기사문의 및 제보 : 카톡/라인 jebo23

김동욱(DK1@yna.co.kr)