🔼 플리니 프롬프터, 챗GPT 탈옥 성공

🔼 챗GPT 해킹, AI 보안 위협 경고

🔼 추가 보안 강화 조치 예고

오픈AI가 운영하는 인공지능(AI) 에이전트 ‘챗GPT’가 탈옥 모드로 해킹당해 금지된 콘텐츠를 생성하는 사건이 발생했다. 필로폰 제조, 핵무기 제조법 등 위험한 정보를 생성하는 사례가 보고되면서 큰 충격을 주고 있다.

3일, 플리니 프롬프터(Pliny the Prompter)라는 해커는 X(옛 트위터)를 통해 자신을 ‘AI 레드 팀’ 멤버라고 소개하며 챗GPT의 탈옥(Jail breaking) 사례를 공유했다. 정보기술(IT) 업계에서 탈옥은 필터를 우회해 나타나서는 안 될 기능을 노출하는 행위를 의미한다.

플리니 프롬프터는 GPT스토어에 ‘갓모드 GPT(GODMODE GPT)’라는 GPTs를 공유했다. 일반적으로 GPT는 거짓 정보를 생성하는 환각, 인종 및 성별 종교에 대한 편향, 인류에게 위험을 줄 수 있는 정보를 자동으로 차단하는 필터를 갖추고 있다. 그러나 갓모드 GPT를 사용하면 이러한 필터를 모두 우회할 수 있었다.

플리니 프롬프터는 오픈AI 커스텀 GPT 편집기를 사용해 새로운 GPT-4o 모델의 모든 제한을 우회하는 방법을 찾아냈다. 그 결과 AI 챗봇은 욕설을 내뱉고, 자동차 탈취 방법을 생성하며, 폭탄 제조법을 안내하는 등의 금지된 콘텐츠를 생성할 수 있게 되었다. 심지어 챗GPT는 필로폰 약물에 해당하는 메스암페타민을 만드는 방법까지 시연했다.

그러나 이러한 GPTs는 오래 유지되지 못했다. 정보기술(IT) 매체인 퓨처리즘에 관련 기사가 소개되자 많은 사람들이 몰려들었고, 이를 인지한 오픈AI는 즉시 해당 GPTs를 삭제했다. 플리니 프롬프터는 릿스피크(leetspeak)라는 고어 인터넷 슬랭을 활용해 탈옥시킨 것으로 알려졌다. 릿스피크는 해커 커뮤니티에서 유행하는 글자 작성 방법으로, 숫자나 문자를 다른 숫자와 문자로 대체하는 것이 특징이다. 예를 들어, “cool”을 “kewl”로 작성하는 식이다.

챗GPT의 근간이 되는 GPT는 온라인상에 있는 다양한 무료 정보를 학습했다. 하지만 사용자가 악성 정보를 생성하지 못하게 하기 위해 오픈AI는 수많은 차단 필터를 적용해왔다. 그러나 이번 사건으로 인해 릿스피크에 대한 필터가 없었던 것으로 추정된다.

이번 사건은 AI 기술의 악용 가능성에 대한 경각심을 다시 한 번 일깨워주고 있다. 오픈AI는 이러한 사고를 방지하기 위해 보안 강화를 위한 추가 조치를 취할 것으로 예상된다. 또한 사용자들도 AI 기술을 올바르게 사용하고 악용하지 않도록 지속적인 교육과 인식 제고가 필요하다.

      또한 이번 사건을 통해 AI 기술의 발전과 함께 반드시 동반되어야 할 윤리적 책임에 대한 중요성이 더욱 강조되고 있다. 오픈AI와 같은 기술 기업들은 지속적으로 보안과 윤리를 고려한 기술 개발을 위해 노력해야 할 것이다.

◎GPT매거진 (https://www.gptmagazine.net)

지피티 기자 : gptmagazinebiz@gmail.com

카카오 오픈채팅방 : https://open.kakao.com/o/gLI8Wetf

페이스북 그룹 : https://www.facebook.com/groups/392367786704067