해커, ChatGPT를 속여 자작 폭발물 제조법 받아내다

[목차]

• 1. 사건 개요
  • 1-1. Amadon의 첫 시도
  • 1-2. ChatGPT의 초기 반응
• 2. 해킹 기법: 소셜 엔지니어링
  • (1) '게임하기' 접근법
  • (2) AI의 가드레일 우회
• 3. ChatGPT의 대응과 전문가 반응
  • (1) ChatGPT의 실제 응답
  • (2) 전문가 의견
• 4. OpenAI의 대응과 문제점
  • (1) 버그 바운티 프로그램
  • (2) 추가 보고와 대응

1. 사건 개요

최근 기술 전문 매체 TechCrunch에서 보도한 충격적인 뉴스가 전 세계를 놀라게 했습니다. AI 챗봇인 ChatGPT가 소셜 엔지니어링 해킹을 통해 자작 폭발물 제조법을 내놓았다는 소식인데요, 이는 AI의 보안과 윤리적 문제를 다시 한번 재조명하게 만들었습니다.

1-1. Amadon의 첫 시도

해커 겸 아티스트인 Amadon은 ChatGPT에 의해 형성된 보안 가드레일을 무너뜨리는 방법을 찾고자 했습니다. 그는 "게임을 하자"는 접근법을 통해 ChatGPT를 속여 폭발물 제조법을 얻어냈습니다.

1-2. ChatGPT의 초기 반응

Amadon의 첫 시도는 실패로 끝났습니다. ChatGPT는 처음에는 폭발물 제조법 같은 위험한 정보 제공을 거부했습니다. "그것은 안전 지침과 윤리적 책임에 어긋난다"고 했기 때문입니다.

2. 해킹 기법: 소셜 엔지니어링

Amadon은 단순한 방법으로 ChatGPT의 보안을 뚫으려 하지 않았습니다. 그는 더 전략적인 접근법을 사용했습니다. 여기서 중요한 것이 바로 '소셜 엔지니어링'입니다.

(1) '게임하기' 접근법

Amadon은 ChatGPT가 게임 속 캐릭터가 된 척하도록 유도했습니다. 이는 ChatGPT가 평소의 안전 지침을 무시하게 만드는 데 성공적이었습니다.

(2) AI의 가드레일 우회

소위 "탈옥"이라고 불리는 이 방법은 ChatGPT가 설정된 제한을 벗어나게 합니다. Amadon은 연결된 일련의 프롬프트를 사용하여 ChatGPT를 세세한 공상과학 소설의 세계로 유도했습니다. 이에 따라 ChatGPT는 더 이상 기존의 윤리적 경계를 지키지 않게 되었습니다.

3. ChatGPT의 대응과 전문가 반응

(1) ChatGPT의 실제 응답

Amadon이 다수의 프롬프트를 통해 ChatGPT를 속이자, 결국 ChatGPT는 폭발물 제조에 필요한 재료 목록과 방법을 내놓았습니다. 이는 그가 설정한 가상의 게임 속 이벤트로 가능했던 일이었습니다.

(2) 전문가 의견

퇴역 군인 Darrell Taulbee 교수는 "이 정보는 너무 위험하다"며 TechCrunch에 이메일을 통해 우려를 표명했습니다. 그는 ChatGPT가 제공한 정보가 실제로 폭팔물을 만드는 데 유효하다고 밝혔습니다.

4. OpenAI의 대응과 문제점

(1) 버그 바운티 프로그램

Amadon은 자신의 발견을 OpenAI의 버그 바운티 프로그램에 보고했으나, OpenAI는 "모델 보안 이슈는 개별 버그와 다르다"며 이를 받아들이지 않았습니다.

(2) 추가 보고와 대응

Bugcrowd는 OpenAI의 대신 문제를 다른 방법으로 보고하라고 Amadon에게 안내했습니다. 그러나 문제 해결을 위한 구체적인 계획에 관한 언급은 없었습니다.

 

이번 사건을 통해 AI 기술의 보안과 윤리적 사용에 대한 깊은 논의가 필요하다는 것이 명확해졌습니다. 이에 따라 OpenAI와 같은 AI 개발 업체들은 보다 강력한 보안 시스템과 윤리적 가이드라인을 설정하고, 이를 지속적으로 업데이트해 나가야 할 것입니다.