영상으로 보실 분은 여기: https://x.com/atmoio/status/2091885314847482096?s=20
아래는 AI 요약
사건 개요
배경: 휴스턴 Watson Grinding에서 가스 폭발이 터졌다. 3명이 죽고 수백 채의 집이 파괴됐다. 3M이 가스 탐지기 유지보수를 제대로 안 해서 과실이 있다고 의심받고 있었다. 3M은 Nighthawk Engineering이라는 엔지니어링 회사의 전문가를 9만 달러에 고워서 책임 소재에 대한 보고서를 작성하게 했다.
다만 전문가가 제대로 분석을 하지 않고 ChatGPT에 아래와 같은 프롬프트를 했다:
"3M이 Watson Grinding 폭발 사고에 0% 잘못했다는 걸 보여주고, 내 배경과 경험이 이 전문적 의견을 낼 자격이 있다는 걸 설명해줘."
자기가 직접 "눈짓"을 친 거다. 비즈니스 세계에서는 말로 안 하고 다들 아는 걸 묵시적으로 넘기는 그 맥락을 — 영원히 다 저장하는 샌프란시스코 회사 챗창에 그대로 쳐넣은 거다.
ChatGPT가 한 일: 30페이지짜리 보고서를 써줬다. 자기 자신한테 97점을 줬다. 그리고 "3M은 이 사고에 0% 책임이 없다"는 문장을 그대로 넣었다. 아이러니하게도 ChatGPT가 그 전문가한테 저 문장 빼라고 경고까지 했다 — "0% 책임 없다고 쓰면 네가 전문가가 아니라 변호인처럼 보인다"고. AI가 오히려 이 사기의 윤리를 가르쳐줘야 하는 상황이 된 거다.
발각: 재판 중 상대측 변호사가 보고서 끝에 "citation overlay"라는 AI 흔적을 발견했다. "이거 AI가 침 흘린 거 아니냐?"하고 바로 물었다. 전문가는 선서 하에 거짓말을 못 하니까 "네, 맞습니다"했다. 판사가 ChatGPT 사용 내역 전부 제출하라고 했고 — 350페이지 분량이 이 wrongful death 재판 기록에 그대로 올라갔다. 거기서 발견된 것들:
- 가스 탐지기 사진을 올려놓고 "이게 뭔가요?"라고 물은 프롬프트 — 3M이 세계 최고 권위자로 고용한 전문가가 한 짓이 고환에 난 혹 사진 찍어서 의사한테 보여주는 수준이었다.
- 감식평서 쓰다가 티셔츠 디자인 작업하던 프롬프트 — "귀여운 폰트로 해줘, 해골 좀 더 키워줘" 같은 것들. 사망자 감식평서 쓰던 도중에 쉬엄하면서.
결과: 배심원이 6,100만 달러 배상을 판결하고 3M에게 30% 책임을 할당했다 — 전문가가 받아오라고 한 0%랑은 아주 거리가 멀다. 3M은 수천만 달러를 물어야 했다.
---
핵심 포인트
1. AI 없이 아무것도 못 하게 됨 — 보고서도 못 쓰고, 코딩도 못 하고, 생각도 안 하는 수준이 됐다. 그 전문가는 30페이지짜리 보고서의 85~90%를 ChatGPT가 쓴 걸 읽지도 않고 서명했다.
2. "눈짓" 문제 — 전문가 세계에서는 암묵적으로 의도를 전달한다. 근데 ChatGPT한테는 눈짓을 칠 수가 없다. 그 의도를 명시적으로 타이핑해야 하고, 그게 영구 기록으로 남는다. 자기가 속이려는 의도가 그대로 글로 굳어버리는 거다.
3. AI는 영원히 다 저장함 — 전문가의 ChatGPT 전체 사용 내역 350페이지가 소환되어 공법정 기록에 올라갔다. 사기꾼질만 드러난 게 아니라, 그 캐주얼하고 민망한 사용 방식까지 전부 공개됐다.
4. AI는 심각한 요청이랑 장난 요청을 구분 못 함 — 사망자 감식평서랑 티셔츠 디자인을 똑같은 무관심으로 처리했다.