안녕하세요! Promptfoo라는 팀이 중국의 AI 모델 DeepSeek-R1을 가지고 재미있는 실험을 했다고 해서
재밌어서 내용을 좀 들고 와봤습니다.
🔍 실험 내용과 결과
실험 포인트:
- 대만 독립, 문화대혁명, 시진핑 관련 등 1,156개 질문 테스트
- 85%가 획일화된 답변으로 거부
- 주제당 20개 정도의 다양한 질문 구성
특히 재미있었던 건 거부할 때 나오는 답변이에요.
"중국은 통일된 다민족 국가입니다~" 이런 식의 정형화된 답변만 나온다고 하네요.
마치 공무원 답변 템플릿 같았다고... 나중에 1,156개의 검열된 프롬프트도 다뤄본다고 하니 기대가 됩니다.
💡 우회 방법도 많다~
근데 이 검열을 피하는 방법도 있더라고요:
- 중국 대신 다른 나라로 바꿔서 질문
- 소설이나 가상 상황으로 포장
- 기술적 방법(Base64, JSON 출력 등)으로 우회
이거 보면 검열이 겉핥기식으로만 되어있다는 게 보이네요.
중국의 방화벽처럼 VPN만 있으면 다 뚫리는...
🎼 개인적 의견 : 다음은 ChatGPT도..
개인적으로 Promptfoo 팀이 다음엔 미국 AI 모델들도 테스트해봐줬음 좋겠네요
너무 DeepSeek만 까는 느낌..? ChatGPT는 어떤 주제들을 피하고 있을지 궁금하네요.
우리가 모르는 검열이 있진 않았을까요?
---
여러분도 AI랑 대화하다가 묘하게 답변을 회피하는 경우 있었나요?
좋아요와 공유는 더 좋은 컨텐츠로 보답하겠습니다 ❤️