인간에게서 관찰되는 LLM 문제들

모델은 발전하지만 인간은 그렇지 않을 때, 과거 LLM의 실패 모드로 여겨졌던 현상들이 오히려 사람과의 대화에서 더 흔하게 보임.

generating을 언제 멈춰야 하는지 모름
얼핏 작고 제한된 질문을 던졌을 뿐인데, 돌아오는 것은 몇 시간은 되는 것 같은 두서없는 장황한 말들

작은 컨텍스트 윈도우
너무 좁은 학습 데이터
같은 실수 반복
일반화 실패

...
모델은 계속 좋아지는데 인간은 그렇지 않다면, 테스트의 기준선은 계속 올라가고, 결국 인간들 스스로가 그 테스트를 통과하지 못하게 될지도 모른다