〈Attention Is All You Need〉

• 2017년, 단 11페이지짜리 논문 한 편이 현대 AI를 부흥시켰습니다. 트랜스포머라고 부르기도 하며, ChatGPT의 T가 이 Transformer의 약자입니다.

• "순서대로 읽지 말고, 모든 단어를 한 번에 보자"는 이 아이디어가 지금 우리가 매일 쓰는 AI의 출발점이 됐습니다. (GPU가 중요해지기 시작한 이유이기도 합니다.)

• 논문은 구글이 발표했지만 OpenAI가 ChatGPT로 시장을 선점했습니다.

• 이 논문을 쓴 구글의 8명은 전원이 회사를 떠났습니다. 7명은 각자 회사를 차렸습니다. (Character.AI, Cohere, Essential AI, Sakana AI, Inceptive, NEAR Protocol)

• Noam Shazeer 단 한 명만 구글로 다시 돌아왔죠. 8명 모두 지금 AI 시대의 주역이 되었습니다.

* Claude Design으로 작성 된 이미지입니다.

__Attention Is All You Need 논문__