์—ฐ๊ฒฐ ์ค‘โ€ฆ
์—ฐ๊ฒฐ ์ค‘โ€ฆ
์ „์ฒด ๋ณด๊ธฐ
ํ์ง€์ค๊ธฐ ์—ฐ๊ตฌ์†Œ
Telegram ยท @airdr0p_lab

๐ŸŸข Lagrange, DeepProve x Google Gemma 3 ๊ฒ€์ฆ ์„ฑ๊ณต #kol

๊ฒŒ์‹œ
2025.09.30 02:42
์กฐํšŒ
1,985
ํฌ์›Œ๋“œ
3
์ด๋ฏธ์ง€
1์žฅ

โœ… Gemma3?

  • Google์˜ Gemma3๋Š” ๋‹จ์ˆœํ•œ GPT์—์„œ ๋‚˜์•„๊ฐ€ ๋” ๊ฐ€๋ณ๊ณ  ๋น ๋ฅธ ๋ชจ๋ธ
  • ๋กœ์ปฌ ๋‹จ๋ง๊ธฐ์—์„œ ์ง์ ‘ ์‹คํ–‰ ๊ฐ€๋Šฅ
  • ํšจ์œจ์ ์ผ์ˆ˜๋ก ๊ฒ€์ฆ ๋‚œ์ด๋„๊ฐ€ ์ƒ์Šนํ•จ
  • DeepProve๊ฐ€ Gemma3์— ์˜์ง€์‹์ฆ๋ช…(ZKP) ์ ์šฉ
  • ์ตœ์ „์„  AI๋„ ์•”ํ˜ธํ•™์  ์‹ ๋ขฐ์„ฑ ํ™•๋ณด ๊ฐ€๋Šฅํ•จ์„ ์ž…์ฆ

โœ… ์–ด๋–ป๊ฒŒ ํ–ˆ๋‚˜?

  • Grouped Query Attention (GQA): ํŒจ๋”ฉ ๊ธฐ๋ฐ˜ ์ฆ๋ช… ๊ตฌ์กฐ ์žฌ์„ค๊ณ„๋กœ ๋ถˆํ•„์š” ์—ฐ์‚ฐ ์—†์ด ํšจ์œจ์  ์ฆ๋ช…
  • ๋กœ์ปฌ + ๊ธ€๋กœ๋ฒŒ ์–ดํ…์…˜: ๋งˆ์Šคํ‚น ๋ถ„๋ฆฌ, ๊ต์ฐจ ๋ ˆ์ด์–ด๋„ ์ •ํ™•ํ•˜๊ฒŒ ์ฆ๋ช…
  • RoPE ์œ„์น˜ ์ธ์ฝ”๋”ฉ: Hadamard + ์ปค๋ฐ‹๋จผํŠธ ํ™œ์šฉ์„ ํ†ตํ•œ ์‹œํ€€์Šค ๊ธธ์ด ํ™•์žฅ์—๋„ ์Šค์ผ€์ผ๋ง ๊ฐ€๋Šฅ
  • RMSNorm Everywhere: ๋ธ”๋ก๋‹น 6์ค‘ ์ •๊ทœํ™”์—๋„ ๋น ๋ฅธ ์ฆ๋ช… ์œ ์ง€
  • GeGLU ํ™œ์„ฑํ™”: ์ตœ์†Œํ•œ์˜ ๊ตฌํ˜„์œผ๋กœ ์ฆ๋ช… ํˆดํ‚ท ํ™•์žฅ

โœ… ๊ธฐ๋Œ€ํšจ๊ณผ

  • ๊ฐœ๋ฐœ์ž: ์ตœ์‹  ์•„ํ‚คํ…์ฒ˜ vs ๊ฒ€์ฆ์„ฑ ์„ ํƒํ•  ํ•„์š” ์—†์ด ์ตœ์‹  ๋ชจ๋ธ๋กœ ์ฆ๋ช… ๊ฐ€๋Šฅ
  • ๊ธฐ์—…: ํ˜์‹ ๊ณผ ํ•จ๊ป˜ ์ปดํ”Œ๋ผ์ด์–ธ์Šค, ์‹ ๋ขฐ์„ฑ ๋™์‹œ ์ถฉ์กฑ
  • ์‚ฌํšŒ: ๋ชจ๋ธ์ด ๋˜‘๋˜‘ํ•ด์งˆ์ˆ˜๋ก, ์•ˆ์ „์„ฑ๋„ ํ•จ๊ป˜ ํ™•๋ณด
  • ์•ž์œผ๋กœ AI์˜ ์‹œ๋Œ€๋Š” ํŒŒ๋ผ๋ฏธํ„ฐ ์ˆ˜๋‚˜ ์ง€์—ฐ์†๋„๋กœ๋งŒ ํ‰๊ฐ€๋˜์ง€ ์•Š์„ ๊ฒƒ
  • ์•ž์œผ๋กœ์˜ ๊ธฐ์ค€์€ ์ฆ๋ช… ๊ฐ€๋Šฅ์„ฑ(Provability)
  • DeepProve์˜ Gemma 3 ๊ฒ€์ฆ์€ ๊ทธ ๋ฏธ๋ž˜๊ฐ€ ์ด๋ฏธ ํ˜„์‹ค์ž„์„ ๋ณด์—ฌ์ฃผ๋Š” ์‚ฌ๋ก€

์›๋ฌธ|๋ธ”๋กœ๊ทธ

์กฐํšŒ1,985ํฌ์›Œ๋“œ3ํ…”๋ ˆ๊ทธ๋žจ์—์„œ ๋ณด๊ธฐ