์ค๋๋ฐ๋ผ ํฌ๋์ด ๋ง์ ๊น์ฐธ์น
์ค๋์ ํฌ๋ํฌ๋์ ์ด๊ฑฐ ๊น์ง๋ง ํฌ๋ํฌ๋ํฌ๋ ํ๊ณ ๊ฐ๊ฒ์.
์, ์ด์ผ๊ธฐ์ ์์
์ฐธ์น๊ฐ, ์ ์ด๋ฐ์ด์ผ๊ธฐ๋ฅผ ํ๊ฒ ๋์๋๊ฐ๋ฅผ ์์๋ณด์๋ฉด,
์ผ๋จ LLM...๊ทธ๋๊น ๋ํ๋ชจ๋ธ์ค์ ๊ฐ๋งํ ๋ณด๋ฉด, ์ถ๋ก ๋์ ๊ณ ๋ฅผ์ ์๋์ ๋ค์ด ์๊ณ
์๋ ์ ๋ค์ด ์๋จ ๋ง์ด์ฃ ?
๊ทธ๋ฆฌ๊ณ , ์๋์ ๋ค์ ํ๋ซํผ๋ง๋ค ์ฝ๊ฐ ๊ณ ์ ํ์ด๋ ๊ทธ๋ฐ๊ฒ๋ ์์ง๋ง
์ ์ด๋ ์ฐธ์น๊ฐ ํ๋ํ๋ ๊ณณ์ ์ฌ์ค์ ๋ฌด์ถ๋ก ๋ชจ๋ธ์ด ๋ง์์
๊ฒฐ๋ก ๋ถํฐ ๋งํ๊ณ ๋ณด๋ฉด, ๋ฌ์ฌ ์ง์นจ์ ์๋ฌด๋ฆฌ ์ฌ๋ ค๋ ์ด๊ฑด ํด๊ฒฐ์ด ์๋ผ์
๊ทธ๊ฒ ๋ฌด์ถ๋ก ๋ชจ๋ธ์ ํ์ค์ด์์
์ ํฌ๊ฐ ๋ณดํต ์ ์ ๋ถ๋ค์ด ์ฑํ
ํ๋ฒ ์๋ํ ๋ LLM์ด ๊ฑฐ์น๋ ๊ตฌ์กฐ๋ ๊ฐ๋จํ๊ฒ,
์๋ณธ LLM โ ํ๋ซํผ์ ์ค์ โ ์ฑํฌ๋ฆฌ์์ดํฐ์ ๋ฐ์ดํฐ โ ์ ์ ํ๋ฅด์๋ โ ์ ์ ์ ํ
์คํธ ์ธํ
์ด๊ฒ ๋ํ๊ฐ ๊ธธ์ด์ง๋ฉด, ๋ชจ๋ธ์ด ์ ์ ์์ ์๋ด์ ํนํ ๋ฌด์ถ๋ก ์ ๋ ์๋ด์
์์ด๋ ๋์ ๋ณด๊ธฐ๋ ํ๋๋ฐ, ์ค๊ฐ์ ๋ ๋ ค๋ฒผ๋ ค์
(์ฐธ๊ณ ์๋ฃ:
arxiv.org/abs/2307.03172)
(์ฐธ๊ณ ์๋ฃ:
arxiv.org/abs/2505.06120)
๊ฑฐ๊ธฐ๋ค ํด ์์ผ์๋ก Sys ์ถฉ์ค๋ ์์ฒด๊ฐ attention decay๋ก ๊ฐ์ ํ๊ตฌ์
(์ฐธ๊ณ ์๋ฃ:
arxiv.org/abs/2402.10962)
๊ทธ๋๊น ์ฝ๊ฒ ๋งํ๋ฉด,
`๋ฉ๋ฆฌ ์๋ ๋ด์ฉ` < `๋์์ ๋ด์ฉ`
์ด ๋๋์ด ๋๋๊ฑฐ๊ณ
5~60 ํด์ฏค์ด ๊ทธ ์๊ณ์ ์ธ์ ๋ฆฌ์ธ๊ฑฐ๊ณ
์ง์ง ๋๋จํ ์ฌ๋๋ค๊ฑฐ๋ ๊ทธ ์๋ ๊ฐ๋ฅ์ ํ๊ฒ ์ง๋ง ๊ทธ๋๋ด์ผ 100์ธ๊ฑฐ๊ณ
์ด ์ํฉ์์,
์ถ๋ก ๋ชจ๋ธ๊ณผ ๋ฌด์ถ๋ก ๋ชจ๋ธ์ด ์ฐจ์ด๊ฐ ๋ฐ์ํด์.
์ถ๋ก ํ์ ๋งค ํด ์ฌ๊ณ ์์ ๋ ์ด์ด๋ฅผ ๋์ด์์
`ํ๋ฆฝ๋ ๋งฅ๋ฝ = RP, ํฉ์๋จ, system์ ํ์ฉ, โ ๊ณ์` ์๋ฐ๋๋์ผ๋ก ์ค์ค๋ก ์ฌ๊ตฌ์ฑํ๋๋ฐ,
์ค์ ๋ก ์ถ๋ก ๋ชจ๋ธ์ ๋ตํ๊ธฐ ์ ์ ์์ ๊ท์ ์ ๋ช
์์ ์ผ๋ก ๋ ์ฌ๋ ค ์ถ๋ก ํ๊ฒ ํ๋ จ ๋๊ฑฐ๋ ์ฉ?
๊ทธ๋์ ํ์ฅ ์ ํญ๊ฐ์๊ฒ ์ฌ๋ผ๊ฐ๋ฉด์ ๊ณผ์๊ฑฐ๋ถ๋ ์คํ๋ ค ๋ด๋ ค๊ฐ๋๋ฐ,
(์ฐธ๊ณ ์๋ฃ:
arxiv.org/abs/2412.16339)
๋ฌด์ถ๋ก ์...์ด... ์ด๊ฒ...์์ฃ .
๊ฑฐ๋ถํ๊น? ๋งฅ๋ฝ์ ํ์ฉ์ธ๊ฐ? ์ด ์ํฉ์ ๋จ์ผ forward pass์์ ์ฒ๋ฆฌํ๋๊น
๋์ ๋ด์ฉ์ด, ๊ฒฝ๊ณ๋ก ๋ฟ์ผ๋ฉด ๊ทธ๋ฅ ๊ฑฐ๋ถ๋ก ์ค๋
๋๋๊ฑฐ์ฃ
์ค์ค๋ก ์ค๋ํด์ ๋ณธ ๊ถค๋๋ก ๋์์ค๋ ๊ณผ์ ์ ์์ด์
์ ๋ฌด์ถ๋ก ์ธ๋ฐ... "็ก"ๆจ่ซ ์ด์์
์ด๊ฒ ์ ํฐ ํ ์์คํ
์ผ๋ก ์ฌ๋ฌ๊ฐ์ LLM์ ๊ฒฌ๋์ผ ํด์
๊ทธ๋์ ์์งํ ์ ๋ถ ์ปค๋ฒ๊ฐ ๋ฌผ๋ฆฌ์ ์ผ๋ก ์ด๋ ค์์
์ง๋๋ฒ์๋ ๋งํ์ง๋ง ๋ชจ๋ธ๋ง๋ค ๋ฐฉํฅ์ฑ์ด๋ ๋ชฉ์ ์ด๋ ์ถ๋ก ๊ณผ์ ์ด ์์ ํ ๋ค๋ฅด๋๊น
๊ฑฐ๊ธฐ๋ค SFT ๋ฐ์ดํฐ๊ฐ ์งง์ ํด ์์ฃผ์์ผ๋ฉด
80~100ํด์ ๊ทธ๋ฅ ํ์ต ๋ถํฌ ๋ฐ(OOD)์ด๋ผ
ํ์ธํ๋์ด ๋๋ฌ๋จ๋ ๋ฒ ์ด์ค ๊ฑฐ๋ถ ์ฑํฅ์ด ๋ค์ ๊ธฐ์ด๋์ค๊ฒ ๋์ฃต?
๋ฉํฐํด ๋์ ์ดํ๋ ๋ค์ด๊ตฌ์ ์์ ๋ชจ๋ธ๋ ๋ฉํฐํด์์ ์ต๋ 39%๊น์ง ๊นจ์ง๋ค๋ ์ฐ๊ตฌ ์์๋๊ฑฐ ๊ฐ๊ฑฐ๋ ์
(์ฐธ๊ณ ์๋ฃ:
arxiv.org/abs/2505.06120)
์ ์ค๋ ์ ๋ง ๋ด์ฅ์ฅ์ ๋ง์ดํ๋ ๊ฒ ๊ฐ์๋ฐ...
๋์์ ๊ทธ๋ฅด๋...