๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค + RAG๋ก ๊ฐ๋ ฅํ LLM ์ฑ์ ๊ตฌ์ถํ๋ ๋ฐฉ๋ฒ - AI&YOU#55
๊ธ์ฃผ์ ํต๊ณ/ํฉํธ: 2023๋ 21%์์ 2026๋ ์๋ 301%์ ๋ฌํ๋ ๊ธฐ์ ์ด ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ ์ฌ์ฉํ์ฌ ์์ฑํ AI ๋ชจ๋ธ์ ๊ตฌ์ถํ ๊ฒ์ผ๋ก ์์๋ฉ๋๋ค. (Gartner)
GPT-4, ํด๋ก๋, ๋ผ๋ง 3์ ๊ฐ์ LLM์ ์ธ๊ฐ๊ณผ ์ ์ฌํ ํ ์คํธ๋ฅผ ์ดํดํ๊ณ ์์ฑํ๋ ๋ฐ ์์ด ๋๋ผ์ด ๋ฅ๋ ฅ์ ๋ณด์ฌ์ฃผ๋ฉฐ NLP๋ฅผ ๊ตฌํํ๋ ๊ธฐ์ ์ ์ํ ๊ฐ๋ ฅํ ๋๊ตฌ๋ก ๋ถ์ํ์ต๋๋ค. ํ์ง๋ง ํนํ ๋๋ฉ์ธ๋ณ ์ ๋ณด๋ฅผ ๋ค๋ฃฐ ๋ ๋ฌธ๋งฅ ์ธ์๊ณผ ์ ํ์ฑ ์ธก๋ฉด์์ ์ด๋ ค์์ ๊ฒช๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค.
๊ทธ๋ ๊ธฐ ๋๋ฌธ์ ์ด๋ฒ ์ฃผ AI&YOU์์๋ ์ธ ๊ฐ์ ๋ธ๋ก๊ทธ๋ฅผ ํตํด ์ด๋ฌํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๋ฐฉ๋ฒ์ ์ดํด๋ณด๊ณ ์ ํฉ๋๋ค:
๊ฐ๋ ฅํ LLM ์ฑ์ ์ํ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG์ ๊ฒฐํฉ
์คํ ์์ค ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ฌ์ฉ์ 10๊ฐ์ง ์ด์
์ํฐํ๋ผ์ด์ฆ๋ฅผ ์ํ ์์ 5๊ฐ์ง ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค
- ๊ฐ๋ ฅํ LLM ์ฑ์ ์ํ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG์ ๊ฒฐํฉ - AI&YOU #55
- ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG์ ์๋์ง ํจ๊ณผ
- ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG ๊ฒฐํฉ์ ์ด์
- ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ก RAG ๊ตฌํํ๊ธฐ
- ๋ชจ๋ฒ ์ฌ๋ก ๋ฐ ๊ณ ๋ ค ์ฌํญ
- ๊ธฐ์ ์์ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG์ ๊ฐ๋ ฅํ ๊ธฐ๋ฅ ํ์ฉํ๊ธฐ
- ์คํ ์์ค ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ฌ์ฉ์ 10๊ฐ์ง ์ด์
- ์ํฐํ๋ผ์ด์ฆ๋ฅผ ์ํ ์์ 5๊ฐ์ง ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค
- 1. ํฌ๋ก๋ง
- 2. ์๋ฐฉ์ธ
- 3. Qdrant
- 4. Weaviate
- 5. Milvus
- ๊ธฐ์ ์ ์ ํฉํ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ ํํ๊ธฐ
๊ฐ๋ ฅํ LLM ์ฑ์ ์ํ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG์ ๊ฒฐํฉ - AI&YOU #55
์ด๋ฌํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ์ฐ๊ตฌ์์ ๊ฐ๋ฐ์๋ค์ ๊ฒ์ ์ฆ๊ฐ ์ธ๋(RAG)์ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ ์ฌ์ฉํฉ๋๋ค. RAG๋ ์ธ๋ถ ์ง์ ๊ธฐ๋ฐ์์ ๊ด๋ จ ์ ๋ณด์ ์ก์ธ์คํ๊ณ ๊ฒ์ํ ์ ์๋๋ก ํจ์ผ๋ก์จ LLM์ ํฅ์์ํค๊ณ , ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ ๊ณ ์ฐจ์ ๋ฐ์ดํฐ ํํ์ ์ ์ฅํ๊ณ ์ฟผ๋ฆฌํ ์ ์๋ ํจ์จ์ ์ด๊ณ ํ์ฅ ๊ฐ๋ฅํ ์๋ฃจ์ ์ ์ ๊ณตํฉ๋๋ค.
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG์ ์๋์ง ํจ๊ณผ
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG๋ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ๊ธฐ๋ฅ์ ํฅ์์ํค๋ ๊ฐ๋ ฅํ ์๋์ง ํจ๊ณผ๋ฅผ ๋ฐํํฉ๋๋ค. ์ด ์๋์ง์ ํต์ฌ์ ์ง์์ฐฝ๊ณ ์๋ฒ ๋ฉ์ ํจ์จ์ ์ธ ์ ์ฅ ๋ฐ ๊ฒ์์ ์์ต๋๋ค. ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ ๋ฐ์ดํฐ์ ๊ณ ์ฐจ์ ๋ฒกํฐ ํํ์ ์ฒ๋ฆฌํ๋๋ก ์ค๊ณ๋์์ต๋๋ค. ์ด๋ฅผ ํตํด ๋น ๋ฅด๊ณ ์ ํํ ์ ์ฌ๋ ๊ฒ์์ด ๊ฐ๋ฅํ๋ฏ๋ก LLM์ ๋ฐฉ๋ํ ์ง์ ๊ธฐ๋ฐ์์ ๊ด๋ จ ์ ๋ณด๋ฅผ ๋น ๋ฅด๊ฒ ๊ฒ์ํ ์ ์์ต๋๋ค.
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ RAG์ ํตํฉํจ์ผ๋ก์จ ์ธ๋ถ ์ง์์ผ๋ก LLM ์๋ต์ ๋ณด๊ฐํ๊ธฐ ์ํ ์ํํ ํ์ดํ๋ผ์ธ์ ๋ง๋ค ์ ์์ต๋๋ค. LLM์ด ์ฟผ๋ฆฌ๋ฅผ ๋ฐ์ผ๋ฉด RAG๋ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ ํจ์จ์ ์ผ๋ก ๊ฒ์ํ์ฌ ์ฟผ๋ฆฌ์ ์๋ฒ ๋ฉ์ ๊ธฐ๋ฐ์ผ๋ก ๊ฐ์ฅ ๊ด๋ จ์ฑ์ด ๋์ ์ ๋ณด๋ฅผ ์ฐพ์ ์ ์์ต๋๋ค. ์ด๋ ๊ฒ ๊ฒ์๋ ์ ๋ณด๋ LLM์ ์ปจํ ์คํธ๋ฅผ ๋ณด๊ฐํ๋ ๋ฐ ์ฌ์ฉ๋์ด ๋ณด๋ค ์ ํํ๊ณ ์ ์ตํ ์๋ต์ ์ค์๊ฐ์ผ๋ก ์์ฑํ ์ ์์ต๋๋ค.

๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG ๊ฒฐํฉ์ ์ด์
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG๋ฅผ ๊ฒฐํฉํ๋ฉด ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ช ๊ฐ์ง ์ค์ํ ์ด์ ์ ์ ๊ณตํฉ๋๋ค:
์ ํ๋ ํฅ์ ๋ฐ ํ๊ฐ ๊ฐ์
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG๋ฅผ ๊ฒฐํฉํ ๋ ์ป์ ์ ์๋ ์ฃผ์ ์ด์ ์ค ํ๋๋ LLM ์๋ต์ ์ ํ๋๊ฐ ํฌ๊ฒ ํฅ์๋๋ค๋ ์ ์ ๋๋ค. RAG๋ LLM์ ๊ด๋ จ ์ธ๋ถ ์ง์์ ๋ํ ์ก์ธ์ค๋ฅผ ์ ๊ณตํจ์ผ๋ก์จ ๋ชจ๋ธ์ด ์ผ๊ด๋์ง ์๊ฑฐ๋ ์ฌ์ค๊ณผ ๋ค๋ฅธ ์ ๋ณด๋ฅผ ์์ฑํ๋ 'ํ๊ฐ'์ ๋ฐ์์ ์ค์ด๋ ๋ฐ ๋์์ ์ค๋๋ค. ์ ๋ขฐํ ์ ์๋ ์ถ์ฒ์์ ๋๋ฉ์ธ๋ณ ์ ๋ณด๋ฅผ ๊ฒ์ํ๊ณ ํตํฉํ๋ ๊ธฐ๋ฅ์ ํตํด LLM์ ๋ณด๋ค ์ ํํ๊ณ ์ ๋ขฐํ ์ ์๋ ๊ฒฐ๊ณผ๋ฌผ์ ์์ฑํ ์ ์์ต๋๋ค.
ํ์ฅ์ฑ ๋ฐ ์ฑ๋ฅ
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ ํจ์จ์ ์ผ๋ก ํ์ฅํ ์ ์๋๋ก ์ค๊ณ๋์ด ๋๋์ ๊ณ ์ฐจ์ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ ์ ์์ต๋๋ค. ์ด๋ฌํ ํ์ฅ์ฑ์ ์ค์๊ฐ์ผ๋ก ๊ฒ์ํ๊ณ ๊ฒ์ํด์ผ ํ๋ ๋ฐฉ๋ํ ์ง์ ๋ฒ ์ด์ค๋ฅผ ๋ค๋ฃฐ ๋ ๋งค์ฐ ์ค์ํฉ๋๋ค. RAG๋ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๊ฐ๋ ฅํ ์ฑ๋ฅ์ ํ์ฉํ์ฌ ๋น ๋ฅด๊ณ ํจ์จ์ ์ธ ์ ์ฌ๋ ๊ฒ์์ ์ํํจ์ผ๋ก์จ ๊ฒ์๋ ์ ๋ณด์ ํ์ง์ ์ ํ์ํค์ง ์์ผ๋ฉด์๋ ์ ์ํ๊ฒ ์๋ต์ ์์ฑํ ์ ์์ต๋๋ค.
๋๋ฉ์ธ๋ณ ์ ํ๋ฆฌ์ผ์ด์ ์ฌ์ฉ
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG์ ๊ฒฐํฉ์ ๋๋ฉ์ธ๋ณ LLM ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ตฌ์ถํ ์ ์๋ ์๋ก์ด ๊ฐ๋ฅ์ฑ์ ์ด์ด์ค๋๋ค. ๋ค์ํ ๋๋ฉ์ธ์ ํนํ๋ ์ง์ ๋ฒ ์ด์ค๋ฅผ ํ๋ ์ด์ ํจ์ผ๋ก์จ ํด๋น ๋งฅ๋ฝ์์ ์ ํํ๊ณ ๊ด๋ จ์ฑ ์๋ ์ ๋ณด๋ฅผ ์ ๊ณตํ๋๋ก LLM์ ๋ง์ถคํํ ์ ์์ต๋๋ค. ์ด๋ฅผ ํตํด ๋ค์ํ ์ฐ์ ๊ณผ ์ฌ์ฉ ์ฌ๋ก์ ๊ณ ์ ํ ์๊ตฌ ์ฌํญ์ ์ถฉ์กฑํ ์ ์๋ ์ ๋ฌธํ๋ AI ๋น์, ์ฑ๋ด, ์ง์ ๊ด๋ฆฌ ์์คํ ์ ๊ฐ๋ฐํ ์ ์์ต๋๋ค.

๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ก RAG ๊ตฌํํ๊ธฐ
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG์ ๊ฒฐํฉ์ ํ์ ํ์ฉํ๋ ค๋ฉด ๊ตฌํ ํ๋ก์ธ์ค๋ฅผ ์ดํดํ๋ ๊ฒ์ด ํ์์ ์ ๋๋ค.
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ก RAG ์์คํ ์ ์ค์ ํ๋ ๋ฐ ๊ด๋ จ๋ ์ฃผ์ ๋จ๊ณ๋ฅผ ์ดํด๋ณด๊ฒ ์ต๋๋ค:
์ง์์ฐฝ๊ณ ์๋ฒ ๋ฉ ์์ธํ ๋ฐ ์ ์ฅํ๊ธฐ: ์ฒซ ๋ฒ์งธ ๋จ๊ณ๋ BERT์ ๊ฐ์ ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์ง์์ฐฝ๊ณ ์ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ๊ณ ์ฐจ์ ๋ฒกํฐ๋ก ๋ณํํ ๋ค์, ํจ์จ์ ์ธ ์ ์ฌ์ฑ ๊ฒ์ ๋ฐ ๊ฒ์์ ์ํด ์ด๋ฌํ ์๋ฒ ๋ฉ์ ์ธ๋ฑ์ฑํ๊ณ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ ์ฅํ๋ ๊ฒ์ ๋๋ค.
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์์ ๊ด๋ จ ์ ๋ณด ์ฟผ๋ฆฌํ๊ธฐ: LLM์ด ์ฟผ๋ฆฌ๋ฅผ ๋ฐ์ผ๋ฉด RAG ์์คํ ์ ๋์ผํ ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์ฟผ๋ฆฌ๋ฅผ ๋ฒกํฐ ํํ์ผ๋ก ๋ณํํ๊ณ , ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ ์ ์ฌ์ฑ ๊ฒ์์ ์ํํ์ฌ ์ ํํ ์ ์ฌ์ฑ ๋ฉํธ๋ฆญ์ ๋ฐ๋ผ ๊ฐ์ฅ ๊ด๋ จ์ฑ์ด ๋์ ์ง์์ฐฝ๊ณ ์๋ฒ ๋ฉ์ ๊ฒ์ํฉ๋๋ค.
๊ฒ์๋ ์ ๋ณด๋ฅผ LLM ์๋ต์ ํตํฉํฉ๋๋ค: ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์์ ๊ฒ์๋ ๊ด๋ จ ์ ๋ณด๋ ์๋ ์ฟผ๋ฆฌ์ ์ฐ๊ฒฐํ๊ฑฐ๋ ์ฃผ์ ๋ฉ์ปค๋์ฆ๊ณผ ๊ฐ์ ๊ธฐ์ ์ ์ฌ์ฉํ์ฌ LLM์ ์๋ต ์์ฑ ํ๋ก์ธ์ค์ ํตํฉ๋์ด LLM์ด ์ฆ๊ฐ๋ ์ปจํ ์คํธ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๋ณด๋ค ์ ํํ๊ณ ์ ์ตํ ์๋ต์ ์์ฑํ ์ ์๋๋ก ํฉ๋๋ค.
์ ํ๋ฆฌ์ผ์ด์ ์ ์ ํฉํ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ ํํ๊ธฐ: ํ์ฅ์ฑ, ์ฑ๋ฅ, ์ฌ์ฉ ํธ์์ฑ, ๊ธฐ์กด ๊ธฐ์ ์คํ๊ณผ์ ํธํ์ฑ ๋ฑ์ ์์๋ ๋ฌผ๋ก ์ง์์ฐฝ๊ณ ํฌ๊ธฐ, ์ฟผ๋ฆฌ ์, ์ํ๋ ์๋ต ๋๊ธฐ ์๊ฐ ๋ฑ์ ํน์ ์๊ตฌ ์ฌํญ์ ๊ณ ๋ คํ์ฌ ์ ์ ํ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ ์ ํํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค.
๋ชจ๋ฒ ์ฌ๋ก ๋ฐ ๊ณ ๋ ค ์ฌํญ
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ก RAG๋ฅผ ์ฑ๊ณต์ ์ผ๋ก ๊ตฌํํ๋ ค๋ฉด ๋ช ๊ฐ์ง ๋ชจ๋ฒ ์ฌ๋ก์ ๊ณ ๋ ค ์ฌํญ์ ์ผ๋์ ๋์ด์ผ ํฉ๋๋ค.
๊ฒ์์ ์ํ ์ง์์ฐฝ๊ณ ์๋ฒ ๋ฉ ์ต์ ํํ๊ธฐ:
์ง์์ฐฝ๊ณ ์๋ฒ ๋ฉ์ ํ์ง์ ๋งค์ฐ ์ค์ํ๋ฏ๋ก ๋ค์ํ ์๋ฒ ๋ฉ ๋ชจ๋ธ๊ณผ ๊ธฐ๋ฒ์ ์คํํ๊ณ , ๋๋ฉ์ธ๋ณ ๋ฐ์ดํฐ๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ฉฐ, ๊ด๋ จ์ฑ๊ณผ ์ ํ์ฑ์ ์ ์งํ๊ธฐ ์ํด ์๋ก์ด ์ ๋ณด๊ฐ ์ ๊ณต๋๋ฉด ์ ๊ธฐ์ ์ผ๋ก ์๋ฒ ๋ฉ์ ์ ๋ฐ์ดํธํ๊ณ ํ์ฅํด์ผ ํฉ๋๋ค.
๊ฒ์ ์๋์ ์ ํ์ฑ์ ๊ท ํ์ ๋ง์ถ์ธ์:
๊ฒ์ ์๋์ ์ ํ๋ ์ฌ์ด์๋ ์ ์ถฉ์ ์ด ์กด์ฌํ๋ฏ๋ก ํ์ฉ ๊ฐ๋ฅํ ์ ํ๋๋ฅผ ์ ์งํ๋ฉด์ ๊ฒ์ ์๋๋ฅผ ๋์ด๊ธฐ ์ํด ๊ทผ์ฌ ๊ทผ์ฌ ์ด์ ๊ฒ์๊ณผ ๊ฐ์ ๊ธฐ์ ์ด ํ์ํ๋ฉฐ, ์์ฃผ ์ก์ธ์คํ๋ ์๋ฒ ๋ฉ์ ์บ์ฑํ๊ณ ์ฑ๋ฅ์ ์ต์ ํํ๊ธฐ ์ํด ๋ก๋ ๋ฐธ๋ฐ์ฑ ์ ๋ต์ ๊ตฌํํด์ผ ํฉ๋๋ค.
๋ฐ์ดํฐ ๋ณด์ ๋ฐ ๊ฐ์ธ์ ๋ณด ๋ณดํธ ๋ณด์ฅ:
๊ด๋ จ ๋ฐ์ดํฐ ๋ณดํธ ๊ท์ ์ ์ค์ํ๋ฉด์ ๋ฌด๋จ ์ก์ธ์ค๋ฅผ ๋ฐฉ์งํ๊ณ ์ง์์ฐฝ๊ณ ์๋ฒ ๋ฉ์ ๋ฏผ๊ฐํ ๋ฐ์ดํฐ๋ฅผ ๋ณดํธํ๋ ค๋ฉด ์์ ํ ๋ฐ์ดํฐ ์ ์ฅ์, ์ก์ธ์ค ์ ์ด ๋ฐ ๋ํ ์ํธํ์ ๊ฐ์ ์ํธํ ๊ธฐ์ ์ ๊ตฌ์ถํ๋ ๊ฒ์ด ํ์์ ์ ๋๋ค.
์์คํ ๋ชจ๋ํฐ๋ง ๋ฐ ์ ์ง ๊ด๋ฆฌ
์ฟผ๋ฆฌ ์ง์ฐ ์๊ฐ, ๊ฒ์ ์ ํ๋, ๋ฆฌ์์ค ์ฌ์ฉ๋ฅ ๊ณผ ๊ฐ์ ์งํ๋ฅผ ์ง์์ ์ผ๋ก ๋ชจ๋ํฐ๋งํ๊ณ , ์๋ํ๋ ๋ชจ๋ํฐ๋ง ๋ฐ ์๋ฆผ ๋ฉ์ปค๋์ฆ์ ๊ตฌํํ๋ฉฐ, ๋ฐฑ์ , ์ ๋ฐ์ดํธ, ์ฑ๋ฅ ํ๋์ ํฌํจํ ๊ฐ๋ ฅํ ์ ์ง ๊ด๋ฆฌ ์ผ์ ์ ์๋ฆฝํ๋ ๊ฒ์ RAG ์์คํ ์ ์ฅ๊ธฐ์ ์ธ ์ฑ๋ฅ๊ณผ ์์ ์ฑ์ ๋ณด์ฅํ๋ ๋ฐ ํ์์ ์ ๋๋ค.
๊ธฐ์ ์์ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ RAG์ ๊ฐ๋ ฅํ ๊ธฐ๋ฅ ํ์ฉํ๊ธฐ
AI๊ฐ ๊ณ์ํด์ ์ฐ๋ฆฌ์ ๋ฏธ๋๋ฅผ ๋ง๋ค์ด๊ฐ๊ณ ์๋ ์ง๊ธ, ๊ธฐ์ ์ด ์ด๋ฌํ ๊ธฐ์ ๋ฐ์ ์ ์ ๋์ ์๋ ๊ฒ์ ๋งค์ฐ ์ค์ํฉ๋๋ค. ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค ๋ฐ RAG์ ๊ฐ์ ์ต์ฒจ๋จ ๊ธฐ์ ์ ํ์ํ๊ณ ๊ตฌํํจ์ผ๋ก์จ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ์ ์ฌ๋ ฅ์ ์ต๋ํ ํ์ฉํ๊ณ ๋ ์ง๋ฅ์ ์ด๊ณ ์ ์๋ ฅ์ด ๋ฐ์ด๋๋ฉฐ ๋ ํฐ ROI๋ฅผ ์ ๊ณตํ๋ AI ์์คํ ์ ๋ง๋ค ์ ์์ต๋๋ค.
์คํ ์์ค ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ฌ์ฉ์ 10๊ฐ์ง ์ด์
๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์๋ฃจ์ ์ค์์๋ ์คํ ์์ค ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ ์ ์ฐ์ฑ, ํ์ฅ์ฑ, ๋น์ฉ ํจ์จ์ฑ์ด๋ผ๋ ๋งค๋ ฅ์ ์ธ ์กฐํฉ์ ์ ๊ณตํฉ๋๋ค. ์ด๋ฌํ ์ ๋ฌธ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ ์คํ ์์ค ์ปค๋ฎค๋ํฐ์ ์ง๋จ์ ํ์ ํ์ฉํจ์ผ๋ก์จ ์กฐ์ง์ด ๋ฐ์ดํฐ ๊ด๋ฆฌ ๋ฐ ๋ถ์์ ์ ๊ทผํ๋ ๋ฐฉ์์ ์ฌ์ ์ํ๊ณ ์์ต๋๋ค.
์ด๋ฒ ์ฃผ ๋ธ๋ก๊ทธ์์๋ ์คํ์์ค ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ ์ฌ์ฉํ๋ฉด ์ป์ ์ ์๋ 10๊ฐ์ง ์ด์ ์ ๋ํด์๋ ์ดํด๋ณด์์ต๋๋ค:
ํ์ฅ์ฑ๊ณผ ๋น์ฉ ํจ์จ์ฑ์ผ๋ก ๋์ ๋น์ฉ ์์ด๋ ์ํํ ์ฑ์ฅ์ด ๊ฐ๋ฅํ๋ฉฐ, ๊ณต๊ธ์ ์ฒด ์ข ์์ฑ์ ์์ ๊ณ ์์ฐ ์นํ์ ์ธ ์๋ฃจ์ ์ ์ ๊ณตํฉ๋๋ค.
์ ์ฐ์ฑ๊ณผ ์ฌ์ฉ์ ์ง์ ๊ธฐ๋ฅ์ ํตํด ํน์ ์๊ตฌ ์ฌํญ์ ๋ง๊ฒ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ฅผ ์กฐ์ ํ๊ณ , ๊ธฐ๋ฅ์ ์์ ํ๊ณ , ๊ธฐ์กด ์์คํ ๊ณผ ํตํฉํ ์ ์์ต๋๋ค.
๊ตฌ์กฐํ๋์ง ์์ ๋ฐ์ดํฐ๋ฅผ ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํ๊ธฐ ์ํด NLP ๋ฐ ๋ฒกํฐ ์๋ฒ ๋ฉ๊ณผ ๊ฐ์ ๊ธฐ์ ์ ํ์ฉํ์ฌ ํจ๊ณผ์ ์ธ ์ ์ฅ, ๊ฒ์ ๋ฐ ๋ถ์์ ์ํํฉ๋๋ค.
๊ฐ๋ ฅํ ๋ฒกํฐ ์ ์ฌ์ฑ ๊ฒ์์ ์๋ฏธ๋ก ์ ์ ์ฌ์ฑ์ ๊ธฐ๋ฐ์ผ๋ก ์ ํํ ๊ฒ์์ ๊ฐ๋ฅํ๊ฒ ํ์ฌ ๊ฐ์ธํ๋ ์ถ์ฒ ๋ฐ ์ง๋ฅํ ์ฝํ ์ธ ๊ฒ์๊ณผ ๊ฐ์ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ง์ํฉ๋๋ค.
์คํ ์์ค ์์ฝ์์คํ ๊ณผ์ ํตํฉ์ ์ํธ ๋ณด์์ ์ธ ๋๊ตฌ ๋ฐ ํ๋ ์์ํฌ์์ ์ํธ ์ด์ฉ์ฑ์ ๋ณด์ฅํ์ฌ ์์ฐ์ฑ์ ํฅ์ํ๊ณ ํ์ ์ ์ด์งํฉ๋๋ค.
๊ฐ๋ ฅํ ๋ณด์ ๋ฐ ๋ฐ์ดํฐ ๊ฐ์ธ์ ๋ณด ๋ณดํธ ์กฐ์น๋ ํฌ๋ช ์ฑ, ์ํธํ, ์ก์ธ์ค ์ ์ด, ๊ท์ ์ค์ ํ์ค ์ค์๋ฅผ ์ฐ์ ์ํฉ๋๋ค.
๊ณ ์ฑ๋ฅ์ ํจ์จ์ ์ธ ๋ฐ์ดํฐ ๊ด๋ฆฌ๋ก ๋ค์ํ ์ํฌ๋ก๋๋ฅผ ์ํ ์ด๊ณ ์ ์ฟผ๋ฆฌ ์คํ๊ณผ ๋ค์ํ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค.
๊ณ ๊ธ ๋ถ์ ๋ฐ ๋จธ์ ๋ฌ๋๊ณผ์ ํธํ์ฑ์ ํตํด ์ต์ฒจ๋จ ๊ธฐ์ ๋ฐ ํ๋ ์์ํฌ์ ์ํํ๊ฒ ํตํฉํ ์ ์์ต๋๋ค.
๋ฏธ๋ ์งํฅ์ ์ด๊ณ ํ์ฅ ๊ฐ๋ฅํ ์ํคํ ์ฒ๋ฅผ ํตํด ์๋ก์ด ๊ธฐ์ ๊ณผ ์งํํ๋ ๋ฐ์ดํฐ ์๊ตฌ ์ฌํญ์ ๋ง์ถฐ ์ํํ๊ฒ ์ฑ์ฅํ๊ณ ์ ์ํ ์ ์์ต๋๋ค.
์ปค๋ฎค๋ํฐ ์ฃผ๋์ ํ์ ๊ณผ ์ง์์ ์ด๋ฌํ ๊ฐ๋ ฅํ ๋๊ตฌ๋ฅผ ํ์ฉํ๊ธฐ ์ํ ์ง์์ ์ธ ๊ฐ์ , ์ง์ ๊ณต์ , ๊ท์คํ ๋ฆฌ์์ค๋ฅผ ์ด์งํฉ๋๋ค.
์ํฐํ๋ผ์ด์ฆ๋ฅผ ์ํ ์์ 5๊ฐ์ง ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค
์ด๋ฒ ์ฃผ์๋ ์ฃผ์ ์ด์ ์ธ์๋ ๊ธฐ์ ์ ์ํ ์์ 5๊ฐ์ง ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋ํ ๋ธ๋ก๊ทธ๋ ๊ฒ์ํ์ต๋๋ค:
1. ํฌ๋ก๋ง
Chroma๋ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ ๋ฐ ํ๋ ์์ํฌ์์ ์ํํ ํตํฉ์ ์ํด ์ค๊ณ๋์ด AI ๊ธฐ๋ฐ ์ ํ๋ฆฌ์ผ์ด์ ๊ตฌ์ถ ํ๋ก์ธ์ค๋ฅผ ๊ฐ์ํํฉ๋๋ค. ํจ์จ์ ์ธ ๋ฒกํฐ ์ ์ฅ, ๊ฒ์, ์ ์ฌ๋ ๊ฒ์, ์ค์๊ฐ ์ธ๋ฑ์ฑ ๋ฐ ๋ฉํ๋ฐ์ดํฐ ์ ์ฅ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค. ์๋งจํฑ ๊ฒ์, ์ถ์ฒ, ์ด์ ์งํ ํ์ง์ ๊ฐ์ ์ฌ์ฉ ์ฌ๋ก ์ ๋ฐ์์ ์ต์ ์ ์ฑ๋ฅ์ ์ํด ๋ค์ํ ๊ฑฐ๋ฆฌ ๋ฉํธ๋ฆญ๊ณผ ์ธ๋ฑ์ฑ ์๊ณ ๋ฆฌ์ฆ์ ์ง์ํฉ๋๋ค.

2. ์๋ฐฉ์ธ
Pinecone์ ๊ณ ์ฑ๋ฅ๊ณผ ์ฌ์ฉ ํธ์์ฑ์ ์ฐ์ ์ํ๋ ์์ ๊ด๋ฆฌํ ์๋ฒ๋ฆฌ์ค ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋๋ค. ๊ณ ๊ธ ๋ฒกํฐ ๊ฒ์ ์๊ณ ๋ฆฌ์ฆ๊ณผ ํํฐ๋ง ๋ฐ ๋ถ์ฐ ์ธํ๋ผ๋ฅผ ๊ฒฐํฉํ์ฌ ๋๊ท๋ชจ์ ๋น ๋ฅด๊ณ ์์ ์ ์ธ ๋ฒกํฐ ๊ฒ์์ ์ง์ํฉ๋๋ค. ์๋งจํฑ ๊ฒ์, ์ถ์ฒ, ์ด์ ์งํ ๊ฐ์ง, ์ง๋ฌธ ๋ต๋ณ๊ณผ ๊ฐ์ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ํด ๋จธ์ ๋ฌ๋ ํ๋ ์์ํฌ ๋ฐ ๋ฐ์ดํฐ ์์ค์ ์ํํ๊ฒ ํตํฉ๋ฉ๋๋ค.

3. Qdrant
Qdrant๋ Rust๋ก ์์ฑ๋ ๊ณ ์์ ํ์ฅ ๊ฐ๋ฅํ ์คํ ์์ค ๋ฒกํฐ ์ ์ฌ๋ ๊ฒ์ ์์ง์ ๋๋ค. ๋ฉํ๋ฐ์ดํฐ๊ฐ ํฌํจ๋ ๋ฒกํฐ๋ฅผ ์ ์ฅ, ๊ฒ์, ๊ด๋ฆฌํ ์ ์๋ ํธ๋ฆฌํ API๋ฅผ ์ ๊ณตํ์ฌ ๋งค์นญ, ๊ฒ์, ์ถ์ฒ ๋ฑ์ ์ํ ํ๋ก๋์ ์ง์ ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ตฌํํ ์ ์๊ฒ ํด์ค๋๋ค. ์ค์๊ฐ ์ ๋ฐ์ดํธ, ๊ณ ๊ธ ํํฐ๋ง, ๋ถ์ฐ ์ธ๋ฑ์ค, ํด๋ผ์ฐ๋ ๋ค์ดํฐ๋ธ ๋ฐฐํฌ ์ต์ ๋ฑ์ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค.

4. Weaviate
Weaviate๋ ์๋, ํ์ฅ์ฑ, ์ฌ์ฉ ํธ์์ฑ์ ์ฐ์ ์ํ๋ ์คํ ์์ค ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋๋ค. ๊ฐ์ฒด์ ๋ฒกํฐ๋ฅผ ๋ชจ๋ ์ ์ฅํ ์ ์์ผ๋ฉฐ, ๋ฒกํฐ ๊ฒ์๊ณผ ๊ตฌ์กฐํ๋ ํํฐ๋ง์ ๊ฒฐํฉํฉ๋๋ค. GraphQL ๊ธฐ๋ฐ API, CRUD ์์ , ์ํ์ ํ์ฅ ๋ฐ ํด๋ผ์ฐ๋ ๋ค์ดํฐ๋ธ ๋ฐฐํฌ๋ฅผ ์ ๊ณตํฉ๋๋ค. NLP ์์ , ์๋ ์คํค๋ง ๊ตฌ์ฑ, ์ฌ์ฉ์ ์ ์ ๋ฒกํฐํ๋ฅผ ์ํ ๋ชจ๋์ ํตํฉํฉ๋๋ค.

5. Milvus
Milvus๋ ์๋ฒ ๋ฉ ๊ด๋ฆฌ, ์ ์ฌ๋ ๊ฒ์, ํ์ฅ ๊ฐ๋ฅํ AI ์ ํ๋ฆฌ์ผ์ด์ ์ ์ํด ์ค๊ณ๋ ์คํ ์์ค ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋๋ค. ์ด๊ธฐ์ข ์ปดํจํ ์ง์, ์คํ ๋ฆฌ์ง ์์ ์ฑ, ํฌ๊ด์ ์ธ ๋ฉํธ๋ฆญ, ํด๋ผ์ฐ๋ ๋ค์ดํฐ๋ธ ์ํคํ ์ฒ๋ฅผ ์ ๊ณตํฉ๋๋ค. ์ธ๋ฑ์ค, ๊ฑฐ๋ฆฌ ๋ฉํธ๋ฆญ, ์ฟผ๋ฆฌ ์ ํ์ ์ํ ์ ์ฐํ API๋ฅผ ์ ๊ณตํ๋ฉฐ, ์ฌ์ฉ์ ์ ์ ํ๋ฌ๊ทธ์ธ์ ํตํด ์์ญ์ต ๊ฐ์ ๋ฒกํฐ๋ก ํ์ฅํ ์ ์์ต๋๋ค.

๊ธฐ์ ์ ์ ํฉํ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค ์ ํํ๊ธฐ
์๋งจํฑ ๊ฒ์ ์์ง, ์ถ์ฒ ์์คํ , ๊ทธ ์ธ ์ด๋ค AI ๊ธฐ๋ฐ ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ตฌ์ถํ๋ ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ ์ ์ฌ๋ ฅ์ ์ต๋ํ ๋ฐํํ ์ ์๋ ํ ๋๋ฅผ ์ ๊ณตํฉ๋๋ค. ์ด๋ฌํ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ ๋น ๋ฅธ ์ ์ฌ๋ ๊ฒ์, ๊ณ ๊ธ ํํฐ๋ง, ์ธ๊ธฐ ์๋ ํ๋ ์์ํฌ์์ ์ํํ ํตํฉ์ ์ง์ํจ์ผ๋ก์จ ๊ฐ๋ฐ์๊ฐ ๋ฒกํฐ ๋ฐ์ดํฐ ๊ด๋ฆฌ์ ๊ทผ๋ณธ์ ์ธ ๋ณต์ก์ฑ์ ๋ํ ๊ฑฑ์ ์์ด ํ์ ์ ์ธ ์๋ฃจ์ ์ ๊ตฌ์ถํ๋ ๋ฐ ์ง์คํ ์ ์๋๋ก ํด์ค๋๋ค.
์ธํฌ๊ทธ๋ํฝ, ํต๊ณ, ๋ฐฉ๋ฒ ๊ฐ์ด๋, ๊ธฐ์ฌ, ๋์์ ๋ฑ ์ํฐํ๋ผ์ด์ฆ AI์ ๊ดํ ๋ ๋ง์ ์ฝํ ์ธ ๋ฅผ ๋ณด๋ ค๋ฉด ๋ค์์์ Skim AI๋ฅผ ํ๋ก์ฐํ์ธ์. LinkedIn
์ฐฝ์ ์, CEO, ๋ฒค์ฒ ์บํผํธ๋ฆฌ์คํธ ๋๋ ํฌ์์๋ก์ ์ ๋ฌธ์ ์ธ AI ์๋ฌธ ๋๋ ์ค์ฌ ์๋น์ค๋ฅผ ์ฐพ๊ณ ๊ณ์ ๊ฐ์? ๊ท์ฌ์ AI ์ ํ ์ ๋ต์ด๋ ํฌ์ ๊ธฐํ์ ๋ํด ์ ๋ณด์ ์ ๊ฐํ ๊ฒฐ์ ์ ๋ด๋ฆฌ๋ ๋ฐ ํ์ํ ๊ฐ์ด๋๋ฅผ ๋ฐ์๋ณด์ธ์.
์ฌ์ฉ์ ์ง์ AI ์๋ฃจ์ ๋ค์ ์ฐ์ ๋ถ์ผ์ ๋ฒค์ฒ ์บํผํ ๋ฐ ์ฌ๋ชจํ๋ ์ง์ ๊ธฐ์ ์ ๋์์ผ๋ก ํฉ๋๋ค: ์๋ฃ ๊ธฐ์ , ๋ด์ค/์ฝํ ์ธ ์ง๊ณ, ์ํ ๋ฐ ์ฌ์ง ์ ์, ๊ต์ก ๊ธฐ์ , ๋ฒ๋ฅ ๊ธฐ์ , ํํ ํฌ ๋ฐ ์ํธํํ.