๋ก์ปฌ LLM์์ K8sGPT๋ก ์ฟ ๋ฒ๋คํฐ์ค AIOps ์คํํ๊ธฐ
๋ก์ปฌ LLM์์ K8sGPT๋ก ์ฟ ๋ฒ๋คํฐ์ค AIOps ์คํํ๊ธฐ ๊ด๋ จ
์ฟ ๋ฒ๋คํฐ์ค๋ ๊ณ์ ๊ณ ๋ํ๋๊ณ ์์ด์ ์ด๋ฅผ ๋ถ์ํ๊ณ ์กฐ์นํ๋ ๊ฒ์ ๋ค์ํ ๊ธฐ๋ฐ ์ง์์ ํ์๋ก ํฉ๋๋ค. ์๋ ์ ์ด์ด ์ฌํด๋ ์ธ๊ธฐ ์๋ ์ธ๊ณต์ง๋ฅ(AI, Artificial Intelligence)์ ์ด์ฉํด์ ์ฟ ๋ฒ๋คํฐ์ค๋ฅผ ๋ถ์ํ๊ณ ์ด์ ๋ง๋ ์กฐ์น๋ฅผ ํ ์ ์์ต๋๋ค.
ํด๋น ํ๋ก์ ํธ์ ์ด๋ฆ์ K8sGPT๋ก, ์ด๋ฏธ 1์ฐจ๋ก ์์ฆIT์์ ๋๋ต 1๋ ์ โChatGPT๋ก ์ฟ ๋ฒ๋คํฐ์ค ๊ด๋ฆฌํ๋ ๋ฐฉ๋ฒโ์ด๋ผ๋ ๊ธ์ ํตํด ์๊ฐ๋ ์ ์ด ์์ต๋๋ค. ๊ฐ๋จํ ์ฌ์ฉ์ฑ์ ๋ํด์ ์๊ฐํ๋ ๊ธ์ด์๋๋ฐ, ์ด ๊ธ์์ ๊ทธ์ ๋ํด ์ถ๊ฐ์ ์ผ๋ก ์ค๋ช ํ๊ณ ์ ํ๋ ๊ฒ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- 1๋ ๊ฐ์ ๋ณํ
- ๊ณต๊ฐ๋ AI ์ ๊ณต์๋ฅผ ์ฌ์ฉํ๋๊ฒ ์๋ ๋๋ง์ AI ์ ๊ณต์๋ฅผ ์ฌ์ฉํ๋ ๋ฒ
- K8sGPT์ ๋ฏธ๋ ์ ๋ง
1๋ ๊ฐ์ ๋ณํ
K8sGPT์ v0.0.1์ 2023๋ 3์์ ์์๋์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ด ๊ธ์ด ์์ฑ๋๋ 2024๋ 3์ (๊ทธ๋ฌ๊ณ ๋ณด๋ ๋ฑ 1๋ ์ด ์ง๋ฌ๋ค์?)์ ๋ฒ์ ์ v0.3.28์ด ๋์์ต๋๋ค.
๋ค์ํ ์๋น์ค ์ ๊ณต์
1๋ ๊ฐ์ ์ฃผ์ํ ๋ณํ ์ค ํ๋๋ K8sGPT๊ฐ ์ง์ ๊ตฌ๋ฌธ์ ์์ฒญํ ์ ์๋ ์ ๊ณต์(Provider)๊ฐ ๋งค์ฐ ๋ง์์ก๋ค๋ ๊ฒ์ ๋๋ค.
v0.3.28์๋ googlevertexai
๊ฐ ์ถ๊ฐ๋์๊ณ , v0.3.27์๋ huggingface
๊ฐ ์ถ๊ฐ๋์์ต๋๋ค. ์ด๋ฌํ ๋น ๋ฅธ AI ์๋น์ค ์ ๊ณต์์์ ํตํฉ์ ํตํด์ ์ฑ์ฅ ์๋๋ ๋๋์ฑ ๊ฐ์ํ ๋๊ณ ์์ต๋๋ค. ์ฐ์ ๊ฐ๋จํ๊ฒ ํ์ฌ ์ํ๋ฅผ ์ ๊ฒํด ๋ณด๊ฒ ์ต๋๋ค. ์ ๊ฒ์ ์ํด์ ๊ตฌ๊ธํด๋ผ์ฐ๋ํ๋ซํผ์์ ์ ๊ณตํ๋ ๋ง์ดํฌ๋ก ์๋น์ค ์ํคํ
์ฒ ์ฑ์ธ โOnline Boutineโ๋ฅผ ๋ฐฐํฌํ๊ฒ ์ต๋๋ค.
๋ ธํธ
์ค์น๋ brew
, rpm
, deb
๋ฑ ๋ค์ํ ๋ฐฉ๋ฒ์ ์ ๊ณตํฉ๋๋ค. ๋ค์๋งํฌ์์ ํ์ธํ์ธ์)
ํ์ฌ๋ ๋ฌธ์ ๊ฐ ์๋ ์ํ์ ๋๋ค. ๋ฐ๋ผ์ AI๊ฐ ๋ฌธ์ ๋ฅผ ๋ถ์ํ ์ ์๋๋ก ๋ฌธ์ ๋ฅผ ๋ง๋ค์ด ๋ด ์๋ค. ์์ ๋ก ๊ด์ฐฎ์ ๋ฌธ์ ๋ ์๋น์ค๋ ์กด์ฌํ์ง๋ง ํ๋๊ฐ ์๋ ์ํ์ ๋๋ค.
์ฌ์ค ์์ง๊น์ง๋ AI์ ๋์์ ๋ฐ์์ ๋ถ์ํ ์ํ๋ ์๋๋๋ค.
๋ ธํธ
๊ธฐ๋ณธ ๊ฐ์ด --backend openai
์
๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ธ์ฆ ์ ์ฐจ๋ ์ด๋ฏธ ์ฒ๋ฆฌ๋์์ต๋๋ค.
์ธ์ฆ์ ๋ค์์ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํ์ธ์
์๋ง ์ ๋ฟ๋ง ์๋๋ผ openai๋ฅผ ์ฌ์ฉํ๋ ๋ง์ ๋ฌด๋ฃ ์ฌ์ฉ์๋ ์์ ๊ฐ์ ๋ฉ์์ง๋ฅผ ์์ฃผ ๋ง๋๊ฒ ๋ ๊ฒ์ ๋๋ค. ๋ฐ๋ผ์ ๊ธฐ๋ณธ ์ ๊ณต์์ธ opanai๊ฐ ์๋๋ผ ๋ค๋ฅธ AI ์ ๊ณต์๋ฅผ ์ ํํด์ผ ํ๋๋ฐ ๊ฐ์ฅ ๋ฌด๋ํ ์ ํ์ง๋ google(์ ๋ฏธ๋์ด)์ cohere์ ๋๋ค. ๊ฐ ์ ๊ณต์๋ ๋ฌด๋ฃ ์ฌ์ฉ์๋ ๊ฐ๋จํ ํ ์คํธ๋ฅผ ํ ์ ์๋ ์์ค์ผ๋ก๋ ์๋น์ค๋ฅผ ์ ๊ณตํฉ๋๋ค. ๊ฐ ์ ๊ณต์์ ๋ํ ์ธ์ฆ ์ค์ ์ ๊ณ์ ๋ณํํ๊ธฐ ๋๋ฌธ์ ์์์๋ ์ธ๊ธํ ๋ค์์ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
ํด๋น ์ค์ ์ ์๋ฃํ๋ค๋ฉด ์ด์ ๋ฐฑ์๋(Backend) ์ ๊ณต์๋ฅผ google๊ณผ cohere๋ก ๋ณ๊ฒฝํ์ฌ ๊ฒฐ๊ด๊ฐ์ ๋น๊ตํด ๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. ๊ฐ ์ ๊ณต์๋ง๋ค ์๋ ค์ฃผ๋ ๋ฐฉ๋ฒ๊ณผ ๋ด์ฉ์ ์ ์ฌํ์ง๋ง ๋ฌธ๋งฅ๊ณผ ํ๋ฆ์ ๋ค์ ์ฐจ์ด๊ฐ ์๋ ๊ฒ์ ํ์ธํ ์ ์์ต๋๋ค.
์ด๋ ๊ฒ ์์ด๋ก ๋์ค๋ ๊ฒฐ๊ณผ๋ ์๋ฌด๋๋ ํ๊ตญ์ด๋ณด๋ค๋ ๋ถํธํฉ๋๋ค. ๋ฐ๋ผ์ ํ๊ตญ์ด๋ก ์ด๋ป๊ฒ ์ค๋ช
ํด ์ฃผ๋์ง ํ์ธํด ๋ณด๊ธฐ ์ํด ์ต์
--language
๋ฅผ ์ฌ์ฉํฉ๋๋ค. ํ๊ตญ์ด ๋ฟ๋ง ์๋๋ผ ์คํ์ธ์ด, ํ๋์ค์ด, ๋
์ผ์ด, ์ดํ๋ฆฌ์์ด, ํฌ๋ฅดํฌ๊ฐ์ด, ๋ค๋๋๋์ด, ๋ฌ์์์ด, ์ค๊ตญ์ด, ์ผ๋ณธ์ด๋ฅผ ์ ๊ณตํฉ๋๋ค.
์์ ๊ฒฐ๊ด๊ฐ์ ๋ฏธ๋ฃจ์ด๋ณด์ ํ๊ตญ์ด์ ๊ฐ์ ๋ค๋ฅธ ์ธ์ด๋ฅผ ์ฌ์ฉํ์ฌ ์ง์ํ๋ ๊ฒฝ์ฐ ์์ด์ ๊ฒฐ๊ณผ๋ฅผ ๋จ์ํ ๋ฒ์ญํ๋ ๊ฒ์ด ์๋๋ผ ์๋ก์ด ๊ฒฐ๊ณผ๋ฅผ ๋ง๋ค์ด ๋ด๋ ค๊ณ ํ๋ฉฐ, ์๋ฌด๋๋ ํ๊ตญ์ด๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ข ๋ ๋ง์ ๋ฐ์ดํฐ๋ฅผ ํ์ตํ ๊ฒ์ผ๋ก ์๋ ค์ ธ ์๋ google์ด ๋ ์์ฐ์ค๋ฌ์ด ์๋ต์ ๋ณด์ฌ์ฃผ๋ ๊ฒ์ผ๋ก ํ์ธ๋์์ต๋๋ค. ์ด์ ๊ฐ์ ๋ถ์ ์ธ์๋ ์ธ๊ณต์ง๋ฅ์ด ํ์ฌ์ฒ๋ผ ์ ๋ช ํด์ง ๊ณ๊ธฐ๊ฐ ๋ ๋ํ(Chat)๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์งํํ ์๋ ์์ต๋๋ค.
์ํธ ์์ฉ (Interactive) ๋ชจ๋
์ํธ ์์ฉ ๋ชจ๋๋ v0.3.26(์ถ์์ผ: 2024๋ 1์)๋ถํฐ ์ง์ํ๊ธฐ ์์ํ์ต๋๋ค. ์ด๋ ChatGPT์ ๊ฐ์ด ๋ํ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ข ๋ ์์ธํ ๋ด์ฉ์ ์ง์ํ๊ฑฐ๋ ์ฐ๊ด๋ ๋ด์ฉ์ ๋ฌผ์ด๋ณด๊ธฐ ์ํด์ ์ฌ์ฉ๋ ์ ์์ต๋๋ค.
ํ์ฌ ์ฌ์ฉ ๊ฐ๋ฅํ google๊ณผ cohere์ --interative
์ต์
์ ์จ์ ๊ด๋ จ ๋ด์ฉ์ ๋ฌผ์ด๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. ๊ฐ์ฅ ์ฒ์์ผ๋ก google ๋ฐฑ์๋์ ์ํธ ์์ฉ ๋ชจ๋๋ก ์ง์
ํ ์ดํ์ ์ข ๋ ์์ธํ ๋ด์ฉ ์ค๋ช
์ ์์ฒญ(Please let me know more detail about it)ํ๊ณ ๋์ค๋ ๊ฒฐ๊ด๊ฐ์ ํ์ธํฉ๋๋ค.
์ฒ์ ๋ด์ฉ๋ณด๋ค ํจ์ฌ ๋ ์์ธํ ๋ด์ฉ์ด ์ ๋ ฅ๋ ๊ฒ์ ํ์ธํ ์ ์์ต๋๋ค.
์ผ๋ถ ์ค๋ฅ๊ฐ ์๊ธด ํ์ง๋ง ์ฝ๊ณ ์ดํดํ ์ ์๋ ์์ค์ ํ๊ตญ์ด๊ฐ ์ถ๋ ฅ๋๋ ๊ฒ์ ํ์ธํ ์ ์์ต๋๋ค.
ํ์ฌ ๋ฐ์ํ ๋ฌธ์ ์ ์ฐ๊ด์ด ์๋ ๋ด์ฉ์ ๋ต๋ณํ์ง ์๋ ๊ฒ์ ํ์ธํ ์ ์์ต๋๋ค.
google ๋ง๊ณ ๋ค๋ฅธ AI๋ ์ด๋ป๊ฒ ์ํธ ์์ฉ๋๋์ง ํ์ธํ๊ธฐ ์ํด cohere๋ก ๋ฐ๊ฟ์ ๋ค์ ํ ์คํธํด ๋ณด๊ฒ ์ต๋๋ค.
ํ๊ตญ์ด๋ก ์ค๋ช ์ด ๋์ค์ง๋ ์๊ณ ํ๊ตญ์ด์ ์ถ๋ ฅ ์ฝ๋๊ฐ ์ ๋ง๋์ง ์ ์ ์๋ ๋ด์ฉ๋ง ์ถ๋ ฅ๋ฉ๋๋ค.
google ๋์ ๋ค๋ฅด๊ฒ ์ด๋ฒ์๋ ๋ฒ์ ์ ํ์ธํ ์ ์๋ ๋ช ๋ น์ด์ ์์๋ฅผ ๋ค์ด์ ์ค๋ช ํด ์ค๋๋ค.
์ด๋ฒ ๊ฒฐ๊ณผ๋ฅผ ํตํด์ ๋ชจ๋ธ์ ๋ฐ๋ผ ๋ต๋ณ์ด ๋ณํ๋ ๊ฒ์ ํ์ธํ ์ ์๊ณ , ์ด์ ๋ฐ๋ผ ์ ํฉํ ๋ชจ๋ธ์ ์ ํํด์ผ ํ๋ ๊ฒ์ด ๋ ์ํ๋ ๋ต์ ๊ฐ๊น์ด ๊ฒ์ ์ป์ ์ ์์ ๊ฒ์ด๋ผ๋ ๋ถ๋ถ์ ์์ํ ์ ์์ต๋๋ค. ์ด๋ฌํ ๋ณํ ์ด์ธ์ ์ฟ ๋ฒ๋คํฐ์ค ํด๋ฌ์คํฐ ๋ถ์ ์ด์ธ์ ๊ธฐ๋ฅ์ด ํ์ฅ๋ ๋ถ๋ถ์ ๋ํด์ ์์๋ณด๊ฒ ์ต๋๋ค.
๊ธฐ๋ฅ ํ์ฅ
๊ฐ ๊ธฐ๋ฅ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
trivy
: ์ฟ ๋ฒ๋คํฐ์ค ํด๋ฌ์คํฐ์ ๋ณด์ ์ทจ์ฝ์ ๋ฑ์ ์๋ ค์คprometheus
: ํ๋ก๋ฉํ ์ฐ์ค๊ฐ ์ค์น๋์ด ์๋ ํ๊ฒฝ์์ ์ค์ ๋ฑ์ ์ ๊ฒํด์คaws
: EKS์ ๊ฐ์ AWS์ ๋ฆฌ์์ค๋ฅผ ์ง์ ๋ถ์ํด์ค
์ด ์ค์์ ๊ฐ์ฅ ๊ฐํธํ๊ฒ ๊ธฐ๋ฅ์ ํ์ธํ ์ ์๋ trivy
๋ฅผ ํตํด์ ๊ธฐ๋ฅ์ ์ด๋ป๊ฒ ํ์ฅํ๊ณ ์ด๋ค ์ด์ ์ ์ป์ ์ ์๋์ง ํ์ธํด ๋ณด๊ฒ ์ต๋๋ค.
AI ์ ๊ณต์๊ฐ ์ค์ ๋์ด ์์ง ์์ ํด๋น ํ๋ ์ทจ์ฝ์ ์ ํด๋นํ๋ CVE(Common Vulnerabilities and Exposures)๋ง ์ถ๋ ฅ๋๋ ๊ฒ์ ํ์ธํ ์ ์์ต๋๋ค.
์ด๋ฒ์๋ cohere๋ฅผ ํตํด์ ์ด๋ค ๊ฒฐ๊ด๊ฐ์ด ๋์ค๋์ง ํ์ธํฉ๋๋ค.
์ทจ์ฝ์ ์ ๊ฒ ์ด์ธ์ trivy๋ฅผ ํตํด์ ํ์ฌ ๊ตฌ์ฑ ์ํ๋ฅผ ๊ฐ์ฌ(Audit)ํ๋๋ก ํ๊ฒ ์ต๋๋ค.
๋ถ์๋ ๋ด์ฉ์ ๊ธฐ๋ฐ์ผ๋ก AI ์ ๊ณต์์๊ฒ ์ค๋ช ์ ์์ฒญํ์ ๋ ์ด๋ค ๊ฒฐ๊ณผ๊ฐ ๋์ค๋์ง ํ์ธํด ๋ณด๊ฒ ์ต๋๋ค.
์ฐ์ google๋ก ์งํํ๊ฒ ์ต๋๋ค.
cohere๋ ์ด๋ค ๋ต๋ณ์ ์ฃผ๋์ง ์งํํด ๋ณด๊ฒ ์ต๋๋ค.
์ด์ ๊ฐ์ด ๊ฒจ์ฐ 1๋ ๋ฐ์ ์ง๋์ง ์์์ง๋ง ๋งค์ฐ ๋ง์ ๋ฐ์ ๊ณผ ๊ฐ์ ์ด ์์์์ ์ ์ ์์ต๋๋ค. ์ง๊ธ๊น์ง๋ ์ธ๋ถ AI ์๋น์ค ์ ๊ณต์์๊ฒ ๋ฐ์ดํฐ๋ฅผ ๋ณด๋ด๊ณ ์ค๋ช ์ ์์ฒญํ๋ ๋ฐฉ์์ผ๋ก ์ด๋ฃจ์ด์ก์ต๋๋ค. ์ด์ ๊ฐ์ ๋ฐฉ์์ ๊ฝค ๋ง์ ๊ธฐ์ ์์ ๋ง์ด ์ฐ๋ คํ๊ณ ์๋ ๋ฐฉ์์ผ ์ ์์ต๋๋ค.
๊ณต๊ฐ๋ AI ์ ๊ณต์๋ฅผ ์ฌ์ฉํ๋ ๊ฒ ์๋ ๋๋ง์ AI ์ ๊ณต์๋ฅผ ์ฌ์ฉํ๋ ๋ฒ
๊ธฐ์
์ ๋ฐ์ดํฐ๋ผ๋ฉด ์ด๋ค ์ข
๋ฅ๋ ์ ์ถ๋๋ ๊ฒ์ด ๋งค์ฐ ๋ฏผ๊ฐํ ๋ฌธ์ ์ผ ์ ์์ต๋๋ค. ์ด์ ๋ฐ๋ผ k8sGPT๋ --anonymize
์ต์
์ ํตํด์ ๋ฏผ๊ฐํ ์ ๋ณด๊ฐ ์ ์ถ๋์ง ์๋๋ก ์ง์ํ์ง๋ง, ๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ ๊ณต๊ฐ๋ AI ์ ๊ณต์๋ฅผ ์ฌ์ฉํ๋ ๊ฒ ์์ฒด์ ์ฐ๋ ค๊ฐ ์์ต๋๋ค.
--anonymize
Anonymize data before sending it to the AI backend. This flag masks sensitive data, such as Kubernetes object names and labels, by replacing it with a key. However, please note that this flag does not currently apply to events.
๋ฐ๋ผ์ ๊ธฐ์
์
์ฅ์์๋ ๊ธฐ์
์์ ์ ๊ทผํ๊ณ ๊ด๋ฆฌํ ์ ์๋ AI ์ ๊ณต์๋ฅผ ๊ตฌ์ฑํ๊ณ ์ฌ์ฉํ ํ์๊ฐ ์๋๋ฐ, ์ด๋ฅผ ์ํด์ K8sGPT๋ localai
๋ผ๋ ์ ๊ณต์๋ฅผ ์ค์ ํ ์ ์์ต๋๋ค. ์ด๋ฆ์ local์ด์ง๋ง ์ด๋ฅผ ํ์ฉํ๋ฉด ๋ณธ์ธ์ AI ์๋น์ค๋ฅผ ์ ๊ณตํ๋ ์์น์ ์๋ API์ ํธ์ถํด์ ๊ฒฐ๊ณผ๋ฅผ ๊ฐ์ง๊ณ ์ค๋ ๊ตฌ์กฐ ์ด๋ฏ๋ก ๊ผญ local ๊ตญํ๋์ง ์์ต๋๋ค.
์์ธํ ๋ด์ฉ์ ์ค์ต์ ํตํด์ ํ์ธํ๊ฒ ์ต๋๋ค!
(์ฌ์ ์ค๋น) ํ์ฅ๋ ๊ธฐ๋ฅ ๋นํ์ฑํ
์์ ๋ฐํ๋ K8sGPT๋ฅผ ํตํ ์ฟ ๋ฒ๋คํฐ์ค AIOps์ ๊ฐ๋ฅ์ฑ 1๋ถ์ ์ด์ด, 2๋ถ๋ฅผ ์งํํ๋ค๋ฉด, ๊ฐ์ฅ ๋จผ์ ํ์ํ ์์ ์ ๊ธฐ๋ฅ์ ํ์ฅํ๋ trivy๋ฅผ ๋นํ์ฑํ ์ํค๋ ๊ฒ์ ๋๋ค. v0.3.28๊น์ง๋ ๊ธฐ๋ฅ์ ํ์ฅํ ๊ฒฝ์ฐ ํํฐ๋ฅผ ์ฌ์ฉํ์ง ์์ผ๋ฉด ์ ์์ ์ผ๋ก ์ฌ์ฉํ๊ธฐ ์ด๋ ต์ต๋๋ค.
LLM ๋ชจ๋ธ ๊ตฌ์ฑ ๋ฐ ์คํ
K8sGPT์ ๋๋ง์ AI ์ ๊ณต์๋ฅผ ๊ตฌ์ฑํ๊ธฐ ์ํด์๋ ์ฐ์ ๋ก์ปฌ์ LLM ๋ชจ๋ธ์ด ๊ตฌ์ฑ ๋ฐ ์คํ๋์ด ์์ด์ผ ํฉ๋๋ค. ์ฌ๊ธฐ์ ๊ผญ ๋ก์ปฌ์ผ ํ์๋ ์์ผ๋, K8sGPT๊ฐ ์์ฒญํ ์ ์๋ ๊ณณ์ AI API๊ฐ ๋์ํ๊ณ ์์ด์ผ ํฉ๋๋ค. ์ด๋ฅผ ์ดํดํ๊ธฐ ์ํด์ ๊ฐ๋จํ K8sGPT๊ฐ ์ด๋ป๊ฒ ๋์ํ๋์ง๋ฅผ ๋ค์์ ๊ทธ๋ฆผ์ผ๋ก ํํํ์์ต๋๋ค.
์ง๊ธ๊น์ง์ ๊ณผ์ ์์๋ ๊ณต๊ฐ๋ AI ์๋น์ค ์ ๊ณต์(google, cohere ๋ฑ)๊ฐ ์ค๋ช
์ ์งํํด์คฌ๊ณ , ์ด๋ฅผ ๊ณต๊ฐ๋ AI ์๋น์ค ์ ๊ณต์๊ฐ ์๋ ๋ด๊ฐ ์ง์ ๊ตฌ์ฑํ AI ์๋น์ค ์ ๊ณต์๋ก ๋ฐ๊พธ๋ ๊ฒ์ด ํต์ฌ์
๋๋ค. ์ด๋ฅผ ์ํด K8sGPT๋ localai
๋ผ๋ ์ ๊ณต์๋ฅผ ๊ฐ์ง๊ณ ์์ผ๋ฉฐ, ํด๋น ์ ๊ณต์๋ API ์ฃผ์์ ์
๋ ฅํ๋ฉด ์ฌ๊ธฐ์ ์ง์ํ์ฌ ํด๋น ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํด ์ค๋๋ค.
์ด ๊ณผ์ ์ ์งํํ๊ธฐ ์ํด์ ๊ฐ์ฅ ๋จผ์ ํ์ํ ๊ฒ์ AI ์๋น์ค ์ ๊ณต์๋ฅผ ๋ง๋๋ ๊ฒ์ ๋๋ค. ์ด๊ฒ์ ๋งค์ฐ ๋ณต์กํ ์๋ ์์ผ๋, ๊ฐ๋จํ ํ ์คํธ๋ฅผ ์ํด์ ์ ํฌ๊ฐ ํ์ํ๊ฑด AI ๋ชจ๋ธ์ ์คํ๊ณผ ํด๋น ๋ชจ๋ธ์๊ฒ ์์ฒญํ ์ ์๋ API ์ฃผ์ 2๊ฐ์ง ์ ๋๋ค.
์ด 2๊ฐ์ง๋ฅผ ์์ฝ๊ฒ ๊ตฌํํ ์ ์๋ ๋๊ตฌ๋ก๋ ollama๊ฐ ์์ต๋๋ค. ollam
๋ ๋ก์ปฌ ํ๊ฒฝ์ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM, Large Language Models)์ ์์ฝ๊ฒ ๊ตฌํํ ์ ์๋๋ก ๋์์ค๋๋ค.
ollama
๋ฅผ ํตํด์ LLM๋ฅผ ์คํํ๋ ๋ฐฉ๋ฒ์ ํฌ๊ฒ 2๊ฐ์ง๊ฐ ์์ต๋๋ค. (๋ง์ฝ ๋์ปค์ ์ต์ํ์๋ค๋ฉด ์ ์ฌํ ๋๋์ด ๋์ค ๊ฒ๋๋ค.)
๋ด๋ ค๋ฐ์ ๋ชจ๋ธ์ ๋ค์์ ์์น์ ์ ์ฅ๋ฉ๋๋ค.
- .macOS:
~/.ollama/models
- .Linux:
/usr/share/ollama/.ollama/models
- .Windows:
C:\Users\<username>\.ollama\models
๋ด๋ ค๋ฐ์ ์ ์๋ ๋ํ ๋ชจ๋ธ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
Model | Parameters | Size | Download |
---|---|---|---|
Llama 2 | 7B | 3.8GB | ollama run llama2 |
Mistral | 7B | 4.1GB | ollama run mistral |
Dolphin Phi | 2.7B | 1.6GB | ollama run dolphin-phi |
Phi-2 | 2.7B | 1.7GB | ollama run phi |
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
Orca Mini | 3B | 1.9GB | ollama run orca-mini |
Vicuna | 7B | 3.8GB | ollama run vicuna |
LLaVA | 7B | 4.5GB | ollama run llava |
Gemma | 2B | 1.4GB | ollama run gemma:2b |
Gemma | 7B | 4.8GB | ollama run gemma:7b |
์ถ์ฒ:
ollama/ollama
๋ ๋ฒ์งธ๋ ๋ชจ๋ธ์ ๋ด๋ ค๋ฐ๊ณ ์คํํ ์ ์๋ run
์
๋๋ค. ์ด๋ ๋ชจ๋ธ์ ์ด๋ฏธ ๋ด๋ ค๋ฐ์ ์ํ๋ผ๋ฉด ๋ด๋ ค๋ฐ๋ ๊ณผ์ ์ด ์์ด ๋ฐ๋ก ์คํ๋ฉ๋๋ค.
์ด๋ ๊ฒ ํด์ ๋ชจ๋ธ์ด ์คํ๋๊ณ ๋๋ฉด, openai ํฌ๋งท์ผ๋ก API ์์ฒญ์ ํ ์ ์์ต๋๋ค.
API ์์ฒญ์ ํ ์ ์๋ LLM ๋ชจ๋ธ ๊ตฌ์ฑ, ๊ทธ๋ฆฌ๊ณ ์คํ์ด ๋งค์ฐ ์์ฝ๊ฒ ์๋ฃ๋์์ต๋๋ค.
K8sGPT์ localai
๋ฑ๋ก ํ ์คํ
localai์ ๋ฑ๋กํ๋ ๊ณผ์ ๋ ๋ํ ๋งค์ฐ ์ฝ์ต๋๋ค. (์ธ์ฆ์ 1๋ถ์์ ์๊ฐํ ๋ค์์ ๋งํฌ๋ฅผ ์ฐธ๊ณ ํ์ธ์.)
2B๋ฐ์ ์๋๋ ๋ชจ๋ธ์ธ ๊ฒ์ ๊ณ ๋ คํ์ ๋ ๊ฒฐ๊ณผ๊ฐ ๋์์ง ์๊ฒ ๋์ต๋๋ค. ํ๊ตญ์ด๋ก ๋ต๋ณ์ ์ค ์ ์๋์ง ํ์ธํด ๋ณด๊ฒ ์ต๋๋ค.
๋ค๋ฅธ ๋ชจ๋ธ์ ์ด๋ค ๋ต๋ณ์ ์ ๊ณตํ๋์ง ํ์ธํด ๋ณด๋ ๊ฒ ์ข์ ๊ฒ ๊ฐ์ต๋๋ค. ํ์ฌ ์ค์ต ๊ฐ๋ฅํ ๋ชจ๋ธ ์ค์ ๋งค๊ฐ๋ณ์๊ฐ ๊ฐ์ฅ ํฐ ๊ฒ ์ค์ ํ๋์ธ llama2:70b
๋ชจ๋ธ์ ๋์์ํค๊ฒ ์ต๋๋ค.
load ์์ ๋ชจ๋ธ์ด ์๋ ๊ฒฝ์ฐ๋?
ํ๊ตญ์ด๋ก๋ ๋ฌผ์ด๋ด ๋๋ค.
์ด์ ๊ฐ์ด ํ๊ตญ์ด ์ง์์ ๋ค์ ์ด๋ ค์ด ๋ถ๋ถ์ด ์์ง๋ง, localai
๋ฅผ ํตํด์ ๊ณต๊ฐ๋ AI ์๋น์ค์ ์ง์ํ์ง ์๊ณ ๋ ํ์ฌ ์ํฉ์ ๋ํด ์ค๋ช
์ ๋ฐ์ ์ ์๋ ๊ฒ์ ํ์ธํ์์ต๋๋ค.
ollama
๋ฅผ ํตํด์ ์คํ๋ ๋ชจ๋ธ ๋ณ๋ก ์ป์ ์ ์๋ ๋ด์ฉ์ ํน์ฅ์ ์ ์ถํ์ ๋ค์ ์์๋ณด๊ธฐ๋ก ํ๊ฒ ์ต๋๋ค.
K8sGPT์ ๋ฏธ๋ ์ ๋ง
K8sGPT๋ ํ์ฌ ์ฟ ๋ฒ๋คํฐ์ค ํด๋ฌ์คํฐ์ ์กด์ฌํ๋ ์ฌ๋ฌ ๊ฐ์ง ๋ฌธ์ ๊ฐ๋ฅ์ฑ์ ๋ถ์ํด์ฃผ๋ ํ๋ฅญํ ๋๊ตฌ์ ๋๋ค. ์ด๋ฌํ ๋ถ์์ ์ํด ๋ค์ํ AI ์๋น์ค ์ ๊ณต์๋ฅผ ์ ํํ ์ ์๊ณ , ๋ํ ๋จ์ํ ์ฟ ๋ฒ๋คํฐ์ค ํด๋ฌ์คํฐ ๋ถ์๋ฟ๋ง ์๋๋ผ ๊ธฐ๋ฅ์ ํตํฉํด์ ํ์ฅํ ์ ์๋๋ก ์ง์ํ๊ณ ์์ต๋๋ค. ๋ค๋ง ์ํธ ์์ฉ ๋ชจ๋์์ ์ ํ์ ์ผ๋ก ๋์ํ๊ณ , ํ๊ตญ์ด์ ๊ฐ์ด ์ฌ์ฉ๋ฅ ์ด ๋์ง ์์ ๊ฒฝ์ฐ์๋ ๋ชจ๋ธ์์ ์ง์ํ์ง ์๋ ๊ฒฝ์ฐ๊ฐ ๋ง์์ ์ฌ์ฉ์ ์ฝ๊ฐ ์ ์ฝ์ด ์์ ์ ์์ต๋๋ค.
๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ K8sGPT๋ผ๋ ํ๋ก์ ํธ๋ ๋งค์ฐ ๋น ๋ฅด๊ฒ ์ฑ์ฅํ๊ณ ์๊ณ , ์ปค๋ฎค๋ํฐ์ ์๊ฒฌ์ ์ ๊ทน์ ์ผ๋ก ๋ฐ์๋ค์ฌ ๋ง์ ๊ธฐ๋ฅ๋ค์ด ๋น ๋ฅด๊ฒ ์ถ๊ฐ๋๊ณ ์์ต๋๋ค. ๊ธฐ์ ์ด ๊ณต๊ฐ๋ AI์ ๊ณต์๋ฅผ ์ฌ์ฉํจ์ผ๋ก์จ ์ ๋ณด๊ฐ ๊ณต๊ฐ๋๋ ๊ฒ์ ์ฐ๋ คํ๋ ๋ถ๋ถ๋ localai๋ฅผ ํตํด์ ํด์ํ ์ ์์ ๊ฒ์ผ๋ก ๋ณด์ด๋ฉฐ, localai๋ฅผ ์์ฉํด ๋ค์ํ ๊ธฐ์ ํ๊ฒฝ์ ๋ง๋ ๋ชจ๋ธ์ ์ง์ K8sGPT์์ ์ฌ์ฉํ๋๋ก ์ค์ ํ ์๋ ์์ ๊ฒ์ ๋๋ค.
๋ฐ๋ผ์ K8sGPT๋ ํ์ฌ LLM์ ์ถ์ธ์ ๋ง๋ฌผ๋ ค 2024๋ ํ์ฌ์ ๊ฐ์ฅ ์ธ๊ธฐ ์๋ ์ฃผ์ ์ค์ ํ๋๊ฐ ๋ ๊ฒ์ผ๋ก ๋ณด์ ๋๋ค.. ์ด๋๋ก๋ง ๋ฐ์ ํ๋ค๋ฉด ์ํธ ์์ฉ ๋ชจ๋ ๋ํ ํ์ฌ์ ๊ฐ์ด ๋ค์ ์ ํ์ด ์๋ ํํ๊ฐ ์๋, ์ฌ์ฉ์๊ฐ ์ํ๋ ๋ค์ํ ์ ๋ณด๋ฅผ ์ป์ ์ ์๋ ํํ๋ก ๋ณํํ ๊ฒ์ผ๋ก ์์๋ฉ๋๋ค.