0. 저는 LLM과 LLMOps에 관심을 가지고 있습니다. RAG가 LLM에서 중요한 키워드라는 것을 최근 한 개발자분의 LLM Application in production 세션을 듣고 확실하게 인식했습니다. RAG를 더 잘 이해하고 기록하기 위해 공부한 내용을 글로 씁니다. RAG(Retrieval-Augmented Generation)는 정보 검색 기술을 활용하여 자연어 처리 모델의 응답을 향상시키는 기법입니다. 구글에 RAG를 검색하면 잘 설명한 빅테크들의 글이 많습니다. 1. DevOps에서는 소프트웨어 품질을 높이기 위해 배포 주기를 빠르게하고, 자동화를 도입하는 등 다양한 방법을 사용합니다. LLMOps에서도 LLM의 성능을 높이기 위한 많은 시도들이 이루어집니다. 그중 RAG를 이용한 성능..

Kubernetes는 MSA 같은 워크로드 뿐만 아니라, LLM과 같은 대규모 인공 지능(AI) 및 머신 러닝(ML) 워크로드의 전체 라이프사이클을 지원하는 데 이상적인 플랫폼입니다. 2022년, Red Hat의 컨테이너 워크로드 현황에 대한 보고서에 따르면 응답자의 76%가 데이터베이스 또는 데이터 캐시 시스템을 구축했으며, 65%가 인공 지능 및 머신 러닝 워크로드에 쿠버네티스를 사용했습니다. 웹 서버가 59%, 로깅 및 모니터링 솔루션이 58%, 데이터 수집/분석이 56%로 그 뒤를 이었습니다. Kubernetes는 언어 모델을 구축, 학습 및 배포하는 데 있어 지배적인 플랫폼으로 부상하여 AI 환경을 혁신하고 있습니다. Kubernetes에서 AI/ML 워크로드를 호스팅하면 확장성, 유연성, 네트..