0. 저는 LLM과 LLMOps에 관심을 가지고 있습니다. RAG가 LLM에서 중요한 키워드라는 것을 최근 한 개발자분의 LLM Application in production 세션을 듣고 확실하게 인식했습니다. RAG를 더 잘 이해하고 기록하기 위해 공부한 내용을 글로 씁니다. RAG(Retrieval-Augmented Generation)는 정보 검색 기술을 활용하여 자연어 처리 모델의 응답을 향상시키는 기법입니다. 구글에 RAG를 검색하면 잘 설명한 빅테크들의 글이 많습니다. 1. DevOps에서는 소프트웨어 품질을 높이기 위해 배포 주기를 빠르게하고, 자동화를 도입하는 등 다양한 방법을 사용합니다. LLMOps에서도 LLM의 성능을 높이기 위한 많은 시도들이 이루어집니다. 그중 RAG를 이용한 성능..

Stable Diffusion이란? 1. 텍스트로 이미지를 만들어주는 생성형 인공 지능 모델입니다. 2. "Stable"은 Stability AI의 이름을 딴 것으로 보입니다. ChatGPT는 "모델이 생성하는 이미지의 질과 안정성을 의미한다"고 했지만 그 근거를 찾을 수 없었습니다. "Diffusion"은 Diffusion Model이라는 이미지 생성 모델의 이름에서 따온것으로 보입니다. (확실하지 않습니다) 3. 스테이블 디퓨전은 컴퓨팅 리소스를 대폭 줄여 GPU가 장착된 개인의 데스크탑이나 노트북에서도 실행할 수 있게 만든것이 특징입니다. 4. Stable Diffusion은 오픈소스이며, 사용하여 서비스를 할 경우 Stable AI에서 만든 오픈소스 머신러닝 전용 라이선스를 따라야 합니다. sta..

Kubernetes는 MSA 같은 워크로드 뿐만 아니라, LLM과 같은 대규모 인공 지능(AI) 및 머신 러닝(ML) 워크로드의 전체 라이프사이클을 지원하는 데 이상적인 플랫폼입니다. 2022년, Red Hat의 컨테이너 워크로드 현황에 대한 보고서에 따르면 응답자의 76%가 데이터베이스 또는 데이터 캐시 시스템을 구축했으며, 65%가 인공 지능 및 머신 러닝 워크로드에 쿠버네티스를 사용했습니다. 웹 서버가 59%, 로깅 및 모니터링 솔루션이 58%, 데이터 수집/분석이 56%로 그 뒤를 이었습니다. Kubernetes는 언어 모델을 구축, 학습 및 배포하는 데 있어 지배적인 플랫폼으로 부상하여 AI 환경을 혁신하고 있습니다. Kubernetes에서 AI/ML 워크로드를 호스팅하면 확장성, 유연성, 네트..

LLMOps를 설명하려면 MLOps를 알아야 합니다. MLOps란? ML(Machine Learning, 머신 러닝)과 Ops(Operations, 운영)의 합성어입니다. MLOps는 머신 러닝 모델을 안정적이고 효율적으로 배포 및 유지 관리하는 것을 목표로 하는 패러다임입니다. 또는 머신 러닝 프로그램의 개발, 배포, 관리 및 모니터링을 위한 연속적인 작업 프로세스 및 방법론입니다. DevOps (Development and Operations) 개념을 머신러닝에 적용한 것입니다. LLMOps란? LLMOps는 "LLM"과 "Ops"의 합성어로 MLOps의 한 패러다임입니다. 프로덕션 환경에서 대규모 언어 모델을 배포하고 유지 관리하여 규모와 성능에 대한 기대치를 충족하는 데 중점을 둡니다. LLMOp..

MLOps, DataOps, AIOps란 무엇인지 알아보겠습니다. ChatGPT에게 컴퓨터공학 전공자 수준으로 3줄 요약을 부탁해보았습니다. MLOps: MLOps는 기계 학습 프로젝트를 개발, 배포 및 관리하는 프로세스와 도구의 결합을 의미합니다. 소프트웨어 개발의 워크플로우와 기계 학습 모델의 라이프사이클을 통합하여 효율적인 모델 관리와 협업을 실현합니다. CI/CD, 자동화된 모델 배포, 모델 모니터링 및 유지보수가 MLOps의 주요 요소입니다. DataOps: DataOps는 데이터 파이프라인 및 데이터 관리 프로세스를 개발 및 운영하기 위한 방법론입니다. 소프트웨어 개발과 유사한 방식으로 데이터 통합, 전처리, 저장 및 분석을 자동화하며, 팀 간 협업과 데이터 품질 향상을 목표로 합니다. CI/..