LLM으로 알아보는 RAG

0.

저는 LLM과 LLMOps에 관심을 가지고 있습니다.

RAG가 LLM에서 중요한 키워드라는 것을 최근 한 개발자분의 LLM Application in production 세션을 듣고 확실하게 인식했습니다.

RAG를 더 잘 이해하고 기록하기 위해 공부한 내용을 글로 씁니다.

RAG(Retrieval-Augmented Generation)는 정보 검색 기술을 활용하여 자연어 처리 모델의 응답을 향상시키는 기법입니다.

구글에 RAG를 검색하면 잘 설명한 빅테크들의 글이 많습니다.

 

1. 

DevOps에서는 소프트웨어 품질을 높이기 위해 배포 주기를 빠르게하고, 자동화를 도입하는 등 다양한 방법을 사용합니다.
LLMOps에서도 LLM의 성능을 높이기 위한 많은 시도들이 이루어집니다.

그중 RAG를 이용한 성능 향상이 효과가 좋다고 합니다.

https://www.pinecone.io/blog/rag-study/

여기서 제가 중요하다고 느끼는 것은 아래와 같습니다.

"LLM을 개선하기 위한 일반적인 방법들보다, RAG를 사용하는 것이 비용 효율적입니다."

"데이터를 늘리거나, 모델을 조정하는 기존 방법들에 비해, RAG를 활용하면 할루시네이션 현상을 확실하게 줄일 수 있습니다."

 

2.

LLM의 대표적인 문제점은 다음과 같습니다.

1. 할루시네이션 (Hallucination): 답변이 없을 때 허위 정보를 제공합니다.
2. 시대착오 (Obsolescence): 사용자가 구체적이고 최신의 응답을 기대할 때 오래되었거나 일반적인 정보를 제공합니다.
3. 출처 불명확성 (Source Ambiguity): 신뢰할 수 없는 출처로부터 응답을 생성합니다.
4. 용어 혼동 (Terminological Confusion): 다양한 훈련 소스가 동일한 용어를 사용하여 서로 다른 내용을 설명합니다.

RAG는 이런 문제들을 해결하는데 굉장히 효과적입니다.

그 이유는 RAG가 Knowledge Sources를 사용하기 때문입니다.

https://aws.amazon.com/ko/what-is/retrieval-augmented-generation/

예시로 보여드리면 이렇습니다.

1) 그냥 LLM에 질문했을 때의 예시

• 질문: "최근에 개발된 인공지능 기술에는 어떤 것들이 있나요?"
• LLM 응답: "최근에는 딥러닝, 머신러닝, 자연어 처리와 같은 기술이 계속해서 발전하고 있습니다. 특히, 이미지 인식과 음성 인식 기술이 주목받고 있죠."

2) 내 지식 소스

• 지식 소스 정보: "2023년에는 Transformer 기반 모델이 크게 주목받았으며, 이 중 Diffusion 모델이 이미지 생성 분야에서 혁신적인 성과를 보여주었습니다."

3) RAG가 적용되어 질문했을 때의 예시

• 질문: "최근에 개발된 인공지능 기술에는 어떤 것들이 있나요?"
• RAG 응답: "최근에는 Transformer 기반의 인공지능 모델들이 크게 주목받고 있습니다. 특히 2023년에는 Diffusion 모델이 이미지 생성 분야에서 혁신적인 성과를 이루어, 기존 기술보다 더 정밀하고 사실적인 이미지를 생성할 수 있게 되었습니다."

RAG는 LLM의 범용성과 지식 소스의 최신 정보, 구체적인 데이터를 결합하여 보다 정확한 답변을 제공합니다.

 

3. 

제가 RAG를 공부하고 내린 결론은 이렇습니다.

1) LLM을 직접 구현하는 것보다, 잘 만들어진 LLM에 내 지식 소스를 잘 결합해 쓰는 것이 많은 상황에서 효율적이다.

-> 많은 회사에서 LLM 도입을 위해 노력하는데 지식 소스에 잘 정제된 데이터만 유지한다면 원하는 목표를 쉽게 이룰 것 같다.
(회사 내부용 챗봇이나 검색 도구로서)

2) 지식 소스의 데이터가 중요하다. 데이터는 항상 중요했지만, 더 중요하다.

3) 도메인 전문가들이 쉽게 지식 소스를 주입하고, 관리하고, 정제하는 (기술? 서비스? 인터페이스? 플랫폼?)이 필요할 것이다.