4. RAG의 모든 것 (Retrieval-Augmented Generation)

🎯 이 챕터에서 배울 것

• RAG(검색 증강 생성)의 기본 개념과 전체 흐름(Load, Split, Embed, Store, Retrieve) 이해하기
• UnstructuredFileLoader를 사용하여 다양한 형식의 문서를 로드하는 방법
• CharacterTextSplitter와 Tiktoken을 사용하여 문서를 의미 있는 조각(chunk)으로 분할하는 방법
• OpenAIEmbeddings와 VectorStore(FAISS/Chroma)를 사용하여 문서 조각을 벡터로 변환하고 저장하는 방법
• RetrievalQA 체인을 사용하여 RAG 파이프라인을 간단하게 구축하는 방법
• LCEL을 사용하여 Stuff 및 Map-Reduce와 같은 RAG 체인을 직접 구현하는 방법

---

Load & Split (feat. Tiktoken)

🎯 이번 단계에서 배울 것

• RAG의 첫 두 단계인 **Load(로드)**와 **Split(분할)**의 개념을 이해합니다.
• UnstructuredFileLoader를 사용하여 .docx, .txt 등 다양한 파일을 로드합니다.
• CharacterTextSplitter를 사용하여 로드된 문서를 작은 조각으로 분할합니다.
• from_tiktoken_encoder를 사용하여 OpenAI 모델의 토큰 계산 방식에 맞춰 더 정확하게 분할합니다.

📝 1단계: 문서 로드 및 분할

전체 코드 (notebook.ipynb):

from langchain.document_loaders import UnstructuredFileLoader
from langchain.text_splitter import CharacterTextSplitter

# 1. 문서를 분할할 스플리터 정의
splitter = CharacterTextSplitter.from_tiktoken_encoder(
    separator="\n",      # 분할 기준
    chunk_size=600,     # 조각의 최대 크기 (토큰 기준)
    chunk_overlap=100,  # 조각 간의 겹침 크기
)

# 2. 문서를 로드할 로더 정의
loader = UnstructuredFileLoader("./files/chapter_one.docx")

# 3. 로드하고 분할하기
loader.load_and_split(text_splitter=splitter)

🔍 코드 상세 설명

1. RAG의 첫걸음: Load & Split
LLM은 한 번에 처리할 수 있는 텍스트의 양(컨텍스트 윈도우)에 제한이 있습니다. 따라서 긴 문서를 LLM에게 제공하려면, 먼저 문서를 불러와(Load) 잘게 쪼개는(Split) 과정이 필요합니다.

• UnstructuredFileLoader: 텍스트, PDF, 워드 문서 등 다양한 형식의 파일을 처리할 수 있는 강력한 로더입니다.
• CharacterTextSplitter: 가장 기본적인 스플리터로, 지정된 문자를 기준으로 텍스트를 분할합니다.
• from_tiktoken_encoder: 단순히 글자 수가 아닌, OpenAI의 Tiktoken 라이브러리를 사용하여 토큰 수를 기준으로 chunk_size를 계산합니다. 이는 모델의 컨텍스트 윈도우를 더 정확하게 관리할 수 있게 해줍니다.
• chunk_overlap: 분할된 조각들이 서로 약간의 내용을 겹치게 만들어, 문맥이 잘리는 것을 방지하고 의미가 잘 유지되도록 돕습니다.

✅ 체크리스트

• UnstructuredFileLoader를 사용하여 파일을 로드했나요?
• CharacterTextSplitter.from_tiktoken_encoder를 사용하여 스플리터를 정의했나요?
• load_and_split 메소드로 문서 로드와 분할을 한 번에 실행했나요?

---

Embed & Store (Vector Stores)

🎯 이번 단계에서 배울 것

• RAG의 세 번째와 네 번째 단계인 **Embed(임베딩)**와 **Store(저장)**의 개념을 이해합니다.
• OpenAIEmbeddings를 사용하여 텍스트 조각을 벡터(숫자의 배열)로 변환합니다.
• FAISS 또는 Chroma와 같은 벡터 스토어에 임베딩된 벡터를 저장하고 검색하는 방법을 배웁니다.
• CacheBackedEmbeddings를 사용하여 임베딩 과정을 캐싱하고 비용을 절약합니다.

📝 1단계: 텍스트를 벡터로 변환하여 저장하기

전체 코드 (notebook.ipynb):

from langchain.embeddings import OpenAIEmbeddings, CacheBackedEmbeddings
from langchain.vectorstores import FAISS # 또는 Chroma
from langchain.storage import LocalFileStore

# ... (loader, splitter, docs는 이전 단계와 동일)

# 1. 임베딩 모델 정의
embeddings = OpenAIEmbeddings()

# 2. 임베딩 캐시 설정
cache_dir = LocalFileStore("./.cache/")
cached_embeddings = CacheBackedEmbeddings.from_bytes_store(embeddings, cache_dir)

# 3. 벡터 스토어 생성 및 저장
vectorstore = FAISS.from_documents(docs, cached_embeddings)

# 4. 유사도 검색
results = vectorstore.similarity_search("where does winston live")

🔍 코드 상세 설명

1. 임베딩 (Embedding)
임베딩은 텍스트를 컴퓨터가 이해할 수 있는 숫자의 배열, 즉 벡터(vector)로 변환하는 과정입니다. 이 벡터는 텍스트의 의미를 다차원 공간의 한 점으로 표현합니다. 의미가 비슷한 텍스트들은 공간상에서 가까운 위치에 있게 됩니다.

• OpenAIEmbeddings: OpenAI의 임베딩 모델을 사용하여 텍스트를 벡터로 변환합니다.

2. 벡터 스토어 (Vector Store)
벡터 스토어는 생성된 벡터들을 효율적으로 저장하고, 특정 벡터와 의미적으로 가장 유사한 다른 벡터들을 빠르게 검색할 수 있는 데이터베이스입니다.

• FAISS / Chroma: 대표적인 오픈소스 벡터 스토어 라이브러리입니다.
• from_documents: 문서 조각(docs)과 임베딩 모델(cached_embeddings)을 받아, 내부적으로 각 조각을 벡터로 변환한 후 벡터 스토어에 저장합니다.
• similarity_search: 주어진 질문을 벡터로 변환한 뒤, 벡터 스토어에서 가장 가까운(유사한) 벡터들을 가진 문서 조각들을 찾아 반환합니다.

3. CacheBackedEmbeddings
임베딩은 비용이 발생하는 API 호출일 수 있습니다. CacheBackedEmbeddings는 한 번 임베딩된 결과를 파일 시스템(LocalFileStore)에 저장하여, 동일한 텍스트에 대한 임베딩 요청이 다시 들어올 경우 API를 호출하는 대신 캐시에서 결과를 가져와 비용과 시간을 절약합니다.

✅ 체크리스트

• OpenAIEmbeddings 모델을 초기화했나요?
• CacheBackedEmbeddings를 설정하여 비용을 절약했나요?
• FAISS.from_documents를 사용하여 벡터 스토어를 생성했나요?
• similarity_search로 질문과 관련된 문서 조각을 성공적으로 검색했나요?

---

RetrievalQA Chain

🎯 이번 단계에서 배울 것

• RAG의 마지막 단계인 **Retrieve(검색)**와 **Generate(생성)**를 하나로 묶는 방법
• RetrievalQA 체인을 사용하여 RAG 파이프라인을 쉽게 구축하는 방법

📝 1단계: RAG 체인으로 질문-답변하기

전체 코드 (notebook.ipynb):

from langchain.chains import RetrievalQA

# ... (llm, vectorstore 설정은 이전 단계와 동일)

# 1. Retriever(검색기) 생성
retriever = vectorstore.as_retriever()

# 2. RetrievalQA 체인 생성
chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="map_rerank", # 체인 타입 (stuff, map_reduce, refine, map_rerank)
    retriever=retriever,
)

# 3. 체인 실행
chain.run("Describe Victory Mansions")

🔍 코드 상세 설명

1. RetrievalQA
RetrievalQA는 RAG의 전체 과정을 추상화하여 제공하는 편리한 체인입니다. 내부적으로 다음과 같은 작업을 수행합니다.

1. 사용자의 질문을 받습니다.
2. retriever를 사용하여 질문과 관련된 문서 조각들을 벡터 스토어에서 검색합니다.
3. 검색된 문서 조각들을 질문과 함께 프롬프트에 넣어 LLM에게 전달합니다.
4. LLM은 주어진 문서 조각(context)을 기반으로 질문에 대한 답변을 생성합니다.

• retriever: vectorstore.as_retriever()를 통해 벡터 스토어를 검색기 인터페이스로 변환합니다.
• chain_type: 검색된 문서들을 처리하는 방식을 결정합니다. (자세한 내용은 다음 섹션에서 다룹니다.)

✅ 체크리스트

• vectorstore.as_retriever()를 사용하여 검색기를 만들었나요?
• RetrievalQA.from_chain_type을 사용하여 체인을 생성했나요?
• chain.run으로 질문을 하고, 문서 내용을 기반으로 한 답변을 받았나요?

---

LCEL 기반 RAG 체인 (Stuff & Map-Reduce)

🎯 이번 단계에서 배울 것

• LCEL을 사용하여 RAG 파이프라인을 직접 제어하고 커스터마이징하는 방법
• Stuff: 가장 간단한 RAG 체인으로, 검색된 모든 문서를 하나의 프롬프트에 넣는 방식
• Map-Reduce: 문서가 너무 많아 하나의 컨텍스트에 다 들어가지 않을 때 사용하는 고급 기법

📝 1단계: Stuff 체인 직접 만들기

전체 코드 (notebook.ipynb):

from langchain.schema.runnable import RunnablePassthrough

# ... (llm, retriever, prompt 설정)

prompt = ChatPromptTemplate.from_messages([
    ("system", "Answer questions using only the following context:\n\n{context}"),
    ("human", "{question}"),
])

# Stuff Chain with LCEL
chain = (
    {
        "context": retriever, # retriever가 질문을 받아 관련 문서를 반환
        "question": RunnablePassthrough(), # 사용자의 질문을 그대로 전달
    }
    | prompt
    | llm
)

chain.invoke("Describe Victory Mansions")

🔍 코드 상세 설명

1. Stuff Chain

• retriever가 검색한 모든 문서 조각을 {context} 플레이스홀더에 “욱여넣는(stuff)” 가장 직관적인 방식입니다.
• 간단하고 성능이 좋지만, 검색된 문서의 총량이 모델의 컨텍스트 윈도우를 초과하면 오류가 발생합니다.

2. Map-Reduce Chain

• Map 단계: 검색된 각 문서 조각에 대해 독립적으로 질문을 던져 중간 요약/답변을 생성합니다. (map_doc_chain)
• Reduce 단계: 생성된 모든 중간 답변들을 모아, 최종적으로 하나의 종합적인 답변을 생성합니다. (final_prompt | llm)
• 문서의 양이 매우 많을 때 유용하지만, 여러 번의 LLM 호출로 인해 비용이 더 많이 들고 시간이 오래 걸릴 수 있습니다.

LCEL로 구현한 Map-Reduce Chain:

# 1. Map 단계: 각 문서를 요약하는 체인
map_doc_prompt = ChatPromptTemplate.from_template("Relevant text: {context}...")
map_doc_chain = map_doc_prompt | llm

# 2. 검색된 모든 문서에 map_doc_chain을 적용하는 람다 함수
def map_docs(inputs):
    # ...
    return "\n\n".join(map_doc_chain.invoke(...) for doc in documents)

map_chain = {"documents": retriever, "question": RunnablePassthrough()} | RunnableLambda(map_docs)

# 3. Reduce 단계: 요약된 내용들을 종합하여 최종 답변 생성
final_prompt = ChatPromptTemplate.from_template("Create a final answer from: {context}...")
chain = {"context": map_chain, "question": RunnablePassthrough()} | final_prompt | llm

chain.invoke("How many ministries are mentioned")

✅ 체크리스트

• LCEL을 사용하여 retriever와 prompt, llm을 연결한 Stuff 체인을 만들어 보았나요?
• Map-Reduce의 개념을 이해하고, 왜 Stuff 체인보다 더 많은 문서를 처리할 수 있는지 파악했나요?

---

출처 : https://nomadcoders.co/fullstack-gpt