2. 스마트한 프롬프트 엔지니어링

🎯 이 챕터에서 배울 것

• FewShotPromptTemplate을 사용하여 모델에게 예시를 제공하고 성능을 높이는 방법
• ExampleSelector를 사용하여 동적으로 예시를 선택하는 방법
• 여러 프롬프트 템플릿을 PipelinePromptTemplate으로 결합하는 방법
• LLM 호출 결과를 캐싱하여 비용과 시간을 절약하는 방법
• 프롬프트와 모델 설정을 파일로 저장하고 불러오는 직렬화(Serialization) 방법

---

FewShotPromptTemplate

🎯 이번 단계에서 배울 것

• FewShotPromptTemplate의 개념과 필요성 이해하기
• 모델에게 몇 가지 예시(few-shot)를 제공하여 원하는 출력 형식을 학습시키는 방법

📝 1단계: Few-Shot 프롬프팅 적용하기

전체 코드 (notebook.ipynb):

from langchain.chat_models import ChatOpenAI
from langchain.prompts.few_shot import FewShotPromptTemplate
from langchain.callbacks import StreamingStdOutCallbackHandler
from langchain.prompts.prompt import PromptTemplate

chat = ChatOpenAI(
    temperature=0.1,
    streaming=True,
    callbacks=[StreamingStdOutCallbackHandler()],
)

examples = [
    {
        "question": "What do you know about France?",
        "answer": """
        Here is what I know:
        Capital: Paris
        Language: French
        Food: Wine and Cheese
        Currency: Euro
        """,
    },
    # ... (다른 예시들)
]

example_prompt = PromptTemplate.from_template("Human: {question}\nAI:{answer}")

prompt = FewShotPromptTemplate(
    example_prompt=example_prompt,
    examples=examples,
    suffix="Human: What do you know about {country}?",
    input_variables=["country"],
)

chain = prompt | chat
chain.invoke({"country": "Turkey"})

🔍 코드 상세 설명

1. Few-Shot 프롬프팅이란?
모델에게 단순히 질문만 던지는 것(Zero-Shot)이 아니라, 몇 가지 질문과 답변의 예시를 함께 제공하여 모델이 더 정확하고 일관된 형식으로 답변하도록 유도하는 기법입니다.

• 왜 사용하는가?: 모델이 복잡한 지시를 더 잘 따르게 하거나, 특정 출력 형식을 유지해야 할 때 매우 유용합니다.

2. FewShotPromptTemplate
이 템플릿은 여러 개의 예시(examples)와 예시의 형식을 정의하는 example_prompt, 그리고 실제 사용자의 질문 부분(suffix)을 조합하여 최종 프롬프트를 생성합니다.

동작 흐름:

1. `examples` 리스트에 있는 각 예시가 `example_prompt`에 따라 포맷팅됨
   (예: "Human: What do you know about France?\nAI:Here is what I know...")
      |
      V
2. 포맷팅된 모든 예시들이 하나로 합쳐짐
      |
      V
3. 마지막에 `suffix`가 추가됨
   (예: "Human: What do you know about Turkey?")
      |
      V
4. 완성된 프롬프트가 `chat` 모델로 전달됨

✅ 체크리스트

• FewShotPromptTemplate을 import 했나요?
• 여러 개의 예시를 담은 딕셔너리 리스트를 만들었나요?
• PromptTemplate으로 예시의 형식을 정의했나요?
• FewShotPromptTemplate에 examples, example_prompt, suffix를 전달하여 최종 프롬프트를 생성했나요?

---

FewShotChatMessagePromptTemplate

🎯 이번 단계에서 배울 것

• ChatOpenAI와 같은 챗 모델에 특화된 FewShotChatMessagePromptTemplate 사용법
• ChatPromptTemplate을 활용하여 대화 형식의 예시를 구성하는 방법

📝 1단계: 대화형 Few-Shot 프롬프팅

전체 코드 (notebook.ipynb):

from langchain.prompts.few_shot import FewShotChatMessagePromptTemplate
from langchain.prompts import ChatPromptTemplate

# ... (chat, examples 설정은 이전과 유사)

example_prompt = ChatPromptTemplate.from_messages(
    [
        ("human", "What do you know about {country}?"),
        ("ai", "{answer}"),
    ]
)

example_prompt = FewShotChatMessagePromptTemplate(
    example_prompt=example_prompt,
    examples=examples,
)

final_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are a geography expert, you give short answers."),
        example_prompt,
        ("human", "What do you know about {country}?"),
    ]
)

chain = final_prompt | chat
chain.invoke({"country": "Thailand"})

🔍 코드 상세 설명

1. FewShotChatMessagePromptTemplate
이전 단계의 FewShotPromptTemplate이 전체 프롬프트를 하나의 큰 문자열로 만드는 반면, 이 템플릿은 SystemMessage, HumanMessage, AIMessage 등 메시지 객체의 리스트를 생성합니다. 이는 챗 모델에 더 적합한 방식입니다.

• ChatPromptTemplate.from_messages: ("human", "..."), ("ai", "...") 와 같은 튜플을 사용하여 대화 형식의 예시 템플릿을 쉽게 만들 수 있습니다.

동작 흐름:

1. `final_prompt`가 `invoke`의 입력을 받음
      |
      V
2. `SystemMessage`가 생성됨
      |
      V
3. `FewShotChatMessagePromptTemplate`이 `examples`를 `ChatPromptTemplate` 형식에 맞춰 `HumanMessage`와 `AIMessage`의 쌍으로 된 리스트를 생성
      |
      V
4. 마지막 `HumanMessage`가 생성됨
      |
      V
5. 이 모든 메시지 객체들이 담긴 리스트가 `chat` 모델로 전달됨

✅ 체크리스트

• FewShotChatMessagePromptTemplate을 import 했나요?
• ChatPromptTemplate.from_messages를 사용하여 대화형 예시 템플릿을 만들었나요?
• 최종 ChatPromptTemplate에 시스템 메시지, few-shot 프롬프트, 사용자 질문을 모두 포함시켰나요?

---

Example Selectors

🎯 이번 단계에서 배울 것

• BaseExampleSelector를 상속받아 커스텀 예시 선택기를 만드는 방법
• 프롬프트 길이를 고려하여 동적으로 예시를 선택하는 LengthBasedExampleSelector의 필요성 이해하기

📝 1단계: 랜덤 예시 선택기 만들기

전체 코드 (notebook.ipynb):

from langchain.prompts.example_selector.base import BaseExampleSelector

class RandomExampleSelector(BaseExampleSelector):
    def __init__(self, examples):
        self.examples = examples

    def add_example(self, example):
        self.examples.append(example)

    def select_examples(self, input_variables):
        from random import choice
        return [choice(self.examples)]

# ... (prompt, chat 설정은 이전과 유사)

example_selector = RandomExampleSelector(examples=examples)

prompt = FewShotPromptTemplate(
    example_prompt=example_prompt,
    example_selector=example_selector, # 'examples' 대신 'example_selector' 사용
    suffix="Human: What do you know about {country}?",
    input_variables=["country"],
)

🔍 코드 상세 설명

1. ExampleSelector란?
모델에게 제공할 예시를 동적으로 선택하는 로직을 담은 클래스입니다. 모든 예시를 다 넣기에는 프롬프트가 너무 길어질 때 (토큰 제한 초과) 특히 유용합니다.

• BaseExampleSelector: 커스텀 선택기를 만들려면 이 클래스를 상속하고 select_examples 메소드를 구현해야 합니다.
• RandomExampleSelector: 이 예제에서는 전체 예시 중 하나를 무작위로 선택하는 간단한 선택기를 만들었습니다.
• LengthBasedExampleSelector: LangChain에 내장된 선택기로, 프롬프트의 총 길이를 계산하여 토큰 제한을 넘지 않도록 예시 개수를 조절해주는 매우 실용적인 도구입니다.

2. FewShotPromptTemplate과 함께 사용하기
FewShotPromptTemplate을 생성할 때, examples=[...] 대신 example_selector=MySelector(...)를 전달하면, 프롬프트를 포맷할 때마다 선택기의 select_examples 메소드가 호출되어 동적으로 예시가 선택됩니다.

✅ 체크리스트

• BaseExampleSelector를 상속하여 나만의 선택기를 만들었나요?
• select_examples 메소드를 구현하여 예시를 선택하는 로직을 작성했나요?
• FewShotPromptTemplate에 example_selector를 전달하여 사용했나요?

---

Serialization and Composition (PipelinePromptTemplate)

🎯 이번 단계에서 배울 것

• 여러 개의 프롬프트 템플릿을 하나의 파이프라인으로 결합하는 PipelinePromptTemplate 사용법
• 프롬프트를 .json이나 .yaml 파일로 저장하고 불러오는 방법 (직렬화)

📝 1단계: 프롬프트 파이프라인 만들기

전체 코드 (notebook.ipynb):

from langchain.prompts.pipeline import PipelinePromptTemplate
from langchain.prompts import PromptTemplate

# ... (chat 설정)

intro = PromptTemplate.from_template("You are impersonating a {character}")
example = PromptTemplate.from_template("Human: {example_question}\nYou: {example_answer}")
start = PromptTemplate.from_template("Human: {question}\nYou:")

final_prompt_str = "{intro}\n{example}\n{start}"
final_prompt = PromptTemplate.from_template(final_prompt_str)

prompts = [
    ("intro", intro),
    ("example", example),
    ("start", start),
]

full_prompt = PipelinePromptTemplate(
    final_prompt=final_prompt,
    pipeline_prompts=prompts,
)

chain = full_prompt | chat
chain.invoke({...})

🔍 코드 상세 설명

1. PipelinePromptTemplate
여러 개의 작은 프롬프트 템플릿 조각들을 결합하여 하나의 최종 프롬프트를 만드는 복잡한 작업을 관리해줍니다. 각 조각은 독립적으로 포맷팅된 후, final_prompt에 의해 최종적으로 조합됩니다.

• 왜 사용하는가?: 역할, 예시, 지시사항 등 프롬프트의 각 부분을 모듈화하여 재사용하고 관리하기 용이합니다.

2. 직렬화 (Serialization)
LangChain의 많은 구성 요소(프롬프트, 체인, 모델 등)는 .json이나 .yaml 형식으로 쉽게 저장하고 불러올 수 있습니다. 이는 프롬프트를 코드와 분리하여 관리하거나, 다른 사람과 공유할 때 매우 유용합니다.

예시 (prompt.yaml):

_type: "prompt"
template: "What is the capital of {country}"
input_variables: ["country"]

# 불러오기
from langchain.prompts import load_prompt
prompt = load_prompt("prompt.yaml")

✅ 체크리스트

• 여러 개의 PromptTemplate을 만들었나요?
• PipelinePromptTemplate을 사용하여 작은 템플릿들을 하나의 최종 프롬프트로 결합했나요?
• 프롬프트를 .yaml 또는 .json 파일로 저장하고 load_prompt로 불러와 보았나요?

---

Caching

🎯 이번 단계에서 배울 것

• LLM 호출 결과를 캐싱하여 API 비용과 응답 시간을 줄이는 방법
• InMemoryCache와 SQLiteCache의 차이점

📝 1단계: LLM 캐시 설정하기

전체 코드 (notebook.ipynb):

from langchain.globals import set_llm_cache
from langchain.cache import InMemoryCache, SQLiteCache
from langchain.chat_models import ChatOpenAI

# 전역 캐시 설정 (애플리케이션 시작 시 한 번만 실행)
set_llm_cache(SQLiteCache("cache.db"))

chat = ChatOpenAI(temperature=0.1)

# 첫 번째 호출: OpenAI API를 호출하고 결과를 캐시에 저장
chat.predict("How do you make italian pasta")

# 두 번째 호출: API를 호출하지 않고 캐시에서 즉시 결과를 가져옴
chat.predict("How do you make italian pasta")

🔍 코드 상세 설명

1. set_llm_cache
LangChain의 전역 설정을 통해 모든 LLM 호출에 대한 캐시를 활성화합니다. 동일한 모델에 동일한 입력이 주어지면, 실제 API를 호출하는 대신 캐시에 저장된 결과를 즉시 반환합니다.

• InMemoryCache: 캐시를 메모리에 저장합니다. 애플리케이션이 종료되면 캐시도 사라집니다. 간단한 테스트에 유용합니다.

• SQLiteCache: 캐시를 파일(cache.db)에 저장합니다. 애플리케이션을 재시작해도 캐시가 유지됩니다. 영구적인 캐시가 필요할 때 사용합니다.

• 왜 사용하는가?: 반복적인 API 호출을 줄여 비용을 절약하고, 애플리케이션의 응답 속도를 크게 향상시킬 수 있습니다. 특히 개발 및 테스트 단계에서 매우 유용합니다.

✅ 체크리스트

• set_llm_cache를 import하고 SQLiteCache를 사용하여 캐시를 설정했나요?
• 동일한 predict 호출을 두 번 실행하여 두 번째 호출이 훨씬 빠른 것을 확인했나요?
• cache.db 파일이 생성된 것을 확인했나요?

---

Serialization (Usage & Model)

🎯 이번 단계에서 배울 것

• get_openai_callback을 사용하여 토큰 사용량과 API 비용을 추적하는 방법
• 챗 모델의 설정을 .json 파일로 저장하고 불러오는 방법

📝 1단계: 사용량 추적 및 모델 직렬화

전체 코드 (notebook.ipynb):

from langchain.callbacks import get_openai_callback
from langchain.chat_models import ChatOpenAI

chat = ChatOpenAI(temperature=0.1)

# 사용량 추적
with get_openai_callback() as usage:
    a = chat.predict("What is the recipe for soju")
    b = chat.predict("What is the recipe for bread")
    print(usage)

# 모델 설정 저장
chat.save("model.json")

# 모델 설정 불러오기
from langchain.chat_models import load_model
loaded_model = load_model("model.json")

🔍 코드 상세 설명

1. get_openai_callback
with 구문과 함께 사용하여 코드 블록 내에서 발생하는 모든 OpenAI API 호출에 대한 상세한 사용 정보를 얻을 수 있습니다.

• 추적 정보: 총 사용 토큰, 프롬프트 토큰, 완료 토큰, 성공한 요청 수, 총 비용(USD) 등을 제공합니다.
• 왜 사용하는가?: 애플리케이션의 API 비용을 모니터링하고 최적화하는 데 필수적입니다.

2. 모델 직렬화 (.save, load_model)
ChatOpenAI 객체에 설정된 temperature, model_name 등의 파라미터들을 .json 파일로 저장하거나 불러올 수 있습니다. 이를 통해 모델 구성을 코드와 분리하여 관리할 수 있습니다.

예시 (model.json):

{
    "model_name": "gpt-3.5-turbo-16k",
    "temperature": 0.1,
    "_type": "openai"
}

✅ 체크리스트

• get_openai_callback을 사용하여 API 호출의 비용과 토큰 사용량을 출력해 보았나요?
• chat.save("model.json")을 사용하여 모델 설정을 저장했나요?
• load_model("model.json")을 사용하여 저장된 설정을 다시 불러왔나요?

---

출처 : https://nomadcoders.co/fullstack-gpt