basic

핵심 정리

1. llm이나 머신러닝등 어떻게 이걸 만드는가는 오늘 하지 않습니다. 활용을 하는거만 고민합니다. 왜냐면 제가 초보라..

2. llm은 그냥 입코더이다. 나머지는 전부 개발자가. 말만 해주지 직접 아무것도 해주지 않는다.

3. 공식 문서를 항상 잘 보는 버릇을 들입시다.

4. 변화가 아주 빨라서 기존방식의 샘플코드들이 너무 많이 인터넷에 보입니다. 확인해서 최신버전으로 공부합시다.

LangChain 개발 환경 설치

• docker

• vscode

• devcontainer

• python

• jupyter - on container

devcontainer

mkdir devcontainer
vi devcontainer/devcontainer.json

{
  "name": "dev",
  "image": "mcr.microsoft.com/devcontainers/python:1-3.12-bullseye"
  // "postCreateCommand": "pip3 install --user -r requirements.txt",
  // "customizations": {
  //   "vscode": {
  //     "extensions": ["ms-toolsai.jupyter"]
  //   }
  // },
}

기본 과정

setup .env file

api key를 발급받아서 .env 파일에 저장

https://platform.openai.com/settings/profile?tab=api-keys

OPENAI_API_KEY=sk-xxx

openai에서 Project key를 사용하는걸 추천

https://platform.openai.com/api-keys

read .env file

%pip install  --user -Uq  python-dotenv

from dotenv import load_dotenv
load_dotenv()

test api key

%pip install  --user -Uq  langchain langchain-community langchain-core langchain-openai

import openai

openai.__version__

# version이 나오면 연결 성공

이제 연결해볼가요?

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
  # model="gpt-3.5-turbo",  # 모델 이름
  temperature = 0.1, # 창의성 (0.0 ~ 2.0)
)

# 질의내용
prompt = "대한민국의 수도는 어디인가요?"

# 질의
print(f"[답변]: {llm.invoke(prompt)}")

prompt

말을 전달하는것을 프롬프트라고 한다. 이 용어를 처음에 들엇을때 참 이해가 안됬다. 그냥 내가 하는 말이다.

openai model and price

https://platform.openai.com/docs/models

https://openai.com/api/pricing/

context windows가 커져서 요즘은 구지 파일을 짤라야하나 하는 느낌이 있음. 그런데 비용이 많이 나오겟지..

• context windows 보기

• 가격 보기

gpt-3.5-turbo를 쓰겟음. -> 0.5usd / 1M

gpt-4o -> 5usd / 1M

https://platform.openai.com/docs/deprecations (deprecated)

기존에는 gpt-3.5-turbo 가 4000 token이 max 지금은 모델이 업데이트되서 gpt-3.5-turbo-0125 이걸 자동으로 가르키고 있음.

16,385 tokens 을 받을수 있다. 4배가 많지만 여전히 좀 적은 감은 있다.

LLM model vs Chat Model

llm mode와 chat mode는 OpenAI의 GPT-3 언어 모델을 사용할 때 선택할 수 있는 두 가지 모드입니다.

LLM Mode (Language Model Mode): 이 모드는 주어진 입력에 대해 가장 가능성 있는 다음 텍스트를 생성합니다. 이는 문장 완성, 문서 생성 등의 작업에 주로 사용됩니다. 예를 들어, "오늘 날씨는"이라는 프롬프트에 대해 "맑습니다"라는 텍스트를 생성할 수 있습니다.

Chat Mode: 이 모드는 대화형 작업에 사용됩니다. 사용자의 입력에 대한 응답을 생성하는 것이 목표입니다. 이는 챗봇, 대화형 시스템 등의 작업에 주로 사용됩니다. 예를 들어, 사용자가 "오늘 날씨는 어때?"라고 물으면, "오늘은 맑은 날씨입니다"라고 응답할 수 있습니다.

따라서, llm mode와 chat mode의 주요 차이점은 그들이 해결하려는 작업의 유형에 있습니다.

• llm mode는 일반적인 언어 모델링 작업에

• chat mode는 대화형 작업에 사용됩니다.

https://python.langchain.com/v0.2/docs/integrations/chat/openai/

vs

https://python.langchain.com/v0.2/docs/integrations/llms/openai/

OpenAI는 gpt-3.5-turbo-instruct이거 쓸때만 쓴다. 이거 쓸거아니면 chatOpenAI를 쓰자.

# sample of OpenAI

from langchain_openai import OpenAI
llm = OpenAI(
    model="gpt-3.5-turbo-instruct",
)

# 질의내용
question = "대한민국의 수도는 어디인가요?"

# 질의
print(f"[답변]: {llm.invoke(question)}")

ChatOpenAI를 사용하면 될거같다.

ChatOpenAI는 다음형태의 메세지를 받을수 있다.

Message Type

• system message : 시스템에 대한 메세지

• human message : 사용자가 입력한 메세지

• ai message : ai가 출력한 메세지 (assistant, openai term)

llm = ChatOpenAI(
    temperature=0.1
)

messages = [
    ("system", "너는 영어를 한국어로 번역하는 유용한 도우미입니다. 사용자 문장을 번역합니다."),
    ("human", "I love programming."),
]

ai_msg = llm.invoke(messages)
ai_msg

print(ai_msg.content)

PIPELINE

alt text

파이프라인을 만들어서 두고 연결해둔다음. 필요할때마다 변수에 값을 넣으면 자동으로 파이프라인을 통해서 결과가 나온다.

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "너는 {input_language} 를 {output_language} 로 번역하는 유용한 도우미입니다. 사용자 문장을 번역합니다 "),
        ("human", "{input}"),
    ]
)

chain = prompt | llm # prompt와 llm을 연결 파이프를 만든다고 생각하면됨.

answer = chain.invoke(
    {
        "input_language": "English",
        "output_language": "Korean",
        "input": "I love you.",
    }
)
answer

answer.content

chain

말을 하는데 변수로 처리하고 싶어서 template 가 생겼다. 프롬프트 템플릿을 만들고 모델과 체인으로 연결한다. Invoke를 할때 프롬프트에 들어가는 것들은 다 넣어준다.

LCEL (LangChain Express Language)

https://python.langchain.com/v0.2/docs/concepts/#langchain-expression-language-lcel

LangChain 표현 언어(LCEL)는 LangChain 구성 요소를 연결하는 선언적 방법입니다

• stream: 응답의 청크를 다시 스트리밍합니다.

• invoke: 입력에 대한 체인 호출

• batch: 입력 목록에 대한 체인 호출

이 메서드들에는 동시성을 위해 asyncio await 구문과 함께 사용해야 하는 해당 비동기 메서드도 있습니다:

• astream: 응답 청크를 비동기식으로 다시 스트리밍합니다.

• ainvoke: 입력 비동기에서 체인을 호출합니다.

• abatch: 입력 목록에서 체인을 비동기 호출합니다.

• astream_log: 최종 응답 외에도 중간 단계가 발생할 때 스트림백합니다.

• astream_events: 체인에서 발생하는 베타 스트림 이벤트 (langchain-core 0.1.14에서 도입)

정리하면

1. Runnable interface 만 알면되고 나중에 기회되면 설명.

2. 특히 invoke,batch,stream을 알면됨. 값을 파이프에 넣어주는것임.

Invoke

Invoke함수를 이용해서 openai에 메세지를 보낼수 있다.

PromptTemplate 는 chatPromptTemplate보다 간단해서 썼다.

결과를 outputParser로 보낼수있다.

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate

# 질문 템플릿 형식 정의
template = "{country}의 수도는 뭐야?"

# 템플릿 완성
prompt = PromptTemplate.from_template(template=template)
prompt

chain = prompt | llm | StrOutputParser()

chain.invoke({"country": "대한민국"})

chain.invoke({"country": "캐나다"})

batch

여러개의 입력을 한번에 처리 가능

input_list = [{"country": "호주"}, {"country": "중국"}, {"country": "네덜란드"}]
result = chain.batch(input_list)
result

# 반복문으로 결과 출력
for res in result:
    print(res.strip())

stream: 실시간 출력

스트리밍 옵션은 질의에 대한 답변을 실시간으로 받을 때 유용합니다.

다음과 같이 streaming=True 로 설정하고 스트리밍으로 답변을 받기 위한 StreamingStdOutCallbackHandler() 을 콜백으로 지정합니다.

from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

# 객체 생성
llm = ChatOpenAI(
    temperature=0,  # 창의성 (0.0 ~ 2.0)
    streaming=True,
    callbacks=[StreamingStdOutCallbackHandler()],
)

# 질의내용
prompt = "대한민국에 대해서 300자 내외로 최대한 상세히 알려줘"

# 스트리밍으로 답변 출력
response = llm.invoke(prompt)

여러개 chain을 연결

첫번째 체인의 결과를 다음 체인으로 넘기는것이 가능하다.

template = "{country}의 수도는 뭐야?"
prompt = PromptTemplate.from_template(template=template)

chain = prompt | llm

template2 = "{city}의 인구는 몇명이야?"
prompt2 = PromptTemplate.from_template(template=template2)

chain2 = prompt2 | llm

final_chain = {"city": chain} | chain2

final_chain.invoke({"country": "대한민국"})

Runnable interface

https://python.langchain.com/v0.2/docs/concepts/#runnable-interface

prompt는 dictionary를 인풋받고 prompt value를 리턴한다. 모델인 Prompt value를 인풋받고 chat message를 리턴한다. output parser는 chat model을 인풋 받고 파서에 따라서 리턴한다.

프롬프트 템플릿의 활용

PromptTemplate : 프롬프트 문자열을 만드는 데 사용되는 템플릿

• template: 템플릿 문자열입니다. 이 문자열 내에서 중괄호 {}는 변수를 나타냅니다.

• input_variables: 중괄호 안에 들어갈 변수의 이름을 리스트로 정의합니다.

# 질문 템플릿 형식 정의
template = "{country}의 수도는 뭐야?"

# 템플릿 완성
prompt = PromptTemplate.from_template(template=template)
prompt
chain = prompt | llm

print(chain.invoke({"country": "한국"}))

2개 이상의 변수를 템플릿 안에 정의

# 질문 템플릿 형식 정의
template = "{area1} 와 {area2} 의 시차는 몇시간이야?"

# 템플릿 완성
prompt = PromptTemplate.from_template(template)
prompt
chain = prompt | llm

print(chain.invoke({"area1": "서울", "area2": "파리"}))

input_list = [
    {"area1": "파리", "area2": "뉴욕"},
    {"area1": "서울", "area2": "하와이"},
    {"area1": "켄버라", "area2": "베이징"},
]

# 반복문으로 결과 출력
result = chain.batch(input_list)
for res in result:
    print(res.content.strip())

PromptTemplate vs ChatPromptTemplate

• PromptTemplate는 일반적인 작업에 사용

• ChatPromptTemplate는 대화형 작업에 사용됩니다.

from langchain_core.prompts import ChatPromptTemplate

template = "Hello, how are you doing {name}"

prompt = ChatPromptTemplate.from_template(template)

chain = prompt | llm
print(chain.invoke({"name": "John"}))

from langchain_core.prompts import ChatPromptTemplate

message = [
    ("system", "You are a helpful AI bot. Your name is {name}."),
    ("human", "Hello, how are you doing?"),
    ("ai", "I'm doing well, thanks!"),
    ("human", "{user_input}"),
]

prompt = ChatPromptTemplate.from_messages(message)

chain = prompt | llm

print(chain.invoke({"name": "John", "user_input": "What is the weather like today?"}))

ChatPromptTemplate은 샘플처럼 system,human,ai 메세지를 포함하고 있습니다. PromptTemplate은 단순한 텍스트를 사용합니다.

output parser

아웃풋을 파싱해준다.

https://python.langchain.com/v0.2/docs/concepts/#output-parsers

json parser : https://python.langchain.com/v0.2/docs/how_to/output_parser_json/

from langchain_core.output_parsers import JsonOutputParser
# from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_openai import ChatOpenAI

# Define your desired data structure.
class Joke(BaseModel):
    setup: str = Field(description="농담을 준비하는 질문")
    punchline: str = Field(description="농담의 답변")

model = ChatOpenAI(temperature=0)

joke_query = "농담을 이야기해줘, 답변을 한국말로 줘"

parser = JsonOutputParser(pydantic_object=Joke)
# parser = StrOutputParser()

prompt = PromptTemplate(
    template="Answer the user query.\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={
        "format_instructions": parser.get_format_instructions()},
)

chain = prompt | model | parser # chain으로 생성해서 연결

chain.invoke({"query": joke_query})

그런데 주의사항이 있다. https://python.langchain.com/v0.2/docs/concepts/#output-parsers

It is recommended to use function/tool calling rather than output parsing.

function calling을 쓰자.

Prompt engineering

• Zero Shot : 모델에게 예제를 제공하지 않음

Add 2+2:

• One Shot : 모델에게 예제를 한번만 제공

Add 3+3: 6
Add 2+2:

• Few Shot : 모델에게 예제를 몇번 제공

Add 3+3: 6
Add 5+5: 10
Add 2+2:

정리

현재 구조

alt text

langchain에서 openai로 메세지를 보내는 방법을 배웠다.

다음 강의는 slack에세 메세지를 보내보자.

기타 고민들

왜 langchain을 써야할가?

왜 직접 openai api 사용하지 않는가?

난 언제든 모델을 바꿀수 있으면 좋겟다. langchain에서 모델을 바꾸는것은 아주 쉽다.

그래서 langchain 을 사용중이기는 한데.. 각자 마음대로 하기 바란다. 저 스스로도 아직 답을 못내림. 왔다갔다 하루에 마음에 10번 바뀜.

구글 AI를 써보자.

1. google ai studio 에 접속해서 api Key를 받는다.

2. .env 파일에 추가한다. GOOGLE_API_KEY=xxx

%pip install  --user -Uq   langchain-google-genai pillow
# api key load
from dotenv import load_dotenv
load_dotenv()

# from langchain_openai import ChatOpenAI
from langchain_google_genai import ChatGoogleGenerativeAI

# llm = ChatOpenAI(
llm = ChatGoogleGenerativeAI(
    model="gemini-pro",  # 모델 이름
    temperature=0,  # 창의성 (0.0 ~ 2.0)
)

# 질의내용
question = "대한민국의 수도는 어디인가요?"

# 질의
print(f"[답변]: {llm.invoke(question)}")

잘 되는것을 볼수 있다.

이렇게 쉽기 때문에 langchain을 사용한다. 그런데 openai만 쓸거다 하면 구지 layer를 더 둬야하나? 싶긴한데.