エクスチュア株式会社ブログ

pip install "langserve[all]" langchain langchain-openai beautifulsoup4 langchainhub

#!/usr/bin/env python
from typing import List, Union

from fastapi import FastAPI
from langchain import hub
from langchain.agents import AgentExecutor, create_openai_functions_agent
from langchain.pydantic_v1 import BaseModel, Field
from langchain.tools.retriever import create_retriever_tool
from langchain_community.document_loaders import WebBaseLoader
from langchain_community.tools.tavily_search import TavilySearchResults
from langchain_community.vectorstores import FAISS
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langserve import add_routes

# 1. Load Retriever

url_list = ["https://docs.smith.langchain.com/user_guide","https://python.langchain.com/docs/langserve","https://python.langchain.com/docs/get_started/introduction"]
docs = []

for url in url_list:
    loader = WebBaseLoader(url)
    docs.extend(loader.load())

text_splitter = RecursiveCharacterTextSplitter()
documents = text_splitter.split_documents(docs)
embeddings = OpenAIEmbeddings()
vector = FAISS.from_documents(documents, embeddings)
retriever = vector.as_retriever()

# 2. Create Tools
retriever_tool = create_retriever_tool(
    retriever,
    "langsmith_search",
    "LangSmithに関する情報を検索。LangSmithに関するご質問は、こちらのツールをご利用ください！",
)
search = TavilySearchResults()
tools = [retriever_tool, search]


# 3. Create Agent
prompt = hub.pull("hwchase17/openai-functions-agent")
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
agent = create_openai_functions_agent(llm, tools, prompt)
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)


# 4. App definition
app = FastAPI(
    title="LangChain Server",
    version="1.0",
    description="LangChainのRunnableインターフェイスを使ったシンプルなAPIサーバー",
)

# 5. Adding chain route

# We need to add these input/output schemas because the current AgentExecutor
# is lacking in schemas.

class Input(BaseModel):
    input: str
    chat_history: List[Union[HumanMessage, AIMessage, SystemMessage]] = Field(
        ...,
        extra={"widget": {"type": "chat", "input": "location"}},
    )


class Output(BaseModel):
    output: str

add_routes(
    app,
    agent_executor.with_types(input_type=Input, output_type=Output),
    path="/agent",
)

if __name__ == "__main__":
    import uvicorn

    uvicorn.run(app, host="localhost", port=8000)

python serve.py

from langchain_core.messages import AIMessage, HumanMessage
from langserve import RemoteRunnable

remote_chain = RemoteRunnable("http://localhost:8000/agent/")

chat_history = [HumanMessage(content="LangSmithは私のLLMアプリケーションのテストに役立ちますか？"), AIMessage(content="Yes!")]

response = remote_chain.invoke(
    {
        "input": "どのように役立ちますか？",
        "chat_history": chat_history,
    }
)

print(response)

{'output': 'LangSmithはLLMアプリケーションの開発、モニタリング、テストに役立ちます。以下はLangSmithがどのように役立つかの概要です：\n\n1. プロトタイピング：LLMアプリケーションのプロトタイプ作成では、プロンプト、モデルタイプ、検索戦略などのパラメーターを素早く実験することが重要です。\n2. デバッグ：LangSmithのトレ 
ース機能を使用することで、アプリケーションの開発中に問題を特定し、デバッグすることができます。\n3. 初期テストセット：LangSmithを使用して、LLMアプリケーション
のテストケースを作成し、テストを実行することができます。\n4. 比較ビュー：異なるバージョンのアプリケーションを比較し、テストケースの結果を確認できます。\n5.  
プレイグラウンド：LangSmithは迅速な反復と実験を可能にするプレイグラウンド環境を提供します。\n6. ベータテスト：実世界のシナリオでのアプリケーションのパフォー 
マンスを収集し、フィードバックを収集します。\n7. フィードバックの収集：ユーザーからのフィードバックを収集し、問題のあるトレースを特定します。\n8. トレースの 
注釈付け：注釈者が興味深いトレースを検査し、異なる基準に基づいて注釈を付けることができます。\n9. データセットへのランの追加：アプリケーションがベータテスト段
階を進むにつれて、ランをデータセットに追加して実世界のシナリオでのテストカバレッジを拡大します。\n10. プロダクション：アプリケーションのパフォーマンスを監視 
し、重要なデータポイントを詳細に調査します。\n11. モニタリングとA/Bテスト：LangSmithはモニタリングチャートを提供し、A/Bテストをサポートします。\n12. オートメ
ーション：LangSmithのオートメーション機能を使用して、トレースを自動的に処理し、評価します。\n13. スレッド：LangSmithは複数のターンを持つLLMアプリケーションを
サポートし、トレースをグループ化して追跡しやすくします。\n\nこれらの機能を使用することで、LangSmithはLLMアプリケーションのテストに役立ちます。'}

LANGCHAIN_TRACING_V2=true
LANGCHAIN_API_KEY={作成した鍵を記載}