本文档帮助您开始使用 Fireworks AI 聊天模型。有关所有 ChatFireworks 功能和配置的详细文档，请访问 API 参考。 Fireworks AI 是一个用于运行和自定义模型的 AI 推理平台。有关 Fireworks 提供的所有模型列表，请参阅 Fireworks 文档。

​
概述

​
集成详情

ClassPackageLocalSerializableJS supportDownloadsVersion
ChatFireworkslangchain-fireworks❌beta✅PyPI - DownloadsPyPI - Version

​
模型功能

Tool callingStructured outputJSON modeImage inputAudio inputVideo inputToken-level streamingNative asyncToken usageLogprobs
✅✅✅❌❌❌✅✅✅✅

​
设置

要访问 Fireworks 模型，您需要创建 Fireworks 帐户、获取 API 密钥并安装 langchain-fireworks 集成包。

​
凭证

前往 fireworks.ai/login 注册 Fireworks 并生成 API 密钥。完成后，设置 FIREWORKS_API_KEY 环境变量： 
import getpass
import os

if "FIREWORKS_API_KEY" not in os.environ:
    os.environ["FIREWORKS_API_KEY"] = getpass.getpass("Enter your Fireworks API key: ")
要启用模型调用的自动跟踪，请设置您的 LangSmith API 密钥： 
os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
os.environ["LANGSMITH_TRACING"] = "true"

​
安装

LangChain Fireworks 集成位于 langchain-fireworks 包中： 
pip install -qU langchain-fireworks

​
实例化

现在我们可以实例化模型对象并生成聊天完成：
  • TODO：使用相关参数更新模型实例化。
from langchain_fireworks import ChatFireworks

llm = ChatFireworks(
    model="accounts/fireworks/models/kimi-k2-instruct-0905", # Model library in: https://app.fireworks.ai/models
    temperature=0,
    max_tokens=None,
    timeout=None,
    max_retries=2,
    # other params...
)

​
调用

messages = [
    (
        "system",
        "You are a helpful assistant that translates English to French. Translate the user sentence.",
    ),
    ("human", "I love programming."),
]
ai_msg = llm.invoke(messages)
ai_msg

AIMessage(content="J'adore la programmation.", additional_kwargs={}, response_metadata={'token_usage': {'prompt_tokens': 31, 'total_tokens': 41, 'completion_tokens': 10}, 'system_fingerprint': '', 'finish_reason': 'stop', 'logprobs': None, 'model_provider': 'fireworks', 'model_name': 'accounts/fireworks/models/kimi-k2-instruct-0905'}, id='lc_run--a2bdeca3-6394-4c80-97ad-2fc8db9f54bb-0', usage_metadata={'input_tokens': 31, 'output_tokens': 10, 'total_tokens': 41})

print(ai_msg.content)

J'adore la programmation.

​
API 参考

有关所有 ChatFireworks 功能和配置的详细文档，请访问 API 参考 要使用 langchain-fireworks 包，请按照以下安装步骤操作： 
pip install langchain-fireworks

​
基本用法

​
设置

  1. 登录 Fireworks AI 以获取访问模型的 API 密钥，并确保将其设置为 FIREWORKS_API_KEY 环境变量。 登录并获取 API 密钥后，请按照以下步骤设置 FIREWORKS_API_KEY 环境变量：
    • Linux/macOS： 打开终端并执行以下命令：
    export FIREWORKS_API_KEY='your_api_key'
    注意： 要使此环境变量在终端会话中持久化，请将上述行添加到您的 ~/.bashrc、~/.bash_profile 或 ~/.zshrc 文件中。
    • Windows： 对于命令提示符，请使用：
    set FIREWORKS_API_KEY=your_api_key
  2. 使用模型 ID 设置您的模型。如果未设置模型，默认模型是 fireworks-llama-v2-7b-chat。在 fireworks.ai 上查看完整的最新模型列表。 
import getpass
import os
from langchain_fireworks import ChatFireworks

# Initialize a Fireworks model
llm = ChatFireworks(
    model="accounts/fireworks/models/llama-v3p1-8b-instruct",
    base_url="https://api.fireworks.ai/inference/v1/completions",
)

​
直接调用模型

您可以直接使用字符串提示调用模型以获得完成。 
# Single prompt
output = llm.invoke("Who's the best quarterback in the NFL?")
print(output)

# Calling multiple prompts
output = llm.generate(
    [
        "Who's the best cricket player in 2016?",
        "Who's the best basketball player in the league?",
    ]
)
print(output.generations)

​
高级用法

​
工具使用：LangChain Agent + Fireworks 函数调用模型

请查看如何教 Fireworks 函数调用模型使用计算器在此笔记本中。 Fireworks 专注于为快速模型推理和工具使用提供最佳体验。您可以查看我们的博客 了解更多关于它与 GPT-4 比较的详细信息，要点是它在函数调用用例方面与 GPT-4 相当，但速度更快且更便宜。

​
RAG：LangChain agent + Fireworks 函数调用模型 + MongoDB + Nomic AI 嵌入

请查看此处的 cookbook 了解端到端流程
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.