LLM 可观测性处于公开测试阶段,其 API 可能会发生变化。
使用 Datadog LLM 可观测性,您可以监控、排查和评估由 LLM 驱动的应用程序,例如聊天机器人。您可以调查问题的根本原因、监控运营性能,并评估 LLM 应用程序的质量、隐私和安全性。 这是一个实验性的社区实现,不受 Datadog 官方支持。它基于 Datadog LLM 可观测性 API

设置

有关安装 LangChain 包的通用说明,请参阅此部分
npm
npm install @langchain/community @langchain/core

用法

import { OpenAI } from "@langchain/openai";
import { DatadogLLMObsTracer } from "@langchain/community/experimental/callbacks/handlers/datadog";

/**
 * 此示例演示如何将 DatadogLLMObsTracer 与 OpenAI 模型一起使用。
 * 它将在 meta 字段内生成一个包含模型输入和输出的 "llm" span。
 *
 * 要运行此示例,您需要有效的 Datadog API 密钥和 OpenAI API 密钥。
 */
export const run = async () => {
  const model = new OpenAI({
    model: "gpt-4",
    temperature: 0.7,
    maxTokens: 1000,
    maxRetries: 5,
  });

  const res = await model.invoke(
    "Question: What would be a good company name a company that makes colorful socks?\nAnswer:",
    {
      callbacks: [
        new DatadogLLMObsTracer({
          mlApp: "my-ml-app",
        }),
      ],
    }
  );

  console.log({ res });
};

Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.