LangSmith 允许您在应用程序中使用反馈手动注释跟踪。这对于向跟踪添加上下文(例如用户的评论或有关特定问题的注释)很有用。 您可以内联注释跟踪或将跟踪发送到注释队列,这使您可以一次仔细检查并记录对运行的反馈。 反馈标签与您的工作区相关联。
您可以将用户反馈附加到跟踪的任何中间运行(跨度),而不仅仅是根跨度。这对于批评 LLM 应用程序的特定部分很有用,例如 RAG 管道的检索步骤或生成步骤。
要内联注释跟踪,请单击跟踪视图右上角的 Annotate,用于作为跟踪一部分的任何特定运行。 这将打开一个窗格,允许您从与工作区相关联的反馈标签中进行选择并为特定标签添加分数。您还可以添加独立评论。按照本指南为工作区设置反馈标签。 您还可以从窗格本身设置新的反馈标准。 您可以使用标记的键盘快捷键来简化注释过程。
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.