跳到主要内容

Arize

Arize 是一个基于 OpenTelemetry 和 OpenInference 构建的工具，用于监控和优化 LLM 应用程序。

要启用 Arize 追踪，请在您的 Langflow 部署中设置所需的 Arize 环境变量。 Arize 会自动开始监控并从您的 LLM 应用程序收集遥测数据。

提示

Arize 文档中也提供了集成 Langflow 和 Arize 的说明：

先决条件​

将 Arize 连接到 Langflow​

  1. 在您的 Arize 控制面板 中，复制您的 Space ID 和 API Key (Ingestion Service Account Key)。

  2. 在 Langflow 应用程序的根目录下，编辑现有的 Langflow .env 文件或创建一个新文件。

  3. 添加 ARIZE_SPACE_ID 和 ARIZE_API_KEY 环境变量：


    _10
    ARIZE_SPACE_ID=SPACE_ID
    _10
    ARIZE_API_KEY=API_KEY

    将 SPACE_ID 和 API_KEY 替换为从 Arize 平台复制的值。

    如果您使用的是标准 Arize 平台，则无需指定 Arize 项目名称。

  4. 使用 .env 文件启动 Langflow 应用程序：


    _10
    uv run langflow run --env-file .env

运行流并在 Arize 中查看指标​

  1. 在 Langflow 中，运行一个包含 LLM 驱动组件的流，例如 Agent 组件或任何语言模型组件。 您必须与流聊天或触发 LLM 以产生流量供 Arize 追踪。

    例如，您可以使用 Simple Agent 模板创建一个流，在 Agent 组件中添加您的 OpenAI API 密钥，然后点击 Playground 与流聊天并生成流量。

  2. 在 Arize 中，打开您的项目控制面板，然后等待 Arize 处理数据。 这可能需要几分钟时间。

  3. 要查看流的指标，请转到 LLM Tracing 选项卡。

    每次 Langflow 执行都会在 Arize 中生成两个追踪 (trace)：

    • AgentExecutor 追踪是 LangChain 的 AgentExecutor 的 Arize 追踪。
    • UUID 追踪是 Langflow 组件的追踪。

  4. 要查看追踪，请转到 Traces 选项卡。

    追踪 (trace) 是一个请求的完整旅程，由多个 跨度 (span) 组成。

  5. 要查看跨度，请转到 Spans 选项卡。

    跨度 (span) 是追踪中的单个操作。 例如，一个 跨度 可以是对 OpenAI 的单个 API 调用，也可以是对自定义工具的单个函数调用。

    有关 Arize 中追踪指标的信息，请参阅 Arize LLM 追踪文档。

  6. 要将跨度添加到 数据集 (dataset)，请点击 Add to Dataset。

    LLM Tracing 选项卡上的所有指标都可以添加到数据集中。

  7. 要查看数据集，请点击 Datasets 选项卡，然后选择您的数据集。

Search