跳到主要内容

Traceloop

Traceloop SDK 是一个专为 LLM 应用程序设计的轻量级检测工具包。 它使开发人员能够自动捕获并从其 LLM 驱动的工作流中导出追踪 (traces)、指标 (metrics) 和关键的可观测性信号。

当与 Instana 结合使用时，从 Traceloop 导出的遥测数据可提供端到端的可视化，允许用户可视化追踪、分析性能瓶颈并确保 LLM 驱动的应用程序的可靠运行。

本指南演示了如何使用 Traceloop SDK 将 Instana 可观测性平台与您的 Langflow 应用程序集成，以便您可以监控和分析 LLM 性能。

先决条件​

配置环境变量​

  1. 在 Langflow 应用程序的根目录下，编辑现有的 Langflow .env 文件或创建一个新文件。

  2. 输入以下环境变量，然后将占位符替换为您部署或要求的实际值：


    _10
    TRACELOOP_API_KEY=tl_dummy_1234567890abcdef1234567890abcdef
    _10
    TRACELOOP_BASE_URL=https://otlp-magenta-saas.instana.rocks:4318
    _10
    TRACELOOP_HEADERS="x-instana-key=INSTANA_KEY"
    _10
    OTEL_EXPORTER_OTLP_INSECURE=false
    _10
    TRACELOOP_METRICS_ENDPOINT=HOST:8000
    _10
    TRACELOOP_METRICS_ENABLED=true
    _10
    OTEL_METRIC_EXPORT_INTERVAL=10000

    为每个环境变量设置必要的值：

    • TRACELOOP_API_KEY：用于向 Traceloop 的监控服务验证您的应用程序身份的 Traceloop API 密钥。 您可以从您的 Traceloop 帐户控制面板获取此密钥。

      此集成使用 Traceloop SDK 进行检测，这需要 Traceloop API 密钥才能正确初始化。 如果您没有 Traceloop API 密钥，可以使用前面示例中的占位符 API 密钥继续。

    • TRACELOOP_BASE_URL：用于遥测数据收集的 Instana 端点 URL，即您的 Instana 后端端点，例如 https://otlp-magenta-saas.instana.rocks:4318。 您可以从 Instana 配置中获取此信息，或者联系您的 Instana 管理员。

    • TRACELOOP_HEADERS：用于 Instana 数据收集的身份验证头。将其设置为 "x-instana-key=INSTANA_KEY"，将 INSTANA_KEY 替换为您 Instana 设置中的 Instana 密钥。

    • OTEL_EXPORTER_OTLP_INSECURE：OpenTelemetry 协议连接的安全设置。对于安全的 HTTPS/TLS 连接，设置为 false。建议生产环境的 Instana SaaS 端点使用此设置。对于本地开发期间的不安全 HTTP 连接，设置为 true。

    • TRACELOOP_METRICS_ENDPOINT：单独的指标端点配置，格式为 OTEL_DC_LLM_HOST:8000。对于 Docker 环境，通常设置为 host.docker.internal:8000。根据您的部署设置调整主机和端口。

    • TRACELOOP_METRICS_ENABLED：布尔值，用于启用指标收集。设置为 true 以激活指标收集。

    • OTEL_METRIC_EXPORT_INTERVAL：指标导出的间隔（以毫秒为单位）。设置为 10000 表示 10 秒导出间隔，或者根据您的监控需求进行调整。

  3. 确保 OpenTelemetry 数据收集器 (OTel DC) 正在运行且配置正确。 打开收集器的 config.yaml 文件，输入以下配置，然后将占位符替换为您的数据收集器设置或要求的实际值：


    _10
    llm.application: "LLM_DC"
    _10
    instances:
    _10
    - otel.agentless.mode: true
    _10
    # 示例端点: https://otlp-magenta-saas.instana.rocks:4318
    _10
    otel.backend.url: "INSTANA_ENDPOINT"
    _10
    otel.backend.using.http: false
    _10
    callback.interval: 10
    _10
    otel.service.name: "DC1"
    _10
    otel.service.port: 8000
    _10
    currency: "USD"

    此配置使 OTel 收集器能够以无代理 (agentless) 模式运行，并将遥测数据路由到您的 Instana 后端，同时具有正确的服务标识和收集间隔，以实现有效的监控集成。

使用 Traceloop 环境变量启动 Langflow​

使用 .env 文件启动 Langflow 应用程序：


_10
uv run langflow run --env-file .env

Traceloop 自动开始监控并从您的 LLM 应用程序收集遥测数据。

验证集成​

要验证可观测性是否正常工作：

  1. 在 Langflow 中运行一个流以生成流量。

  2. 要在 Instana 中查看追踪，打开 Instana 并点击 Applications。

  3. 在 Services 中，搜索 Langflow。

  4. 点击 Langflow 以查看和分析相关的调用。

    Instana Traces 控制面板

  5. 要在 Instana 中查看指标，打开 Instana 并点击 Infrastructure。

  6. 在 Analyze Infrastructure 中，点击 Otel LLMonitor。

  7. 要查看您的指标控制面板，点击 LLM:DC1@your_machine_name.local。

    Instana Metrics 控制面板

另请参阅​

Search