Hugging Face
捆绑包 (Bundles) 包含支持特定第三方与 Langflow 集成的自定义组件。
Hugging Face 捆绑包中的组件需要访问 Hugging Face API。
有关 Hugging Face 组件所使用的 Hugging Face 特性和功能的更多信息，请参阅 Hugging Face 文档。
Hugging Face 文本生成 (Hugging Face text generation)
Hugging Face 组件通过向 Hugging Face API 发送请求来使用指定的模型生成文本。Hugging Face API 是 Hugging Face 上托管模型的一个托管推理 API。 需要进行身份验证。
该组件可以输出 模型响应 (Model Response) (消息 (Message)) 或 语言模型 (Language Model) (语言模型 (LanguageModel))。
具体来说，语言模型 (Language Model) 输出是根据组件参数配置的 ChatHuggingFace 实例。
当您想将 Hugging Face 模型用作另一个 LLM 驱动组件（如 Agent 或 智能转换 (Smart Transform) 组件）的 LLM 时，请使用 语言模型 (Language Model) 输出。
有关更多信息，请参阅 语言模型组件。
Hugging Face 文本生成参数
Some parameters are hidden by default in the visual editor. You can modify all parameters through the Controls in the component's header menu.
| 名称 | 类型 | 描述 |
|---|---|---|
| model_id | String | 输入参数。Hugging Face Hub 中的模型 ID。例如，"gpt2", "facebook/bart-large"。 |
| huggingfacehub_api_token | SecretString | 输入参数。用于身份验证的 Hugging Face API 令牌。 |
| temperature | Float | 输入参数。控制输出的随机性。范围：[0.0, 1.0]。默认值：0.7。 |
| max_new_tokens | Integer | 输入参数。要生成的最大新标记 (tokens) 数。默认值：512。 |
| top_p | Float | 输入参数。核采样参数。范围：[0.0, 1.0]。默认值：0.95。 |
| top_k | Integer | 输入参数。Top-k 采样参数。默认值：50。 |
| model_kwargs | Dictionary | 输入参数。传递给模型的其他关键字参数。 |
Hugging Face 嵌入推理 (Hugging Face Embeddings Inference)
使用 Hugging Face Embeddings Inference 组件通过 Hugging Face 的托管模型或您自己本地托管的模型创建嵌入。
该组件使用 Hugging Face 推理 API 模型 生成嵌入。 当不使用本地模型时，需要进行身份验证。
有关在流中使用嵌入模型组件的更多信息，请参阅 嵌入模型组件 和 使用本地 Hugging Face 嵌入模型。
Hugging Face 嵌入推理参数
| 名称 | 显示名称 | 信息 |
|---|---|---|
| api_key | API Key | 输入参数。用于访问 Hugging Face 推理 API 的 Hugging Face API 令牌（如果需要）。本地推理模型不需要 API 密钥。 |
| api_url | API URL | 输入参数。Hugging Face 推理 API 的 URL。 |
| model_name | 模型名称 (Model Name) | 输入参数。用于生成嵌入的模型名称。 |
使用本地 Hugging Face 嵌入模型
要将本地 Hugging Face 模型连接 to the Hugging Face Embeddings Inference 组件并在流中使用它，请按照以下步骤操作：
-
在本示例中，从 Vector Store RAG 模板创建一个流。
-
将两个 OpenAI Embeddings 组件替换为 Hugging Face Embeddings Inference 组件。
确保将每个 Embeddings Inference 组件的 嵌入模型 (Embedding Model) 端口重新连接到其对应的 Astra DB 组件。
-
配置 Astra DB 组件以连接到您的 Astra 组织，或者将两个 Astra DB 组件替换为其他向量存储组件。
-
将每个 Hugging Face Embeddings Inference 组件连接到您的本地推理模型：
- 推理端点 (Inference Endpoint)：输入您本地推理模型的 URL。
- API Key：对于本地推理，可以为空。
- 模型名称 (Model Name)：如果未自动检测到，请输入您本地推理模型的名称。
-
要测试流，点击 游乐场 (Playground)，然后输入一些文本以生成嵌入。
