跳到主要内容

Transformer 组件 (Transformer Component)

该组件使用大语言模型 (LLM) 从分块 (Chunks) 中提取深入见解或信息。

Transformer (转换器) 组件处理分块并允许大模型对其进行转换。它通常在数据解析入库流水线中位于 Indexer 组件之前，但您也可以按顺序串联多个 Transformer 组件。

适用场景 (Scenario)

当您需要大语言模型 (LLM) 从原始分块中提取新信息（例如关键词、问题、元数据和摘要）时，Transformer 组件是必不可少的。

配置项 (Configurations)

Model (模型)

点击 Model 的下拉菜单以显示模型配置窗口。

  • Model (模型)：要使用的聊天模型。
    • 请确保已在 Model providers（模型提供商）页面正确设置了聊天模型。
    • 您可以为不同的组件使用不同的模型，以增加灵活性或提高整体性能。
  • Creativity (创造力)：Temperature（温度）、Top P（核采样）、Presence penalty（存在惩罚）和 Frequency penalty（频率惩罚）设置的快捷方式，表示模型的自由度级别。从 Improvise (即兴)、Precise (精准) 到 Balance (平衡)，每个预设配置都对应 Temperature、Top P、Presence penalty 和 Frequency penalty 的独特组合。
    此参数有三个选项：
    • Improvise (即兴)：产生更具创造性的回答。
    • Precise (精准)：（默认）产生更保守的回答。
    • Balance (平衡)：介于 Improvise 和 Precise 之间的折中方案。
  • Temperature (温度)：模型输出的随机性级别。
    默认值为 0.1。
    • 较低的值会使输出更具确定性和可预测性。
    • 较高的值会使输出更具创造性和多样性。
    • 温度为 0 时，相同的提示词总是产生相同的输出。
  • Top P (核采样)：核采样。
    • 通过设置阈值 P 并将采样限制在累积概率超过 P 的词元上，降低生成重复或不自然文本的可能性。
    • 默认值为 0.3。
  • Presence penalty (存在惩罚)：鼓励模型在回答中包含更丰富多样的词元。
    • 较高的 presence penalty 值会使模型更有可能生成尚未包含在已生成文本中的新词元。
    • 默认值为 0.4。
  • Frequency penalty (频率惩罚)：防止模型在生成的文本中过于频繁地重复相同的单词或短语。
    • 较高的 frequency penalty 值会使模型在重复使用已出现的词元时更加保守。
    • 默认值为 0.7。
  • Max tokens (最大词元数)：
    • 模型的最大上下文大小。
注意
  • 所有组件不一定必须使用相同的模型。如果特定模型在某项任务中表现不佳，可以考虑换用其他模型。
  • 如果您对 Temperature、Top P、Presence penalty 和 Frequency penalty 的底层机制不太确定，只需从 Creativity 的三个选项中选择一个即可。

Result destination (结果目标类型)

选择由大语言模型 (LLM) 生成的输出类型：

  • Summary (摘要)
  • Keywords (关键词)
  • Questions (常见问题)
  • Metadata (元数据)

System prompt (系统提示词)

通常，您可以使用系统提示词来描述大语言模型的任务，指定它应该如何响应，并概述其他各种要求。我们不打算详细阐述这个话题，因为它可以像提示词工程 (Prompt Engineering) 一样广泛。

注意

此处的系统提示词会自动更新，以匹配您所选的 Result destination (结果目标类型)。

User prompt (用户提示词)

用户自定义的提示词。例如，您可以输入 / 或点击 (x)，插入数据解析入库流水线中前置组件的输出变量作为大语言模型的输入。

Output (输出)

Transformer 组件输出的全局变量名称，可以被数据解析入库流水线中的后续 Transformer 组件引用。

  • 默认值：chunks
  • 类型：Array<Object>