参数详情

频率和存在惩罚

Completions API 中发现的频率和存在惩罚可用于降低对令牌重复序列进行采样的可能性。他们通过添加贡献直接修改 logits（非标准化对数概率）来工作。

在哪里：

mu[j]是第 j 个标记的对数

c[j]是在当前位置之前对该令牌进行采样的频率

float(c[j] > 0)如果为 1，c[j] > 0否则为 0

alpha_frequency是频率惩罚系数

alpha_presence是存在惩罚系数

正如我们所见，存在惩罚是一种一次性的加性贡献，适用于所有至少被采样过一次的标记，而频率惩罚是与特定标记被采样的频率成正比的贡献。

如果目标只是稍微减少重复样本，则惩罚系数的合理值约为 0.1 到 1。如果目标是强烈抑制重复，那么可以将系数增加到 2，但这会显着降低样本质量。负值可用于增加重复的可能性。

关键概念

GPT

OpenAI 的 GPT（生成式预训练变压器）模型经过训练可以理解自然语言和代码。GPT 提供文本输出来响应其输入。GPT 的输入也称为“提示”。设计提示本质上是如何“编程”GPT 模型，通常是通过提供说明或一些如何成功完成任务的示例。GPT 可用于多种任务，包括内容或代码生成、摘要、对话、创意写作等。请阅读我们的 GPT 介绍指南和 GPT 最佳实践指南来了解更多信息。

嵌入

嵌入是一段数据（例如某些文本）的矢量表示，旨在保留其内容和/或其含义的各个方面。在某些方面相似的数据块往往比不相关的数据具有更紧密的嵌入。OpenAI 提供文本嵌入模型，该模型将文本字符串作为输入并生成嵌入向量作为输出。嵌入对于搜索、聚类、推荐、异常检测、分类等非常有用。在我们的嵌入指南中阅读有关嵌入的更多信息。

代币

GPT 和嵌入模型以称为标记的块的形式处理文本。标记代表常见的字符序列。例如，字符串“tokenization”被分解为“token”和“ization”，而像“the”这样的短而常见的单词则被表示为单个标记。请注意，在句子中，每个单词的第一个标记通常以空格字符开头。查看我们的 Tokens 计算器来测试特定字符串并查看它们如何转换为标记。根据粗略的经验，1 个标记大约相当于 4 个字符或英文文本的 0.75 个单词。

要记住的一个限制是，对于 GPT 模型，提示和生成的输出之和不得超过模型的最大上下文长度。对于嵌入模型（不输出标记），输入必须短于模型的最大上下文长度。每个 GPT 和嵌入模型的最大上下文长度限制可以在模型索引中找到。

关键概念#

GPT#

嵌入#

代币#

关键概念

GPT

嵌入

代币