5

OpenAI 开放 GPT-3.5 Turbo 自定义微调

 1 year ago
source link: https://www.sysgeek.cn/gpt-3-5-turbo-fine-tuning/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

OpenAI 开放 GPT-3.5 Turbo 自定义微调

发布日期：2023-08-23 分类：AI 阅读(48) 评论(0)
OpenAI

OpenAI 宣布，企业现在可以利用自己的数据对 GPT-3.5 Turbo 进行微调。通过这种方式获得的定制模型在某些任务上的表现可以匹敌甚至超越 GPT-4。值得注意的是，今年秋季稍后时候，OpenAI 还将推出更为先进的 GPT-4。

微调（Fine-tuning）让企业能够将 ChatGPT 打磨成在特定任务下的高效模型。通过监督训练，可以创造出适应特定需求的独特机器人，使其能够在特定领域提供可靠的回应，或使用更简明的表达方式。商业用户过去只能使用 GPT-3 的变体来达到这一目标，例如 davinci-002 或 babbage-002。

这些模型与 GPT-4 类似，在预训练阶段（截至 2021 年 9 月之前）进行了初始训练，然后能够使用公司的数据进行微调。值得强调的是，这些数据以及所有输入和输出都不会被用于客户组织以外的模型训练。

另外，微调还可用于训练机器人模仿品牌的「声音」，以确保一致性。例如，可以使用部分由 AI 撰写的广告文案或内部通信来实现这一点，这在许多情况下已经得到实践应用。软件公司还可以将其应用于常规代码，如 API 调用，或者用于可靠地格式化和完成代码片段。

GPT-3.5 Turbo 是 OpenAI 于 2023 年早些时候推出的模型系列，特别适合处理非特定的聊天场景。该模型一次可以处理 4000 个 token，相较以往的模型提升了一倍。在使用微调指令来引导 GPT-3.5 之后，早期测试者已经能够将提示信息缩短 90%。

微调成本分为两部分：初始训练成本和使用成本：

  • 初始训练：$0.008 / 1K Tokens
  • 使用输入：$0.012 / 1K Tokens
  • 使用输出：$0.016 / 1K Tokens

例如，一个 gpt-3.5-turbo 微调作业包含 100000 个 tokens 的训练文件，经过 3 个 epoch 的训练，预计成本为 $2.40。

Microsoft 作为 AI Builder 和 Power Virtual Agents 服务的一部分，同样提供可微调的 GPT 基础模型，可与公司的内部数据相连接，用以生成相应的回应。Microsoft 指出，这些模型可用于生成摘要信息或电子邮件内容。与 OpenAI 的微调机器人一样，Microsoft 的定制化 AI 机器人也能够与公司数据连接，从业务知识库中生成回应。


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK