中文 ▾
获取 API 密钥
每 1M 输入 token
$0.15
输出 token / 1M
$0.50
token 上下文
100,000
试用额度
$0.50
每分钟请求数
300

文本深度学习 API:快速构建聊天机器人

文本深度学习 API 让你能在大约十五分钟内构建一个可用的聊天机器人,因为模型负责语言处理,你只需管理消息。下面是一个完整的 Python 聊天机器人示例,包含历史、流式输出和 token 预算,使用 OpenAI 兼容接口。

最后更新

一串对话气泡穿过漏斗,只保留最新的,最终到达一个仪表

总结

  • 聊天机器人是一个循环,它附加消息并在每一轮重新发送历史。
  • 输入成本随每一轮增长,因此请截断或总结旧消息。
  • 流式输出在结束时提供使用情况,你可以用它来跟踪支出。
  • 丢弃旧轮次可将 50 轮聊天的输入 token 减少约 62%。

你需要什么

模型已托管,因此无需训练,也无需租用 GPU。你需要 Python 3.9 或更高版本、OpenAI SDK(pip install openai)和一个密钥。注册,在 API 密钥页面领取 $0.50 试用额度,并将密钥保存在环境变量中:

# endpoint https://api.deepapi.cc/v1, model uncensored
export DEEPAPI_KEY="paste-your-key-here"

接口是 https://api.deepapi.cc/v1,模型 ID 是 uncensored。这是一个 OpenAI 兼容的纯文本 API,由独立提供商运行一个开放权重模型,因此代码与任何 OpenAI 客户端相同。这里没有嵌入、图像或音频,只有文本输入和文本输出。

核心思想:模型没有记忆

每次请求都是独立的。API 不会记住你一分钟前说过的内容。要进行对话,你需要每次发送整个对话历史:一条系统消息,然后是交替的用户和助手消息,最后是新用户消息。回复会追加到列表中,下一轮发送更长的列表。

这一事实解释了聊天机器人的大多数设计选择。这就是为什么长对话每轮成本更高,为什么你需要对旧消息制定计划,以及为什么上下文窗口很重要。该服务总共提供 100,000 token(包含提示词和补全)。

40 行代码实现聊天机器人

此版本流式回复,保持历史记录,并在每轮后打印 token 使用情况。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.deepapi.cc/v1",
    api_key=os.environ["DEEPAPI_KEY"],
)

SYSTEM = {"role": "system", "content": "You are a friendly, concise assistant."}
history = []          # user and assistant messages only
MAX_TURNS = 10        # keep about the last 10 exchanges

def reply(user_text):
    history.append({"role": "user", "content": user_text})
    window = history[-MAX_TURNS * 2:]
    stream = client.chat.completions.create(
        model="uncensored",
        messages=[SYSTEM] + window,
        stream=True,
        temperature=0.7,
    )
    text, usage = "", None
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            print(piece, end="", flush=True)
            text += piece
        if getattr(chunk, "usage", None):
            usage = chunk.usage
    print()
    history.append({"role": "assistant", "content": text})
    return usage

while True:
    user = input("you> ").strip()
    if user in {"", "exit", "quit"}:
        break
    u = reply(user)
    if u:
        cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
        print(f"[{u.prompt_tokens} in, {u.completion_tokens} out, ${cost:.5f}]")

运行它,聊几轮,观察 "in" 数字上升。流式响应在结束时报告使用情况,因此数字是准确的,不需要猜测。

Token 预算:为什么截断很重要

假设系统提示词为 200 token,每轮用户和助手分别增加 100 和 250 token。不截断的情况下,第 k 轮发送 200 + 350 x (k - 1) + 100 个输入 token。在一个 50 轮的对话中:

  • 输入总计:50 x 300 + 350 x (0 + 1 + ... + 49) = 15,000 + 350 x 1,225 = 443,750 token
  • 输出总计:50 x 250 = 12,500 token
  • 成本:443,750 x $0.15 / 1M = $0.0666,加上 12,500 x $0.50 / 1M = $0.0063,总计约 $0.073

现在只保留最后 10 次交互。前 10 轮消耗 18,750 个输入 token,剩余的 40 轮每轮发送 3,700 个,共 148,000 个。总计 166,750 个输入 token,比之前减少约 62%,输入成本为 $0.0250。

在更长消息或更多用户的情况下,节省更为显著。每天服务数千个对话的聊天机器人会在余额中看到差异。

比丢弃更好的方法:总结

丢弃旧轮次会丢失用户早期提到的事实,如姓名或偏好。一种常见的修复方法是当历史增长时,要求模型生成简短摘要,并用摘要代替旧消息。

# uses the client from above (base_url https://api.deepapi.cc/v1)
def compress(history, keep=6):
    if len(history) <= keep * 2:
        return history
    old, recent = history[:-keep * 2], history[-keep * 2:]
    summary = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": "Summarise this conversation in under 120 words. Keep names, facts and open questions."},
            {"role": "user", "content": "\n".join(m["role"] + ": " + m["content"] for m in old)},
        ],
    ).choices[0].message.content
    return [{"role": "user", "content": "Summary of earlier chat: " + summary}] + recent

时不时调用它,例如当历史记录超过 20 条消息时:history = compress(history)。摘要调用一次消耗几千个 token,之后每轮都更便宜。同时设置一个粗略预算。字符数除以四是英文的合理 token 估算值,而 usage 块会在每次调用后给出实际数字。

在真实用户看到之前测试机器人

对三条友好消息有效的聊天机器人在生产中仍可能失败。先运行以下简短检查清单。

  1. 长回复。 请求一个 1,000 字的故事,并确认流式输出没有卡住,且完整文本存入 history。
  2. 空输入和巨大输入。 发送空行和粘贴的文本墙。上述循环忽略空输入,但你还应在消息到达 API 之前限制其长度。
  3. 连接断开。 在流式传输过程中停止网络。部分回复不应被视为完整回复而保存,因此仅在循环无异常结束时才追加到 history。
  4. 早期事实的记忆。 在第一轮告诉机器人你的名字,然后在第 15 轮询问它。如果失败,从直接截断切换到摘要方法。
  5. 每次对话的成本。 运行 20 轮聊天并汇总打印出的各项成本。乘以你预计每天处理的对话数量。

保持系统提示词简短具体。用几行说明机器人的角色、语气和任何格式规则,并一次测试一个更改。系统提示词中的每个词在每一轮都会再次发送,因此 200 token 的提示词每次请求的输入成本约为 $0.00003,虽然很小,但在数千次请求中会累积。

处理限制和错误

单用户聊天机器人很少触及限制,但部署后的应用会。完整密钥允许 8 个并发请求和每分钟 300 个请求,试用密钥允许 2 个和 60 个。超过限制后,API 返回 HTTP 429 状态码,错误代码为 rate_limited 或 concurrency。临时过载也返回 429 状态码,并附带 Retry-After: 5 头。由于流式请求会一直占用其槽位直到流结束,拥有大量开放流的 Web 聊天机器人应排队或拒绝新请求。失败或被拒绝的请求不收费,因此重试不会产生额外费用。

其他实用参数:temperature 和 top_p 用于增加多样性,stop 用于自定义结束条件,seed 用于可重复的测试运行。JSON 模式和工具调用可用于结构化回复和函数调用。文档 涵盖了所有这些内容。

将其部署到网站

同样的模式也适用于 Web 接口背后。将 API 密钥保存在服务器上,而不是浏览器 JavaScript 中,因为任何人都可以读取客户端代码。浏览器将新的用户消息发送到你的服务器,你的服务器加载该用户的历史记录,调用 API 并将回复流式传输回来。

三个细节可以避免麻烦。按会话存储历史记录,这样用户不会看到彼此的聊天。在转发之前限制用户消息的长度,因为粘贴的小说会消耗真金白银。并将每个密钥的并发流限制在你的计划的并发数:完整密钥同时为 8,第九个应排队等待。对于小型内部工具,这需要几十行代码,而 Base URL 和密钥是唯一的供应商特定部分。

接下来去哪里

将 reply 包装在一个小型 Web 服务器中,在数据库中按用户存储历史记录,并在系统提示词中添加一个角色设定。如果你想比较供应商再做出决定,DeepSeek API 替代方案 一文列出了标准。查看你规模的成本,请参阅 定价页面。充值从 $20 到 $500 不等,仅支持加密货币,奖金从 $50 起,且额度永不过期。

常见问题

使用文本深度学习 API 是否需要训练模型?

不需要。模型已经训练完毕并托管。你通过 HTTPS 发送消息并获取文本回复。

API 会记住之前的消息吗?

不会。每个请求都是独立的,因此你的代码必须在每一轮对话中重新发送对话历史。

一个对话最多可以使用多少 token?

上下文窗口为 100,000 token,包含提示词和补全的 token 总数。在接近该限制前进行截断或摘要。

我可以从 JavaScript 中使用吗?

可以。使用 OpenAI Node SDK,将 baseURL 设置为 https://api.deepapi.cc/v1 并使用 uncensored 模型,或者使用 fetch 调用接口。

立即获取 API 密钥

注册,复制密钥,更新基础 URL。仅此而已。