文本深度学习 API:快速构建聊天机器人
文本深度学习 API 让你能在大约十五分钟内构建一个可用的聊天机器人,因为模型负责语言处理,你只需管理消息。下面是一个完整的 Python 聊天机器人示例,包含历史、流式输出和 token 预算,使用 OpenAI 兼容接口。

总结
- 聊天机器人是一个循环,它附加消息并在每一轮重新发送历史。
- 输入成本随每一轮增长,因此请截断或总结旧消息。
- 流式输出在结束时提供使用情况,你可以用它来跟踪支出。
- 丢弃旧轮次可将 50 轮聊天的输入 token 减少约 62%。
你需要什么
模型已托管,因此无需训练,也无需租用 GPU。你需要 Python 3.9 或更高版本、OpenAI SDK(pip install openai)和一个密钥。注册,在 API 密钥页面领取 $0.50 试用额度,并将密钥保存在环境变量中:
# endpoint https://api.deepapi.cc/v1, model uncensored
export DEEPAPI_KEY="paste-your-key-here"
接口是 https://api.deepapi.cc/v1,模型 ID 是 uncensored。这是一个 OpenAI 兼容的纯文本 API,由独立提供商运行一个开放权重模型,因此代码与任何 OpenAI 客户端相同。这里没有嵌入、图像或音频,只有文本输入和文本输出。
核心思想:模型没有记忆
每次请求都是独立的。API 不会记住你一分钟前说过的内容。要进行对话,你需要每次发送整个对话历史:一条系统消息,然后是交替的用户和助手消息,最后是新用户消息。回复会追加到列表中,下一轮发送更长的列表。
这一事实解释了聊天机器人的大多数设计选择。这就是为什么长对话每轮成本更高,为什么你需要对旧消息制定计划,以及为什么上下文窗口很重要。该服务总共提供 100,000 token(包含提示词和补全)。
40 行代码实现聊天机器人
此版本流式回复,保持历史记录,并在每轮后打印 token 使用情况。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.deepapi.cc/v1",
api_key=os.environ["DEEPAPI_KEY"],
)
SYSTEM = {"role": "system", "content": "You are a friendly, concise assistant."}
history = [] # user and assistant messages only
MAX_TURNS = 10 # keep about the last 10 exchanges
def reply(user_text):
history.append({"role": "user", "content": user_text})
window = history[-MAX_TURNS * 2:]
stream = client.chat.completions.create(
model="uncensored",
messages=[SYSTEM] + window,
stream=True,
temperature=0.7,
)
text, usage = "", None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
print(piece, end="", flush=True)
text += piece
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
history.append({"role": "assistant", "content": text})
return usage
while True:
user = input("you> ").strip()
if user in {"", "exit", "quit"}:
break
u = reply(user)
if u:
cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
print(f"[{u.prompt_tokens} in, {u.completion_tokens} out, ${cost:.5f}]")
运行它,聊几轮,观察 "in" 数字上升。流式响应在结束时报告使用情况,因此数字是准确的,不需要猜测。
Token 预算:为什么截断很重要
假设系统提示词为 200 token,每轮用户和助手分别增加 100 和 250 token。不截断的情况下,第 k 轮发送 200 + 350 x (k - 1) + 100 个输入 token。在一个 50 轮的对话中:
- 输入总计:50 x 300 + 350 x (0 + 1 + ... + 49) = 15,000 + 350 x 1,225 = 443,750 token
- 输出总计:50 x 250 = 12,500 token
- 成本:443,750 x $0.15 / 1M = $0.0666,加上 12,500 x $0.50 / 1M = $0.0063,总计约 $0.073
现在只保留最后 10 次交互。前 10 轮消耗 18,750 个输入 token,剩余的 40 轮每轮发送 3,700 个,共 148,000 个。总计 166,750 个输入 token,比之前减少约 62%,输入成本为 $0.0250。
在更长消息或更多用户的情况下,节省更为显著。每天服务数千个对话的聊天机器人会在余额中看到差异。
比丢弃更好的方法:总结
丢弃旧轮次会丢失用户早期提到的事实,如姓名或偏好。一种常见的修复方法是当历史增长时,要求模型生成简短摘要,并用摘要代替旧消息。
# uses the client from above (base_url https://api.deepapi.cc/v1)
def compress(history, keep=6):
if len(history) <= keep * 2:
return history
old, recent = history[:-keep * 2], history[-keep * 2:]
summary = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Summarise this conversation in under 120 words. Keep names, facts and open questions."},
{"role": "user", "content": "\n".join(m["role"] + ": " + m["content"] for m in old)},
],
).choices[0].message.content
return [{"role": "user", "content": "Summary of earlier chat: " + summary}] + recent
时不时调用它,例如当历史记录超过 20 条消息时:history = compress(history)。摘要调用一次消耗几千个 token,之后每轮都更便宜。同时设置一个粗略预算。字符数除以四是英文的合理 token 估算值,而 usage 块会在每次调用后给出实际数字。
在真实用户看到之前测试机器人
对三条友好消息有效的聊天机器人在生产中仍可能失败。先运行以下简短检查清单。
- 长回复。 请求一个 1,000 字的故事,并确认流式输出没有卡住,且完整文本存入
history。 - 空输入和巨大输入。 发送空行和粘贴的文本墙。上述循环忽略空输入,但你还应在消息到达 API 之前限制其长度。
- 连接断开。 在流式传输过程中停止网络。部分回复不应被视为完整回复而保存,因此仅在循环无异常结束时才追加到
history。 - 早期事实的记忆。 在第一轮告诉机器人你的名字,然后在第 15 轮询问它。如果失败,从直接截断切换到摘要方法。
- 每次对话的成本。 运行 20 轮聊天并汇总打印出的各项成本。乘以你预计每天处理的对话数量。
保持系统提示词简短具体。用几行说明机器人的角色、语气和任何格式规则,并一次测试一个更改。系统提示词中的每个词在每一轮都会再次发送,因此 200 token 的提示词每次请求的输入成本约为 $0.00003,虽然很小,但在数千次请求中会累积。
处理限制和错误
单用户聊天机器人很少触及限制,但部署后的应用会。完整密钥允许 8 个并发请求和每分钟 300 个请求,试用密钥允许 2 个和 60 个。超过限制后,API 返回 HTTP 429 状态码,错误代码为 rate_limited 或 concurrency。临时过载也返回 429 状态码,并附带 Retry-After: 5 头。由于流式请求会一直占用其槽位直到流结束,拥有大量开放流的 Web 聊天机器人应排队或拒绝新请求。失败或被拒绝的请求不收费,因此重试不会产生额外费用。
其他实用参数:temperature 和 top_p 用于增加多样性,stop 用于自定义结束条件,seed 用于可重复的测试运行。JSON 模式和工具调用可用于结构化回复和函数调用。文档 涵盖了所有这些内容。
将其部署到网站
同样的模式也适用于 Web 接口背后。将 API 密钥保存在服务器上,而不是浏览器 JavaScript 中,因为任何人都可以读取客户端代码。浏览器将新的用户消息发送到你的服务器,你的服务器加载该用户的历史记录,调用 API 并将回复流式传输回来。
三个细节可以避免麻烦。按会话存储历史记录,这样用户不会看到彼此的聊天。在转发之前限制用户消息的长度,因为粘贴的小说会消耗真金白银。并将每个密钥的并发流限制在你的计划的并发数:完整密钥同时为 8,第九个应排队等待。对于小型内部工具,这需要几十行代码,而 Base URL 和密钥是唯一的供应商特定部分。
接下来去哪里
将 reply 包装在一个小型 Web 服务器中,在数据库中按用户存储历史记录,并在系统提示词中添加一个角色设定。如果你想比较供应商再做出决定,DeepSeek API 替代方案 一文列出了标准。查看你规模的成本,请参阅 定价页面。充值从 $20 到 $500 不等,仅支持加密货币,奖金从 $50 起,且额度永不过期。
更多指南
常见问题
使用文本深度学习 API 是否需要训练模型?
不需要。模型已经训练完毕并托管。你通过 HTTPS 发送消息并获取文本回复。
API 会记住之前的消息吗?
不会。每个请求都是独立的,因此你的代码必须在每一轮对话中重新发送对话历史。
一个对话最多可以使用多少 token?
上下文窗口为 100,000 token,包含提示词和补全的 token 总数。在接近该限制前进行截断或摘要。
我可以从 JavaScript 中使用吗?
可以。使用 OpenAI Node SDK,将 baseURL 设置为 https://api.deepapi.cc/v1 并使用 uncensored 模型,或者使用 fetch 调用接口。