API для текста на базе глубокого обучения: создайте чат-бот быстро
API для текста на базе глубокого обучения позволяет создать работающий чат-бот примерно за пятнадцать минут, так как модель выполняет языковую работу, а вы управляете только сообщениями. Ниже представлен полный код чат-бота на Python с историей, потоковой передачей и лимитом токенов, использующий эндпоинт, совместимый с OpenAI.

Итоги
- Чат-бот — это цикл, который добавляет сообщения и отправляет историю на каждом шаге.
- Стоимость входных токенов растёт с каждым шагом, поэтому сокращайте или резюмируйте старые сообщения.
- Потоковая передача предоставляет данные об использовании в конце, что позволяет отслеживать расходы.
- Удаление старых реплик сокращает количество входных токенов в чате на 50 реплик примерно на 62%.
Что вам нужно
Модель размещена, поэтому обучать её не нужно и не требуется арендовать GPU. Вам нужны Python 3.9 или новее, SDK OpenAI (pip install openai) и ключ. Зарегистрируйтесь, получите $0,50 пробного баланса на странице API-ключа и сохраните ключ в переменной окружения:
# endpoint https://api.deepapi.cc/v1, model uncensored
export DEEPAPI_KEY="paste-your-key-here"
Эндпоинт — https://api.deepapi.cc/v1, а идентификатор модели — uncensored. Это API только для текста, совместимое с OpenAI, обслуживающее одну модель с открытыми весами от независимого провайдера, поэтому код такой же, как для любого клиента OpenAI. Здесь нет эмбеддингов, изображений или аудио, только текст на входе и текст на выходе.
Основная идея: у модели нет памяти
Каждый запрос независим. API не запоминает, что вы говорили минуту назад. Чтобы вести разговор, вы отправляете весь диалог каждый раз: системное сообщение, затем чередующиеся сообщения пользователя и ассистента, заканчивая новым сообщением пользователя. Ответ добавляется в список, и следующий шаг отправляет более длинный список.
Этот факт объясняет большинство дизайнерских решений в чат-боте. Именно поэтому длинные разговоры обходятся дороже на каждом шаге, почему вам нужен план для старых сообщений и почему важно контекстное окно. Этот сервис предоставляет 100 000 токенов всего для промпта и завершения.
Чат-бот за 40 строк
Эта версия потоково передает ответ, сохраняет историю и выводит использование токенов после каждого шага.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.deepapi.cc/v1",
api_key=os.environ["DEEPAPI_KEY"],
)
SYSTEM = {"role": "system", "content": "You are a friendly, concise assistant."}
history = [] # user and assistant messages only
MAX_TURNS = 10 # keep about the last 10 exchanges
def reply(user_text):
history.append({"role": "user", "content": user_text})
window = history[-MAX_TURNS * 2:]
stream = client.chat.completions.create(
model="uncensored",
messages=[SYSTEM] + window,
stream=True,
temperature=0.7,
)
text, usage = "", None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
print(piece, end="", flush=True)
text += piece
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
history.append({"role": "assistant", "content": text})
return usage
while True:
user = input("you> ").strip()
if user in {"", "exit", "quit"}:
break
u = reply(user)
if u:
cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
print(f"[{u.prompt_tokens} in, {u.completion_tokens} out, ${cost:.5f}]")
Запустите его, пообщайтесь несколько шагов и наблюдайте, как растет число «in». Потоковый ответ сообщает об использовании в конце, поэтому цифра точная и не требует догадок.
Бюджетирование токенов: почему важно сокращение
Допустим, системный промпт составляет 200 токенов, а каждый шаг добавляет 100 токенов от пользователя и 250 от ассистента. Без сокращения шаг k отправляет 200 + 350 x (k - 1) + 100 входных токенов. За 50 шагов разговора:
- Всего ввода: 50 x 300 + 350 x (0 + 1 + ... + 49) = 15 000 + 350 x 1 225 = 443 750 токенов
- Всего вывода: 50 x 250 = 12 500 токенов
- Стоимость: 443 750 x $0,15 / 1 млн = $0,0666, плюс 12 500 x $0,50 / 1 млн = $0,0063, что составляет около $0,073
Теперь сохраняйте только последние 10 обменов. Первые 10 шагов обходятся в 18 750 входных токенов, а каждый из оставшихся 40 отправляет 3 700, итого 148 000. Всего 166 750 входных токенов, примерно на 62% меньше, чем раньше, при стоимости $0,0250 на ввод.
Экономия становится более значительной с более длинными сообщениями или большим числом пользователей. Чат-бот, обслуживающий тысячи разговоров в день, видит разницу в своем балансе.
Лучше, чем удаление: резюмирование
Удаление старых шагов теряет факты, упомянутые пользователем в начале, такие как имя или предпочтения. Распространенное решение — попросить модель создать краткое резюме, когда история растет, и использовать резюме вместо старых сообщений.
# uses the client from above (base_url https://api.deepapi.cc/v1)
def compress(history, keep=6):
if len(history) <= keep * 2:
return history
old, recent = history[:-keep * 2], history[-keep * 2:]
summary = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Summarise this conversation in under 120 words. Keep names, facts and open questions."},
{"role": "user", "content": "\n".join(m["role"] + ": " + m["content"] for m in old)},
],
).choices[0].message.content
return [{"role": "user", "content": "Summary of earlier chat: " + summary}] + recent
Вызывайте его время от времени, например, когда история превышает 20 сообщений: history = compress(history). Вызов резюмирования обходится в несколько тысяч токенов один раз, а каждый последующий шаг становится дешевле. Установите также примерный бюджет. Количество символов, деленное на четыре, является хорошей оценкой количества токенов для английского языка, а блок использования дает реальное число после каждого вызова.
Тестирование бота до того, как его увидят реальные пользователи
Чат-бот, который успешно обрабатывает три приветливых сообщения, все еще может дать сбой в продакшене. Сначала пройдите этот короткий чек-лист.
- Длинные ответы. Попросите историю на 1000 слов и подтвердите, что потоковая передача не зависает и полный текст попадает в
history. - Пустой и огромный ввод. Отправьте пустую строку и вставленный блок текста. Цикл выше игнорирует пустой ввод, но вы также должны ограничить длину сообщения перед его отправкой в API.
- Потерянное соединение. Остановите сеть посреди потоковой передачи. Частичный ответ не должен сохраняться как полный, поэтому добавляйте в
historyтолько после завершения цикла без исключения. - Память ранних фактов. Сообщите боту свое имя на шаге один, затем спросите о нем на шаге пятнадцать. Если он не справится, переключитесь с простого сокращения на подход с резюмированием.
- Стоимость за разговор. Запустите чат на 20 шагов и сложите напечатанные расходы. Умножьте на количество разговоров, которые вы ожидаете в день.
Держите системный промпт коротким и конкретным. Укажите роль бота, тон и любые правила формата в нескольких строках и тестируйте изменения по одному. Каждое слово в системном промпте отправляется снова на каждом шаге, поэтому промпт на 200 токенов стоит около $0,00003 за запрос на ввод, что мало, но накапливается при тысячах запросов.
Обработка лимитов и ошибок
Чат-бот для одного пользователя редко достигает пределов, но развернутый — достигнет. Полный ключ позволяет 8 одновременных запросов и 300 в минуту, пробный ключ — 2 и 60. При превышении лимита API возвращает HTTP 429 с кодом rate_limited или concurrency. Временная перегрузка также возвращает 429 с Retry-After: 5. Поскольку потоковый запрос занимает слот до конца потоковой передачи, веб-чат-бот с множеством открытых потоков должен ставить в очередь или отклонять новые. Неудачные или отклоненные запросы не оплачиваются, поэтому повторная попытка не стоит дополнительных денег.
Другие полезные настройки: temperature и top_p для разнообразия, stop для пользовательских окончаний и seed для повторяемых тестов. JSON-режим и вызов функций доступны для структурированных ответов и использования функций. Документация охватывает все из них.
Размещение на веб-сайте
Та же схема работает за веб-эндпоинтом. Храните API-ключ на сервере, а не в JavaScript браузера, так как любой может прочитать клиентский код. Браузер отправляет новое сообщение пользователя на ваш сервер, ваш сервер загружает историю этого пользователя, вызывает API и выводит ответ потоком обратно.
Три детали экономят проблемы. Храните историю по сессии, чтобы пользователи не видели чаты друг друга. Ограничивайте длину сообщения пользователя перед его пересылкой, так как вставленный роман стоит реальных денег. И ограничьте одновременные потоки на ключ до параллельных запросов вашего плана: с полным ключом это 8 одновременно, а девятый должен ждать в очереди. Для небольшого внутреннего инструмента это занимает несколько десятков строк, а базовый URL и ключ — единственные части, специфичные для провайдера.
Куда двигаться дальше
Оберните reply в небольшой веб-сервер, храните историю по пользователю в базе данных и добавьте персонажа в системный промпт. Если вы хотите сравнить провайдеров перед тем, как привязаться, статья о альтернативах API DeepSeek перечисляет критерии. По стоимости в вашем масштабе см. страницу тарифов. Пополнения от $20 до $500, только криптовалютой, с бонусами от $50, и баланс не сгорает.
Дополнительные руководства
Часто задаваемые вопросы
Нужно ли обучать модель, чтобы использовать API для работы с текстом?
Нет. Модель уже обучена и размещена. Вы отправляете сообщения по HTTPS и получаете текст в ответ.
Запоминает ли API предыдущие сообщения?
Нет. Каждый запрос независим, поэтому ваш код должен отправлять историю разговора при каждом шаге.
Сколько токенов может использовать один диалог?
Контекстное окно составляет 100 000 токенов для промпта и завершения. Обрежьте или резюмируйте историю, прежде чем приблизитесь к этому пределу.
Можно ли использовать это из JavaScript?
Да. Используйте OpenAI Node SDK, установив baseURL в https://api.deepapi.cc/v1 и модель uncensored, или вызовите эндпоинт с помощью fetch.
Получите API-ключ мгновенно
Зарегистрируйтесь, скопируйте ключ, обновите базовый URL. Это всё.