Deep-Learning-API für Text: Baue schnell einen Chatbot
Eine Deep-Learning-API für Text ermöglicht es dir, in etwa fünfzehn Minuten einen funktionsfähigen Chatbot zu bauen, da das Modell die Spracharbeit übernimmt und du nur die Nachrichten verwaltest. Unten findest du einen vollständigen Python-Chatbot mit Verlauf, Streaming und Token-Budget, der einen OpenAI-kompatiblen Endpunkt nutzt.

Zusammenfassung
- Ein Chatbot ist eine Schleife, die Nachrichten anhängt und den Verlauf bei jedem Schritt erneut sendet.
- Die Eingabekosten steigen mit jedem Schritt, daher alte Nachrichten kürzen oder zusammenfassen.
- Streaming liefert die Nutzung am Ende, was du nutzen kannst, um die Ausgaben zu verfolgen.
- Das Löschen alter Turns reduziert die Input-Token eines 50-Turn-Chats um etwa 62 %.
Was du benötigst
Das Modell ist gehostet, also gibt es nichts zu trainieren und keine GPU zu mieten. Du benötigst Python 3.9 oder neuer, das OpenAI SDK (pip install openai) und einen Schlüssel. Melde dich an, beanspruche das $0,50 Testguthaben auf der API-Schlüssel-Seite und speichere den Schlüssel in einer Umgebungsvariable:
# endpoint https://api.deepapi.cc/v1, model uncensored
export DEEPAPI_KEY="paste-your-key-here"
Der Endpunkt ist https://api.deepapi.cc/v1 und die Modell-ID ist uncensored. Es handelt sich um eine OpenAI-kompatible, text-only API, die ein Open-Weight-Modell eines unabhängigen Anbieters bedient, daher ist der Code derselbe wie für jeden OpenAI-Client. Es gibt hier keine Embeddings, Bilder oder Audio, nur Text rein und Text raus.
Die Kernidee: Das Modell hat kein Gedächtnis
Jede Anfrage ist unabhängig. Die API merkt sich nicht, was du vor einer Minute gesagt hast. Um ein Gespräch zu führen, sendest du jedes Mal die gesamte Konversation: eine Systemnachricht, dann abwechselnd Benutzer- und Assistenten-Nachrichten, endend mit der neuen Benutzernachricht. Die Antwort wird an die Liste angehängt, und der nächste Schritt sendet die längere Liste.
Diese eine Tatsache erklärt die meisten Designentscheidungen eines Chatbots. Sie ist der Grund, warum lange Chats pro Schritt mehr kosten, warum du einen Plan für alte Nachrichten brauchst und warum das Kontextfenster wichtig ist. Dieser Dienst hat 100.000 Token für Prompt plus Completion.
Ein Chatbot in 40 Zeilen
Diese Version streamt die Antwort, behält den Verlauf und gibt die Token-Nutzung nach jedem Schritt aus.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.deepapi.cc/v1",
api_key=os.environ["DEEPAPI_KEY"],
)
SYSTEM = {"role": "system", "content": "You are a friendly, concise assistant."}
history = [] # user and assistant messages only
MAX_TURNS = 10 # keep about the last 10 exchanges
def reply(user_text):
history.append({"role": "user", "content": user_text})
window = history[-MAX_TURNS * 2:]
stream = client.chat.completions.create(
model="uncensored",
messages=[SYSTEM] + window,
stream=True,
temperature=0.7,
)
text, usage = "", None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
print(piece, end="", flush=True)
text += piece
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
history.append({"role": "assistant", "content": text})
return usage
while True:
user = input("you> ").strip()
if user in {"", "exit", "quit"}:
break
u = reply(user)
if u:
cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
print(f"[{u.prompt_tokens} in, {u.completion_tokens} out, ${cost:.5f}]")
Führe es aus, chatte ein paar Schritte und beobachte, wie die „in“-Zahl steigt. Die gestreamte Antwort gibt die Nutzung am Ende an, daher ist die Zahl exakt und benötigt keine Schätzung.
Token-Budgetierung: Warum Kürzen wichtig ist
Nehmen wir an, der System-Prompt hat 200 Token, und jeder Turn fügt 100 Token vom Benutzer und 250 vom Assistenten hinzu. Ohne Trimmen sendet Turn k 200 + 350 x (k - 1) + 100 Input-Token. Über einen 50-Turn-Chat hinweg:
- Input gesamt: 50 x 300 + 350 x (0 + 1 + ... + 49) = 15.000 + 350 x 1.225 = 443.750 Token
- Ausgabe gesamt: 50 x 250 = 12.500 Token
- Kosten: 443.750 x $0,15 / 1M = $0,0666, plus 12.500 x $0,50 / 1M = $0,0063, was etwa $0,073 entspricht
Behalte nun nur die letzten 10 Exchanges. Die ersten 10 Turns kosten 18.750 Input-Token, und jeder der verbleibenden 40 sendet 3.700, also 148.000. Die Summe beträgt 166.750 Input-Token, etwa 62 % weniger als zuvor, für Input-Kosten von $0,0250.
Die Ersparnis ist bei längeren Nachrichten oder mehr Nutzern wichtiger. Ein Chatbot, der täglich Tausende von Konversationen bedient, sieht den Unterschied auf seinem Guthaben.
Besser als Löschen: Zusammenfassen
Das Löschen alter Schritte verliert Fakten, die der Benutzer früh erwähnt hat, wie einen Namen oder eine Präferenz. Eine gängige Lösung ist, das Modell um eine kurze Zusammenfassung zu bitten, wenn der Verlauf wächst, und die Zusammenfassung anstelle der alten Nachrichten zu verwenden.
# uses the client from above (base_url https://api.deepapi.cc/v1)
def compress(history, keep=6):
if len(history) <= keep * 2:
return history
old, recent = history[:-keep * 2], history[-keep * 2:]
summary = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Summarise this conversation in under 120 words. Keep names, facts and open questions."},
{"role": "user", "content": "\n".join(m["role"] + ": " + m["content"] for m in old)},
],
).choices[0].message.content
return [{"role": "user", "content": "Summary of earlier chat: " + summary}] + recent
Rufe es regelmäßig auf, z. B. wenn der Verlauf 20 Nachrichten überschreitet: history = compress(history). Der Summary-Aufruf kostet einmal ein paar Tausend Token, danach ist jeder spätere Turn günstiger. Lege auch ein grobes Budget fest. Eine Zeichenzahl geteilt durch vier ist eine gute Schätzung für Token im Englischen, und der Usage-Block gibt die echte Zahl nach jedem Aufruf an.
Den Bot testen, bevor echte Nutzer ihn sehen
Ein Chatbot, der für drei freundliche Nachrichten funktioniert, kann in der Produktion immer noch fehlschlagen. Gehe zuerst diese kurze Checkliste durch.
- Lange Antworten. Bitte um eine Geschichte mit 1.000 Wörtern und stelle sicher, dass das Streaming nicht hängen bleibt und der volle Text in
historylandet. - Leere und riesige Eingabe. Sende eine leere Zeile und eine eingefügte Textwand. Die obige Schleife ignoriert leere Eingaben, aber du solltest auch die Länge einer Nachricht begrenzen, bevor sie die API erreicht.
- Getrennte Verbindung. Unterbrich das Netzwerk mitten im Streaming. Die teilweise Antwort sollte nicht als vollständig gespeichert werden, also füge nur nach Ende der Schleife ohne Exception zu
historyhinzu. - Gedächtnis früherer Fakten. Sage dem Bot in Turn eins deinen Namen, dann frage in Turn fünfzehn danach. Wenn es fehlschlägt, wechsle vom einfachen Trimmen zur Summary-Methode.
- Kosten pro Konversation. Führe einen 20-Turn-Chat aus und addiere die gedruckten Kosten. Multipliziere mit der Anzahl der Konversationen, die du pro Tag erwartest.
Halte den System-Prompt kurz und spezifisch. Beschreibe die Rolle des Bots, den Tonfall und alle Formatregeln in wenigen Zeilen und teste Änderungen nacheinander. Jedes Wort im System-Prompt wird bei jedem Schritt erneut gesendet, daher kostet ein 200-Token-Prompt etwa $0,00003 pro Anfrage in der Eingabe, was wenig ist, aber sich bei Tausenden von Anfragen summiert.
Limits und Fehler behandeln
Ein Single-User-Chatbot erreicht selten die Limits, aber ein produktiv eingesetzter schon. Ein voller Schlüssel erlaubt 8 parallele Anfragen und 300 pro Minute, ein Testschlüssel 2 und 60. Nach einem Limit gibt die API HTTP 429 mit dem Code rate_limited oder concurrency zurück. Temporäre Überlastung gibt ebenfalls 429 mit Retry-After: 5 zurück. Da eine gestreamte Anfrage ihren Slot bis zum Stream-Ende belegt, sollte ein Web-Chatbot mit vielen offenen Streams neue in eine Warteschlange stellen oder ablehnen. Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet, also kostet ein Retry nichts Extra.
Nützliche weitere Einstellungen: temperature und top_p für Abwechslung, stop für benutzerdefinierte Endungen und seed für wiederholbare Testläufe. JSON-Modus und Function Calling sind für strukturierte Antworten und Funktionen verfügbar. Die docs decken alle ab.
Auf einer Website bereitstellen
Das gleiche Muster funktioniert hinter einem Web-Endpunkt. Halte den API-Schlüssel auf dem Server, niemals im Browser-JavaScript, weil jeder Client-Code ihn lesen kann. Der Browser sendet die neue User-Nachricht an deinen Server, dein Server lädt den Verlauf dieses Users, ruft die API auf und streamt die Antwort zurück.
Drei Details sparen Ärger. Speichere den Verlauf pro Session, damit User nicht die Chats der anderen sehen. Begrenze die Länge einer User-Nachricht, bevor du sie weiterleitest, denn ein eingefügter Roman kostet echtes Geld. Und begrenze parallele Streams pro Schlüssel auf die Parallelitätsgrenze deines Plans: mit einem vollen Schlüssel sind das 8 gleichzeitig, und ein neunter sollte in einer Warteschlange warten. Für ein kleines internes Tool braucht das ein paar Dutzend Zeilen, und die Base URL und der Key sind die einzigen anbieterspezifischen Teile.
Weiter geht es hier
Verpacke reply in einen kleinen Webserver, speichere den Verlauf pro User in einer Datenbank und gib dem System-Prompt eine Persona. Wenn du Anbieter vergleichen willst, bevor du dich entscheidest, listet der Artikel zu DeepSeek-API-Alternativen Kriterien auf. Für Kosten in deiner Größenordnung sieh dir die Preisseite an. Top-ups laufen von $20 bis $500, nur in Krypto, mit Boni ab $50, und das Guthaben verfällt nie.
Weitere Anleitungen
Häufig gestellte Fragen
Muss ich ein Modell trainieren, um eine Deep-Learning-API für Texte zu nutzen?
Nein. Das Modell ist bereits trainiert und gehostet. Du sendest Nachrichten über HTTPS und erhältst Text zurück.
Merkt sich die API vorherige Nachrichten?
Nein. Jede Anfrage ist unabhängig, daher muss dein Code den Konversationsverlauf bei jedem Schritt erneut senden.
Wie viele Token kann eine Konversation nutzen?
Das Kontextfenster hat 100.000 Token für Prompt plus Completion. Trimme oder fasse zusammen, bevor du diesem Wert nahe kommst.
Kann ich das mit JavaScript nutzen?
Ja. Nutze das OpenAI Node SDK mit baseURL, das auf https://api.deepapi.cc/v1 gesetzt ist, und dem Modell uncensored, oder rufe den Endpunkt mit fetch auf.
Hole dir deinen API-Schlüssel sofort
Melde dich an, kopiere deinen Schlüssel, aktualisiere deine Basis-URL. Das ist alles.