テキスト用ディープラーニングAPI:チャットボットを素早く構築
テキスト用ディープラーニングAPIを使用すると、モデルが言語処理を行い、メッセージの管理のみを行うため、約15分で動作するチャットボットを構築できます。以下は、OpenAI互換エンドポイントを使用した、履歴、ストリーミング、トークン予算付きの完全なPythonチャットボットです。

まとめ
- チャットボットは、メッセージを追加し、各ターンで履歴を再送信するループです。
- 入力はターンごとに増加するため、古いメッセージを切り捨てまたは要約してください。
- ストリーミングレスポンスの最終チャンクには使用量データが含まれており、それを使用して支出を追跡できます。
- 古いターンをドロップすると、50ターンのチャットの入力トークンが約62%削減されます。
必要なもの
モデルはホストされているため、トレーニングやGPUレンタルは不要です。Python 3.9以降、OpenAI SDK(pip install openai)とキーが必要です。登録し、APIキーページで$0.50のトライアルクレジットを取得し、環境変数にキーを設定してください。
# endpoint https://api.deepapi.cc/v1, model uncensored
export DEEPAPI_KEY="paste-your-key-here"
エンドポイントはhttps://api.deepapi.cc/v1、モデルIDはuncensoredです。これは独立したプロバイダが運営する1つのオープンウェイトモデルを提供するOpenAI互換のテキスト専用APIであり、コードは任意のOpenAIクライアントと同じです。埋め込み、画像、音声はなく、テキストのみが入出力されます。
核心:モデルには記憶がない
各リクエストは独立しています。APIは1分前にあなたが言ったことを記憶しません。会話を続けるには、毎回会話全体を送信する必要があります:システムメッセージ、その後ユーザーとアシスタントのメッセージを交互に、新しいユーザーメッセージで終わります。返信はリストに追加され、次のターンでより長いリストが送信されます。
この1つの事実がチャットボットの設計の大部分を説明します。これが、長いチャットがターンごとに高コストになる理由、古いメッセージの計画が必要な理由、そしてコンテキストウィンドウが重要な理由です。このサービスは、プロンプトと補完の合計で100,000トークンを持っています。
40行のチャットボット
このバージョンは返信をストリーミングし、履歴を保持し、各ターンの後にトークン使用状況を表示します。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.deepapi.cc/v1",
api_key=os.environ["DEEPAPI_KEY"],
)
SYSTEM = {"role": "system", "content": "You are a friendly, concise assistant."}
history = [] # user and assistant messages only
MAX_TURNS = 10 # keep about the last 10 exchanges
def reply(user_text):
history.append({"role": "user", "content": user_text})
window = history[-MAX_TURNS * 2:]
stream = client.chat.completions.create(
model="uncensored",
messages=[SYSTEM] + window,
stream=True,
temperature=0.7,
)
text, usage = "", None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
print(piece, end="", flush=True)
text += piece
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
history.append({"role": "assistant", "content": text})
return usage
while True:
user = input("you> ").strip()
if user in {"", "exit", "quit"}:
break
u = reply(user)
if u:
cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
print(f"[{u.prompt_tokens} in, {u.completion_tokens} out, ${cost:.5f}]")
実行して数ターンチャットし、「in」の値が上昇するのを見てください。ストリーミングされたレスポンスは最後に使用状況レポートを出力するため、数値は正確で推測の必要がありません。
トークン予算管理:トリミングが重要な理由
システムプロンプトが200トークンで、各ターンがユーザーから100トークン、アシスタントから250トークンを追加すると仮定します。切り捨てなしでは、ターンkにおける入力トークンの数は200 + 350 x (k - 1) + 100となります。50ターンの会話では:
- 入力合計:50 x 300 + 350 x (0 + 1 + ... + 49) = 15,000 + 350 x 1,225 = 443,750トークン
- 出力合計:50 x 250 = 12,500トークン
- コスト:443,750 x $0.15 / 1M = $0.0666、プラス 12,500 x $0.50 / 1M = $0.0063、合計約$0.073
最後に10回のやり取りのみを保持します。最初の10ターンは18,750入力トークンがかかり、残りの40回それぞれが3,700を送信するため、148,000になります。合計は166,750入力トークンで、以前より約62%少なく、入力のコストは$0.0250です。
この節約は、より長いメッセージやより多くのユーザーでより重要になります。1日数千の会話を処理するチャットボットは、残高でその違いを見ます。
ドロップよりも優れている:要約
古いターンをドロップすると、ユーザーが早期に言及した名前や好みなどの事実が失われます。一般的な解決策は、履歴が増加したときにモデルに短い要約を依頼し、古いメッセージの代わりに要約を引き継ぐことです。
# uses the client from above (base_url https://api.deepapi.cc/v1)
def compress(history, keep=6):
if len(history) <= keep * 2:
return history
old, recent = history[:-keep * 2], history[-keep * 2:]
summary = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Summarise this conversation in under 120 words. Keep names, facts and open questions."},
{"role": "user", "content": "\n".join(m["role"] + ": " + m["content"] for m in old)},
],
).choices[0].message.content
return [{"role": "user", "content": "Summary of earlier chat: " + summary}] + recent
履歴が20メッセージを超えた場合など、定期的に呼び出します:history = compress(history)。要約呼び出しは一度数千トークンかかりますが、その後の各ターンは安くなります。大まかな予算も設定してください。文字数を4で割ったものは英語のトークン見積もりとして適切であり、使用状況ブロックは各呼び出し後に実際の数を提供します。
実際のユーザーが確認する前にボットをテストする
3つの友好的なメッセージで機能するチャットボットでも、本番環境では失敗する可能性があります。まずこの短いチェックリストを実行してください。
- 長い回答。 1,000語のストーリーを依頼し、ストリームが停止せず、完全なテキストが
historyに届くことを確認します。 - 空および巨大な入力。 空の行と貼り付けたテキストの壁を送信します。上記のループは空の入力を無視しますが、APIに到達する前にメッセージの長さを制限する必要があります。
- 接続の切断。 ストリームの途中でネットワークを停止します。部分的な返信は完全なものとして保存されないため、ループが例外なしで終了した後にのみ
historyに追加します。 - 初期の事実の記憶。 1ターンでボットに名前を伝え、15ターンでそれを尋ねます。失敗した場合、単純な切り捨てから要約アプローチに切り替えます。
- 会話あたりのコスト。 20ターンのチャットを実行し、印刷されたコストを合計します。1日に予想される会話数で掛けます。
システムプロンプトは短く、具体的にしてください。ボットの役割、トーン、フォーマットルールを数行で明記し、変更は1回ずつテストしてください。システムプロンプト内の各単語は各ターンで再送信されるため、200トークンのプロンプトは入力コストとしてリクエストあたり約$0.00003かかり、小さくても数千のリクエストで累積します。
制限とエラーの処理
単一ユーザーのチャットボットは制限に達することはほとんどありませんが、デプロイされたものは達します。フルキーは最大8つの同時リクエストと1分あたり300リクエストを許可し、トライアルキーは2と60です。制限を超えると、APIはHTTP 429を返し、コードはrate_limitedまたはconcurrencyです。一時的な過負荷も429を返し、Retry-After: 5を返します。ストリーミングされたリクエストはストリームが終了するまでスロットを占有し続けるため、多くのオープンストリームを持つウェブチャットボットはキューに入れるか、新しいものを拒否する必要があります。失敗または拒否されたリクエストは課金されないため、再試行しても追加コストはかかりません。
その他の有用な設定:多様性のためのtemperatureとtop_p、カスタム終了のためのstop、再現可能なテストランのためのseed。JSONモードとツール呼び出しは構造化された返信と関数使用のために利用可能です。ドキュメントはそれらすべてをカバーしています。
ウェブサイトへの設置
同じパターンはウェブエンドポイントの背後でも機能します。APIキーをサーバーに保持し、ブラウザのJavaScriptには保持しないようにしてください。誰でもクライアントコードを読むことができるためです。ブラウザは新しいユーザーメッセージをサーバーに送信し、サーバーはそのユーザーの履歴を読み込み、APIを呼び出し、返信をストリーミングして戻します。
トラブルを防ぐための3つのポイント。セッションごとに履歴を保存してユーザーが互いのチャットを見えないようにします。貼り付けられた小説が実費がかかるため、転送前にユーザーメッセージの長さを制限します。また、キーごとの同時ストリーム数をプランの同時実行数に制限します。フルキーでは8までで、9番目はキューで待機します。小規模な内部ツールでは数十行で済み、Base URLとキーのみがプロバイダー固有です。
ここからどう進むか
replyを小さなWebサーバーでラップし、データベースにユーザーごとの履歴を保存し、システムプロンプトにキャラクター設定を追加します。コミットする前にプロバイダーを比較したい場合は、DeepSeek API代替案の記事をご覧ください。自前のスケールでのコストについては価格ページをご覧ください。チャージは$20〜$500で、暗号資産のみ、ボーナスは$50から、クレジットは期限切れになりません。
その他のガイド
よくある質問
テキスト用のディープラーニングAPIを利用するにはモデルを学習する必要がありますか?
いいえ。モデルはすでにトレーニングされ、ホストされています。HTTPS経由でメッセージを送信し、テキストを受け取ります。
APIは過去のメッセージを記憶しますか?
いいえ。各リクエストは独立しているため、コードは各ターンで会話履歴を再送信する必要があります。
1つの会話で何トークン使用できますか?
コンテキストウィンドウは、プロンプトと補完を合わせて100,000トークンです。それに近づいたらトリムまたは要約してください。
JavaScriptから利用できますか?
はい。baseURLをhttps://api.deepapi.cc/v1に設定し、モデルをuncensoredに指定してOpenAI Node SDKを使用するか、fetchでエンドポイントを呼び出します。