KO ▾
API 키 받기
입력 토큰 1M당
$0.15
출력 토큰 / 1M
$0.50
토큰 컨텍스트
100,000
체험 크레딧
$0.50
분당 요청
300

텍스트용 딥러닝 API: 빠르게 채팅봇 구축

텍스트용 딥러닝 API를 사용하면 모델이 언어 작업을 처리하므로 메시지 관리만 하면 약 15분 만에 작동하는 채팅봇을 구축할 수 있습니다. 아래는 스트리밍과 토큰 예산이 포함된 Python 채팅봇의 전체 예시이며, OpenAI 호환 엔드포인트를 사용합니다.

마지막 업데이트

가장 새로운 메시지만 남기고 나머지를 걸러내는 깔때기를 통과하는 말풍선 리본이 미터기에 도달합니다.

요약

  • 채팅봇은 메시지를 추가하고 매 턴마다 기록을 다시 보내는 루프입니다.
  • 입력 비용은 모든 턴마다 증가하므로 오래된 메시지를 자르거나 요약하세요.
  • 스트리밍은 사용량을 마지막에 제공하므로 지출을 추적하는 데 사용할 수 있습니다.
  • 이전 턴을 삭제하면 50턴 채팅의 입력 토큰이 약 62% 줄어듭니다.

필요한 것

모델은 호스팅되므로 학습할 것이 없고 GPU를 임대할 필요도 없습니다. Python 3.9 이상이 필요하며, OpenAI SDK(pip install openai)와 키가 필요합니다. 가입하고 API 키 페이지에서 $0.50 체험 크레딧을 받은 후 키를 환경 변수에 보관하세요.

# endpoint https://api.deepapi.cc/v1, model uncensored
export DEEPAPI_KEY="paste-your-key-here"

엔드포인트는 https://api.deepapi.cc/v1이고 모델 ID는 uncensored입니다. 독립적인 제공자가 운영하는 단일 오픈 웨이트 모델을 제공하는 OpenAI 호환 텍스트 전용 API이므로 코드는 모든 OpenAI 클라이언트와 동일합니다. 여기에는 임베딩, 이미지, 오디오가 없으며 텍스트 입력과 텍스트 출력만 있습니다.

핵심 아이디어: 모델에는 메모리가 없습니다

각 요청은 독립적입니다. API는 방금 전에 당신이 말한 것을 기억하지 않습니다. 대화를 하려면 매번 전체 대화를 보내야 합니다: 시스템 메시지, 그 다음 교대로 사용자 및 어시스턴트 메시지, 마지막으로 새로운 사용자 메시지. 응답은 목록에 추가되고 다음 턴은 더 긴 목록을 보냅니다.

이 하나의 사실이 채팅봇의 대부분의 디자인 선택을 설명합니다. 긴 채팅이 턴당 비용이 더 많이 드는 이유, 오래된 메시지에 대한 계획이 필요한 이유, 컨텍스트 창이 중요한 이유입니다. 이 서비스는 프롬프트와 완성을 합해 총 100,000 토큰을 제공합니다.

40줄의 채팅봇

이 버전은 응답을 스트리밍하고, 기록을 유지하며, 각 턴 후에 토큰 사용량을 출력합니다.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.deepapi.cc/v1",
    api_key=os.environ["DEEPAPI_KEY"],
)

SYSTEM = {"role": "system", "content": "You are a friendly, concise assistant."}
history = []          # user and assistant messages only
MAX_TURNS = 10        # keep about the last 10 exchanges

def reply(user_text):
    history.append({"role": "user", "content": user_text})
    window = history[-MAX_TURNS * 2:]
    stream = client.chat.completions.create(
        model="uncensored",
        messages=[SYSTEM] + window,
        stream=True,
        temperature=0.7,
    )
    text, usage = "", None
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            print(piece, end="", flush=True)
            text += piece
        if getattr(chunk, "usage", None):
            usage = chunk.usage
    print()
    history.append({"role": "assistant", "content": text})
    return usage

while True:
    user = input("you> ").strip()
    if user in {"", "exit", "quit"}:
        break
    u = reply(user)
    if u:
        cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
        print(f"[{u.prompt_tokens} in, {u.completion_tokens} out, ${cost:.5f}]")

실행하고 몇 턴 채팅하며 "in" 숫자가 오르는 것을 관찰하세요. 스트리밍된 응답은 마지막에 사용량을 보고하므로 수치가 정확하며 추정이 필요하지 않습니다.

토큰 예산 관리: 자르는 것이 중요한 이유

시스템 프롬프트가 200 토큰이고 각 턴이 사용자로부터 100 토큰, 어시스턴트로부터 250 토큰을 추가한다고 가정해 봅시다. 자르지 않으면, 턴 k는 200 + 350 x (k - 1) + 100 입력 토큰을 보냅니다. 50턴 대화 동안:

  • 입력 총합: 50 x 300 + 350 x (0 + 1 + ... + 49) = 15,000 + 350 x 1,225 = 443,750 토큰
  • 출력 총합: 50 x 250 = 12,500 토큰
  • 비용: 443,750 x $0.15 / 1M = $0.0666, plus 12,500 x $0.50 / 1M = $0.0063, 총 약 $0.073

이제 마지막 10번의 교환만 유지합니다. 첫 10턴은 18,750 입력 토큰이 필요하고, 나머지 40턴은 각각 3,700을 보내므로 148,000이 됩니다. 총합은 166,750 입력 토큰으로, 이전보다 약 62% 적으며 입력 비용은 $0.0250입니다.

더 긴 메시지나 더 많은 사용자가 있을수록 이 절약 효과는 더 큽니다. 하루에 수천 개의 대화를 처리하는 채팅봇은 잔액에서 이 차이를 확인합니다.

삭제보다 나은 방법: 요약

이전 턴을 삭제하면 이름이나 선호도처럼 초기에 언급된 사실을 잃게 됩니다. 일반적인 해결책은 기록이 길어질 때 모델에게 짧은 요약을 요청하고, 오래된 메시지 대신 요약을 유지하는 것입니다.

# uses the client from above (base_url https://api.deepapi.cc/v1)
def compress(history, keep=6):
    if len(history) <= keep * 2:
        return history
    old, recent = history[:-keep * 2], history[-keep * 2:]
    summary = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": "Summarise this conversation in under 120 words. Keep names, facts and open questions."},
            {"role": "user", "content": "\n".join(m["role"] + ": " + m["content"] for m in old)},
        ],
    ).choices[0].message.content
    return [{"role": "user", "content": "Summary of earlier chat: " + summary}] + recent

기록이 20개 메시지를 넘을 때처럼 가끔 호출하세요: history = compress(history). 요약 호출은 한 번에 수천 토큰을 소모하고, 이후의 모든 턴은 비용이 적게 듭니다. 대략적인 예산도 설정하세요. 영어의 토큰 추정치는 문자 수를 4로 나눈 값이며, 사용량 블록은 각 호출 후 실제 숫자를 제공합니다.

실제 사용자가 보기 전에 봇 테스트하기

친절한 메시지 세 개에서는 잘 작동하는 채팅봇도 프로덕션에서는 실패할 수 있습니다. 먼저 이 짧은 체크리스트를 따라가세요.

  1. 긴 답변. 1,000단어 분량의 이야기를 요청하고 스트림이 멈추지 않으며 전체 텍스트가 history에 도착하는지 확인하세요.
  2. 빈 입력 및 거대한 입력. 빈 줄과 붙여넣은 텍스트의 벽을 보내세요. 위의 루프는 빈 입력을 무시하지만, API에 전달하기 전에 메시지 길이를 제한해야 합니다.
  3. 연결 끊김. 스트림 중간에 네트워크를 중단하세요. 부분 응답은 완전한 것처럼 저장되지 않아야 하므로, 예외 없이 루프가 종료된 후에만 history에 추가하세요.
  4. 초기 사실에 대한 기억. 첫 번째 턴에서 봇에게 이름을 말하고, 열다섯 번째 턴에서 이름을 물어보세요. 실패하면 단순 자르기에서 요약 방식으로 전환하세요.
  5. 대화당 비용. 20턴 채팅을 실행하고 출력된 비용을 합산하세요. 하루에 예상되는 대화 수를 곱하세요.

시스템 프롬프트는 짧고 구체적으로 유지하세요. 봇의 역할, 어조, 형식 규칙을 몇 줄로 명시하고 변경 사항을 하나씩 테스트하세요. 시스템 프롬프트의 모든 단어는 각 턴마다 다시 전송되므로, 200토큰 프롬프트는 요청당 입력 비용이 약 $0.00003으로 작지만 수천 건의 요청을 통해 누적됩니다.

제한 사항 및 오류 처리

단일 사용자 채팅봇은 제한에 도달하기 어렵지만, 배포된 것은 도달합니다. 전체 키는 동시 요청 8개와 분당 300개를 허용하며, 체험 키는 2개와 60개를 허용합니다. 제한을 초과하면 API는 코드 rate_limited 또는 concurrency와 함께 HTTP 429를 반환합니다. 일시적인 과부하도 Retry-After: 5와 함께 429를 반환합니다. 스트리밍 요청은 스트림이 끝날 때까지 슬롯을 유지하므로, 많은 열린 스트림이 있는 웹 채팅봇은 새 요청을 대기열에 넣거나 거부해야 합니다. 실패하거나 거부된 요청은 요금이 부과되지 않으므로 재시도해도 추가 비용이 들지 않습니다.

기타 유용한 설정: 다양성을 위한 temperature 및 top_p, 사용자 정의 끝말을 위한 stop, 반복 가능한 테스트 실행을 위한 seed. JSON 모드와 함수 호출은 구조화된 응답 및 함수 사용에 사용할 수 있습니다. 문서는 모든 항목을 다룹니다.

웹사이트에 적용하기

동일한 패턴은 웹 엔드포인트 뒤에서도 작동합니다. API 키를 브라우저 JavaScript가 아닌 서버에 보관하세요. 클라이언트 코드는 누구나 읽을 수 있기 때문입니다. 브라우저는 새로운 사용자 메시지를 서버로 보내고, 서버는 해당 사용자의 기록을 로드한 후 API를 호출하여 응답을 스트리밍하여 반환합니다.

세 가지 세부 사항이 문제를 방지합니다. 세션별로 기록을 저장하여 사용자가 서로의 채팅을 보지 못하게 하세요. 사용자가 붙여넣은 소설이 실제 비용이 들기 때문에 전달하기 전에 사용자 메시지의 길이를 제한하세요. 그리고 키당 동시 스트림 수를 플랜의 동시 요청 수로 제한하세요: 일반 키의 경우 동시 요청 8개까지 가능하고, 아홉 번째는 대기열에 있어야 합니다. 작은 내부 도구에는 몇십 줄이 필요하며, base URL과 키만 제공업체 고유 부분입니다.

다음 단계

reply를 작은 웹 서버로 감싸고, 데이터베이스에 사용자별 기록을 저장하며, 시스템 프롬프트에 캐릭터(페르소나)를 추가하세요. 확정하기 전에 제공업체를 비교하려면 DeepSeek API 대안 기사를 참조하세요. 자체 규모에서의 비용은 가격 페이지를 확인하세요. 충전은 $20에서 $500까지 가능하며, 암호화폐 전용이며 $50부터 보너스가 제공되고 크레딧은 만료되지 않습니다.

자주 묻는 질문

텍스트용 딥러닝 API를 사용하려면 모델을 학습해야 하나요?

아니요. 모델은 이미 학습되어 호스팅되고 있습니다. HTTPS를 통해 메시지를 보내면 텍스트를 받아볼 수 있습니다.

API가 이전 메시지를 기억하나요?

아니요. 각 요청은 독립적이므로 코드에서 매번 대화 기록을 다시 보내야 합니다.

한 번의 대화에서 사용할 수 있는 토큰 수는 얼마인가요?

컨텍스트 창은 프롬프트와 응답을 합쳐 100,000 토큰입니다. 그 근처에 도달하기 전에 잘라내거나 요약하세요.

JavaScript에서 사용할 수 있나요?

네. baseURL을 https://api.deepapi.cc/v1로 설정하고 모델 uncensored를 사용하여 OpenAI Node SDK를 사용하거나, fetch로 엔드포인트를 호출하세요.

API 키를 즉시 가져오세요

가입하고 키를 복사한 후 base URL을 업데이트하세요. 그뿐입니다.