38:I[12258,["$26","$27","$32"],"HtmlFrame"] 39:T7ded, LLM Tokenomics — Cost analysis cho SME

COST ANALYSIS

LLM Tokenomics: tính cost thực và tối ưu cho doanh nghiệp nhỏ.

Nhiều SME bắt đầu dùng LLM với suy nghĩ "GPT-4o-mini có 15 cent/1M input token, rẻ mà". 3 tháng sau bill $200. Bill $500. Lúc đó mới ngồi nghĩ tại sao.

thha.da283@gmail.com 7 min read 15 . 05 . 2026

01Cost thực sự đến từ đâu

Giá list ($X/1M tokens) chỉ là một phần. Cost thực gồm:

Input tokens cho mỗi request. System prompt + few-shot examples + RAG context + user message. Trung bình 2000–5000 tokens/request là bình thường, không hiếm 10000+.
Output tokens. Model gen 500–1500 tokens output mỗi response. Output tokens đắt hơn input 3–5 lần với hầu hết model.
Retry và error. Network timeout, rate limit, response không parse được JSON → retry. Mỗi retry = một bill mới.
Streaming overhead. Streaming không tốn thêm token, nhưng nếu user bỏ ngang giữa chừng, bạn vẫn bị tính phần đã sinh.
Embedding model riêng. RAG cần embed query mỗi lần. Embedding rẻ nhưng cộng dồn không nhỏ.
Vision và file input. Nếu workflow đọc image hoặc PDF, multiplier khá lớn.

02Phép tính thực tế

Lấy ví dụ chatbot RAG cho SME, model gpt-4.1 ($2 input / $8 output per 1M):

COST / QUERY gpt-4.1

System prompt · 500 tok$0.0010

RAG context · 3000 tok$0.0060

User question · 100 tok$0.0002

Output · 800 tok$0.0064

Embedding query · 100 tok$0.000002

Total per query$0.0140

Scale ra các mức traffic thông thường:

$42

/ MO · 100 QUERIES/DAY

$420

/ MO · 1000 QUERIES/DAY

+5%

RETRY OVERHEAD

Reality check

Thêm retry rate 5% → tăng cost 5%. Thêm user bỏ ngang 10% sau khi đã gen → lại tăng cost (vì charge phần đã sinh). Số liệu trên là sàn, không phải trần.

FIG · 01 Cấu trúc chi phí một query — output tokens chiếm gần một nửa

037 cách giảm cost không hy sinh chất lượng

Cut context length

RAG dùng top-3 chunks thay vì top-6 nếu chất lượng vẫn OK. System prompt cô đọng, không dài dòng. Few-shot 2 ví dụ thường đủ, 5 ví dụ chỉ cần với task khó.

30–50% input tokens

Chọn model nhỏ hơn cho task đơn giản

Phân loại / extract structured data: gpt-4o-mini hoặc Haiku. Q&A phức tạp + reasoning: gpt-4.1 hoặc Sonnet. Đừng dùng flagship cho mọi việc.

5–10× cheaper

Prompt caching

Anthropic và OpenAI đều hỗ trợ. Phần system prompt + RAG context không đổi giữa các request có thể cache, giảm cost input 50–90%.

30–70% high-freq workflow

Batch processing cho non-realtime task

Cả OpenAI và Anthropic có batch API với cost giảm 50%, delay 24h. Workflow summary đêm, content generation: dùng batch.

50% batch-able tasks

Stream truncate khi đủ

Nếu output là JSON với schema rõ, stream + parse incrementally, stop khi đủ field cần. Tránh model lan man.

10–20% output tokens

Cache câu hỏi giống nhau

Câu hỏi user lặp lại thường xuyên ("giờ làm việc", "chính sách đổi trả"). Cache response ở app layer 24h, trả lại không gọi LLM.

20–40% support workflow

Rate limit cứng phía app

Một user spam 100 câu/giờ chắc chắn không bình thường. Rate limit ngăn cost blow-up từ bot/abuse.

Avoid worst case

04Lỗi tốn tiền điển hình

Để model "free style" thay vì JSON schema strict. Model rảnh sẽ giải thích dài. Force JSON schema cho structured task, output ngắn hẳn.
RAG context không filter theo locale. Embed query tiếng Việt nhưng top-K trả về cả chunks tiếng Anh không liên quan. Bạn đang trả token cho rác.
Không log token usage. "Bill cao tại sao" mà không có log thì không debug được. Log input/output tokens mỗi call, dashboard tổng theo route/user.
Test trên flagship rồi prod cũng flagship. Dev tự nhiên với "cứ gpt-4.1 cho chắc". Sau khi work, không test có thể downgrade không. Đa số case dùng được model nhỏ hơn.

05Budget framework cho SME

FIG · 02 Khoảng cách giá giữa các tier model — không phải task nào cũng cần flagship

Đây là cách tôi set budget khi tư vấn:

Pilot 2 tuần với flagship model, đo token usage thực.
Tính cost projected/tháng = usage × 30 × buffer 1.5.
Set hard cap budget = 2× projected.
Alert ở 70%, 90%, 100%.
Có kill switch thủ công khi vượt cap.

Không có những bước này, một bug retry loop có thể đốt $1000 trong vài giờ.

Lời cuối

LLM rẻ, nhưng workflow LLM tốn tiền theo cách không trực giác. Treat token như credit card statement: theo dõi sát, audit định kỳ, tối ưu chỗ ngon nhất trước.

Sau 3 tháng vận hành, bạn sẽ có sense rất chính xác về cost từng workflow và biết chỗ nào còn dư địa cắt.

— ◆ —

END · FILE 01 · NEXT → RAG vs FINE-TUNING

36:["$","$L38",null,{"html":"$39"}] 37:["$","footer",null,{"className":"border-t border-[color:var(--color-border)] bg-[color:var(--color-bg)]","children":["$","div",null,{"className":"container-prose flex flex-col gap-2 py-10 text-sm text-[color:var(--color-fg-subtle)] md:flex-row md:items-center md:justify-between","children":[["$","p",null,{"children":"AI Automation & Data Systems Engineer · Taki Group."}],["$","p",null,{"className":"font-mono text-xs","children":"© 2026 Nguyen Thai Ha."}]]}]}]