Đếm token
Đếm số token của một đoạn văn bản bằng đúng bộ mã hoá o200k_base và cl100k_base, kèm số ký tự, số từ và số byte. Tiếng Việt có dấu tốn token khác hẳn tiếng Anh, con số ở đây cho biết chính xác bao nhiêu.
File và dữ liệu của bạn không rời khỏi máy
Nội dung cần đếm
Dán prompt hoặc đoạn văn bản bất kỳ vào đây.
Số token
o200k_base
GPT-4o, GPT-4.1, o1, o3
-
cl100k_base
GPT-4, GPT-3.5, text-embedding-3
-
Kích thước văn bản
Ký tự
90
Từ
20
Byte UTF-8
123
Ký tự mỗi token
-
Công cụ này làm được gì
- Đếm song song hai bộ mã hoá o200k_base và cl100k_base để so trực tiếp
- Dùng đúng thuật toán BPE của bộ mã hoá, không phải ước lượng theo số ký tự
- Kèm số ký tự, số từ, số byte UTF-8 và tỉ lệ ký tự trên mỗi token
- Đếm lại ngay khi bạn ngừng gõ, không cần bấm nút
Giới hạn cần biết trước
- Chỉ đếm token của bộ mã hoá, không cộng phần token mà API tự thêm cho vai trò và định dạng tin nhắn
- Model của các hãng khác dùng bộ mã hoá riêng, con số sẽ lệch
- Bộ mã hoá nặng vài MB, lần đếm đầu tiên phải chờ tải xong