`js-tiktoken`を使ってJavaScriptでOpenAIのトークン数を計算する方法メモ📝

OpenAIのAPIリクエストを行う際には、トークン数の制限やコスト計算のために正確なトークン数を把握することが重要です。今回はフロントエンド（JavaScript/TypeScript）でトークン数を計算するためにjs-tiktokenライブラリを導入したのでその方法をメモしておきます📝

tiktokenとは？

If you need a programmatic interface for tokenizing text, check out our tiktoken package for Python. For JavaScript, the community-supported @dbdq/tiktoken package works with most GPT models. https://platform.openai.com/tokenizer

tiktokenは、OpenAIが公開しているトークナイザーのPython実装です。OpenAIのモデル（GPT-3.5, GPT-4など）が使用するトークン分割ロジックを再現しています。

github.com

JavaScriptでは、これを移植したjs-tiktokenライブラリを利用できます。

github.com

js-tiktokenのインストール

npmやpnpmなどのパッケージマネージャーを使って簡単にインストールできます。

# npmの場合
npm install js-tiktoken

# pnpmの場合
pnpm add js-tiktoken

基本的な使い方

js-tiktokenを使ったトークン数計算の基本的な使い方は非常にシンプルです。以下のように実装できます：

import { Tiktoken } from "js-tiktoken/lite";
import o200k_base from "js-tiktoken/ranks/o200k_base";

// Tiktokenのインスタンスを作成
const tiktoken = new Tiktoken(o200k_base);

// テキストからトークン数を計算
const text = "Hello, world!";
const tokens = tiktoken.encode(text);
console.log(`トークン数: ${tokens.length}`);