トークンとは

トークンは、生成AIが文章を読み書きするときの最小単位です。AIは入力された文章を文字や単語のまま扱うのではなく、細かい部品に分け、それぞれに番号を振って処理します。この部品がトークンです。API の料金、一度に扱える文章の量、応答の速さは、いずれもトークン数で決まります。AIを業務に入れる費用と限界を見積もるうえで、最初に押さえておきたい単位です。

文章が番号の列に変わる仕組み

動画では「明日の会議は10時です」という一文を例に、文章が5つほどの部品に分かれる様子を示しています。実際にいくつに分かれるかは、分け方を決める道具（トークナイザー）によって変わります。

処理の流れは次のとおりです。まず文字列を、コンピューターが扱う共通の文字コード（UTF-8）のバイト列に直します。次に、学習データでよく一緒に現れる並びを1つの部品にまとめます。この手法をバイトペアエンコーディング（BPE）といいます。最後に、まとめた部品を用意済みの語彙表と照らし合わせ、部品ごとのID（番号）に置き換えます。AIが実際に受け取っているのは、このIDの列です。

動画の例では、「Hello world」は「Hello」と「空白＋world」の2トークンになります。トークン数とは、つまり出てきたIDの個数のことです。OpenAI のトークナイザー tiktoken の説明によると、BPE は元の文章を失わずに復元でき、初めて見る文章にも使え、文章を短い列に圧縮できます。よく出る語尾などを1つの部品として扱えるため、モデルが文法を学びやすくなる利点もあります。

入力・出力・推論の3つを数える

使用量は「入力トークン」と「出力トークン」の合計で数えます。入力は人がAIに渡す部分で、質問文だけでなく、添付した資料、それまでの会話履歴、システム側の指示も含みます。出力はAIが返す部分です。

気をつけたいのは、推論型のモデルが答える前に内部で考える「推論トークン」です。OpenAI の説明では、推論トークンは API の応答には表示されませんが、出力トークンとして課金され、扱える量の枠（コンテキストウィンドウ）も消費します。動画では OpenAI の Responses API を参考に、次の計算例を示しています。

画面に見える回答は30トークン分しかありませんが、請求は推論を含む80トークン分の出力に対して発生します。推論を多く使う設定ほど、見た目の回答の長さと費用が一致しなくなるわけです。

経営にとっての意味：費用・上限・速度

費用。 API の料金表は「100万トークンあたり」で示され、入力と出力で単価が分かれています。OpenAI の料金表では、GPT-6.1 Sol が入力2ドル・出力10ドルで、出力の単価は入力の5倍です。同じ入力を繰り返し送る場合の「キャッシュ済み入力」は大幅に安く、同じモデルで0.10ドルです。費用を左右するのは、渡す資料の量と、AIに書かせる量の両方だといえます。

上限。 1回のやり取りで扱える量もトークンで決まります。Anthropic の説明では、システム側の指示、会話の全履歴、道具の定義、道具の実行結果、AIの出力まで、すべてがこの枠を使います。契約書や議事録を何本まとめて読ませられるかは、この上限次第です。

速度。 AIは出力を1トークンずつ生成するため、出力が長いほど応答は遅くなります。

見積もりがずれる3つの理由

1つ目は、言語によって数が変わることです。OpenAI は英語なら1トークンがおよそ4文字という目安を示す一方、英語以外の言語は文字数あたりのトークン数が多くなりやすく、その分費用がかさむと説明しています。日本語の資料を英語の目安で見積もると、少なく見積もってしまいがちです。

2つ目は、モデルによって数が変わることです。動画でも、トークナイザーの作り次第で「お誕生日おめでとう」が9トークンにも8トークンにもなると述べています。Anthropic は、Claude Opus 4.7 以降のモデルでは新しいトークナイザーにより、同じ文章が以前のモデルよりおよそ3割多いトークン数になると公表しています。モデルを乗り換えるときは、古いモデルで測った数を流用せず、測り直す必要があります。

3つ目は、会話や作業が長引くと入力が膨らむことです。過去のやり取りは毎回入力として送り直されるため、往復が増えるほど1回あたりの入力トークンも増えていきます。AIエージェントのように何度も道具を使う仕組みでは、この増え方が大きくなります。

経営者・事業責任者が確認したいこと

• 1件あたりのトークン数を実測しましょう。 文字数からの換算ではなく、各社の計測機能で測るのが確実です。Anthropic はトークン数を事前に数える API を無料で提供しています。
• 「1件の消費量×月の件数×単価」で試算しましょう。 入力と出力は単価が違うので分けて計算し、推論を使うモデルでは推論分を出力に含めます。
• 渡す量を絞る設計にしましょう。 長い資料を毎回丸ごと渡さず、要約してから渡す、必要な部分だけ検索して渡す（RAG）、同じ前提部分はキャッシュを使う、といった工夫で費用を抑えられます。
• 多ければ良いとは考えないでください。 Anthropic は、扱える量が大きくても、トークン数が増えるほど正確さや記憶の精度が落ちる現象（コンテキストの劣化）があると説明しています。何を渡すかを選ぶことが、費用だけでなく品質にも効いてきます。
• モデルを変えたら測り直しましょう。 単価が同じでも、トークン数が変われば請求額は変わります。

動画では、エンジニアでない人も「文章を分けた単位」「数はIDの個数」「使用量は入力＋出力で、推論は出力に含まれる」の3点を覚えておけばよいとまとめています。