トークンとは何か——AIの「料金」と「文字数の上限」を決める最小単位

「入力100万トークンあたり5ドル」「コンテキストウィンドウは12.8万トークン」——AIの料金表や仕様には、必ず「トークン」という言葉が出てきます。でも、その正体をきちんとイメージできている人は多くありません。

実は、このトークンを理解すると、「なぜ思ったより料金が高いのか」「なぜこの資料は読み込めないのか」といった、AIの”お金と容量”にまつわる疑問が一気につながります。この記事では、その「トークン」を正面から見ていきます。

トークンとは——AIが文章を刻む「最小単位」

トークンとは、AIが文章を処理するときの最小単位です。私たちが文章を「単語」や「文字」で捉えるように、AIは文章をまず「トークン」という小さなかけらに分割し、それを一つずつ扱っています。

ポイントは、「1文字＝1トークン」でも「1単語＝1トークン」でもないこと。AIは、学習データによく出てくる文字のかたまりを1つのトークンにまとめ、逆に珍しい単語は複数のトークンに分割します。たとえば英語の “tokenization” は “token” ＋ “ization” のように、2〜3個のトークンに分かれます。

生成AIは「考えて」いないで「AIは次に来る言葉を確率的に予測している」と説明しましたが、その”言葉”の正体が、このトークンです。AIは「次に来るトークン」を一つずつ予測して、文章をつむいでいるわけです。

なぜトークンが大事なのか——料金とコンテキストの「通貨」

トークンを知るべき理由は、AIを使ううえでの根っこに直結しているからです。

料金がトークン単位で決まる……APIの利用料は、「入力したトークン数」と「出力したトークン数」それぞれに単価をかけて計算されます（一般に、出力のほうが単価は高めです）
一度に扱える量（コンテキストウィンドウ）もトークン単位……「12.8万トークン」「100万トークン」のように表され、これを超える量の文章は一度に読み込めません
使える量（利用枠）もトークンで決まる……とくにAIエージェント（Claude Codeなど）は、「一定時間ごとに使えるトークン量」が上限として決められていて、上位プランほどたくさん使える、という仕組みになっていることが多いです

さらに、画面に表示されない「思考トークン」（推論モデルが答える前に内部で考える分）も課金対象になることがあります（この話はAIモデルはどこが進化するのかで触れています）。

つまりトークンは、AIを使うときの「通貨」のようなもの。料金も、どれだけ読み込めるかも、すべてこの単位で数えられているのです。

日本語は「損」をしやすい——文字数 ≠ トークン数

ここが、日本語で使う私たちにとって見逃せないポイントです。

同じ「1トークン」でも、言語によって”入る量”が違います。目安はこうです。

英語……1トークン ≈ 4文字 ≈ 0.75単語
日本語……1文字 ≈ 1〜1.3トークン

つまり日本語は、英語に比べて同じ内容でもトークンを多く消費しがち。「文字数は少ないのに、料金は思ったより高い」「資料の枠が早く埋まる」という現象は、これが原因です。

ざっくりした見積もりには、次の式が便利です。

必要なトークン数（概算）＝日本語の文字数 × 1.2

たとえば4万字の議事録なら、4万 × 1.2 ≈ 4.8万トークン、という具合です。なお、実際のトークン数はOpenAIのTokenizerに文章を貼れば数えられます。厳密なトークン数はモデルによって少し変わりますが、ざっくりの感覚をつかむぶんには、あまり気にしなくて大丈夫です。

トークンを気にすべきなのは、どんなとき？

とはいえ、いつでも神経質になる必要はありません。ふだんのチャット画面（ChatGPTやClaudeのアプリ）から使うぶんには、料金は定額または無料なので、トークンの消費量そのものを気にする場面はほとんどありません。

ただし、チャットでも注意が要るのが、同じセッションで延々と会話を続けたり、一度に大量のファイルを読み込ませたりするときです。コンテキストウィンドウ（一度に扱える上限）を超えてしまうと、序盤に伝えた指示を忘れたように振る舞ったり、資料の一部が読み飛ばされたりします。用件が変わったら新しいチャットに切り替えるのが、いちばんの対処です。

一方、料金の面でトークンを本格的に意識すべきなのは、主に次の2つの場面です。

場面1：APIでワークフローに組み込み、何千・何万回と実行するとき

AIをシステムに組み込んで自動で大量に処理させる場合、料金は「回数 × トークン数」で積み上がります。ここでは、毎回繰り返される指示文（システムプロンプト）を1トークンでも短くする工夫が、回数のぶんだけ効いてきます。先ほどのTokenizerで実際のトークン数を数えておくと、コストの試算もぶれません。

場面2：AIエージェントを使うとき

AIエージェントは、自律的に何度もAIを呼び出し、そのたびに増えていく作業履歴やツールの実行結果を読み込みます。そのためトークンを一気に消費し、上限に達しやすい。上限にぶつかると、作業が途中で止まったり、精度が落ちたりします。ここでのコツは「数える」ことよりも、余計な情報をエージェントに持たせないことです。たとえばClaude Codeのような開発エージェントなら、使わないMCP（外部ツール連携）を外したり、常に読み込まれる指示ファイル（CLAUDE.md）を短く保ったりするだけで、毎回のトークン消費を抑えられます。

そのほか、データの渡し方でも変わる

最後に、日々の使い方で効く小ワザを2つ。

会話は、用件が変わったら新しいチャットで……同じチャットを続けるほど、AIは毎回それまでの会話全体を読み直します。トークン消費が雪だるま式に増えるので、話題が変わったら新しいスレッドに切り替えるのが、コストと精度の両面で有利です
画像・PDF・音声・動画もトークンとして課金される……テキストだけでなく、添付ファイルもトークンに換算されます。とくに動画は非常に重い（映像のコマを大量に処理するため）。もし文字起こしできる内容なら、動画のまま渡さず、テキスト化してから渡すほうが、トークンを大きく節約できます