トークンとは
一言でいうと
AIが文章を処理するときの細かな単位で、利用料金や一度に扱える量の目安になります。
もう少し詳しく
AIは文章をそのまま読むのではなく、「トークン」と呼ばれる細かい単位に区切って処理しています。英語ならおおよそ単語のかけら、日本語なら数文字程度が1トークンになることが多く、言語によって数え方が変わります。
APIでAIを使う場合、入力した文章と出力された文章のトークン数に応じて料金がかかるのが一般的です。長い資料を何度も読ませると、そのぶん利用料が増える仕組みです。
また、1回のやりとりで扱えるトークン数には上限があります。この上限が「コンテキストウィンドウ」で、どれくらい長い資料を一度に読ませられるかに直接関わってきます。
中小企業の仕事でいうと
社内システムにAIを組み込んで毎日大量の日報を要約させる場合、1件あたりのトークン数と件数から月の利用料を見積もります。
気をつけたいこと
月額定額のチャットサービスでは、トークンを意識する場面は少なめです。API利用や従量課金のときに気にかける数字だと考えてください。