ChatGPTの文字数制限とトークンの考え方1
4691文字の原稿なのですが、Tokenizerでトークン数に換算すると「5792トークン」という結果です。2048トークンにおさまらないだけでなく、文字数に対してトークン数が膨れ上がっていることが分かります。API経由でこのテキストをそのまま使ったら、料金がかさんでしまいそうですね