トークン数に比べて「日本語で扱える文字数」が少ないのは何故?
たとえば「年現在」という単語は文字数としては3つですが、トークンでカウントすると7トークン。ざっくり「文字数に対して倍のトークン」がかかります