「富岳」で開発された国産AIが一般公開されていること自体がものすごい成果ですが、一方で「で、性能はどうなの？」というのも気になる点ですよね。そこで今回、Fugaku-LLM(富岳 LLM)とChatGPTに全く同じタスクを与え、アウトプットを比較してみました。
今回試したのは、関西弁で書かれた小説『細雪』の冒頭部分を「標準語に直してほしい」という指示です。小説『細雪』は谷崎潤一郎の作品で、冒頭の文はこんな感じです。
「こいさん、頼むわ。―――」
鏡の中で、廊下からうしろへ這入はいって来た妙子を見ると、自分で襟を塗りかけていた刷毛を渡して（以下略）
青空文庫に全文が公開されているため、興味がある方はぜひ読んでみてください。
まずは富岳で、関西弁で書かれた『細雪』の冒頭部を標準語に直してもらいました。
富岳による標準語訳の冒頭部は以下の通りでした。
「姉さん、ちょっと頼みたいことがあるんですが。―――」
鏡の中の後ろ向きに這ってきた妙子の前で、自分で袴を塗っていた刷毛を渡し（以下略）
中々悪くない標準語訳な感じがしますね。ただ略した全文をすべて読むと、訳が微妙だったり日本語としてよく分からない箇所もありました。生まれたてのAIなのでまだまだブラッシュアップできそうな気もします。
続けてChatGPTのアウトプットを見てみましょう。
ChatGPTによる冒頭部は以下の通り。
「お姉さん、頼むわ。」
鏡の中で、廊下から後ろへ入って来た妙子を見ると、自分で袴を塗りかけていた刷毛を渡して（以下略）。
こちらも良い感じの訳です。また細かな点ではあるのですが、長文の訳を任せた際にChatGPTの方が改行が綺麗な印象です。単純に「見やすい」だけでもかなり印象が違うので、とりあえず富岳は長文のプロンプトが入力された際、アウトプットを改行すると良いのではないか？と思います。
ちなみに「正確性」で言えば、意外とどちらも「まあまあ」。悪く言えば、穴もかなりあります。
たとえば冒頭の「こいさん」というのは「お姉さん」ではなく、末の妹への呼びかけ。この点は両者とも間違えていました。AIはやはり完璧なものではないのだな、というのも感じられる実験結果でした。
とはいえ「京」の後継である「富岳」で作られた国産AIが公開されていて、しかもその学習データも国産という事実だけでも、筆者としては胸が熱くなるものがあります。
現状の富岳のAIは「こいさん」を「姉さん」だと間違えるように、決して完璧なアウトプットが出るものではありません。
ですが、少しでも富岳のAIに関心を持った方はぜひ登録し、試してみてください。無料で試すことができます。
※サムネイル画像（Image:PatrickAssale / Shutterstock.com）