GPT-31
GPT-3では、TransformerのDecoderというモデルが採用されています。大量のウェブページをクロールして得られたビッグデータをまず学習し、続けて「The capital of Germany」などの短い文書を与えます。正解は「is」であり、「Paris」や「Cat」をモデルが選択すると間違い。間違った選択肢を選んだらモデルにペナルティを与えるということを繰り返し、最終的に「The capital of Germany is Berlin」という文章を組み立てられるようになりました
＜ 本文に戻る
OTONALIFE-Ch