AI社会に欠かせない日本語LLM 性能向上への挑戦が続く

AI技術の進歩により、日本語を自然に扱う大規模言語モデル（LLM）の開発が加速している。英語圏と比較してハンデを抱えていた日本語AIだが、国内企業や研究機関の取り組みにより、その差は急速に縮まりつつある。日本社会のデジタル化を加速する力として、高性能で実用的なAIへの期待は大きい。

AIの活用において、日本語のユーザーは英語のユーザーに比べてハンデがあった。AIサービスの中核技術であり、人間のように自然に文章を作成したり、正しく文脈を理解するために必須の大規模言語モデル（LLM）であるが、日本語LLMは英語LLMに性能面で差をつけられている。

その背景には、言葉に関わるデータ量の差がある。英語話者の数は日本語話者よりも圧倒的に多く、AIが学習に使える、デジタル化された文章量の差は大きい。また日本語の表記特性もAIにとって不利になっている。ひらがな・カタカナ・漢字がある日本語は表記ゆれが多く、単語の境界が不明瞭であるために、LLMの処理単位である「トークン」化がより複雑になる。