日本の情報通信研究機構(NICT)は、7月4日、日本語のデータのみで学習したLLM（大規模言語モデル）を開発したと発表した。
これは、400億のパラメータを持ち、350GBの日本語のテキストデータをもとにして開発された。また、以前から利用していたテキストデータを利用することでわずか4か月で開発したという。さらに、著作権侵害防止のための仕組みも組み込まれている。現在は、OpenAIのGPT-4に匹敵する1790億パラメータのモデルを学習中だ。現時点ではまだChatGPTのようなLLMには性能的に及ばないが、ある程度の日本語のやり取りを行えるという。
以前から民間企業では日本語LLMの開発は進められてきたが、事実上の国の組織がLLMを開発することで、大学などの研究機関との共同研究が行いやすくなり、産学官連携でのLLMの研究開発が促進することが期待できるだろう。
