おたくま経済新聞

日本語LLMとしての性能向上に向けた新たなアプローチを実施し有効性を証明。国産基盤モデル実現の一助に

　大規模言語モデル（LLM）の社会実装を進める株式会社ELYZA（代表取締役：曽根岡 侑也、以下当社）は、日本の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）※1」に採択され、計算資源の提供等の支援を受けながら、日本でインフラとして「使われる」基盤モデルの研究開発を行っておりました。
　この度、「GENIAC成果報告会」にてその成果を公表しましたので、報告いたします。
研究開発した内容の詳細については、以下をご確認ください。
■発表資料
https://speakerdeck.com/elyza/zhu-shi-hui-she-elyza-geniaccheng-guo-bao-gao-hui-zi-she-kai-fa-moderupurezentesiyon
■発表映像（GENIAC公式youtubeチャンネル内）
https://www.youtube.com/watch?v=mUsNF2iMKww

研究開発成果の概要
　新たな日本語LLM「Llama-3-ELYZA-JP-120B」を構築しました。本モデルの構築にあたり、日本語LLMの性能向上に向けた新たな試みとして、大きく２つの取組みを実施しました。
1.モデルの基礎能力向上
　ELYZAが従来から取り組んでいたオープンモデルをベースにした継続学習によるモデル開発手法に、「Depth Up-Scaling※2」というモデルサイズ拡張アプローチを組み合わせることで、パラメータ数の増強による性能向上を試みました。結果として、複数のベンチマーク※3で「GPT-4(0613)」を超えるスコアを獲得しました。
2.日本特有の知識・表現の性能向上
　日本での社会実装を見据え、日本特有の知識（法令、行政手続き等）に関する特化学習による性能向上を試みました。また、その応答性能を測るためのベンチマークを新たに作成※4 し評価した結果、「GPT-4(0613)」を超えるスコアを獲得しました。
研究開発した内容の詳細については、以下をご確認ください。
■発表資料
https://speakerdeck.com/elyza/zhu-shi-hui-she-elyza-geniaccheng-guo-bao-gao-hui-zi-she-kai-fa-moderupurezentesiyon
■発表映像（GENIAC公式youtubeチャンネル内）
https://www.youtube.com/watch?v=mUsNF2iMKww


　なお、今回の研究開発における技術的な工夫や得られた知見のより詳細な情報については、後日技術ブログ等を通じて公開予定です。ぜひご覧ください。https://zenn.dev/p/elyza

　ELYZAは今後も、モデルの高性能化に加えて、日本に適合した基盤モデル、具体的には日本の知識や表現を詳しく学習した基盤モデルの構築を行い、日本で「あたりまえ」に活用されるインフラの研究開発・構築を目指してまいります。

※1「GENIAC（Generative AI Accelerator Challenge）」は、日本の生成AI の開発力強化を目的とした経済産業省およびNEDOが推進するプロジェクトです。https://www.meti.go.jp/policy/mono_info_service/geniac/index.html
※2　既存のモデルを深さ方向に拡張することで、パラメータ数の増加による性能向上を試みる手法。
※3「Japanese MT-Bench」「ELYZA-Tasks-100」「nejumi-v3」の３つのベンチマークによる評価。「nejumi-v3」は、wandb/llm-leaderboardを使用して算出し、「汎用的言語性能(GLP)_AVG」を参照。
※4 日本のローカルルールに関する知識と、その活用に関する計30問のベンチマークを独自に作成。
関連リリース
NEDOが公募した「競争力ある生成AI基盤モデルの開発（助成）」にELYZAの日本語LLM開発事業案が採択（2024/5/17）
株式会社ELYZA について
　株式会社ELYZAは「未踏の領域で、あたりまえを創る」という理念のもと、日本語の大規模言語モデルに焦点を当て、企業との共同研究やクラウドサービスの開発を行なっております。先端技術の研究開発とコンサルティングによって、企業成長に貢献する形で大規模言語モデルの導入実装を推進します。

所在地 ：〒113-0033 東京都文京区本郷3-15-9 SWTビル 6F
設　 立 ：2018年9月
代表者 ：代表取締役 曽根岡 侑也
事業内容：AI リサーチ＆ソリューション 事業・AI SaaS 事業
企業URL：https://elyza.ai/