東京大学松尾・岩澤研究室発のAIスタートアップ、株式会社Deepreneur(ディープレナー、本社: 東京都文京区、代表取締役：澤田 悠太、以下「Deepreneur」)は、株式会社ユビタス（以下、ユビタス）と共同で日本語・韓国語・中国語対応の405Bパラメータの大規模言語モデル（LLM）を開発いたしました。なお、本開発は、経済産業省および国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて実施したものです。
観光産業用向け 405B LLM/基盤モデル
このプロジェクトでは、Llama3.1 405Bのモデルをベースに中国語、日本語、韓国語合わせて1000億トークン規模の継続事前学習を行い、その後対話形式の微調整を実施し、GPT-4のような汎用的なAIモデルを開発しました。日本語はDeepreneur、中国語はUbitusがデータセットの構築と学習を行いました。
また、観光産業への応用を見据え、観光データを活用した微調整を実施もいたしました。
性能評価
我々の開発したモデルは、日本語、繁体字中国語、韓国語、英語の4言語で高いパフォーマンスを発揮し、自然な対話タスクにおける精度と流暢性が大幅に向上しています。
ベンチマーク評価において、このモデルは複数の指標において優れたパフォーマンスを示し、特定のタスクにおいてはGPT-4を上回りました。プロジェクトの目標をすべて達成し、日本語モデルは JA MT-Benchで9.18、ELYZA Tasks 100で4.44 を達成。繁体字中国語モデルもTMMLU+で76.06%以上と高い性能を示しました。
[画像: https://prcdn.freetls.fastly.net/release_image/125694/14/125694-14-079d44ceea4e71db4b5c57e6178495ee-2937x1957.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
Deepreneurについて
Deepreneurは、東京大学松尾・岩澤研究室発のAIスタートアップです。
「AI技術を用いてこれまでにない新しい人間とテクノロジーの関係を築く。」という理念のもと、法人向けにカスタマイズされたDXソリューションを提供しております。
独自に開発した大規模言語モデル(LLM)「Blue-Lizard」を始め、最先端のDeep Learning技術を活用したAI・システムの開発を通じて、企業のDXを推進いたします。
Deepreneuerは、研究開発で得たノウハウ・知見を活用し、各社独自のLLMの構築のサービスを提供しております。クラウド型はもちろんのこと、従来は困難であったオンプレ型まで、各社の個別の課題・要件に沿った各社独自のLLMの構築から、導入まで一気通貫した支援を実施します。
独自のLLMの構築サービスにご興味のある方は、以下のリンクからお問い合わせください。
https://www.deepreneur.com/contact
代表者：代表取締役 澤田悠太
所在地：東京都文京区本郷6丁目25番14号 HONGO EGG内
設立：2023年4月28日
URL：https://www.deepreneur.com/
