[画像: https://prcdn.freetls.fastly.net/release_image/96287/497/96287-497-be7909f108198c6f4e13a7ca148d58e5-1600x900.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
株式会社ZOZO NEXT（本社：千葉県千葉市 代表取締役CEO：澤田 宏太郎）の研究開発組織「ZOZO研究所」は、当所研究員による2本の論文「DisTaC: Conditioning Task Vectors via Distillation for Robust Model Merging」と「On Fairness of Task Arithmetic: The Role of Task Vectors」が、機械学習におけるトップカンファレンス「ICLR（The International Conference on Learning Representations） 2026」に採択されたことをお知らせします。「ICLR」は「NeurIPS（Neural Information Processing Systems）」「ICML（International Conference on Machine Learning）」と並ぶ、機械学習分野で最も権威のある学術会議の一つです。本研究成果は、当所研究員である清水 良太郎を含む複数機関の研究者からなる研究グループによるものです。
１.DisTaC: Conditioning Task Vectors via Distillation for Robust Model Merging
＜研究背景＞
近年、複数のAIモデルを追加学習せずに統合する「モデルマージ」技術が注目されています。この手法は、データを集約せずに低コストで機能を組み合わせたAIを作ることが可能になる点から、実用化への期待が高まっています。一方で、これまでの研究は、すべてのモデルが同一条件で学習された理想的な環境を前提としたものが多く、実際の開発現場で起こり得る性能低下の問題は十分に検証されていませんでした。本研究では、現実的な状況下においてモデルマージが大きく性能低下することを示し、その原因を明らかにしました。
＜論文内容＞
本研究では、現実的な状況下でモデルマージの性能が低下する主な要因として、2つの問題を特定しています。1つ目は、モデルごとの学習条件の違いによって生じるモデル間のパラメータノルムの乖離です。大きなノルムを持つモデルが他のモデルの知識を打ち消してしまうことで、統合後の性能が著しく低下します。2つ目は、モデルの予測確信度の低さです。統合後のモデルにおいて、慎重でバランスの取れた予測を行う予測確信度の低いモデルを統合に用いると、統合後の性能が大幅に低下することがわかりました。
これらの課題に対し、本研究では「DisTaC」と呼ばれる新たな調整手法を提案しています。DisTaCは、モデルを統合する前に、ラベルなしデータを用いた短時間の追加学習を行い、上記の問題因子を除去することで各モデルを統合に適した状態に整える手法です。これにより、パラメータノルムの乖離を均すとともに、統合時に悪影響を及ぼす確信度の低さを解消し、各モデルを統合に適した状態に整えます。実験では、従来のモデルマージ手法では統合後に性能が大きく低下していた条件下においても、DisTaCを適用することで性能低下が抑えられ、安定した統合結果が得られることを確認しました。
＜今後の展望＞
本研究は、モデルマージを現実的な状況下で安定的に活用する上での課題と、それに対する具体的な調整手法を整理しました。検証は主に画像及び自然言語分野の分類タスクで行いましたが、近年注目が集まる生成タスクにおいても同様の課題が当てはまると考えられます。今後は、ファッションECを想定したAIモデルの開発において、本研究の知見の有効性を検討してまいります。
＜論文の概要＞
・タイトル ： 「DisTaC: Conditioning Task Vectors via Distillation for Robust Model Merging」
・著者 ： 東京科学大学/吉田 晃太朗氏、独立研究者/楢木 悠士氏、京都大学/堀江 孝文氏、株式会社ZOZO NEXT/清水 良太郎、モントリオール大学・Mila/Ioannis Mitliagkas教授、モントリオール大学・Mila/長沼 大樹氏
・論文URL ： https://openreview.net/forum?id=W70w5JCzdq
２.On Fairness of Task Arithmetic: The Role of Task Vectors
＜研究背景＞
大規模言語モデル（LLM）の活用が進む中、AIの判断の公平性が重要な課題となっています。計算コストを抑えられるLoRAなどの効率的な学習手法は広く用いられていますが、ヘイトスピーチ検出タスクのように学習データや判断基準に偏りが入りやすい分野では、元のモデルが持つ偏りを十分に修正できず、不公平な判断を残したり、強めてしまう懸念があります。本研究では、追加学習を伴わずにモデルの振る舞いを調整できる「タスク演算」に着目し、その公平性への影響を体系的に明らかにしました。
＜論文内容＞
本研究では、AIモデルの重みの差分である「タスクベクトル」を用いた手法が、性能と公平性のバランスを調整できる有効な手段であることを示しました。従来の全体再学習やLoRAと比較し、タスクベクトルをベースモデルに足し合わせる際の調整量を変えることで、精度を保ちながら不公平さを抑えられるかを検証しています。
実験では、文章や画像を扱う複数のAIモデルを用い、ヘイトスピーチ検出や年齢分類などのタスクを対象に評価を行いました。その結果、タスク演算は精度を大きく損なわずに、特定の属性グループ間で生じる判断の偏りを軽減できることが確認できました。
さらに、調整の強さを表す係数を適切に設定することで、精度を大きく損なわずに公平性を高められることが分かりました。また、通常の方法である全てのパラメータを再学習したモデルにおいて公平性指標が特に悪かった特定の人種や性別などのサブグループのタスクベクトルを抽出し、それをモデルに注入することで、不公平さを緩和できる場合があることも確認しました。一方で、あるグループのタスクベクトル注入が別のグループの公平性を悪化させるケースもあり、調整方法の設計には注意が必要であることも明らかになりました。これらの結果については、タスクベクトルの調整量が公平性指標に与える影響を解析する理論的な分析によって裏付けました。
＜今後の展望＞
本研究では、タスク演算が公平性を意識したAIの調整手法として有効であることを示しました。今後は、より大規模なモデルや商用API型モデルへの適用に加え、複数の調整パラメータを用いたより柔軟な制御への展開が考えられます。また、文章生成のようなより複雑なタスクや、複数の属性が重なり合う状況における公平性の評価も重要な課題です。今後は、本研究の知見をもとに、ファッションECにおけるAIの実装において、効率性と公平性を両立させるための実践的なツールの開発を目指します。
＜論文の概要＞
・タイトル ： 「On Fairness of Task Arithmetic: The Role of Task Vectors」
・著者 ： スタンフォード大学/Laura Gomezjurado Gonzalez氏*、東京科学大学/吉田 晃太朗氏*、モントリオール大学・Mila/長沼 大樹氏*、京都大学/堀江 孝文氏、独立研究者/楢木 悠士氏、株式会社ZOZO NEXT/清水 良太郎（*共同筆頭著者）
・論文URL ： https://openreview.net/forum?id=B19MBDrvlM
＜ZOZO研究所について＞
ZOZO研究所は、「ファッションを数値化する」をミッションに掲げるZOZOグループの研究機関です。ZOZOグループが保有するファッションに関する膨大な情報資産を基に、ファッションを科学的に解明するための研究開発をおこなっています。
・所名 ： ZOZO研究所（ZOZO Research）
・設立 ： 2018年1月31日
・URL ： https://research.zozo.com/
