概要

第18回データ工学と情報マネジメントに関するフォーラムにて、

「画風変換LoRAの内部パラメータによる変換特徴を考慮したモデルの埋め込み表現の獲得」

というタイトルで論文を発表しました。

現在、画像生成分野においてもモデルの共有・再利用が当たり前になっています。 特にLoRA（Low-Rank Adaptation）は、既存の拡散モデルに対する軽量な追加学習手法として広く普及し、多数の画風変換LoRAが公開されています。

しかし、これらのLoRAモデルは主にタグや説明文といったメタデータに基づいて管理されており、内部パラメータそのものに基づいてモデルを比較・分析する枠組みは十分に確立されていません。 その結果、モデル間の構造的類似性を直接扱うことが難しく、未知のLoRAを体系的に整理・検索することが困難であるという課題があります。

そこで本研究では、画風変換LoRAの内部パラメータから直接モデルの埋め込み表現を獲得する手法を提案しました。 LoRAの重み行列を入力とし、構造を保った前処理および次元圧縮を行った上で、Triplet Transformer Encoderによる距離学習を適用することで、LoRAモデルを低次元の密ベクトルとして表現します。

モデルの内部構造を反映した埋め込み空間を構築できれば、メタデータに依存せずにLoRAモデル間の類似度比較やクラスタリング、ランキングが可能になると考えられます。 これにより、大規模に公開されているLoRAモデル群の体系的な管理や検索支援への応用が期待されます。

WebDB2025からは大きな変更として
・出力例ベースの正解データ作成
・より細粒度の重みを算出するMLP層
・人間の類似性判断に合わせたLoRAモデル検索評価
がある。

評価実験では、構築した埋め込み空間における類似度の妥当性を検証し、モデル検索性能および人間の主観的類似判断との整合性を評価しました。

発表・投稿情報

  • 種別: paper
  • イベント名: 第18回データ工学と情報マネジメントに関するフォーラム（DEIM 2026）
  • 会場: オンライン
  • 日付: 2026-02-28
  • 発表ID: 3F-01
  • 役割: first_author
  • 公式ページ

成果物

受賞

本発表は、👑学生プレゼンテーション賞を受賞しました。