概要

WebDB夏のワークショップ2025にて、

「画風変換LoRAの内部パラメータによるモデルの埋め込み表現の獲得」

というタイトルで論文を発表しました。

WebDB夏のワークショップ2025は、データベース分野の主要な研究集会である研究発表会である。

本発表では、画風変換LoRAの内部パラメータからモデルの埋め込み表現を獲得する手法を提案した。

近年、多数のLoRAモデルが共有・公開されているが、それらは主にメタデータ（タグや説明文）に基づいて管理されている。 しかし、内部パラメータ自体を直接活用し、モデル間の構造的特徴を反映したベクトル表現を獲得する研究は十分に行われていない。

本研究では、LoRAの重み行列を入力とし、次元圧縮および距離学習を組み合わせることで、LoRAモデルを低次元ベクトルとして表現する手法を設計した。
具体的には以下の3点を工夫した。

  • パラメータのFlat化と構造を保った前処理
  • PCAによる次元圧縮
  • Triplet Transformer Encoderを用いた距離学習

これにより、LoRAモデル間の類似度比較、クラスタリング、ランキングが可能となる埋め込み空間の構築を目指した。
評価では、タグ情報に基づく類似関係との整合性、および人間による主観評価との一致度を検証した。

発表・投稿情報

  • 種別: paper
  • イベント名: WebDB夏のワークショップ2025
  • 会場: アクトシティ浜松コングレスセンター
  • 日付: 2025-09-16
  • 発表ID: 3B-2
  • 役割: first_author
  • 公式ページ

成果物

受賞

本発表は、👑学生奨励賞を受賞しました。