【言葉】

★MOE LORA (MoE-LoRA)

【意味】

★MoEとLoRAの2つの技術を組み合わせたMoE-LoRAは、以下の利点を同時に活用しようとするアプローチです。
複数のLoRAアダプターを専門家として利用: 各「専門家」を、軽量なLoRAアダプターとして実装します。
効率的なマルチタスク学習: LoRAのパラメーター効率の良さと、MoEのマルチタスクにおける専門性を組み合わせることで、多様なタスクに対してより効率的に、かつ高性能にモデルを適応させることを目指します。

【出会いのきっかけ】

★とあるセミナーにて

【その他】

★