[AI 最新情報紹介ブログ] - [ファインチューニングにおける過学習とは]
ファインチューニングにおける過学習とは | AI 最新情報紹介ブログ
ファインチューニングでは、新しいデータセットに適応させるためにモデルを再学習しますが、このデータが特定のドメインやバイアスを含んでいる場合、その影響を強く受けすぎることがあります。
結果として、汎用的な性能が低下し、新しいデータに対してのみ良い結果を出す「過学習（Overfitting）」が発生する可能性があります。
過学習が起こる原因
・データ量が少ない
ファインチューニング用のデータが少ないと、モデルは特定のパターンを強く記憶し、新しい未知のデータに適応しにくくなる。
・データの偏り
例えば、医療分野向けにファインチューニングしたモデルが、特定の病気に関するデータばかりを学習すると、それ以外の医療データに対して精度が落ちる。
学習率が高すぎる
・ファインチューニング時に学習率を高く設定しすぎると、事前学習時の知識を損なう可能性がある。
過学習を防ぐ方法
・事前学習済みモデルの一部を凍結（Freezing）し、適応させる層を限定する。
・データ拡張（Data Augmentation）で多様なデータを加え、モデルが特定のパターンに偏らないようにする。
・正則化手法（DropoutやL2正則化）を使い、過度なフィッティングを防ぐ。
例
GPTをファインチューニングして法律文書向けに最適化した場合、一般的な日常会話には対応しにくくなる可能性がある。
[AI 最新情報紹介ブログ] - [ファインチューニングにおける過学習とは]