l1正則化 l2正則化 違いを分かりやすく解説：初心者にも伝わるポイント

---

l1正則化 l2正則化 違いを分かりやすく解説：初心者にも伝わるポイント

1. 基本の考え方を比べてみる

機械学習の世界では、データの中にある情報をうまく使いながら、余分な揺らぎを減らすことが目標です。

ここで登場するのが正則化という考え方です。

L1正則化とL2正則化は、似た目的を持ちながら、働き方が少し違います。

L1正則化は重みの絶対値の合計を罰として加え、いくつかの重みを0へと押しやすくします。これによりモデルが単純になり、特徴量の選択が自然に行われることがあります。

一方L2正則化は重みに対して二乗の和を罰として加え、全体を穏やかに縮小します。ゼロに完全には近づきませんが、極端に大きな重みを抑える効果が強く現れます。

これらの違いは、実験の結果にも表れます。

例えばデータに含まれるノイズが多い場合、L1正則化が意味のある特徴を削り落としやすく、解釈性の高いモデルにつながることがあります。その反面、データが複雑で、情報を全体として扱いたいときにはL2正則化の方が安定します。

さらにデータに強い関連があるが、数が多い特徴量のときにはL1が自動的に重要でない特徴を0にすることがあり、モデルの理解が楽になります。

実務ではハイパーパラメータの設定次第で、L1が重みを多く0にし、L2はウェイトの分布を滑らかに広げます。

Elastic Netと呼ばれる手法は、L1とL2を組み合わせ、両方の良さを取りにいく設計です。

これにより、特徴選択と安定な推定の両方を同時に狙うことができます。

Elastic Netは特に、特徴量が多くて相関が強い場合に有効になることが多いです。

2. 数式と直感：どう違うのか

ここでは数式の観点から両者の違いを見ていきます。

L1正則化は損失関数にペナルティを加える考え方です。

実際の式は、
J(w) = L(y, f(x; w)) + lambda * sum_i |w_i| となります。

<strong>L2正則化は別の形で、
J(w) = L(y, f(x; w)) + lambda * sum_i w_i^2 となります。

ここでのlambdaは、正則化の強さを決めるパラメータです。

絶対値の|w_i|を使うは、重みが0になる方向に力をかけやすく、非連続性のある特性を持ちます。

これが「特徴選択」を生み出す理由の一つです。

一方、二乗を使うは、重みの変化を滑らかに抑え、連続的な縮小を促します。

微分可能で安定した最適化プロセスにつながりやすく、収束性の良さが特徴です。

実務での違いは、学習後の重みの分布にも現れます。

式だけでなく、直感としてはこんなイメージです。

L1は「要らない道具を切り捨てて、必要な道具だけを残す裁断作業」に近く、モデルをシンプルにします。

L2は「道具の使い方をうまく調整して、全体をほどよく小さくする」感じです。

どちらを選ぶかは、データの性質と目標次第です。

3. 実務での使い分けと選び方

実務での選択は、主に以下のポイントで決まります。

特徴選択をしたいか、解釈性を高めたいか、データに相関の強い特徴が多いか、などです。

もし特徴の中から重要なものを絞り込みたい場合はを検討します。これにより、いくつかの重みを0にして、モデルの理解を助けます。

一方、特徴数が多く、相関も多い場合にはが安定した推定を提供します。特に連続的に小さな重みを並べたいときに向いています。

さらに、両方の良さを取りたいならElastic Netが有力な選択肢になります。

ハイパーパラメータlambdaの設定にはクロスバリデーションが有効であり、標準化（スケーリング）も重要です。

標準化をしないと、特徴量のスケール差が正則化の効果を過剰に左右してしまいます。

観点	L1正則化	L2正則化
特徴選択	高い可能性	低め
重みの分布	スパースになることが多い	滑らかに縮小
最適化の安定性	データ次第で不安定になることも	安定しやすい

ピックアップ解説

今日は放課後の教室で友だちと話している雰囲気でL1正則化について深掘りします。正直に言うと、数学の公式は難しそうに見えるかもしれません。でも、要は『道具の選び方の工夫』と同じです。L1は使わない道具を思い切って削る力が強く、必要な道具だけを残す感覚。だから特徴量が多い場面で、どれが本当に役立つのかを素早く絞り込みやすい。反対にL2は道具を全体的にうまく使う感じ。重みを均等に引き締め、結局は小さな値の重みが増え過ぎないように守ってくれる。Elastic Netは、その両方の良さを一つにまとめた方法だよ。現場では、データの性質とモデルの目的に合わせて、三者を使い分けることが大事なんだ。

---