勾配降下法と学習率とは【図解でわかりやすく】

最終更新日：2026年7月15日

30秒でわかる結論

勾配降下法は損失（誤差）を「山と谷のある地形」にたとえ、坂を下って最小値を目指す最適化手法。学習率は「一歩の歩幅」で、大きすぎると谷を飛び越え、小さすぎると収束に時間がかかります。深いネットワークでは「勾配消失問題」（誤差の信号が層をさかのぼるほど消えていく）も重大なテーマで、ReLU・バッチ正規化・スキップ結合（ResNet）が対策として登場しました。

学習率＝坂を下る一歩の歩幅。大きすぎると谷を飛び越え、小さすぎると時間がかかる。

G検定では「勾配降下法の仕組み」と「勾配消失問題の原因と対策」がセットで問われます。図解で違いを整理しましょう。

図解

解説

勾配降下法は、損失（間違いの大きさ）を山と谷のある地形にたとえ、坂を下って一番低い谷（損失最小）を目指す手法です。その「一歩の歩幅」を決めるのが学習率。人間が事前に設定するこうした値を総称して「ハイパーパラメータ」と呼びます（学習率・エポック数・バッチサイズ・ドロップアウト率はすべて仲間）。

具体例

学習率の設定例：画像分類モデルの学習率を0.1（大きすぎ）に設定すると損失が収束せずに振動し続けます。0.001（適切）にすると安定して損失が下がり精度が上昇します。0.00001（小さすぎ）だと収束は安定しますが数百倍の時間がかかります。実務ではAdamなどの適応学習率最適化手法を使い、「自動で歩幅を調整」することが一般的です。

間違えやすい類似用語

勾配消失問題：勾配降下法は「勾配（坂の傾き）を使って重みを更新する」手法。勾配消失問題は深いネットワークで誤差を逆向きに伝えるうちに勾配が極端に小さくなり、入力側の層がほとんど学習できなくなる現象。勾配降下法の問題の中でも最も重要なテーマ。
確率的勾配降下法（SGD）：通常の勾配降下法が全データの平均誤差から勾配を計算するのに対し、SGDはランダムに選んだ少量のデータ（ミニバッチ）で更新する。計算が速く局所最適解を脱出しやすいため、ディープラーニングの実務では標準的な選択。

覚え方

学習率＝歩幅。大きすぎ→谷を通り越す／小さすぎ→いつまでも着かない

試験での問われ方

G検定では「勾配消失問題の原因（シグモイド関数の勾配が最大0.25と小さい）」「解決策（ReLU・バッチ正規化・スキップ結合）」「学習率のトレードオフ（大きすぎる→振動、小さすぎる→収束遅い）」「ハイパーパラメータの例（学習率・エポック数・バッチサイズ・ドロップアウト率）」が頻出です。「ディープラーニングの歴史＝勾配消失との戦い」として整理しましょう。