RLHFとは【図解でわかりやすく】

最終更新日：2026年7月15日

30秒でわかる結論

RLHF（Reinforcement Learning from Human Feedback＝人間のフィードバックによる強化学習）は、事前学習済みの言語モデルを「人間の好みに合うよう磨く」調整技術。AIが複数の回答を生成→人間が「こちらが良い」と評価→その評価をもとにAIを強化学習で改善するサイクルです。ChatGPTが自然で役立つ、有害でない回答をするのはRLHFのおかげです。「事前学習で言葉を覚え、RLHFで人間好みに仕上げる」2段階で現代のLLMが完成します。

RLHF＝人間のフィードバック（どの回答が良いかの評価）でAIを人間好みに調整する強化学習。

RLHFは生成AIパスポートで「ChatGPTの開発フロー」として問われる頻出項目です。事前学習との関係を図解で押さえましょう。

図解

解説

ChatGPTが自然で役立つ回答をするのは、大量のテキスト学習（事前学習）に加え、人間の評価で磨かれているから。開発の流れは「事前学習（言葉を学ぶ）→RLHF（人間好みに調整）」の2段階イメージで覚えましょう。

具体例

ChatGPT開発での役割：OpenAIは(1)大量のインターネットテキストで事前学習したGPT-3をベースに、(2)人間の評価者が「どの回答がより役立つか」を評価したデータでRLHFを実施しました。その結果、「有害な発言をしない」「指示に従う」「自然な対話ができる」という特性が加わりました。RLHFなしの純粋な事前学習モデルは「テキストの続きを予測する機能」しか持たず、人間にとって使いやすいアシスタントにはなりません。

間違えやすい類似用語

事前学習（Pre-training）：事前学習はLLM開発の第1フェーズで、大量テキストから言語パターンを学ぶ工程。RLHFは第2フェーズで、事前学習済みモデルを人間の好みに合わせて調整する工程。「一般教養＝事前学習、礼儀作法の訓練＝RLHF」という2段階の役割分担。
ファインチューニング：ファインチューニングが「特定タスク向けに追加データで調整する」のに対し、RLHFは「人間のフィードバック（評価）を報酬信号として使う強化学習」という点が異なる。LLM開発では事前学習→SFT（教師ありファインチューニング）→RLHFの3段階が標準的フロー。