状態価値関数と行動価値関数の違いをゼロから理解！中学生にもわかるRL入門

---

状態価値関数とは何か

状態価値関数（V(s)）は、ある状態 s にいるときにエージェントが将来得られる報酬の総和を、現在の状態だけから予測する指標です。これには割引因子 γ がかかわり、未来の報酬を現在の価値に換算します。V(s) はその状態で最適な行動がどうであるかを直接示すものではなく、状態そのものの良さを表します。例えば迷路の中で今どの部屋にいるかという情報だけを見て、これから先どれくらい良いことが起きそうかを数字で示すと考えると分かりやすいです。エージェントはこの値を見て次の動きを決めることもありますが、実際にはこの値だけで動くのではなくQ値やポリシーと組み合わせて使われます。

この考え方をもう少し直感的に掴むためには、例えば学校の道案内の場面を想像してください。今いる場所がどれだけ安全で、どれだけ楽しく移動できそうかを、周りの道順や障害物の有無といった情報だけで見積もるのがVの役割です。もちろん現実には未来の報酬は不確定で変動しますが、それを合理的に評価するために γ という割引を使い、未来のことを現実的な数字に落とし込むのが狙いです。Vは状態の価値を直感的に示すための道具であり、学習が進むとこの値は場所ごとに異なる適切な数字へと更新されていきます。強調しておきたいのはVが状態そのものの良さを表す指標だという点で、この値だけを見て最終的な行動を決定するわけではないという点です。

この考え方は強化学習の基礎であり、後で説明する行動価値関数との組み合わせで、エージェントが賢い選択をするための土台になります。

行動価値関数とは何か

行動価値関数 Q(s,a) は、状態 s で特定の行動 a をとったとき、以降の行動をポリシーに従って実行したときに得られる将来の報酬の期待値を表します。要するに Q は「この組み合わせはどうだろう」という具体的な一手の良さを示す指標です。Q は通常 V と異なり状態だけでなく行動も含むため、同じ状態でもとるべき行動が変わります。Q の値が大きいほどその組み合わせが良いと判断され、最適な政策を探す手掛かりになります。実際の式では Q は現在の報酬と未来の報酬を総和して割引で現在価値に換算したものとして定義され、将来の不確実性にも対応します。Q はしばしば学習の核心であり、経験を積むほど正確な数値へと更新され、エージェントの判断の基盤になります。

こうした考え方はゲームの戦略やロボットの動作計画にも活用され、特定の場面においてどの手を打つべきかを明確に示す機能を果たします。Q は特定の手がどの程度の見返りを生み出すかを直接教えてくれるため、実装上はテーブル形式や関数近似で扱われることが多いのが特徴です。

この性質のおかげで、エージェントは未知の環境でも過去の経験をもとに次の一手を予測し、失敗を最小限に抑えながら学習を進めやすくなります。

状態価値関数と行動価値関数の違いと関係

V と Q は互いに補完的な役割を持つ指標です。V は状態そのものの魅力を測り、Q は状態と行動の組み合わせの魅力を測ります。関係としては最適時には V の値は Q の最大値に等しくなります。具体的には最適ポリシーを考えると V*(s) ＝ max_a Q*(s,a) となり、ここで Q はその状態で取れる最良の行動を選ぶときの将来報酬の期待値を表します。現実の学習では V が限られた情報から状態の価値を推定するのに役立ち、Q はどの手を打つべきかを直接決定する判断材料として機能します。

この二つの関数を適切に使い分けることで、エージェントは過去の経験から未来の最適な戦略を見つけることができるのです。実世界の大規模な問題では直接 V や Q を求めるよりも、ポリシーと価値関数を同時に更新する手法が安定して学習を進められます。

実世界での使い方と具体例

実世界の例として、ロボットが部屋を探索するときのことを想像してみましょう。ロボットは現在の部屋の状態を観測し、V によってその部屋の価値を評価します。次に実際にどの動きをするかを決めるときには Q の値を見て最適な動きを選びます。これにより、ロボットは迷路のような環境で効率よく目的地へ向かう道を学習します。別の例はゲームです。チェスや囲碁のような複雑なゲームでも、状態と手の組み合わせの価値を評価するために Q が使われ、エージェントは強い戦略を段階的に獲得していきます。

また教育の場面では、学習意欲を高めるための報酬設計を研究する際にも V と Q が登場します。例えば授業の進み具合を状態としてとらえ、次に何をすればよいかを決めるヒントとして Q が機能します。

このように V と Q は機械学習だけでなく、日常の意思決定の場面にも役立つ考え方です。実際に手を動かしてみると、最初は難しく感じても、少しずつ「どの選択が次に良い結果につながるか」を数値でイメージできるようになります。

<table>用語意味V( s )状態価値関数 将来の報酬の期待値を、現在の状態だけで予測Q( s, a )行動価値関数 状態と行動の組み合わせの将来報酬の期待値最適ポリシー各状態で最も良い行動を選ぶ戦略

ピックアップ解説

友達と喫茶店で RL の話をしているときの小ネタ雑談です。状態価値関数について考えるとき、私はいつもこう例えます。ある部屋にいるときの価値Vは、その部屋から先に進んだときにどんな報酬が待っているかを“ざっくり”教えてくれる地図のよう。ところが部屋の中でどう動くべきかを決めるのが行動価値関数Qです。部屋AからドアBに進むと得られる期待値が高いとき、それは最初の一歩として最適な手になります。この二つを合わせて使うと、地図と道順の両方が手に入り、迷路のような場面でも迷わず進める感覚が生まれるんです。

---