マルコフ決定過程とマルコフ過程の違いを徹底図解！中学生にもわかる入門ガイド

---

マルコフ過程とマルコフ決定過程の違いを理解する

マルコフ過程とマルコフ決定過程は、名前は似ていますが扱うものが違います。まず、マルコフ過程は「状態」という箱の集まりの中で、時間を追って箱の移り変わりが起こる確率の法則です。ここには人間の意思決定は関与しません。現在の状態 X_t が次の状態 X_{t+1} になる確率 P(X_{t+1} | X_t) のみを用い、過去の履歴は現在の状態を通じてしか影響を与えません。この性質をマルコフ性 memoryless と呼び、未来は現在の状態からだけ決まると説明します。マルコフ過程の学習や分析では、初期分布と遷移確率の表があれば、長い時間の挙動を計算できます。

多くの現象を離散時間でモデル化することができ、人が関与しない自然現象やコンピュータの内部状態、ゲームの乱数の挙動などを表現するのに便利です。

1. マルコフ過程とは何か

マルコフ過程は記号だけを使った簡単な確率モデルです。状態集合 S があり、時刻 t に X_t が取りうる値のいずれかです。現時点の状態だけが未来を決めるため、過去の履歴は X_t だけに依存します。この性質をマルコフ性と呼び、式で書くと P(X_{t+1}=s' | X_t=s, X_{t-1}=s_{t-1}, ..., X_0=s_0) = P(X_{t+1}=s' | X_t=s) となります。遷移確率は通常、行列形式で表され、初期分布と組み合わせて長期的な分布や定常分布を求めることができます。ここでの「行動」は存在せず、システムの内部確率だけで動きます。

2. マルコフ決定過程とは何か

MDP では状態 s のほかに行動 a があり、遷移確率 P(s'|s,a) は選んだ行動に依存します。加えて報酬 R(s,a) があり、エージェントはこの報酬を受け取りつつ次の状態へ進みます。MDP の目的は、ある長さの時間で得られる総報酬を最大化する方策を見つけることです。方策とは現在の状態に対して取りうる行動を決めるルールで、最適な方策を見つけると将来の報酬を高く保つことができます。価値関数 V(s) や Q(s,a) を用いて「この状態でこの行動をとると将来どうなるか」を数値化するのが基本技法です。これらの概念は機械学習の強化学習と深く結びつき、ゲームの戦略やロボットの動作計画、在庫管理のような実世界の意思決定問題に適用されます。

この違いを覚えるコツは、行動の有無と報酬の有無を軸に整理することです。行動があるかどうか、そして報酬が意味を持つかどうかが、両者を区別する鍵になります。

3. 違いを実生活の例で比べる

日常の具体例で見ると理解が進みます。マルコフ過程なら、今日の天気が明日どうなるかを、現在の天気だけから予測します。過去の天気の連続や思い出の重さは考えず、現在の状態から未来を決めます。これに対してマルコフ決定過程では、あなたが外出するかどうか、どの道を選ぶかといった決定が介在します。道を選ぶときは、天気だけでなく時間、目的地、混雑、体力、持ち物など複数の情報を統合し、取るべき行動を決めます。行動を選んだ結果として得られる報酬（安全性、時間短縮、楽しさなど）を考え、将来の総報酬を最大化する「最適な方策」を追求します。これがマルコフ過程とMDPの根本的な違いであり、問題に応じてどちらを使うかを判断する目安になります。

ピックアップ解説

マルコフ決定過程というと難しく聞こえるかもしれませんが、実は日常の選択と結びついています。朝、どの道を選ぶか、何を食べるか、勉強の順番を決めるとき、私たちは将来の利益を少しだけ計算して行動を決めています。MDPはこれを数理としてとらえ、状態と行動と報酬の三つで世界をモデル化します。例えばゲームの戦略を練るとき、次にとる行動の候補をいくつか挙げ、それぞれの候補が将来もたらす「得られる報酬」をQ値として比較します。もしあなたが最適な戦略を知りたいなら、まず自分の「評価基準」を決めること。時間効率、楽しい度、リスクなど、複数の報酬をどう結びつけるかが鍵です。

---