マルコフ再生さいせい過程かてい

マルコフ再生さいせい過程かてい（英えい: Markov renewal process; MRP）は、確かく率りつ過程かていの一ひとつであり、ジャンプ型がたマルコフ過程かてい（Markov jump process）の考かんがえ方かたを一般いっぱん化かしたものである。マルコフ連鎖れんさやポアソン点てん過程かていのような一部いちぶの確かく率りつ過程かてい、および再生さいせい過程かていはマルコフ再生さいせい過程かていの特別とくべつな場合ばあいとして導出どうしゅつすることができる。

定義ていぎ

マルコフ再生さいせい過程かていの実例じつれい

状態じょうたい空間くうかんを $\mathrm {S}$ 、（連続れんぞく的てきな）時刻じこくの集合しゅうごうを $\mathrm {T}$ とする。いま、確かく率りつ変数へんすうの系列けいれつ $\{(X_{n},T_{n})\in \mathrm {S} \times \mathrm {T} \}_{n\geq 0}$ を考かんがえる。ここで $T_{n}$ はジャンプ時刻じこく (jump time) 、$X_{n}$ は対応たいおうするマルコフ連鎖れんさの状態じょうたいである (図ずを参照さんしょう）。また、到着とうちゃく間あいだ時刻じこく (inter-arrival time) を $\tau _{n}=T_{n}-T_{n-1}$ と表記ひょうきする。次つぎの条件じょうけんを満みたすとき、系列けいれつ $\{(X_{n},T_{n})\}_{n\geq 0}$ はマルコフ再生さいせい過程かていと呼よばれる。

$${\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\&\quad =\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\quad \forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}$$

準じゅんマルコフ過程かてい

$t\in [T_{n},T_{n+1})$ に対たいし $Y_{t}:=X_{n}$ を満みたす確かく率りつ過程かてい $Y_{t}$ を定義ていぎする。これは準じゅんマルコフ過程かてい (semi-Markov process) と呼よばれる確かく率りつ過程かていとなる。MRP と準じゅんマルコフ過程かていの違ちがいは、前者ぜんしゃは状態じょうたいと時刻じこくの組くみで定義ていぎされるのに対たいし、後者こうしゃは時間じかん発展はってんする実際じっさいの時とき系列けいれつの確かく率りつ過程かていであり、実現じつげん値ちが任意にんいの時刻じこくにおける状態じょうたいの値ねとして定義ていぎされる点てんである。

この確かく率りつ過程かていは全体ぜんたいを見みればマルコフ性せいを持もたない（すなわち無む記憶きおく性せいを持もたない）が、ジャンプする瞬間しゅんかんに限かぎりマルコフ性せいを持もつ。これが準じゅんマルコフという名前なまえの理論りろん的てき根拠こんきょである。隠かくれ準じゅんマルコフモデル も参照さんしょうされたい。

（上うえに定義ていぎした）準じゅんマルコフ過程かていのうち、保持ほじ時間じかん (holding time) が指数しすう分布ぶんぷで表あらわされるものを連続れんぞく時間じかんマルコフ連鎖れんさ、または連続れんぞく時間じかんマルコフ過程かてい (continuous-time Markov chain/process; CTMC) と呼よぶ。い換いかえると、到着とうちゃく間あいだ時間じかんが指数しすう分布ぶんぷに従したがい、かつある状態じょうたいにおける待まち時間じかん (waiting time) と次つぎに遷移せんいする状態じょうたいが独立どくりつであれば準じゅんマルコフ過程かていは CTMC となる。

${\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),\ldots ,(X_{n},T_{n}))\\&\quad =\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),\quad \forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}$

他たの確かく率りつ過程かていとの関係かんけい

1. 系列けいれつ $\{X_{n}\}_{n\geq 0}$ は離散りさん時間じかんマルコフ連鎖れんさとなる。すなわち、時間じかん変数へんすうを無視むしすれば MRP は離散りさん時間じかんマルコフ連鎖れんさとして扱あつかうことができる。

   $\Pr(X_{n+1}=j\mid X_{0},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i),\quad \forall n\geq 1,i,j\in \mathrm {S}$

2. 系列けいれつ $\{\tau _{n}\}_{n\geq 0}$ が独立どくりつかつ同一どういつの分布ぶんぷに従したがい、かつそれらの分布ぶんぷが状態じょうたい $X_{n}$ に依存いぞんしないのであれば、対応たいおうする確かく率りつ過程かていは再生さいせい過程かていとなる。したがって、状態じょうたいを無視むししたときに得えられる独立どくりつ同どう分布ぶんぷの時間じかん系列けいれつは再生さいせい過程かていとして扱あつかうことができる。

   $\Pr(\tau _{n+1}\leq t\mid T_{0},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t),\quad \forall n\geq 1,t\geq 0$

参考さんこう文献ぶんけん

• Medhi, J. (1982). Stochastic processes. New York: Wiley & Sons. ISBN 978-0-470-27000-4 
• Ross, Sheldon M. (1999). Stochastic processes. (2nd ed.). New York [u.a.]: Routledge.. ISBN 978-0-471-12062-9 
• Barbu, Vlad Stefan; Limnios, Nikolaos (2008). Semi-Markov chains and hidden semi-Markov models toward applications : their use in reliability and DNA analysis. New York: Springer. ISBN 978-0-387-73171-1