Təsadüfi proses Markov if adlanır. Markov təsadüfi proseslər

Zaman parametrinin t hər hansı verilmiş dəyərindən sonra təkamülü ondan əvvəlki təkamüldən asılı olmayan t, bir şərtlə ki, bu anda prosesin dəyəri sabit olsun (qısacası: prosesin “gələcəyi” və “keçmişi” məlum “indiki” ilə bir-birindən asılı deyil).

Bir maqnit sahəsini təyin edən xüsusiyyət adətən adlanır Markovian; ilk dəfə A. A. Markov tərəfindən tərtib edilmişdir. Bununla belə, artıq L.Bachelier-in işində Brown hərəkətini maqnit prosesi kimi şərh etmək cəhdini, N. Wiener-in tədqiqatından sonra əsaslandırılmış cəhdi ayırd etmək olar (N. Wiener, 1923). Fasiləsiz zamanlı maqnit proseslərinin ümumi nəzəriyyəsinin əsasları A. N. Kolmoqorov tərəfindən qoyulmuşdur.

Markov əmlakı. M.-nin bir-birindən əhəmiyyətli dərəcədə fərqlənən tərifləri mövcuddur. Ölçülə bilən fəzadan dəyərləri olan təsadüfi bir proses harada bir ehtimal fəzasında verilsin T - real oxun alt çoxluğu Let Nt(müvafiq olaraq Nt).içində s-cəbri var X(s).at kəmiyyətləri ilə yaranır Harada Başqa sözlə, Nt(müvafiq olaraq Nt) t anına qədər (t-dən başlayaraq) prosesin təkamülü ilə əlaqəli hadisələr toplusudur. . X(t) prosesi adlanır Markov prosesi, əgər (demək olar ki, mütləq) Markov mülkiyyəti hamıya aiddirsə:

və ya, əgər varsa, eyni nədir

M. p., bunun üçün T natural ədədlər toplusunda yerləşir, çağırılır. Markov zənciri(lakin, sonuncu termin ən çox hesablana bilən E halı ilə əlaqələndirilir) . Əgər hesablana biləndən çox bir intervaldırsa, M. adlanır. davamlı zaman Markov zənciri. Davamlı zamanlı maqnit proseslərinə nümunələr diffuziya prosesləri və müstəqil artımlarla, o cümlədən Poisson və Wiener prosesləri ilə təmin edilir.

Aşağıda, dəqiqlik üçün biz yalnız (1) və (2) düsturlarının işi haqqında danışacağıq, məlum "indiki" ilə "keçmiş" və "gələcəyin" müstəqilliyi prinsipinin aydın şərhini təmin edəcəyik. Onlara əsaslanan M. p-nin tərifi, razılaşdırılsa da, bir deyil, fərqli (1) və ya (2) tipli şərtlər toplusunu nəzərə almaq lazım olduqda kifayət qədər çevik olduğu ortaya çıxdı. müəyyən bir şəkildə, bu cür mülahizələr aşağıdakı tərifin qəbuluna səbəb oldu (bax,).

Aşağıdakılar verilsin:

a) s-cəbrinin E-də bütün bir nöqtəli çoxluqları ehtiva etdiyi ölçülə bilən fəza;

b) s-cəbrlər ailəsi ilə təchiz edilmiş ölçülə bilən fəza ki, əgər

c) funksiya (“trayektoriya”) x t =xt(w) , hər hansı ölçülə bilən xəritəçəkmə üçün müəyyənedici

d) hər biri üçün və s-cəbri üzrə ehtimal ölçüsü ki, funksiya əgər və ilə bağlı ölçülə bilər

Adlar toplusu (qeyri-xitam verən) Markov prosesi if -demək olar ki, mütləq şəkildə müəyyən edilmişdir

Burada nə ola bilərsə - elementar hadisələrin məkanı, - faza məkanı və ya vəziyyət fəzası, P( s, x, t, V)- keçid funksiyası və ya prosesin keçid ehtimalı X(t) . Əgər E topologiyaya malikdirsə və Borel dəstlərinin toplusudur E, onda M. p-nin verildiyini söyləmək adətdir E. Tipik olaraq, M. p-nin tərifi bir ehtimal kimi şərh edilməli olan tələbi ehtiva edir x s = x.

Sual yaranır: hər Markov keçid funksiyası P( s, x;t, V), ölçülə bilən fəzada verilmiş müəyyən M. fəzasının keçid funksiyası kimi qəbul edilə bilər, məsələn, E ayrıla bilən lokal kompakt fəzadır və Borel dəstlərinin toplusudur. E.Üstəlik, icazə verin E - tam metrik boşluq və icazə

A - nöqtənin elektron qonşuluğunun tamamlayıcısı X. Sonra müvafiq maqnit sahəsi sağda davamlı və solda məhdudiyyətlərə malik hesab edilə bilər (yəni onun traektoriyaları belə seçilə bilər). Davamlı bir maqnit sahəsinin mövcudluğu (bax, ) şərti ilə təmin edilir. Mexanik proseslər nəzəriyyəsində əsas diqqət homojen (vaxt baxımından) olan proseslərə verilir. Müvafiq tərif verilmiş sistemi nəzərdə tutur obyektlər a) - d) onun təsvirində görünən s və u parametrləri üçün indi yalnız 0 dəyərinə icazə verilir ki, qeyd də sadələşdirilir:

Bundan əlavə, W fəzasının homojenliyi postulatlaşdırılır, yəni hər hansı bir üçün s-cəbrində (w) üçün belə olması tələb olunur. N, formanın hər hansı hadisəsini ehtiva edən W-də s-cəbrlərinin ən kiçiyi, zamana keçid operatorları q verilmişdir. t, çoxluqların birləşmə, kəsişmə və çıxma əməliyyatlarını qoruyan və bunun üçün

Adlar toplusu (qeyri-xitam) homogen Markov prosesi müəyyən if -demək olar ki, mütləq

X(t) prosesinin Keçid funksiyası üçün P( hesab olunur. t, x, V), və xüsusi qeyd-şərtlər olmadıqda, onlar əlavə olaraq tələb edirlər ki, (4) yoxlanarkən həmişə (4)-də yalnız harada və hansı forma dəstlərini nəzərə almaq kifayətdir. Ft tamamlamaların kəsişməsinə bərabər olan s-cəbri ilə əvəz edilə bilər Ft bütün mümkün ölçülər üçün çox vaxt ehtimal ölçüsü m (“ilkin paylanma”) sabitləşir və ölçünün bərabərliklə verildiyi yerdə Markov təsadüfi funksiyası nəzərə alınır.

M. p. hər t>0 üçün funksiya s-cəbrinin olduğu yerdə ölçülə bilən xəritələşdirməyə səbəb olarsa, tədricən ölçülə bilər.

Borel alt çoxluqları . Sağ davamlı millət vəkilləri tədricən ölçülə bilər. Heterojen bir işi homojenə endirməyin bir yolu var (bax) və bundan sonra homojen deputatlar haqqında danışacağıq.

Ciddi Markov mülkü.Ölçülə bilən fəza m ilə verilsin.

Funksiya çağırılır Markov anı,Əgər hamı üçün Bu halda çoxluq F t if at ailəsi kimi təsnif edilir (əksər hallarda F t t anına qədər X(t) təkamülü ilə əlaqəli hadisələr toplusu kimi şərh olunur). İnanmaq üçün

Tədricən ölçülə bilən M. Xnaz. ciddi Markov prosesi (s.m.p.), əgər hər hansı Markov anı üçün m və hamısı və əlaqəsi

(Ciddi Markov əmlak) set W t demək olar ki, əlbəttə keçirir. Yoxlanarkən (5) yalnız simmetrik fəzanın, məsələn, topologiyada hər hansı sağ-fasiləsiz Fellerian ölçülü fəza olduğu forma çoxluqlarını nəzərdən keçirmək kifayətdir. boşluq E. M. p. Feller Markov prosesi isə funksiyası

f davamlı və məhdud olduqda davamlıdır.

ilə sinifdə. m.p. müəyyən alt siniflər fərqləndirilir. Markov keçid funksiyası P( t, x, V), metrik lokal kompakt məkanda müəyyən edilir E, stoxastik davamlı:

Hər bir nöqtənin hər hansı U məhəlləsi üçün O zaman operatorlar sonsuzluqda yoxa çıxan fasiləsiz funksiyalar sinfini qəbul edərlərsə, o zaman funksiyalar P(. t, x, V) standarta cavab verir M. p. X, ilə sağda davamlı yəni. m.p., bunun üçün

Markov prosesinin dayandırılması. Tez-tez fiziki Sonsuz bir maqnit sahəsindən istifadə edən sistemləri təsvir etmək məqsədəuyğundur, ancaq təsadüfi uzunluqlu bir zaman intervalında. Bundan əlavə, hətta maqnit proseslərinin sadə çevrilmələri təsadüfi intervalda müəyyən edilmiş traektoriyaları olan bir prosesə səbəb ola bilər (bax. "Funksional" Markov prosesindən). Bu mülahizələri rəhbər tutaraq sınmış deputat anlayışı təqdim olunur.

Faza fəzasında keçid funksiyasına malik homojen bir maqnit sahəsi olsun və elə bir nöqtə və funksiya olsun ki, üçün və əks halda (xüsusi qeyd-şərtlər yoxdursa, nəzərə alın). Yeni trayektoriya xt(w) a bərabərliyi vasitəsi ilə yalnız ) üçün müəyyən edilir Ftçoxluqdakı iz kimi müəyyən edilir

Zəng edilən yeri təyin edin z zamanında dayandırma (və ya öldürmə) ilə əldə edilən sonlandırıcı Markov prosesi (o.m.p.) ilə. z dəyəri deyilir fasilə anı və ya ömrün vaxtı, o. m.p. Yeni prosesin faza məkanı s-cəbrinin izinin olduğu yerdir E. Keçid funksiyası o. m.p. müəyyən edilmiş Proses X(t) üçün məhdudiyyətdir. stricly Markov prosesi və ya standart Markov prosesi, əgər onun müvafiq xassəsi varsa, xitam verməyən MP o kimi qəbul edilə bilər. m.p. qırılma anı ilə Heterojen o. m.p. oxşar şəkildə müəyyən edilir. M.

Markov prosesləri və diferensial tənliklər. Broun hərəkəti tipli MPlər parabolik diferensial tənliklərlə sıx bağlıdır. növü. Keçid sıxlığı p(s, x, t, y) diffuziya prosesi, müəyyən əlavə fərziyyələrə əsasən, Kolmoqorovun tərs və birbaşa diferensial tənliklərini təmin edir:

Funksiya p( s, x, t, y)., (6) - (7) tənliklərinin Yaşıl funksiyasıdır və diffuziya proseslərini qurmaq üçün ilk məlum üsullar (6) - (7) diferensial tənliklər üçün bu funksiyanın mövcudluğu haqqında teoremlərə əsaslanırdı. Vaxt baxımından homogen bir proses üçün operator L( s, x)= L(x).on hamar funksiyalar xarakteristikası ilə üst-üstə düşür. operator M. səh (bax "Keçid operatorları yarımqrupu").

Riyaziyyat. müxtəlif funksionalların diffuziya proseslərindən gözləntiləri (1) differensial tənliyi üçün müvafiq sərhəd məsələlərinin həlli kimi xidmət edir. Qoy - riyazi. ölçüdə gözlənti Onda funksiya bu anda təmin edir s tənliyi (6) və şərt

Eynilə, funksiya

ilə qane edir s tənliyi

və şərt və 2 ( T, x) = 0.

tt sərhədə ilk çatma anı olsun dD bölgə prosesin traektoriyası Sonra, müəyyən şərtlər altında, funksiyası

tənliyini təmin edir

və dəstdə cp dəyərlərini qəbul edir

Ümumi xətti parabolik üçün 1-ci sərhəd məsələsinin həlli. 2-ci dərəcəli tənliklər

şəklində kifayət qədər ümumi fərziyyələr altında yazıla bilər

L operatoru və funksiyaları işlədiyi halda s, f asılı olmayın s, Xətti elliptikin həlli üçün (9) oxşar təsvir də mümkündür. tənliklər Daha dəqiq desək, funksiya

müəyyən fərziyyələr altında problemin həlli var

L operatorunun degenerasiyası halında (del b() s, x) = 0 ).və ya sərhəd dD kifayət qədər "yaxşı" deyilsə, sərhəd dəyərləri (9), (10) funksiyaları tərəfindən ayrı-ayrı nöqtələrdə və ya bütün dəstlərdə qəbul edilə bilməz; Operator üçün müntəzəm sərhəd nöqtəsi anlayışı L ehtimal xarakterli şərhə malikdir. Sərhədin nizamlı nöqtələrində sərhəd qiymətləri (9), (10) funksiyaları ilə əldə edilir. (8), (11) məsələlərinin həlli bizə müvafiq diffuziya proseslərinin xassələrini və onların funksionallarını öyrənməyə imkan verir.

Məsələn, (6), (7) tənliklərinin həllərinə etibar etməyən MP-lərin qurulması üsulları var. üsul stokastik diferensial tənliklər,ölçünün mütləq fasiləsiz dəyişməsi və s. Bu hal (9), (10) düsturları ilə birlikdə bizə (8) tənliyi üçün sərhəd məsələlərinin xassələrini, habelə həllinin xassələrini ehtimal əsasında qurmağa və öyrənməyə imkan verir. müvafiq elliptik. tənliklər

Stokastik diferensial tənliyin həlli matrisin degenerasiyasına həssas olmadığı üçün b( s, x), Bu elliptik və parabolik diferensial tənlikləri degenerasiya etmək üçün həllər qurmaq üçün ehtimal metodlarından istifadə edilmişdir. N. M. Krılov və N. N. Boqolyubovun orta hesablama prinsipinin stoxastik diferensial tənliklərə genişləndirilməsi (9) istifadə edərək elliptik və parabolik diferensial tənliklər üçün müvafiq nəticələr əldə etməyə imkan verdi. Məlum oldu ki, ehtimal mülahizələrindən istifadə etməklə ən yüksək törəmədə kiçik parametrli bu tip tənliklərin həllərinin xassələrinin öyrənilməsinin müəyyən çətin məsələlərini həll etmək mümkün olub. (6) tənliyi üçün 2-ci sərhəd məsələsinin həlli də ehtimal mənasına malikdir. Sərhədsiz domen üçün sərhəd məsələlərinin tərtibi müvafiq diffuziya prosesinin təkrarlanması ilə sıx bağlıdır.

Zaman-homogen proses (L s-dən asılı deyil) vəziyyətində, tənliyin müsbət həlli, çoxalma sabitinə qədər, MP-nin stasionar paylanma sıxlığı ilə müəyyən fərziyyələr altında üst-üstə düşür qeyri-xətti paraboliklər üçün sərhəd məsələlərini nəzərdən keçirərkən faydalı ola bilər. tənliklər. R. 3. Xasminski.

yanan.: Markov A. A., "İzvestiya. Kazan Universitetinin fizika-riyaziyyat cəmiyyəti", 1906, cild 15, № 4, səh. 135-56; V ə ş ə l i ə r L., "Ann. alim. Ecole norma, super.", 1900, v. 17, səh. 21-86; Kolmogorov A.N., "Riyaziyyat. Ann.", 1931, Bd 104, S. 415-458; rus. trans. - "Uspekhi Matematicheskikh Nauk", 1938, əsr. 5, səh. 5-41; Zhun Kai-lai, Homogen Markov zəncirləri, trans. İngilis dilindən, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, səh. 417-36; Dynkin E.B., Yushkevich A.A., "Ehtimal nəzəriyyəsi və onun tətbiqləri", 1956, 1-ci cild, əsr. 1, səh. 149-55; Xant J.-A., Markov prosesləri və potensialları, trans. İngilis dilindən, M., 1962; D e l l a ş e r i K., Tutumlar və təsadüfi proseslər, trans. fransız dilindən, M., 1975; Dynk və E.V., Markov prosesləri nəzəriyyəsinin əsasları, M., 1959; onu, Markov Prosesləri, M., 1963; G and h man I. I., S k o r o x o d A. V., Theory of təsadüfi proseslər, cild 2, M., 1973; Freidlin M.I., kitabda: Elmin nəticələri. Ehtimal nəzəriyyəsi, riyazi statistika. - Nəzəri kibernetika. 1966, M., 1967, s. 7-58; X a sminskiy R. 3., “Ehtimal nəzəriyyəsi və onun tətbiqləri”, 1963, cild 8, in . 1, səh. 3-25; Ventzel A.D., Freidlin M.İ., Kiçik təsadüfi pozuntuların təsiri altında dinamik sistemlərdə dalğalanmalar, M., 1979; Blumental R. M., G e t o r R. K., Markov prosesləri və potensial nəzəriyyə, N.Y.-L., 1968; Getоor R. K., Markov prosesləri: Ray prosesləri və düzgün proseslər, V., 1975; Kuznetsov S. E., “Ehtimal nəzəriyyəsi və onun tətbiqləri”, 1980, cild 25, əsr. 2, səh. 389-93.

Markov prosesləri 1907-ci ildə alimlər tərəfindən əldə edilmişdir. O dövrün aparıcı riyaziyyatçıları bu nəzəriyyəni inkişaf etdirdilər, bəziləri hələ də təkmilləşdirirlər. Bu sistem digər elm sahələrinə də yayılır. Praktiki Markov zəncirləri bir insanın gözləmə vəziyyətində olması lazım olan müxtəlif sahələrdə istifadə olunur. Ancaq sistemi aydın şəkildə başa düşmək üçün şərtlər və müddəaları bilmək lazımdır. Markov prosesini təyin edən əsas amil təsadüfilik hesab olunur. Düzdür, qeyri-müəyyənlik anlayışına bənzəmir. Onun müəyyən şərtləri və dəyişənləri var.

Təsadüfilik amilinin xüsusiyyətləri

Bu şərt statik sabitliyə, daha dəqiq desək, qeyri-müəyyənlik şəraitində nəzərə alınmayan qanunlarına tabedir. Öz növbəsində, bu meyar ehtimalların dinamikasını tədqiq edən alimin qeyd etdiyi kimi, Markov prosesləri nəzəriyyəsində riyazi metodlardan istifadə etməyə imkan verir. Onun yaratdığı əsər birbaşa olaraq bu dəyişənlərlə bağlı idi. Öz növbəsində, hal və keçid anlayışlarına malik olan, stoxastik və riyazi məsələlərdə də istifadə olunan tədqiq edilmiş və işlənmiş təsadüfi proses bu modellərin işləməsini mümkün edir. Digər şeylərlə yanaşı, digər mühüm tətbiqi nəzəri və praktiki elmləri təkmilləşdirməyə imkan verir:

• diffuziya nəzəriyyəsi;
• növbə nəzəriyyəsi;
• etibarlılıq nəzəriyyəsi və başqa şeylər;
• kimya;
• fizika;
• Mexanika.

Planlaşdırılmamış amilin əsas xüsusiyyətləri

Bu Markov prosesi təsadüfi bir funksiya ilə müəyyən edilir, yəni arqumentin istənilən qiyməti verilmiş qiymət və ya əvvəlcədən hazırlanmış formada olan biri hesab olunur. Nümunələr daxildir:

• dövrədə vibrasiya;
• hərəkət sürəti;
• müəyyən bir sahədə səthin pürüzlülüyü.

Həm də ümumiyyətlə qəbul edilir ki, təsadüfi funksiya faktı zamandır, yəni indeksləşdirmə baş verir. Təsnifat hal və arqument formasına malikdir. Bu proses həm diskret, həm də davamlı vəziyyətlər və ya zamanla ola bilər. Üstəlik, hallar fərqlidir: hər şey ya bu və ya digər formada, ya da eyni vaxtda baş verir.

Təsadüfilik anlayışının ətraflı təhlili

Açıq analitik formada zəruri performans göstəriciləri ilə riyazi modeli qurmaq olduqca çətin idi. Gələcəkdə bu tapşırığı həyata keçirmək mümkün oldu, çünki Markov təsadüfi prosesi yarandı. Bu anlayışı ətraflı təhlil edərək bir teorem çıxarmaq lazımdır. Markov prosesi əvvəlcədən proqramlaşdırılmamış mövqeyini və vəziyyətini dəyişmiş fiziki sistemdir. Beləliklə, orada təsadüfi bir prosesin baş verdiyi ortaya çıxır. Məsələn: kosmik orbit və ona buraxılan gəmi. Nəticə yalnız bəzi qeyri-dəqiqliklər və düzəlişlər səbəbindən əldə edildi, bu olmadan göstərilən rejim həyata keçirilməzdi; Davam edən proseslərin əksəriyyəti təsadüfi və qeyri-müəyyənliklə xarakterizə olunur.

Əslində, demək olar ki, nəzərdən keçirilə biləcək hər hansı bir variant bu amilə tabe olacaq. Təyyarə, texniki cihaz, yeməkxana, saat - bütün bunlar təsadüfi dəyişikliklərə məruz qalır. Üstəlik, bu funksiya real dünyada gedən hər hansı bir prosesə xasdır. Bununla belə, bu, fərdi olaraq konfiqurasiya edilmiş parametrlərə aid olmadığı müddətcə, baş verən pozğunluqlar deterministik olaraq qəbul edilir.

Markov təsadüfi prosesinin konsepsiyası

İstənilən texniki və ya mexaniki cihazın dizaynı yaradıcını müxtəlif amilləri, xüsusən qeyri-müəyyənlikləri nəzərə almağa məcbur edir. Təsadüfi dalğalanmaların və pozuntuların hesablanması şəxsi maraq anında, məsələn, avtopilotun həyata keçirilməsi zamanı yaranır. Fizika və mexanika kimi elmlərdə öyrənilən bəzi proseslər belədir.

Ancaq onlara diqqət yetirmək və hərtərəfli araşdırma aparmaq dərhal lazım olduğu anda başlamalıdır. Markov təsadüfi prosesinin aşağıdakı tərifi var: gələcək növün ehtimal xarakteristikası onun müəyyən bir anda olduğu vəziyyətdən asılıdır və sistemin necə göründüyü ilə heç bir əlaqəsi yoxdur. Deməli, bu konsepsiya onu göstərir ki, yalnız ehtimal nəzərə alınmaqla və arxa planı unudaraq nəticəni proqnozlaşdırmaq olar.

Konsepsiyanın ətraflı təfsiri

Hazırda sistem müəyyən vəziyyətdədir, keçid və dəyişir və bundan sonra nə olacağını proqnozlaşdırmaq mahiyyətcə mümkün deyil. Amma ehtimalı nəzərə alsaq, prosesin müəyyən formada başa çatacağını və ya əvvəlkini saxlayacağını deyə bilərik. Yəni keçmişi unudaraq gələcək indidən yaranır. Sistem və ya proses yeni vəziyyətə daxil olduqda, tarix adətən buraxılır. Markov proseslərində ehtimal mühüm rol oynayır.

Məsələn, Geiger sayğacı hissəciklərin sayını göstərir ki, bu da onun gəldiyi andan deyil, müəyyən bir göstəricidən asılıdır. Burada əsas meyar yuxarıdakı meyardır. Praktik tətbiqlərdə təkcə Markov proseslərini deyil, həm də oxşar prosesləri nəzərdən keçirmək olar, məsələn: təyyarələr sistem döyüşlərində iştirak edir, hər biri müəyyən bir rənglə təyin olunur. Bu halda əsas meyar yenə ehtimaldır. Rəqəmlərdə hansı nöqtədə üstünlük olacağı və hansı rəng üçün olduğu bilinmir. Yəni bu amil təyyarələrin ölüm ardıcıllığından deyil, sistemin vəziyyətindən asılıdır.

Proseslərin struktur təhlili

Markov prosesi, ehtimal nəticələri olmayan və əvvəlki tarixi nəzərə almadan sistemin istənilən vəziyyətidir. Yəni gələcəyi indiki vaxta daxil etsəniz və keçmişi buraxsanız. Müəyyən bir zamanın tarixdən əvvəlki ilə həddindən artıq doyması çoxölçülüliyə gətirib çıxaracaq və zəncirlərin mürəkkəb konstruksiyaları ilə nəticələnəcəkdir. Buna görə də, bu sistemləri minimal ədədi parametrlərə malik sadə sxemlərdən istifadə edərək öyrənmək daha yaxşıdır. Nəticə etibarı ilə bu dəyişənlər müəyyənedici hesab olunur və bəzi amillərlə şərtlənir.

Markov proseslərinin nümunəsi: o anda yaxşı işlək vəziyyətdə olan işləyən texniki cihaz. Bu vəziyyətdə, cihazın uzun müddət işləməyə davam etməsi ehtimalı maraq doğurur. Ancaq avadanlıqları sazlanmış kimi qəbul etsək, cihazın əvvəllər nə qədər işlədiyi və təmir edilib-edilməməsi barədə məlumat olmadığı üçün bu seçim artıq nəzərdən keçirilən prosesə aid olmayacaq. Lakin bu iki zaman dəyişənini əlavə edib sistemə daxil etsək, onda onun vəziyyətini Markoviana aid etmək olar.

Diskret vəziyyətin və zamanın davamlılığının təsviri

Markov proses modelləri tarixdən əvvəlki dövrə laqeyd yanaşmağın zəruri olduğu bir vaxtda istifadə olunur. Təcrübədə tədqiqat üçün diskret, davamlı vəziyyətlərə ən çox rast gəlinir. Belə vəziyyətlərə misal olaraq aşağıdakıları göstərmək olar: avadanlığın strukturuna əməliyyat şəraitində uğursuz ola bilən komponentlər daxildir və bu, planlaşdırılmamış, təsadüfi bir hərəkət kimi baş verir. Nəticədə, sistemin vəziyyəti bu və ya digər elementin təmirinə məruz qalır, bu anda onlardan biri işləyəcək və ya hər ikisi düzəldiləcək və ya əksinə, tamamilə düzəldiləcəkdir.

Diskret Markov prosesi ehtimal nəzəriyyəsinə əsaslanır və eyni zamanda sistemin bir vəziyyətdən digərinə keçididir. Üstəlik, təsadüfən nasazlıqlar və təmirlər baş versə belə, bu amil dərhal baş verir. Belə bir prosesi təhlil etmək üçün vəziyyət qrafiklərindən, yəni həndəsi diaqramlardan istifadə etmək daha yaxşıdır. Bu vəziyyətdə sistem vəziyyətləri müxtəlif rəqəmlərlə göstərilir: üçbucaqlar, düzbucaqlılar, nöqtələr, oxlar.

Bu prosesin modelləşdirilməsi

Diskret vəziyyətləri olan Markov prosesləri ani olaraq baş verən və nömrələnə bilən keçid nəticəsində sistemlərin mümkün modifikasiyasıdır. Məsələn, siz qovşaqlar üçün oxlardan vəziyyət qrafiki qura bilərsiniz, burada hər biri müxtəlif istiqamətli uğursuzluq amillərinin yolunu, iş vəziyyətini və s. yolunu göstərəcək. Gələcəkdə hər hansı bir sual yarana bilər: məsələn, bütün həndəsi elementlərin olmaması düzgün istiqamətə yönəldin, çünki prosesdə hər bir node pisləşə bilər. İşləyərkən qısa dövrələri nəzərə almaq vacibdir.

Davamlı vaxt Markov prosesi verilənlərin əvvəlcədən müəyyən edilmədiyi zaman baş verir, təsadüfi baş verir. Keçidlər əvvəllər planlaşdırılmamışdı və istənilən vaxt sıçrayışlarla baş verirdi. Burada yenə də ehtimal böyük rol oynayır. Lakin, əgər mövcud vəziyyət yuxarıda göstərilənlərə aiddirsə, onda təsvir üçün riyazi model işlənib hazırlanmalı olacaq, lakin imkan nəzəriyyəsini başa düşmək vacibdir.

Ehtimal nəzəriyyələri

Bu nəzəriyyələr indi və sonra müəyyən olan deterministik olanlardan çox, təsadüfi nizam, hərəkət və amillər kimi xarakterik xüsusiyyətlərə malik olan ehtimala əsaslanan riyazi problemləri nəzərdən keçirir. Nəzarət olunan Markov prosesinin ehtimal faktoru var və ona əsaslanır. Üstəlik, bu sistem müxtəlif şərtlərdə və vaxt intervallarında anında istənilən vəziyyətə keçmək qabiliyyətinə malikdir.

Bu nəzəriyyəni praktikada tətbiq etmək üçün ehtimal və onun tətbiqləri haqqında mühüm biliyə sahib olmaq lazımdır. Əksər hallarda hamı gözlənti vəziyyətindədir ki, bu da ümumi mənada sözügedən nəzəriyyədir.

Ehtimal nəzəriyyəsinin nümunələri

Bu vəziyyətdə Markov proseslərinin nümunələrinə aşağıdakılar daxildir:

• kafe;
• bilet kassaları;
• təmir sexləri;
• müxtəlif təyinatlı stansiyalar və s.

Bir qayda olaraq, insanlar bu sistemlə hər gün qarşılaşırlar, bu gün növbə adlanır. Belə bir xidmətin mövcud olduğu obyektlərdə prosesdə təmin olunan müxtəlif müraciətlər tələb oluna bilər.

Gizli Proses Modelləri

Belə modellər statikdir və orijinal prosesin əməliyyatını kopyalayır. Bu halda, əsas xüsusiyyət həll edilməli olan naməlum parametrlərin monitorinqi funksiyasıdır. Nəticədə, bu elementlər təhlildə, təcrübədə və ya müxtəlif obyektlərin tanınması üçün istifadə edilə bilər. Adi Markov prosesləri gizli modeldə görünən keçidlərə və ehtimala əsaslanır, yalnız vəziyyətin təsirinə məruz qalan naməlum dəyişənlər müşahidə olunur;

Gizli Markov modellərinin əsas açıqlanması

O, həmçinin digər dəyərlər arasında ehtimal paylanmasına malikdir, nəticədə tədqiqatçı simvollar və dövlətlərin ardıcıllığını görəcək. Hər bir hərəkətin digər dəyərlər arasında ehtimal paylanması var, buna görə də gizli model yaradılan ardıcıl vəziyyətlər haqqında məlumat verir. Onların ilk qeydləri və qeydləri ötən əsrin altmışıncı illərinin sonlarında ortaya çıxdı.

Sonra onlar nitqin tanınması və bioloji məlumatların analizatorları kimi istifadə olunmağa başladılar. Bundan əlavə, gizli modellər yazı, hərəkət və kompüter elmlərinə yayıldı. Həmçinin, bu elementlər əsas prosesin işini təqlid edir və statik olaraq qalır, lakin buna baxmayaraq, daha fərqli xüsusiyyətlər var. Bu fakt xüsusilə birbaşa müşahidə və ardıcıllığın yaradılmasına aiddir.

Stasionar Markov prosesi

Bu şərt həm homojen keçid funksiyası, həm də əsas və tərifinə görə təsadüfi hərəkət hesab edilən stasionar paylanma üçün mövcuddur. Verilmiş proses üçün faza məkanı sonlu çoxluqdur, lakin bu vəziyyətdə ilkin diferensiallaşma həmişə mövcuddur. Bu prosesdə keçid ehtimalları zaman şərtləri və ya əlavə elementlər əsasında nəzərə alınır.

Markov modellərinin və proseslərinin ətraflı öyrənilməsi cəmiyyətin həyatının və fəaliyyətinin müxtəlif sahələrində tarazlığın təmin edilməsi məsələsini ortaya qoyur. Bu sənayenin elmə və kütləvi xidmətlərə təsir etdiyini nəzərə alsaq, eyni nasaz saat və ya avadanlığın hər hansı bir hadisəsinin və ya hərəkətinin nəticəsini təhlil etmək və proqnozlaşdırmaqla vəziyyəti düzəltmək olar. Markov prosesinin imkanlarından tam istifadə etmək üçün onları ətraflı başa düşməyə dəyər. Axı, bu cihaz təkcə elmdə deyil, həm də oyunlarda geniş tətbiq tapdı. Təmiz formada bu sistem adətən nəzərə alınmır və istifadə olunarsa, yalnız yuxarıda qeyd olunan modellər və diaqramlar əsasında qurulur.

Təsadüfi proses şəklində inkişaf edən bir çox əməliyyatların riyazi təsviri üçün Markov təsadüfi prosesləri üçün ehtimal nəzəriyyəsində hazırlanmış riyazi aparat uğurla tətbiq oluna bilər.

Funksiya X(t) hər hansı bir arqument üçün dəyəri varsa təsadüfi adlanır t təsadüfi dəyişəndir.

Təsadüfi funksiya X(t) arqumenti zaman olan , adlanır təsadüfi proses .

Markov prosesləri təsadüfi proseslərin xüsusi növüdür. Markov proseslərinin təsadüfi proseslərin digər sinifləri arasında xüsusi yeri aşağıdakı hallarla bağlıdır: Markov prosesləri üçün bir çox praktiki məsələləri həll etməyə imkan verən riyazi aparat yaxşı işlənib hazırlanmışdır; Markov proseslərinin köməyi ilə kifayət qədər mürəkkəb sistemlərin davranışını (dəqiq və ya təxminən) təsvir etmək olar.

Tərif. Sistemdə baş verən təsadüfi proses S, çağırdı Markovian (və ya sonradan təsirsiz proses), əgər aşağıdakı xüsusiyyətə malikdirsə: istənilən an üçün t 0 sistemin gələcəkdə hər hansı bir vəziyyətinin olma ehtimalı (ilə t > t 0) yalnız indiki vəziyyətindən asılıdır (ilə t = t 0) və S sisteminin bu vəziyyətə nə vaxt və necə gəldiyindən asılı deyil. Yəni Markov təsadüfi prosesində prosesin gələcək inkişafı onun əvvəlki tarixindən asılı deyil.

Markov proseslərinin təsnifatı . Markov təsadüfi proseslərin təsnifatı funksiya qiymətləri çoxluğunun davamlılığı və ya diskretliyindən asılı olaraq həyata keçirilir. X(t) və parametr t. Markov təsadüfi proseslərinin aşağıdakı əsas növləri var:

· diskret vəziyyətlərlə və diskret vaxtla (Markov zənciri);

· fasiləsiz vəziyyətlərlə və diskret vaxtla (Markov ardıcıllığı);

· diskret hallarla və fasiləsiz zamanla (fasiləsiz Markov zənciri);

· davamlı vəziyyət və fasiləsiz vaxt ilə.

Burada yalnız diskret hallara malik Markov prosesləri nəzərdən keçiriləcək S 1, S 2,…, S n. Yəni, bu dövlətlər bir-birinin ardınca yenidən nömrələnə bilər və prosesin özü ondan ibarətdir ki, sistem təsadüfi olaraq öz vəziyyətini qəfil dəyişdirir.

Dövlət qrafiki. Diskret vəziyyətləri olan Markov prosesləri vəziyyətlərin kvadratlarla göstərildiyi vəziyyət qrafiki adlanan qrafikdən istifadə etməklə rahat şəkildə təsvir edilmişdir (Şəkil 1.1.). S1, S2, ... sistemləri S, və oxlar vəziyyətdən vəziyyətə mümkün keçidləri göstərir. Qrafik yalnız birbaşa keçidləri qeyd edir, digər dövlətlərdən keçidləri deyil. Əvvəlki vəziyyətdə mümkün gecikmələr "döngü", yəni müəyyən bir vəziyyətdən eyni vəziyyətə yönəldilmiş ox kimi təsvir edilmişdir. Sistemin vəziyyətlərinin sayı sonlu və ya sonsuz ola bilər (lakin hesablana bilər).

düyü. 3.1. Sistem vəziyyəti qrafiki S

Tapşırıq 1. Sistem S– beş ştatdan birində ola bilən avtomobil.

S 1- yaxşı vəziyyətdə, işlək;

S 2– nasaz, yoxlama gözləyən;

S 3- yoxlayır;

S 4- təmir olunur;

S 5- silinmiş.

Sistem vəziyyətlərinin qrafikini qurun.

Tapşırıq 2. Texniki cihaz S 2 qovşaqdan ibarətdir: 1 və 2, hər biri istənilən vaxt uğursuz ola bilər. Hər node yalnız 2 vəziyyətə malik ola bilər. 1 – istismara yararlı, 2 – nasaz. Sistem vəziyyətlərinin qrafikini qurun.

Tapşırıq 3. Proses zamanı qovşaqların təmir olunmadığını nəzərə alaraq əvvəlki məsələnin şərtlərinə uyğun vəziyyət qrafikini qurun.

Tapşırıq 4. Texniki cihaz S 2 qovşaqdan ibarətdir: 1 və 2, hər biri istənilən vaxt uğursuz ola bilər. Hər bir qurğu, bərpa etməyə başlamazdan əvvəl, nasazlığı lokallaşdırmaq üçün yoxlanılır. Sistem vəziyyətləri 2 indekslə nömrələnir: S ij (i- birinci qovşağın vəziyyəti, j– ikinci düyünün vəziyyəti). Hər bir node üç vəziyyətə malikdir (işləmə, yoxlama, bərpa).

Markov təsadüfi prosesləri görkəmli rus riyaziyyatçısı A.A. Markov (1856-1922) ilk dəfə təsadüfi dəyişənlərin ehtimal əlaqəsini öyrənməyə başlamış və “ehtimal dinamikası” adlandırıla bilən bir nəzəriyyə yaratmışdır. Sonradan bu nəzəriyyənin əsasları təsadüfi proseslərin ümumi nəzəriyyəsi, eləcə də diffuziya prosesləri nəzəriyyəsi, etibarlılıq nəzəriyyəsi, növbə nəzəriyyəsi və s. kimi mühüm tətbiqi elmlər üçün ilkin əsas oldu. Hal-hazırda Markov prosesləri nəzəriyyəsi və onun tətbiqləri mexanika, fizika, kimya və s. kimi elmlərin müxtəlif sahələrində geniş istifadə olunur.

Riyazi aparatın müqayisəli sadəliyi və aydınlığı, alınan həllərin yüksək etibarlılığı və dəqiqliyi sayəsində Markov prosesləri əməliyyatların tədqiqi və optimal qərarların qəbulu nəzəriyyəsi ilə məşğul olan mütəxəssislərin xüsusi diqqətini cəlb etmişdir.

Yuxarıda qeyd olunan sadəliyə və aydınlığa baxmayaraq, Markov zəncirləri nəzəriyyəsinin praktiki tətbiqi nümunələr təqdim etməzdən əvvəl müzakirə edilməli olan bəzi terminlər və əsas prinsiplər haqqında bilik tələb edir.

Göstərildiyi kimi, Markov təsadüfi proseslər təsadüfi proseslərin (SP) xüsusi hallarına aiddir. Öz növbəsində, təsadüfi proseslər təsadüfi funksiya (SF) konsepsiyasına əsaslanır.

Təsadüfi funksiya, arqumentin istənilən dəyəri üçün dəyəri təsadüfi dəyişən (RV) olan funksiyadır. Başqa sözlə, SF funksiyası adlandırıla bilər ki, hər testdə əvvəllər məlum olmayan bir forma alır.

SF-nin belə nümunələri bunlardır: elektrik dövrəsində gərginliyin dəyişməsi, sürət həddi olan yolun bir hissəsində avtomobilin sürəti, müəyyən bir ərazidə hissənin səthinin pürüzlülüyü və s.

Bir qayda olaraq, hesab olunur ki, SF-nin arqumenti zamandırsa, belə bir proses təsadüfi adlanır. Qərar nəzəriyyəsinə daha yaxın təsadüfi proseslərin başqa bir tərifi var. Bu halda təsadüfi proses hər hansı fiziki və ya texniki sistemin vəziyyətlərinin zamana və ya hər hansı digər arqumentə görə təsadüfi dəyişmə prosesi kimi başa düşülür.

Görmək asandır ki, əgər bir vəziyyəti təyin etsəniz və bir asılılığı təsvir etsəniz, belə bir asılılıq təsadüfi bir funksiya olacaqdır.

Təsadüfi proseslər vəziyyətlərin növlərinə və t arqumentinə görə təsnif edilir. Bu halda təsadüfi proseslər diskret və ya davamlı hallarla və ya zamanla ola bilər.

Təsadüfi proseslərin təsnifatının yuxarıdakı nümunələrinə əlavə olaraq, daha bir mühüm xüsusiyyət var. Bu xassə təsadüfi proseslərin halları arasında ehtimal əlaqəsini təsvir edir. Beləliklə, məsələn, təsadüfi bir prosesdə sistemin hər bir sonrakı vəziyyətə keçmə ehtimalı yalnız əvvəlki vəziyyətdən asılıdırsa, belə bir proses sonrakı təsirsiz proses adlanır.

Əvvəlcə qeyd edək ki, diskret vəziyyətləri və vaxtı olan təsadüfi proses təsadüfi ardıcıllıq adlanır.

Əgər təsadüfi ardıcıllıq Markov xassəsinə malikdirsə, o zaman Markov zənciri adlanır.

Digər tərəfdən, əgər təsadüfi prosesdə hallar diskretdirsə, zaman fasiləsizdirsə və sonrakı effekt xassəsi qorunub saxlanılırsa, onda belə təsadüfi proses fasiləsiz vaxta malik Markov prosesi adlanır.

Əgər proses zamanı keçid ehtimalları sabit qalırsa, Markov təsadüfi prosesinin homojen olduğu deyilir.

Markov zənciri iki şərt verildiyi təqdirdə verilmiş sayılır.

1. Matris şəklində keçid ehtimalları toplusu var:

2. İlkin ehtimalların vektoru var

sistemin ilkin vəziyyətini təsvir edir.

Matris formasına əlavə olaraq, Markov zəncirinin modeli yönəldilmiş çəkili qrafik kimi təqdim edilə bilər (şək. 1).

düyü. 1

Markov zənciri sisteminin vəziyyətlərinin çoxluğu sistemin sonrakı davranışı nəzərə alınmaqla müəyyən bir şəkildə təsnif edilir.

1. Geri dönməz dəst (şək. 2).

Şəkil 2.

Geri dönməyən çoxluq vəziyyətində, bu dəst daxilində istənilən keçid mümkündür. Sistem bu dəsti tərk edə bilər, lakin ona qayıda bilməz.

2. Dəsti geri qaytarın (şək. 3).

düyü. 3.

Bu halda dəst daxilində istənilən keçidlər də mümkündür. Sistem bu setə daxil ola bilər, lakin onu tərk edə bilməz.

3. Erqodik dəst (şək. 4).

düyü. 4.

Erqodik dəst vəziyyətində dəst daxilində istənilən keçid mümkündür, lakin dəstdən və dəstə keçidlər istisna edilir.

4. Absorbsiya dəsti (şək. 5)

düyü. 5.

Sistem bu setə daxil olduqda proses başa çatır.

Bəzi hallarda prosesin təsadüfi olmasına baxmayaraq, paylanma qanunlarına və ya keçid ehtimallarının parametrlərinə müəyyən dərəcədə nəzarət etmək mümkündür. Belə Markov zəncirləri idarə olunan adlanır. Aydındır ki, idarə olunan Markov zəncirlərinin (CMC) köməyi ilə qərar qəbuletmə prosesi daha sonra müzakirə ediləcəyi kimi xüsusilə təsirli olur.

Diskret Markov zəncirinin (DMC) əsas xüsusiyyəti prosesin ayrı-ayrı addımları (mərhələləri) arasında vaxt intervallarının determinizmidir. Lakin çox vaxt real proseslərdə bu xassə müşahidə olunmur və prosesin Markov xassəsi qorunsa da, intervallar bəzi paylanma qanunu ilə təsadüfi olur. Belə təsadüfi ardıcıllıqlar yarı-Markov adlanır.

Bundan əlavə, yuxarıda qeyd olunan müəyyən vəziyyət dəstlərinin mövcudluğunu və olmamasını nəzərə alaraq, Markov zəncirləri ən azı bir udma vəziyyəti olduqda udma və ya keçid ehtimalları erqodik bir çoxluq təşkil edərsə erqodik ola bilər. Öz növbəsində, erqodik zəncirlər müntəzəm və ya tsiklik ola bilər. Tsiklik zəncirlər adi zəncirlərdən onunla fərqlənir ki, müəyyən sayda addımlar (dövrlər) vasitəsilə keçid zamanı müəyyən vəziyyətə qayıdış baş verir. Adi zəncirlərdə bu xüsusiyyət yoxdur.

Təsadüfi bir proses, dəyərləri zaman parametri ilə indeksləşdirilən təsadüfi dəyişənlər dəsti və ya ailəsidir. Məsələn, sinifdəki şagirdlərin sayı, atmosfer təzyiqi və ya zamana bağlı olaraq həmin sinifdəki temperatur təsadüfi proseslərdir.

Təsadüfi proseslər mürəkkəb stoxastik sistemlərin öyrənilməsində belə sistemlərin fəaliyyətinin adekvat riyazi modelləri kimi geniş istifadə olunur.

Təsadüfi proseslər üçün əsas anlayışlar anlayışlardır proses vəziyyəti Və keçid bir dövlətdən digərinə.

Müəyyən bir zamanda təsadüfi prosesi təsvir edən dəyişənlərin qiymətləri deyilir vəziyyəttəsadüfiproses. Bir vəziyyəti təyin edən dəyişənlərin dəyərləri digər vəziyyəti təyin edən dəyərlərə dəyişirsə, təsadüfi bir proses bir vəziyyətdən digərinə keçid edir.

Təsadüfi prosesin mümkün hallarının sayı (hal fəzası) sonlu və ya sonsuz ola bilər. Mümkün vəziyyətlərin sayı sonlu və ya hesablana biləndirsə (bütün mümkün vəziyyətlərə seriya nömrələri təyin edilə bilər), onda təsadüfi proses çağırılır. diskret vəziyyətlərlə proses. Məsələn, mağazadakı müştərilərin sayı, gün ərzində bankdakı müştərilərin sayı diskret vəziyyətlərlə təsadüfi proseslərlə təsvir olunur.

Təsadüfi bir prosesi təsvir edən dəyişənlər sonlu və ya sonsuz fasiləsiz intervaldan istənilən qiymət ala bilirsə və buna görə də vəziyyətlərin sayı sayılmazdırsa, təsadüfi proses adlanır. davamlı hallarla proses. Məsələn, gün ərzində havanın temperaturu fasiləsiz vəziyyətləri olan təsadüfi bir prosesdir.

Diskret vəziyyətləri olan təsadüfi proseslər bir vəziyyətdən digərinə kəskin keçidlərlə xarakterizə olunur, davamlı vəziyyətləri olan proseslərdə isə keçidlər hamar olur. Bundan sonra biz yalnız tez-tez adlandırılan diskret vəziyyətləri olan prosesləri nəzərdən keçirəcəyik zəncirlər.

ilə işarə edək g(t) diskret vəziyyətləri və mümkün qiymətləri olan təsadüfi prosesdir g(t), yəni. dövrənin mümkün vəziyyətləri, - simvollar vasitəsilə E 0 , E 1 , E 2 , … . Bəzən təbii sıradan 0, 1, 2,... rəqəmləri diskret vəziyyətləri ifadə etmək üçün istifadə olunur.

Təsadüfi proses g(t) adlanır prosesilədiskretvaxt, əgər prosesin vəziyyətdən vəziyyətə keçidi yalnız vaxtın ciddi şəkildə müəyyən edilmiş, əvvəlcədən müəyyən edilmiş anlarında mümkündürsə t 0 , t 1 , t 2 , … . Əgər prosesin vəziyyətdən vəziyyətə keçidi zamanın əvvəllər məlum olmayan hər hansı bir nöqtəsində mümkündürsə, təsadüfi proses adlanır. prosesdavamlı iləvaxt. Birinci halda, keçidlər arasındakı zaman intervallarının deterministik, ikincidə isə təsadüfi dəyişənlər olduğu aydındır.

Diskret-zamanlı proses ya bu proseslə təsvir olunan sistemin strukturu elə olduqda baş verir ki, onun vəziyyətləri zamanın yalnız əvvəlcədən müəyyən edilmiş nöqtələrində dəyişə bilər, ya da prosesi (sistemi) təsvir etmək üçün kifayətdir. zamanın müəyyən nöqtələrində dövlətləri tanıyın. Onda bu məqamları saymaq olar və dövlətdən danışmaq olar E i zamanın bir nöqtəsində t i .

Diskret vəziyyətləri olan təsadüfi proseslər keçidlərin (və ya vəziyyətlərin) qrafiki kimi təsvir edilə bilər, burada təpələri vəziyyətlərə, istiqamətlənmiş qövslər isə bir vəziyyətdən digərinə keçidlərə uyğun gəlir. Əgər dövlətdən E i yalnız bir vəziyyətə keçid mümkündür E j, onda bu fakt keçid qrafikində təpədən yönəldilmiş qövslə əks olunur E i yuxarıya E j(Şəkil 1, a). Şəkil 1, b və 1, c-də göstərildiyi kimi bir vəziyyətdən bir neçə başqa vəziyyətə və bir neçə vəziyyətdən bir vəziyyətə keçidlər keçid qrafikində əks olunur.