POJĘCIE PROCESU LOSOWEGO I JEGO OPIS
Większość wielkości losowych , które zmieniają się wraz ze zmianą pewnego parametru , są one zatem zależne zarówno od przypadku, jak i od wartości tego parametru. Inaczej mówiąc dla opisu wyniku doświadczenia nie wystarcza już punkt przestrzeni , a niezbędna jest funkcja wspomnianego parametru. Jednym z historycznie pierwszych przykładów takich wielkości jest każda współrzędna cząsteczki w tzw. ruchu Browna, która nie tylko jest zmienną losową, ale także zależy od czasu. Innym przykładem są szumy zniekształcające sygnały radiowe, które są zmiennymi losowymi (np. z powodu z wyładowań atmosferycznych), a także zależą od czasu. Także liczba zadań (procesów) w systemie komputerowym, czy liczba pojazdów przejeżdżające przez dane skrzyżowanie są zmiennymi losowymi zależnymi również od czasu. Podkreślmy, że parametrem od którego zależą wymienione (i inne wielkości losowe) zmienne losowe nie musi być czas np. w ruchu turbulentnym prędkość cząsteczki cieczy jest zmienną losową (trójwymiarową) zależną do punktu przestrzeni. W ogólności parametr, o którym mówimy nie musi mieć w ogóle żadnej interpretacji fizycznej. Rozszerzenie teorii prawdopodobieństwa pozwalające badać zmienne losowe zależne od danego parametru nazywa się teorią procesów losowych (przypadkowych,stochastycznych).

Powyższe rozważania prowadzą do następujących definicji.

Definicja 1
Procesem losowym nazywamy rodzinę zmiennych losowych

zależnych od parametru t i określonych na danej przestrzeni probabilistycznej (Ω,A,P).
Innymi słowy proces losowy to losowa funkcja parametru t, czyli taka funkcja, która jest zmienną losowa.
Zmienną losową Xt, którą proces losowy jest w ustalonej chwili nazywamy wartością tego procesu.
Zbiór wartości wszystkich zmiennych losowych , nazywamy przestrzenią stanu procesu losowego lub przestrzenią stanu. Jeśli zbiór jest skończony lub przeliczalny, to mówimy o procesach losowych z czasem dyskretnym. W pierwszym wypadku mamy do czynienia z n-wymiarową zmienną losową, a w drugim z odpowiednim ciągiem zmiennych losowych.
Choć niektóre klasy procesów losowych z czasem dyskretnym (np. łańcuchy Markowa) zasługują na uwagę, to jednak w dalszym ciagu skoncentrujemy się na procesach losowych z czasem ciągłym czyli takich, dla których T jest nieprzeliczalne.
Dla głębszego zrozumienia natury procesu losowego spójrzmy nań jeszcze z innej strony. Jak pamiętamy zmienna losowa przyporządkowywała zdarzeniu losowemu punkt w przestrzeni Rn. W przypadku procesu losowego mamy do czynienia z sytuacją gdy do opisu wyniku doświadczenia niezbędna jest funkcja ciągła, zwana realizacją procesu losowego.
W dalszym ciągu zakładamy, że mamy do czynienia ze skończonymi funkcjami losowymi, a zbiór wszystkich takich funkcji (realizacji) będziemy nazywali przestrzenią realizacji procesu losowego. Prowadzi to do drugiej definicji:

Definicja 2
Procesem losowym nazywamy mierzalną względem P transformację przestrzeni zdarzeń elementarnych Ω w przestrzeni realizacji, przy czym realizacją procesu losowego nazywamy każdą skończoną funkcją rzeczywistą zmiennej .

Definicja powyższa wynika ze spojrzenia na proces losowy jako na funkcję dwóch zmiennych i , ustalając t otrzymujemy zmienną losową , a ustalając ω otrzymujemy realizację.
Na ogół na przestrzeń realizacji procesu losowego narzuca się pewne ograniczenia np. żeby to była przestrzeń Banacha (niezerowa i zwyczajna).
Reasumując: graficznie można przedstawić te dwa punkty widzenia w następujacy sposób.
Pełne oznaczenie procesu losowego ma zatem postać
, lub
przy czym w obu wypadkach zakłada się, że jest określona przestrzeń probabilistyczna .

Ponieważ jednak zależność od ω jako naturalną zwykle się pomija, otrzymujemy:
, lub .
Ponadto, jeśli zbiór T jest zdefiniowany na początku rozważań to pomija się także zapis i w rezultacie otrzymujemy :
Xt, lub X(t). Oznaczenie X(t) może zatem dotyczyć całego procesu losowego, jego jednej realizacji (dla ustalonego ω) lub jego jednej wartości, czyli zmiennej losowej (dla ustalonego t). Z kontekstu jednoznacznie wynika, o co w danym zapisie chodzi. Przejdźmy do zapisu procesu losowego X(t). Będziemy rozpatrywać wyłącznie procesy losowe rzeczywiste (proces losowy zespolony ma postać: X(t) = X1(t) + iX2(t), gdzie X1(t) i X2(t) są procesami losowymi rzeczywistymi).

Ponieważ proces losowy Xt jest zmienną, więc jego pełny opis w chwili t stanowi pełny rozkład prawdopodobieństwa tej zmiennej losowej. Rozkład taki nazywamy jednowymiarowym rozkładem prawdopodobieństwa procesu losowego. Jest on scharakteryzowany przez jednowymiarową dystrybuantę procesu losowego, w postaci :
F(x,t) = P[X(t) < x]

Oczywiście rozkład jednowymiarowy procesu losowego nie charakteryzuje wzajemnej zależności między wartościami procesu (zmiennymi losowymi) w różnych chwilach.
Jest on zatem ogólny tylko wtedy gdy dla dowolnych układow wartości procesu losowego,są ciągami zmiennych losowych niezależnych, co na ogół nie zachodzi. W ogólności musimy zatem rozpatrywać łączny rozkład wartości procesu w różnych chwilach.
Definicja
n-wymiarowym rozkładem prawdopodobieństwa procesu losowego nazywamy łączny rozkład prawdopodobieństwa i jego wartości dla dowolnego układu chwili t1,t2,...,tn , czyli łączny rozkład prawdopodobieństwa wektora losowego [X(t1),X(t2),...,X(tn)] opisany n - wymiarową dystrybuantą procesu losowego : F(x1,t1;x2,t2;...;xn,tn) = P(X(t1) < x1,X(t2) < x2,...,X(tn) < xn)

MOMENTY PROCESU LOSOWEGO

Podobnie jak dla zmiennych losowych również dla procesów losowych definiuje się pewne proste charakterystyki rozkładu, w szczególności momenty. Mając jednowymiarowy rozkład procesu możemy określić jego jednowymiarowe momenty np. zdefiniowane poniżej.

Definicja Wartością średnią procesu losowego X(t) nazywamy funkcję m(t), która jest wartością średnią zmiennej losowej X(t), którą jest proces w chwili t:
m(t) = E[X(t)]

Definicja Wariancją procesu losowego X(t) nazywamy funkcję σ2(t), która jest wariancją zmiennej losowej X(t), którą jest proces w chwili t:
σ2(t) = D2[X(t)] = E[X(t) − m(t)]2

Oczywiście jednowymiarowe momenty procesu losowego nie charakteryzują jego zależności pomiędzy wartościami procesu w różnych chwilach. Żeby opisywać te zależności musimy rozpatrywać wyższe momenty, w szczególności rozpatrzymy 2 różne chwile t1,t2 .

Definicja
Funkcję korelacyjną procesu losowego X(t) definiujemy jako:
Rx(t1,t2) = E{[X(t1) − m(t1)][X(t2) − m(t2)]}

Analogicznie można zdefiniować momenty procesu losowego dla ukladu chwil np.: funkcję korelacyjną rzędu n dana wzorem

Jednak w większości sytuacji praktycznych wystarczy znajomość momentu rzędu 1 i 2 procesu losowego. Teoria procesów losowych oparta na znajomości tych momentów nazywa się teorią korelacyjną procesów losowych. Teoria ta jest ogólna dla procesów losowych normalnych (gaussowskich), tzn. takich, których wszystkie skończenie wymiarowe rozkłady są normalne.
W praktyce zachodzi często potrzeba rozpatrywania kilku procesów losowych (np. w układach sterowania wielowymiarowych z wieloma we i wy). Mówimy wówczas o wektorowych procesach losowych. Ograniczając się do n = 2, czyli do procesu dwuwymiarowego [X(t),Y(t)] rozpatrzmy go w dwóch różnych chwilach. Możemy zdefiniować tzw. funkcję korelacji wzajemnej określoną wzorem:
RXY(t1,t2) = E{[X(t1) − mX(t1)][Y(t2) − mY(t2)]}

Dla odróżnienia funkcje korelacyjne zdefiniowane uprzednio dotyczące pojedynczych procesów losowych nazywa się funkcjami korelacji własnej (autokorelacji) i oznacza przez RXX(t1,t2) i RYY(t1,t2).
Macierz:
nazywa się macierzą korelacyjną procesu wektorowego [X(t),Y(t)].
PROCESY STACJONARNE

Ponieważ ogólna teoria procesów losowych jest dla celów praktycznych zbyt skomplikowana rozpatruje się pewne klasy tych procesów spełniających dodatkowe założenia i upraszczające analizę. W dalszych punktach rozpatrzmy kilka takich klas zaczynając od procesów stacjonarnych. Rozpatruje się procesy stacjonarne w sensie węższym i szerszym.

Definicja
Proces losowy X(t) nazywamy stacjonarnym w węższym sensie, jeśli dla dowolnego , dla dowolnego układu chwil t1,t2,...,tn dla dowolnego h takiego, że zachodzi:
F(x1,t1;x2,t2;...;xn,tn) = F(x1,t1 + h;x2,t2 + h;...;xn,tn + h)
W szczególności dla n = 1 mamy:
F(x,t) = F(x,t + h)
co oznacza, że F(x,t) = F(x), zatem jednowymiarowe momenty takiego procesu nie zależą od t, w szczególności m(t) = m = const.

Dla n = 2 mamy:
F(x1,t1;x2,t2) = F(x1,t1 + h;x2,t2 + h)
czyli
F(x1,t1;x2,t2) = F(x1,x2,τ)
gdzie τ = t2 − t1.
Widzimy zatem, że dla procesu stacjonarnego w węższym sensie wartość średnia m(t), jeśli istnieje jest stała, a funkcja korelacji własnej RXX, jeśli istnieje zależy tylko od τ = t2 − t1.

Definicja
Proces losowy X(t) , dla którego istnieją m(t) i Rx(t1,t2) nazywamy stacjonarnym w szerszym sensie, jeśli m(t) = m = const RX(t1,t2) = RX(τ) , τ = t2 − t1.

Łatwo wykazać twierdzenie:
Twierdzenie
Proces stacjonarny X(t) w węższym sensie, dla którego jest stacjonarny w szerszym sensie.

Dla procesów normalnych (gaussowskich) słuszne jest również twierdzenie odwrotne. Z pojęciem stacjonarności wiąże się pojęcie procesu losowego o przyrostach stacjonarnych.

Definicja
Proces losowy X(t) nazywamy procesem o przyrostach stacjonarnych, jeśli dla dowolnego δ takiego, że proces losowy Y(t) = X(t + δ) − X(t) jest stacjonarny węższym sensie.

PROCESY O PRZYROSTACH NIEZALEŻNYCH I PROCESY MARKOWA

Definicja
Proces losowy X(t) nazywamy procesem o przyrostach niezależnych jeżeli dla dowolnego ukladu (uporządkowany układ chwil) zmienne losowe są niezależne.
Ważną klasą procesów niezależnych stanowią procesy Poissona.
Definicja
Proces losowy X(t) nazywamy procesem Markowa jeśli dla każdego oraz dla dowolnych liczb rzeczywistych zachodzi

Jak widać dla procesu Markowa rozkład warunkowy jego wartości w chwili X(tn) przy danych wartościach zalezy tylko od X(tn − 1). Oznacza to, że własności procesu Markowa w dowolnej chwili tn zależą tylko od jego wartości w tej chwili oraz w chwili tn − 1, a nie zależą od jego wartości w chwilach poprzedzających chwilę tn − 1. Własność ta nazywa się własnością Markowa lub własnością braku pamieci.
Zauważmy, że oznacza to, iż proces Markowa jest w pełni opisany przez dystrybuantę warunkową F(x,y,s,t) = P[X(t) < x | X(s) = y],s < t lub przez łączna dystrybuantę wektora losowego [X(t),X(s)] wraz z dystrybuantą tzw. początkową F(s,y) = P[X(s) < y]. Widzimy zatem, że proces Markowa jest w pełni opisany przez rozkład dwuwymiarowy.

Twierdzenie
Proces losowy X(t) o przyrostach niezależnych, dla którego P[X(t1) = c] = 1 (gdzie c to dowolna stała) jest procesem Markowa (ale nie odwrotnie).

POJĘCIE ZMIENNEJ LOSOWEJ

Podstawowe pojęcia rachunku prawdopodobieństwa:

zdarzenie losowe,
zdarzenie elementarne,
prawdopodobieństwo,
zbiór zdarzeń elementarnych.

Def. Niech E będzie zbiorem zdarzeń elementarnych danego doświadczenia. Funkcję X(e) przyporządkowującą każdemu zdarzeniu elementarnemu eEjedną i tylko jedną liczbę X(e)=x nazywamy zmienną losową.
Przykład:
Z talii ciągniemy jedną kartę. Każdą kartę możnaponumerować, a więc można zdefiniować zmienną losową Xprzybierającą jedną z 52 wartości:x1 = 1, x2 = 2, . . . , x52 = 52.

TYPY ZMIENNYCH LOSOWYCH

Def. Zmienna losowa X jest typu skokowego, jeśli może przyjmować skończoną lub nieskończoną, ale przeliczalną liczbę wartości.
Wartości zmiennej losowej skokowej (określane często jako punkty skokowe) będziemy oznaczać przez x1, x2,..., natomiast prawdopodobieństwa, z jakimi są one realizowane (określane jako skoki), oznaczamy przez p1, p2,...
Def. Zmienna losowa X jest typu ciągłego, jeśli jej możliwe wartości tworzą przedział ze zbioru liczb rzeczywistych.
Dla zmiennej losowej typu ciągłego możliwe jest określenie prawdopodobieństwa, że przyjmuje ona wartość należącą do dowolnego zbioru jej wartości. Sposób rozdysponowania całej "masy" prawdopodobieństwa (równej 1) pomiędzy wartości, jakie przyjmuje dana zmienna losowa, określamy mianem jej rozkładu prawdopodobieństwa.

ZMIENNE LOSOWE DZIELIMY NA:

• CIĄGŁE; ZMIENNA PRZYJMUJE DOWOLNE WARTOŚCI Z OKREŚLONEGO PRZEDZIAŁU (W SZCZEGÓLNOŚCI CAŁY ZBIÓR LICZB RZECZYWISTYCH)

• SKOKOWE (DYSKRETNE); ZMIENNA PRZYJMUJE DOWOLNE WARTOŚCI ZE ZBIORU PRZELICZALNEGO (NP. ZBIÓR LICZB CAŁKOWITYCH Z OKREŚLONEGO PRZEDZIAŁU)


OZNACZENIA (ANALOGICZNIE JAK PRZY CECHACH STATYSTYCZNYCH):

• DUŻE LITERY (X, T, U, ...) - ZMIENNA LOSOWA
• MAŁE LITERY (X, T, U, ...) - WARTOŚCI ZMIENNEJ LOSOWEJ

ROZKŁAD ZMIENNEJ LOSOWEJ SKOKOWEJ

Założenia:
zmienna losowa X typu skokowego przyjmuje wartość x1, x2,... z prawdopodobieństwami, odpowiednio p1, p2,... ,

prawdopodobieństwa p1, p2,... spełniają równość:
gdy zmienna losowa X przyjmuje skończoną liczbę n wielkości,

prawdopodobieństwo p1, p2,... spełniają równość:
gdy zmienna losowa X przyjmuje nieskończoną liczbę wartości.

Def. Zbiór prawdopodobieństw postaci: spełniających równość (1) lub (2) określamy mianem funkcji prawdopodobieństwa zmiennej losowej X typu skokowego.
Def. Dystrybuantą zmiennej losowej X nazywamy funkcję F(x) określoną na zbiorze liczb rzeczywistych jako:

F(x)=P(X<=x)
Własności dystrybuanty

a. P(X ≤ a) = F(a)
b. P(X ≥ a) = − F(a)
c. P(a ≤ X ≤ b) = F(b) − F(a)

Rozkłady zmiennych losowych dyskretnych.

I.
Rozkład dwumianowy (binomialny, Bernoulliego) dotyczy eksperymentu, w wyniku którego możemyotrzymać tylko jedno z dwóch wykluczających się zdarzeń:A - sukces (z prawdopodobieństwem p) lub A¯-niepowodzenie (z pr. q = 1 − p),I dośw. elementarne powtarzane jest niezależnie n razy.I rzut monetą (orzeł lub reszka),I test grupy osób na pewną chorobę (osoba zdrowa lubchora),I ankieta poparcia dla premiera (ankietowany popiera lubnie popiera),I stany różnych telefonów w centralce zakładowej ozadanej porze (numer zajęty lub wolny).

II.
Rozkład PoissonaP(X = k) = e−λ λkk!, λ > 0, k = 0, 1, 2, . . .I rozkład graniczny dla rozkładu dwumianowego przyn → ∞, p → 0,I stosowany w rozkładzie zjawisk rzadkich, np.I liczba błędów typograficznych w książce,I liczba samochodów uczestniczących danego dnia wkolizjach drogowych w dużym mieście,I liczba konfliktów w dostępie do zasobów w siecikomputerowej w ciągu 1 godziny,I liczba błędów lekarskich popełnionych w miesiącu wcałym szpitalu.

Rozkład geometryczny

P(X = k) = (1 − p)k−1p, k = 1, 2, 3, . . .I rozkład opisujący sytuację gdy powtarzamy doświadczenieBernoulliego aż do uzyskania pierwszego sukcesu,I liczba rzutów monetą, aż do uzyskania pierwszego orła,I liczba prób wysłania pakietu pocztą elektroniczną,I liczba prób automatycznego załączenia siecienergetycznej lub systemu zasilania po awarii.

Metody ITERACYJNE

Metody iteracyjne służą do przybliżonego rozwiązywania układów równań. Rozwiązanie otrzymuje się w wyniku pewnego postępowania sekwencyjnego, przy czym w każdym jego kroku uzyskuje się przybliżenie szukanego rozwiązania. Punktem wyjścia jest odgadnięte pierwsze przybliżenie niewiadomych które można zapisać jako wektor «H«(0). Pierwszy krok algorytmu prowadzi do nowego wektora «H»(1).Po k krokach otrzymuje się wektor «H»(k) i następny krok prowadzi do «H»(k+1). Aby iteracja miała sens, proces musi być zbieżny, to znaczy kolejne wyrazy ciągu «H»(k) muszą zdążać do ścisłego rozwiązania wyjściowego układu równań, gdy k zdąża do nieskończoności. Do metod iteracyjnych należą: → schemat jawny, → schemat uwikłany, → Cranka-Nicholsona schemat, → Jacobiego metoda, → Gaussa-Seidela metoda, → metoda zmiennych kierunków.

Iteracyjna metoda Aitkena
Istnieje metoda obliczania wartości wielomianu Lagrange'a w zadanym punkcie, bez obliczania samego wielomianu interpolacyjnego. Służy do tego iteracyjna metoda Aitkena. Oznaczmy przez wielomian który w węzłach , ( ) przyjmuje wartości , :

Co można uogólnić jako:

Aby obliczyć wartość wielomianu interpolacyjnego opartego na n węzłach w dowolnym punkcie a różnym od węzłów, należy obliczyć wartość . Wszystkie wyniki niezbędnych obliczeń wygodnie jest umieścić w macierzy trójkątnej wraz z węzłami oraz ich wartościami (schemat taki nazywamy schematem Aitkena). Rozwiązanie takie jest dogodne zarówno podczas rachunków ręcznych, jak i maszynowych, gdyż podczas obliczania każdej wartości zawsze korzystamy z wartości położonych na lewo w tym samym rzędzie i powyższych.

Metoda Gaussa-Seidla
iteracyjna metoda numeryczna rozwiązywania układów równań liniowych. Stosowana jest głównie do rozwiązywania ogromnych układów równań postaci Ax = b, w których A jest macierzą przekątniowo dominującą. Równania tego typu, obejmujące tysiące a nawet miliony niewiadomych, występują powszechnie w numerycznych metodach rozwiązywania eliptycznych równań różniczkowych cząstkowych, np. równania Laplace'a. Nazwa metody upamiętnia niemieckich matematyków: Carla Friedricha Gaussa i Philippa Ludwiga von Seidla Obecnie metoda Gaussa-Seidla ma charakter czysto akademicki. Dla małych układów równań dużo szybsze są metody bezpośrednie, np. metoda eliminacji Gaussa, natomiast dla ogromnych układów równań lepszą zbieżność zapewniają metody nadrelaksacyjne oraz wielosiatkowe (ang. multigrid).

Metoda Warda - Hale’a
jest metodą iteracyjną, umożliwiającą rozwiązanie równań sieci elektroenergetycznej w oparciu o układ równań nieliniowych wiążących ze sobą P,Q,U i O w każdym węźle. Odpowiednio zależnie od rodzaju węzła wybiera się także zmienne niezależne i zależne oraz przyjmuje część wielkości za znane. Podstawą rozpoczęcia procesu rozwiązywania równań jest przyjęcie rozwiązania wyjściowego (przybliżenie zerowe), z którego wyznacza się rozwiązania po pierwszym kroku iteracyjnym. Rozwiązanie to jest rozwiązaniem wyjściowym drugiego kroku iteracyjnego itd. Jeżeli proces iteracyjny jest zbieżny to kolejne rozwiązania są coraz dokładniejsze, proces przerywa się, gdy różnica między kolejnymi krokami iteracyjnymi jest dostatecznie mała.

Metoda Jacobiego
jest metodą iteracyjną i pozwala nam obliczyć układ n równań z n niewiadomymi Ax = b. Wektor x0 będący początkowym przybliżeniem rozwiązania układu będzie dany (zwykle przyjmuje się go jako wektor złożony z samych zer). Kolejne przybliżenia będziemy obliczać według następującego wzoru:
xn+1=Mx+Nb
gdzie M = I - NA, N jest pewną macierzą kwadratową, I to macierz jednostkowa (złożona z samych zer oprócz głównej przekątnej na której znajdują się jedynki). Macierz współczynników A rozłożymy na sumę trzech macierzy A = L + D + U, gdzie L jest macierzą w której znajdują się elementy których numer wiersza jest większy od numeru kolumny, D to macierz diagonalna z elementami tylko na głównej przekątnej, a U to macierz, w której znajdują się elementy których numery wiersza są mniejsze od numerów kolumny.
W metodzie Jacobiego przyjmiemy, że N=D-1, to wówczas M = -D-1(L+U). By zastosować tą metodę należy najpierw tak zamienić kolejność równań układu, aby na głównej przekątnej były elementy różne od zera. Macierz D-1 otrzymamy po podniesieniu do potęgi -1 wszystkich wartości na głównej przekątnej macierzy D. Metoda ta jest zbieżna dla dowolnego przybliżenia początkowego rozwiązania x0, jeśli promil spektralny -D-1(L+U) jest mniejszy od jeden (promień spektralny to największa wartość bezwzględna z wartości własnej macierzy). W przeciwnym wypadku nie dla każdego przybliżenia początkowego otrzymamy rozwiązanie układu.

Pierwsze 10 testów