Рассмотрим переменную, подчиняющуюся марковскому стохастическому процессу. Предположим, что ее текущее значение равно 10, а изменение в течение года описывается функцией 0(0, 1), где а) - нормальное распределение вероятностей с математическим ожиданием // и стандартным отклонением о. Какое распределение вероятностей описывает изменение этой переменной в течение двух лет?
Изменение переменной через два года описывается суммой двух нормальных распределений с нулевыми математическими ожиданиями и единичными стандартными отклонениями. Поскольку переменная является марковской, эти распределения не зависят друг от друга. Складывая два независимых нормальных распределения, мы получим нормальное распределение, математическое ожидание которого равно сумме математических ожиданий каждого из слагаемых, а дисперсия - сумме их дисперсий. Таким образом, математическое ожидание изменений рассматриваемой переменной на протяжении двух лет равно нулю, а дисперсия - 2,0. Следовательно, изменение значения переменной через два года является случайной величиной с распределением вероятностей ф(0, %/2).
Рассмотрим далее изменение переменной за шесть месяцев. Дисперсия изменений этой переменной в течение одного года равна сумме дисперсий этих изменений на протяжении первых и вторых шести месяцев. Предположим, что эти дисперсии одинаковы. Тогда дисперсия изменений переменной на протяжении шести месяцев равна 0,5, а стандартное отклонение - 1/0,5. Следовательно, распределение вероятностей изменения переменной на протяжении шести месяцев равно ф(0, \ДЩ)
Аналогичные рассуждения позволяют доказать, что изменение переменной на протяжении трех месяцев имеет распределение 0(0, ^/0,25). Вообще говоря, изменение переменной на протяжении временного периода, имеющего длину Т, описывается распределением вероятностей ф(0, \[Т) В частности, изменение переменной за очень короткий промежуток времени, имеющий длину АТ, описывается распределением вероятностей ф(0, л/ДТ).
Квадратные корни в этих выражениях могуг показаться странными. Они возникают изза того, что при анализе марковского процесса дисперсии изменений переменной в последовательные моменты времени складываются, а стандартные отклонения - нет. В нашем примере дисперсия изменений переменной в течение одного года равна 1,0, поэтому дисперсия изменений этой переменной в течение длух лет равна 2,0, а через три года3,0. В то же время стандартные отклоне
ния изменений переменных через два и три года равны \/2 и \/3 соответственно. Строго говоря, мы не должны говорить, что стандартное отклонение изменений переменной за один год равно 1,0 в год. Следует говорить, что оно равно “корню квадратному из единицы в год”. Это объясняет, почему величину неопределенности часто считают пропорциональной квадратному корню из времени.
Винеровские процессы
Процесс, которому подчиняется рассмотренная выше переменная, называется винеровским (Wiener process). Он представляет собой частный случай марковского стохастического процесса, когда математическое ожидание изменений переменной равно нулю, а их дисперсия равна 1,0. Этот процесс широко используется в физике для описания движения частицы, участвующей в большом количестве столкновений с молекулами (это явление называется броуновским движением (Brownian motion)).
Говоря формально, переменная z подчиняется винеровскому процессу, если она имеет следующие свойства.
СВОЙСТВО 1. Изменение Az на протяжении малого промежутка времени At удовлетворяет равенству
Az = ey/At, (12.1)
где е - случайная величина, подчиняющаяся стандартизованному нормальному распределению ф(0,1).
Свойство 2. Величины Az на двух малых промежутках времени At являются независимыми.
Из первого свойства следует, что величина Az имеет нормальное распределение, у которого математическое ожидание равно нулю, стандартное отклонение равно VAt, а дисперсия равна At. Второе свойство означает, что величина 2 подчиняется марковскому процессу.
Рассмотрим увеличение переменной z на протяжении относительно долгого периода времени Т. Это изменение можно обозначить как z(T) - z(0). Его можно представить в виде суммы увеличения переменной г на протяжении N относительно малых промежутков времени, имеющих длину At. Здесь
Следовательно,
z(т)z(o) = J2?^t’ (12.2)
г=1
где?г,г = 1,2,...,ЛГслучайные величины, имеющие распределение вероятностей ф(0,1). Из второго свойства винеровского процесса следует, что величины?
?; являются независимыми друг от друга. Из выражения (12.2) следует, что случайная величина z(T) - z(0) имеет нормальное распределение, математическое ожидание которого равно нулю, дисперсия равна NAt = Т, а стандартное отклонение - у/Т. Эти выводы согласуются с результатами, указанными выше. Пример 12.1
Предположим, что значение г случайной переменной, подчиняющейся винеровскому процессу, в первоначальный момент времени равно 25, а время измеряется годами. В конце первого года значение переменной имеет нормальное распределение с математическим ожиданием, равным 25, и стандартным отклонением, равным 1,0. В конце пятого года значение переменной имеет нормальное распределение с математическим ожиданием, равным 25, и стандартным отклонением, равным л/5, т.е. 2,236. Неопределенность значения переменной в определенный момент в будущем, измеренная его стандартным отклонением, возрастает как квадратный корень из длины прогнозируемого интервала. ?
В математическом анализе широко используется переход к пределу, когда величина малых изменений стремится к нулю. Например, при At -> 0 величина Ах = aAt превращается в величину dx = adt. При анализе стохастических процессов используются аналогичные обозначения. Например, при At -> 0 описанный выше процесс Az стремится к винеровскому процессу dz.
На рис. 12.1 показано, как изменяется траектория переменной z при At -> 0. Обратите внимание на то, что этот график является “зазубренным”. Это объясняется тем, что изменение переменной z за время At пропорционально величине v^Af, а когда величина At становится малой, число \/Аt намного больше, чем At. Благодаря этому, винеровский процесс обладает двумя интригующими свойствами.
1. Ожидаемая длина траектории, которую проходит переменная z в течение любого промежутка времени, является бесконечной.
2. Ожидаемое количество совпадений переменной z с любым конкретным значением на любом промежутке времени является бесконечным.
Обобщенный винеровский процесс
Скоростью дрейфа (drift rate), или коэффициентом сноса, стохастического процесса называется средняя величина изменения переменной величины за единицу времени, а дисперсией (variance rate), или коэффициентом диффузии - величина колебаний за единицу времени. Скорость дрейфа основного винеровского процесса dz, рассмотренного выше, равна нулю, а дисперсия равна 1,0. Нулевой дрейф означает, что ожидаемое значение переменной z в любой момент времени равно ее текущему значению. Единичная дисперсия процесса означает, что дисперсия изменения переменной z на интервале времени Т равна его длине.
Рис. 12.1. Изменение цены акции в примере
Обобщенный винеровский процесс (generalized Wiener process) для переменной х можно определить через величину dz следующим образом.
dx - adt + bdz, (12.3)
где а и b - константы.
Чтобы понять смысл уравнения (12.3), полезно рассмотреть два слагаемых в правой части по отдельности. Слагаемое a dt означает, что ожидаемая скорость дрейфа переменной х равна о единиц в единицу времени. Без второго члена уравнение (12.3) превращается в уравнение
dx = adt,
откуда следует, что
dx
Интегрируя это уравнение по времени, получаем
х = хо + а?,
где хо - значение переменной х в нулевой момент времени. Таким образом, за период времени Т переменная х увеличивается на величину ей. Член Ь dz можно рассматривать как шум, или изменчивость траектории, которую проходит переменная х. Величина этого шума в Ь раз больше значения винеровского процесса. Стандартное отклонение винеровского процесса равно 1,0. Отсюда следует, что стандартное отклонение величины Ь dz равно Ь. На небольших промежутках времени АЬ изменение Ах переменной х определяется уравнениями (12.1) и (12.3).
Ах = аАЬ + ЪЕУ/АЬ,
где е, как и прежде, - случайная величина, имеющая стандартизованное нормальное распределение. Итак, величина Ах имеет нормальное распределение, математическое ожидание которого равно аАЬ, стандартное отклонение - 6л/Д7, а дисперсия - Ь2Д/. Аналогичными рассуждениями можно показать, что изменение переменной х в течение произвольного интервала времени Т имеет нормальное распределение с математическим ожиданием с.Т, стандартным отклонением Ьу/Т и дисперсией Ь2Т. Таким образом, ожидаемая скорость дрейфа обобщенного винеровского процесса (12.3) (т.е. среднее изменение дрейфа в единицу времени) равна а, а дисперсия (т.е. дисперсия переменной за единицу времени) - Ь2. Этот процесс изображен на рис. 12.2. Проиллюстрируем скачанное следующим примером.
Пример 12.2
Рассмотрим ситуацию, в которой доля активов компании, вложенных в краткосрочные денежные эквиваленты (cash position), измеренные тысячами долларов, подчиняется обобщенному винеровскому процессу со скоростью дрейфа, равной 20 тыс. долл. в год, и дисперсией, равной 900 тыс. долл. в год. В первый момент времени доля активов равна 50 тыс. долл. Через год эта доля активов будет иметь нормальное распределение с математическим ожиданием, равным 70 тыс. долл., и стандартным отклонением, равным л/900, т.е. 30 долл. Через шесть месяцев она будет иметь нормальное распределение с математическим ожиданием, равным 60 тыс. долл., и стандартным отклонением, равным 30\ДЦ> = 21,21 долл. Неопределенность, связанная с долей активов, вложенных в краткосрочные эквиваленты наличности, измеренная с помощью стандартного отклонения увеличивается как корень квадратный из длины прогнозируемого интервала. Обратите внимание на то, что эта доля активов может стать отрицательной (когда компания делает займы). ?
Процесс Ито
Стохастическим процессом Ито (Ito process) называется обобщенный винеровский процесс, б котором параметры а и Ь являются функциями, зависящими от переменной х и времени t. Процесс Ито можно выразить следующей формулой.
dx = а(х, t)dt + b(x, t)d,z,?
И ожидаемая скорость дрейфа, и дисперсия этого процесса со временем изменяются. За небольшой промежуток времени от t до At переменная изменяется от
х до х + Ах, где
Ах = а{х, t) At + Ъ(х, t)e\fAt.
Это отношение содержит небольшую натяжку. Она связана с тем, что мы считаем дрейф и дисперсию переменной х постоянными величинами, которые на интервале времени от t до At равны а(х, t) и b(x, t)2 соответственно.

Это процесс, поведение которого не является детерминированным , и последующее состояние такой системы описывается как величинами, которые могут быть предсказаны, так и случайными. Однако, по М. Кацу и Э. Нельсону , любое развитие процесса во времени (неважно, детерминированное или вероятностное) при анализе в терминах вероятностей будет случайным процессом (иными словами, все процессы, имеющие развитие во времени, с точки зрения теории вероятностей, стохастические).

Стохастичность в математике

Использование термина стохастичность в математике относят к работам Владислава Борцкевича , который использовал его в значении выдвигать гипотезы , которое, в свою очередь, отсылает нас к древнегреческим философам, а также к работе Я. Бернулли Ars Conjectandi (лат. искусство загадывать) .

Область исследований случайных в математике , особенно в теории вероятностей , играет большую роль.

Использование методов Монте-Карло требует большого числа случайных величин, что, как следствие, привело к развитию

Обнаружение радиолокационных сигналов неопределенно из-за того, что одновременно с ними присутствуют и случайные флуктуации, или "шумы". Если бы можно было предсказать точные значения шумовых напряжений или токов, их можно было бы вычесть из суммарного сигнала и после этого принять определенное решение либо о наличии, либо об отсутствии сигнала. Но такое предсказание невозможно, так как шумовые напряжения появляются вследствие хаотического теплового движения ионов - и электронов в элементах приемника и в пространстве, окружающем антенну. Лучшее, что можно сделать, это описать флуктуации напряжения статистически с помощью распределений вероятностей их значений и использовать эти статистические данные для проектирования приемника, в котором достигалось бы наибольшее возможное число успешных обнаружений при большом числе опытов. В настоящей главе дается статистическое описание шума, а в следующей главе вводятся различные критерии успешного и ошибочного обнаружения в статистических ситуациях, указывающие, какими соображениями следует руководствоваться при поисках оптимальной конструкции приемника.

Если бы напряжение в некоторой точке радиолокационного приемника, например на сетке первой усилительной лампы, было записано как функция времени, запись имела бы совершенно беспорядочный вид и казалось бы, что нет способа вычисления или предсказания значений этого флуктуирующего напряжения. Если бы одновременно были записаны напряжения в соответствующих точках каждого из набора одинаковых приемников, находящихся в одинаковых условиях,

они различались бы в деталях от приемника к приемнику. Однако некоторые грубые или средние свойства записей были бы почти одинаковы. Изучая большое число таких записей и определяя относительные частоты, с которыми рассматриваемые величины принимают различные значения, можно описать поведение флуктуирующих напряжений статистически. Такое описание производится на языке теории вероятностей, позволяющей делать логические заключения о свойствах флуктуирующих напряжений. Краткий обзор теории вероятностей дан в приложении Б. Для более полного ознакомления с ней читателю следует изучить один из учебников, указанных в литературе к приложению Б. В настоящей главе теория вероятностей будет использована для анализа шумовых флуктуаций.

Функция времени, подобная записи флуктуационного напряжения, упомянутой выше, называется временндй последовательностью, а набор временных последовательностей, подобный тому, который получается от большого числа приемников, находящихся в одинаковых условиях, известен как ансамбль. Случайная функция, значения которой описываются только при помощи системы распределений вероятностей, о чем более подробно будет говориться ниже, часто называется стохастическим процессом. Если измерения производятся непрерывно во времени, имеет место непрерывный стохастический процесс. Во многих случаях величины измеряются только в отдельные последовательные моменты времени. При этом получается дискретный стохастический процесс. Пример последнего - ежечасные или ежедневные наблюдения температуры на метеорологических станциях. Мы будем иметь дело в основном с непрерывными процессами, но многие представления могут быть применены в той же мере и к дискретным процессам. Каждый член ансамбля называется реализацией стохастического процесса.

Если член ансамбля временных последовательностей выбран случайно, вероятность, что его значение х в любой данный момент времени лежит в интервале между есть

где функция плотности вероятности переменной х. Под этим мы понимаем в применении к вышеприведенному

примеру следующее. Если напряжения измерены в одинаковых точках в большом числе идентичных приемников, число значений, лежащих в таком интервале, равно длине интервала, умноженной на достаточно малой длине интервала). Во многих случаях не будет зависеть от момента времени, в который производятся измерения. Функция плотности вероятности является основой статистического описания стохастического процесса, но сама по себе она недостаточна, так как ничего не говорит о том, как связано значение х, измеренное в один момент времени, со значениями, измеренными в другие моменты времени.

Обозначим значения временной последовательности измеренные в последовательные моменты времени через Функция плотности совместного распределения вероятностей

определяется утверждением, что вероятность выполнения неравенств

равна Для полного описания непрерывного стохастического процесса требуется задание функций распределения для всех возможных выборов моментов времени для всех положительных целых Все эти функции нормированы так, что выполняется соотношение

в соответствии с определением вероятности. Кроме того, они должны быть согласованы так, чтобы функцию распределения более низкого порядка можно было получить, интегрируя по

интервалу изменения "лишней" переменной. Например,

Любые переменных для которых выполняется равенство

называются статистически независимыми.

Функция плотности совместного распределения операционно определяется с помощью относительных частот осуществления различных комбинаций значений для и рассматриваемых моментов времени. Но, очевидно, определить полную систему функций распределения таким образом невозможно. Вместо этого для получения гипотетических распределений строится теория процессов птем применения законов физики к ситуациям, возникающим в таких областях науки, как статистическая механика или термодинамика. С помощью теории стохастических процессов вычисляются некоторые средние значения, доступные для наблюдения, и вычисленные значения сравниваются с найденными из опыта. Когда ситуация слишком сложна для такого анализа, как, например, в экономике и, вероятно, даже в метеорологии, для стохастического процесса предлагается простая статистическая "модель". Эта модель дает функцию распределения, содержащую несколько неизвестных параметров, значения которых оцениваются на основе доступных данных. Затем строятся логические заключения и, если возможно, производится сравнение с результатами дальнейших наблюдений. К счастью, существует большая теоретическая база, позволяющая рассматривать электрические шумовые процессы, с которыми приходится встречаться в задачах обнаружения сигналов. Некоторые физические основы будут изложены ниже, в разд. 3. Но сначала мы должны обсудить некоторые понятия, которые будут применяться при анализе стохастических процессов.

Пока радиолокационный приемник поддерживается при постоянной температуре и связан с неподвижной антенной,

на которую сигнал не действует, статистическое описание шума в приемнике не будет зависеть от выбора начала отсчета времени. Это значит, что плотность совместного распределения вероятностей зависит только от интервалов между измерениями, а не от самих моментов времени Такие стохастические процессы называют стационарными. Если не будет сделано других утверждений, будем считать, что изучаемые временные последовательности обладают этим свойством временной инвариантности или стационарности.

Длинная запись одиночной реализации стационарной временной последовательности для большинства моментов времени обладает одинаковыми свойствами. По-видимому, большое число отрезков, взятых из одного члена ансамбля, будет создавать ансамбль с такими же статистическими свойствами, как и у основного ансамбля. Если измеряемая переменная связана с механической системой, подобной газу, или электрической, подобной контуру, и если с течением времени система проходит через все состояния, совместимые с внешними условиями, созданными экспериментатором, сделанное выше предположение является обоснованным. В частности, средние, найденные по длинной выборке на одной реализации процесса, равны средним значениям по всем членам ансамбля в какой-либо момент времени. Стохастические процессы, обладающие этим свойством, называются эргодическими.

Например, среднее или "математическое ожидание" стационарной временнбйпоследовательности определяется равенством

где функция плотности распределения вероятностей одиночного наблюдения. Это среднее значение х не зависит от времени. С другой стороны, среднее по времени х можно определить формулой

Из-за условия стационарности это среднее по времени не зависит от момента времени в который начинается усреднение. Если, кроме того, стохастический процесс эргодический, То же самое справедливо для математического ожидания других функций аргумента х.

Легко можно представить себе процессы, не являющиеся эргодическими, например такие, где величина х постепенно перемещается в область, которую она потом не может покинуть, или если есть некоторое количество таких "ловящих" областей. Но в этой книге будет предполагаться, что все изучаемые флуктуационные процессы являются эргодическими. Справедливость такого предположения должна основываться на успехе теорий, в которых оно принято, так как, хотя это допущение и подтверждается интуицией, проверить его экспериментально невозможно. Допущение эргодичности существенно для любых задач, в которых статистические параметры приходится оценивать на основе одиночной экспериментальной реализации процесса.

Слово стохастический используется математиками и физиками для описания процессов, в которых имеется элемент случайности. Оно происходит непосредственно от греческого слова «атоааизеоа». В этике Аристотеля это слово используется в смысле «способности угадывать». Математики применили это слово, очевидно, на том основании, что при необходимости угадывать появляется элемент случайности. В «Новом международном словаре» Вебстера слово стохастический определено как предположительный. Мы, таким образом, замечаем, что техническое значение этого слова не находится в точном соответствии с его лексическим (словарным) определением. В том же смысле, что и «стохастический процесс», некоторые авторы пользуются выражением «случайный процесс». В дальнейшем мы будем говорить о процессах и сигналах, которые не являются чисто случайными, но содержат в себе случайность в той или иной степени. По этой причине мы предпочитаем слово «стохастический».

Рис. 3.1-1. Сравнение типичного стохастического и предсказуемого сигналов.

На рис. 3.1-1 сравниваются простые формы колебаний стохастического и регулярного сигналов. Если повторить эксперимент по измерению стохастического сигнала, то мы получим колебания новой формы, отличной от предыдущей, но все еще проявляющей некоторое сходство в характерных чертах. Запись колебаний волн океана

является еще одним примером стохастического сигнала. Почему необходимо говорить об этих, довольно необычных, стохастических сигналах? Ответ на этот вопрос основан на том факте, что входные сигналы систем автоматики зачастую не являются полностью предсказуемыми подобно синусоиде или простейшему переходному процессу. В действительности, стохастические сигналы встречаются при исследованиях автоматических систем чаще, чем предсказуемые сигналы. Тем не менее то обстоятельство, что предсказуемые сигналы имеют большое значение до настоящего времени, не является серьезным упущением. Весьма часто можно прийти к приемлемой методике, подбирая сигналы из класса предсказуемых сигналов так, чтобы отобразить характерные особенности истинного сигнала, являющегося по своей природе стохастическим. Примером такого рода является использование нескольких соответственно подобранных синусоид с целью представить стохастические изменения моментов, обусловливающих качку, в задаче об устойчивости корабля. С другой стороны, мы встречаем такие задачи, в которых представление истинного стохастического сигнала с помощью предсказуемой функции весьма затруднительно. В качестве первого примера рассмотрим схему системы автоматического слежения за целью и управления огнем. Здесь наводящее радиолокационное устройство измеряет ошибку наведения не точно, а только приблизительно. Разность между истинной ошибкой наведения и тем, что измеряет радиолокатор, часто называют радиолокационным шумом. Обычно очень трудно аппроксимировать радиолокационный шум несколькими синусоидами или другими простыми функциями. Другим примером является плетение текстильных волокон. В процессе плетения из беспорядочно запутанных связок волокна (называемых пряжей) вытягивается нить. Толщину нити, в некотором смысле, можно рассматривать как входной сигнал при регулировании процесса плетения. Отклонения в этом процессе происходят из-за изменения числа и толщины отдельных волокон в различных переплетающихся участках пряжи. Очевидно, этот тип отклонений является по своей природе стохастическим, и его затруднительно аппроксимировать любыми регулярными функциями.

Предыдущие рассуждения показывают, что стохастические сигналы при исследовании систем регулирования играют важную роль. Пока мы говорили о стохастических сигналах как о сигналах, вызванных процессами, содержащими некоторый элемент случайности. Чтобы перейти к дальнейшему, мы должны уточнить понятия о таких сигналах. Современная физика, в особенности квантовая механика, учит, что все физические процессы при детальном исследовании

оказываются разрывными и недетерминированными. Законы классической механики заменяются статистическими законами, основанными на вероятности событий. Например, мы обычно считаем напряжение колебаний, возникающих на экране вакуумной трубки осциллографа, гладкой функцией. Однако мы знаем, что если исследовать эти колебания при помощи микроскопа, они не будут выглядеть столь гладко из-за дробового шума в трубке, сопровождающего возбуждение колебаний. После некоторого размышления нетрудно склониться к тому, что все сигналы в природе являются стохастическими. Хотя сначала мы предположили, что по сравнению с синусоидой или функцией единичного скачка стохастический сигнал является относительно абстрактным понятием, но в действительности вернее обратное: синусоида, функция единичного скачка и вообще регулярные сигналы представляют абстракцию. Однако, подобно евклидовой геометрии, - это полезная абстракция.

Стохастический сигнал не может быть представлен графически наперед заданным образом, так как он обусловлен процессом, содержащим элемент случайности. Мы не можем сказать, какова величина стохастического сигнала в будущий момент времени. О стохастическом сигнале в будущий момент времени можно сказать только какова вероятность, что его величина попадает в определенный интервал. Мы, таким образом, видим, что понятия функции для стохастического сигнала и для регулярного сигнала совершенно различны. Для регулярной переменной величины идея функции подразумевает определенную зависимость переменной от ее аргумента. С каждой величиной аргумента мы связываем одно или несколько значений переменной. В случае стохастической функции мы не можем связать единственным образом величину переменной с некоторым частным значением аргумента. Все, что мы можем сделать - это связать с частными значениями аргумента некоторые распределения вероятности. В определенном смысле все регулярные сигналы являются тем предельным случаем стохастических сигналов, когда распределения вероятности обладают высокими пиками, так что неопределенность положения переменной для частной величины аргумента равна нулю. На первый взгляд стохастическая переменная может показаться настолько неопределенной, что ее аналитическое рассмотрение невозможно. Однако мы увидим, что анализ стохастических сигналов может быть проведен с помощью функций плотности вероятности и других статистических характеристик, таких как средние величины, среднеквадратичные величины и функции корреляции. Ввиду статистической природы стохастические сигналы зачастую удобно считать элементами множества сигналов, каждый из которых обусловлен одиим и тем же процессом. Это множество сигналов называется ансамблем. Понятие ансамбля для стохастических сигналов соответствует понятию населения в статистике. Характеристики стохастического сигнала

относятся обычно к ансамблю, а не к частному сигналу ансамбля. Таким образом, когда мы говорим об определенных свойствах стохастического сигнала, то обычно подразумеваем, что этими свойствами обладает ансамбль. Вообще невозможно считать, что отдельный стохастический сигнал имеет произвольные свойства (с возможным исключением несущественных свойств). В следующем параграфе мы обсудим важное исключение из этого общего правила.

Стохастичность (др.-греч. στόχος - цель, предположение) означает случайность. Стохастический процесс - это процесс, поведение которого не является детерминированным, и последующее состояние такой системы описывается как величинами, которые могут быть предсказаны, так и случайными. Однако, по М. Кацу и Э. Нельсону, любое развитие процесса во времени (неважно, детерминированное или вероятностное) при анализе в терминах вероятностей будет стохастическим процессом (иными словами, все процессы, имеющие развитие во времени, с точки зрения теории вероятностей, стохастические).

Примером реального стохастического процесса в нашем мире может служить моделирование давления газа при помощи Винеровского процесса. Несмотря на то, что каждая молекула газа движется по своему строго определённому пути (в данной модели, а не в реальном газе), движение совокупности таких молекул практически нельзя просчитать и предсказать. Достаточно большой набор молекул будет обладать стохастическими свойствами, такими как наполнение сосуда, выравнивание давление, движение в сторону меньшего градиента концентрации и т. д. Таким образом проявляется эмерджентность системы.

Метод Монте-Карло получил распространение благодаря физикам Станиславу Уламу, Энрико Ферми, Джону фон Нейману и Николасу Метрополису. Название произошло от казино в городе Монте Карло, Монако, где дядя Улама занимал деньги для игры. Использование природы случайностей и повторов для изучения процессов аналогично деятельности, происходящей в казино.

Методы проведения расчётов и экспериментов на основе случайных процессов как формы стохастического моделирования применялись ещё на заре развития теории вероятностей (напр. Задача Буффона и работах по оценке малых выборок Уильяма Госсета), но наиболее развились в предкомпьютерную эру. Отличительной чертой методов моделирования Монте-Карло является то, что сначала идёт поиск вероятностного аналога (см. алгоритм имитации отжига). До этого методы моделирования шли в противоположном направлении: моделирование использовалось для того, чтобы проверить результат полученной ранее детерминированной проблемы. И хотя подобные подходы существовали до этого, они не были общими и популярными до тех пор, пока не появился метод Монте-Карло.

Возможно, наиболее известное из ранних применений подобных методом принадлежит Энрико Ферми, который в 1930 году использовал стохастические методы для расчёта свойств только что открытого нейтрона. Методы Монте-Карло широко использовались в ходе работы над манхэттенским проектом, несмотря на то, что возможности вычислительных машин были сильно ограничены. По этой причине только с появлением компьютеров методы Монте-Карло начали широко распространяться. В 1950х их использует Лос-Аламосская национальная лаборатория для создания водородной бомбы. Широкое распространения методы получили в таких областях, как Физика, Физическая химия и Исследование операций.

Использование методов Монте-Карло требует большого числа случайных величин, что, как следствие, привело к развитию генераторов псевдослучайных чисел, которые были намного быстрее, чем табличные методы генерации, которые ранее использовались для статистической выборки.

Изучение статистических закономерностей - важнейшая познавательная задача статистики, которую она решает с помощью особых методов, видоизменяющихся в зависимости от характера исходной информации и целей познания. Знание характера и силы связей позволяет управлять социально-экономическими процессами и предсказывать их развитие.

Среди многих форм связей важнейшей является причинная, определяющая все другие формы. Сущность причинности состоит в порождении одного явления другим. Вместе с тем, причина сама по себе еще не определяет следствия, она зависит также от условий, в которых протекает действие причины. Для возникновения следствия нужны все определяющие его факторы - причина и условия. Необходимая обусловленность явлений множеством факторов называется детерминизмом.

Объектами исследования при статистическом измерении связей служит, как правило, детерминированность следствия факторами (причиной и условиями). Признаки по их значению для изучения взаимосвязи делятся на два класса. Признаки, являющиеся причиной изменения других, связанных с ними признаков, называют факторными, или просто факторами. Признаки, изменяющиеся под действием факторных признаков, называют результативными.

Связи между явлениями и их признаками классифицируют по степени тесноты связи, направлению и аналитическому выражению.

Между различными явлениями и их признаками необходимо, прежде всего, выделить два типа связей: функциональную (жестко детерминированную) и статистическую (стохастически детерминированную).

Связь признака "y" с признаком "x" называется функциональной, если каждому возможному значению независимого признака "x" соответствует одно или несколько строго определенных значений зависимого признака "y". Определение функциональной связи может быть легко обобщено для случая многих признаков x 1 ,x 2 ,...,x n .

Характерной особенностью функциональных связей является то, что в каждом отдельном случае известен полный перечень факторов, определяющих значение зависимого (результативного) признака, а также точный механизм их влияния, выраженный определенным уравнением.

Функциональную связь можно представить уравнением: y i =f(x i), где y i - результативный признак (i = 1, ...,n); f(x i) - известная функция связи результативного и факторного признаков; x i - факторный признак.

Чаще всего функциональные связи наблюдаются в явлениях, описываемых математикой, физикой и другими точными науками. Имеют место функциональные связи и в социально-экономических процессах, но довольно редко (они отражают взаимосвязь только отдельных сторон сложных явлений общественной жизни). В экономике примером функциональной связи может служить связь между оплатой труда у и количеством изготовленных деталей х при простой сдельной оплате труда.

В реальной общественной жизни, ввиду неполноты информации жестко детерминированной системы, может возникнуть неопределенность, из-за которой эта система по своей природе должна рассматриваться как вероятностная, при этом связь между признаками становится стохастической.

Стохастическая связь – это связь между величинами, при которой одна из них, случайная величина у, реагирует на изменение другой величины х или других величин x 1 ,x 2 ,...,x n , (случайных или неслучайных) изменением закона распределения. Это обусловливается тем, что зависимая переменная (результативный признак), кроме рассматриваемых независимых, подвержена влиянию ряда неучтенных или неконтролируемых (случайных) факторов, а также некоторых неизбежных ошибок измерения переменных. Поскольку значения зависимой переменной подвержены случайному разбросу, они не могут быть предсказаны с достаточной точностью, а только указаны с определенной вероятностью.

Характерной особенностью стохастических связей является то, что они проявляются во всей совокупности, а не в каждой ее единице (причем не известен ни полный перечень факторов, определяющих значение результативного признака, ни точный механизм их функционирования и взаимодействия с результативным признаком).

Модель стохастической связи может быть представлена в общем виде уравнением: ŷ i = f(x i) + ε i , где ŷ i - расчетное значение результативного признака; f(x i ) - часть результативного признака, сформировавшаяся под воздействием учтенных известных факторных признаков (одного или множества), находящихся в стохастической связи с признаком; ε i - часть результативного признака, возникшая вследствие действия неконтролируемых или неучтенных факторов, а также измерения признаков, неизбежно сопровождающегося некоторыми случайными ошибками.

Проявление стохастических связей подвержено действию закона больших чисел: лишь в достаточно большом числе единиц индивидуальные особенности сгладятся, случайности взаимопогасятся и зависимость, если она имеет существенную силу, проявится достаточно отчетливо.

В социально-экономической жизни приходится сталкиваться со многими явлениями, имеющими вероятностный характер. Например, уровень производительности труда рабочих стохастически связан с целым комплексом факторов: квалификацией, стажем работы, уровнем механизации и автоматизации производства, интенсивностью труда, простоями, состоянием здоровья работника, его настроением, атмосферным давлением и другими. Полный перечень факторов определить практически невозможно.

Частным случаем стохастической связи является корреляционная связь, при которой среднее значение (математическое ожидание) случайной величины результативного признака у закономерно изменяется в зависимости от изменения другой величины х или других случайных величин x 1 ,x 2 ,...,x n . Корреляционная связь проявляется не в каждом отдельном случае, а во всей совокупности в целом. Только при достаточно большом количестве случаев каждому значению случайного признака х будет соответствовать распределение средних значений случайного признака у. Наличие корреляционных связей присуще многим общественным явлениям.

В зависимости от направления действия функциональные и стохастические связи могут быть прямыми и обратными. При прямой связи направление изменения результативного признака совпадает с направлением изменения признака-фактора, т.е. с увеличением факторного признака увеличивается и результативный, и наоборот, с уменьшением факторного признака уменьшается и результативный признак. В противном случае между рассматриваемыми величинами существуют обратные связи. Например, чем выше квалификация рабочего (разряд), тем выше уровень производительности труда – прямая связь. А чем выше производительность труда, тем ниже себестоимость единицы продукции – обратная связь.

По аналитическому выражению (форме) связи могут быть прямолинейными и нелинейными (криволинейными). При прямолинейной связи с возрастанием значения факторного признака происходит непрерывное возрастание (или убывание) значений результативного признака. Математически такая связь представляется уравнением прямой, а графически - прямой линией. Отсюда ее более короткое название - линейная связь.

При криволинейных связях с возрастанием значения факторного признака возрастание (или убывание) результативного признака происходит неравномерно или же направление его изменения меняется на обратное. Геометрически такие связи представляются кривыми линиями (гиперболой, параболой и т.д.).

По количеству факторов, действующих на результативный признак, связи различаются однофакторные (один фактор) и многофакторные (два и более факторов). Однофакторные (простые) связи обычно называются парными (так как рассматривается пара признаков). Например, корреляционная связь между прибылью и производительностью труда. В случае многофакторной (множественной) связи имеют в виду, что все факторы действуют комплексно, т.е. одновременно и во взаимосвязи, например, корреляционная связь между производительностью труда и уровнем организации труда, автоматизации производства, квалификации рабочих, производственным стажем, простоями и другими факторными признаками.

С помощью множественной корреляции можно охватить весь комплекс факторных признаков и объективно отразить существующие множественные связи.