Post on 14-Oct-2014
МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени М. В. ЛОМОНОСОВАМеханико-математический факультет
Курс лекций по
теории вероятностейЛектор — Александр Вадимович Булинский
II курс, 4 семестр, поток математиков
Москва, 2004 г.
Оглавление
1. Элементарная теория вероятностей 51.1. Вероятностные пространства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1. Предмет теории вероятностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.1.2. Алгебры событий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.1.3. Вероятность. Аксиоматика Колмогорова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5TODO: Лемма о баллотировке . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2. Свойства вероятностных мер. Непрерывность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.2.1. Простейшие свойства вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.2.2. Непрерывность мер и её связь со счётной аддитивностью . . . . . . . . . . . . . . . . . . . . 6
1.3. Дискретные вероятностные пространства (примеры) . . . . . . . . . . . . . . . . . . . . . . . . . . 61.3.1. Схема Бернулли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.3.2. Геометрическая вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.3.3. Гипергеометрическая вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.3.4. Распределение Пуассона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4. Условная вероятность и формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.4.1. Понятие условной вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.4.2. Формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8TODO: пример . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5. Функции распределения и плотности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.5.1. Распределения мер . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8TODO: пояснение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.5.2. Примеры распределений вероятностных мер . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6. Независимость событий. Леммы Бореля – Кантелли . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.6.1. Попарная независимость и независимость в совокупности . . . . . . . . . . . . . . . . . . . 91.6.2. Две леммы Бореля – Кантелли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2. Случайные величины 102.1. Понятие случайного элемента . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1. Измеримые отображения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.1.2. Свойства измеримых функций . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.1.3. Примеры случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2. Распределения случайных элементов. Пополнение вероятностного пространства . . . . . . . . . . 112.2.1. Вероятностные меры и распределения случайных величин . . . . . . . . . . . . . . . . . . . 112.2.2. Пополнение вероятностного пространства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3. Независимость случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.3.1. Независимые алгебры и случайные величины . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.3.2. Теорема о булочках с изюмом . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4. Теорема о монотонных классах и её следствия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.4.1. π-системы и λ-системы множеств . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.4.2. Следствия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5. Построение случайных величин с заданным распределением . . . . . . . . . . . . . . . . . . . . . . 152.5.1. Последовательности равномерно распределённых величин . . . . . . . . . . . . . . . . . . . 152.5.2. Построение произвольной последовательности вероятностных мер . . . . . . . . . . . . . . 16
3. Математическое ожидание 163.1. Интеграл Лебега по вероятностной мере . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.1.1. Определение интеграла Лебега . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163.1.2. Свойства математического ожидания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173.1.3. Теоремы о предельном переходе под знаком интеграла Лебега . . . . . . . . . . . . . . . . . 18
3.2. Дисперсия и ковариация. Пространство Lp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203.2.1. Определения и свойства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203.2.2. Неравенство Чебышева . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2
4. Сходимость случайных величин. Закон больших чисел 214.1. Закон больших чисел . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.1.1. Простейший вариант ЗБЧ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214.1.2. Теорема Вейерштрасса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.2. Различные виды сходимости и их взаимосвязь . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.2.1. Теорема Пуассона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.2.2. Сходимость по вариации . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.2.3. Сходимость по распределению и слабая сходимость . . . . . . . . . . . . . . . . . . . . . . . 224.2.4. Сходимость почти всюду и сходимость по вероятности . . . . . . . . . . . . . . . . . . . . . 22
4.3. Усиленные законы больших чисел и их следствия . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.3.1. УЗБЧ для некоррелированных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.3.2. Теорема Этемади . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234.3.3. Классическая теорема Колмогорова. Закон 0 и 1 . . . . . . . . . . . . . . . . . . . . . . . . . 25
5. Центральная предельная теорема 255.1. Теорема Александрова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255.2. Характеристические функции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.2.1. Определение, основные свойства и примеры . . . . . . . . . . . . . . . . . . . . . . . . . . . 255.2.2. Формула обращения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275.2.3. Теорема Леви . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
5.3. Центральная предельная теорема в условиях Линдеберга . . . . . . . . . . . . . . . . . . . . . . . . 295.3.1. Ещё два (а может, три) свойства характеристических функций . . . . . . . . . . . . . . . . 29
5.4. Свёртки распределений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295.5. Случайные векторы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.5.1. Основные определения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295.5.2. Многомерная центральная предельная теорема . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3
Предисловие
Данное издание является результатом совместного творчества DMVN Corporation и Дмитрия Горяшина.Пока работа полностью не завершена, трудно сказать, оказался ли этот эксперимент удачным или нет. Стан-дартизовать обозначения и исходные TEX-исходники непросто, но ряд усилий в этом направлении всё же былоприложено. Случайные величины мы решили обозначать греческими буквами, а не латинскими, как это былона лекциях — все-таки, это общепринятый стандарт.
Порядок следования теорем, определений и т. д. в целом сохранён таким, каким он был на лекциях в 2004 году.Некоторые перестановки с целью более логичной группировки утверждений были осуществлены во второй итретьей главах настоящего издания. В частности, собраны воедино все теоремы, относящиеся к теории интегралаЛебега.
В данной версии исправлено несколько опечаток, за что спасибо Игорю Приходько.Вопросы, комментарии, замечания и предложения направляйте на dmvn@mccme.ru, обновления электронной
версии — на сайте http://dmvn.mexmat.net.Набор и вёрстка: DMVN Corporation, GorDmit
Последняя компиляция: 15 февраля 2006 года
Версия: 0.3
4
1. Элементарная теория вероятностей
1.1. Вероятностные пространства
1.1.1. Предмет теории вероятностей
Теория вероятностей изучает математические модели случайных явлений. Один и тот же случайный экспе-римент может быть описан с помощью разных пространств элементарных исходов. Одно и то же пространствоможет описывать разные случайные эксперименты.
1.1.2. Алгебры событий
Будем рассматривать некоторое (фиксированное) множество Ω и различные семейства его подмножеств. Егомы будем называть множеством элементарных исходов, а подмножества A ⊂ Ω — событиями.
Определение. Алгеброй подмножеств на Ω называется семейство A ⊂ 2Ω со следующими свойствами:1 Ω ∈ A ;
2 Если A ∈ A , то и A := Ω rA ∈ A .
3 Если A1, . . . , An ∈ A , то и
n⋃i=1
Ai ∈ A .
Из определения следует, что и пересечение конечного набора элементов алгебры принадлежит ей: по правилу
Де Морганаn⋂
i=1
Ai =n⋃
i=1
Ai ∈ A , так как Ai ∈ A .
Определение. Система F подмножеств Ω называется σ-алгеброй, если она является алгеброй, но к тому
же выдерживает счётные объединения и пересечения множеств, т. е. если Ai∞i=1 ⊂ F , то и∞⋃
i=1
Ai ∈ F .
Элементы алгебр и σ-алгебр часто называют измеримыми множествами (по аналогии с классами множеств,измеримых по Жордану или по Лебегу).
Заметим, что для любой системы M подмножеств Ω существует минимальная σ-алгебра σ M, порождённаяэтой системой. Хотя бы одна есть — 2Ω, очевидно, является σ-алгеброй. Рассмотрим пересечение всех σ-алгебр,содержащих M. Легко видеть, что оно тоже будет σ-алгеброй. Это и будет σ M.
Определение. Борелевской σ-алгеброй топологического или метрического пространства называется σ-ал-гебра, порождённая всеми открытыми множествами.
Для обозначения объединения непересекающихся множеств часто будем использовать знак «⊔». Пересече-ние множеств A и B будем иногда обозначать через AB. Сигма-алгебры будем обозначать шрифтом mathscr
(A ,B,C , . . .), а пространства элементарных исходов — заглавными греческими буквами.
1.1.3. Вероятность. Аксиоматика Колмогорова
Определение. Пусть F — σ-алгебра на множестве Ω. Пара (Ω,F ) называется измеримым пространством.
Определение. Вероятностью называется функция P : F → R со свойствами:1 Неотрицательность: P(A) > 0 для любого события A ∈ F ;
2 Нормировка: P(Ω) = 1;
3 Счётная аддитивность: если Ai∞i=1 ⊂ F , и Ai не пересекаются, то P
( ∞⋃i=1
Ai
)=
∞∑i=1
P(Ai).
Аксиомы в определении вероятности называют аксиомами Колмогорова.Если на измеримом пространстве задана функция P, то тройка (Ω,F ,P) называется вероятностным про-
странством. Заметим, что вероятность есть частный случай σ-аддитивной меры на Ω.Если пространство Ω не более чем счётно, то говорят, что вероятностное пространство дискретно. Пусть
Ω = ωi∞i=1. Пусть каждой точке ωi ∈ Ω приписан вес pi > 0, такой, что∞∑
i=1
pi = 1. Вероятность определим
следующим образом. Пусть A = wi1wi2 , . . .. Положим
P(A) :=∑
i : ωi∈A
pi. (1)
Проверка того, что это действительно вероятность, предоставляется читателю.Классическое определение вероятности таково: |Ω| = N , все «веса» исходов одинаковы и равны p = 1
N.
Вероятность события A ⊂ 2Ω определяется как P(A) := |A|N
.
5
Задача 1.1. На экзамене1 по теории вероятностей студенту предлагают три билета. Один он знаетхорошо, а два других — не знает. Он выбирает один билет, после чего ему открывают один из оставшихсябилетов (которого он не знает). Что выгоднее сделать студенту: поменять свой выбор, или сохранить его?
TODO: Лемма о баллотировке
1.2. Свойства вероятностных мер. Непрерывность
1.2.1. Простейшие свойства вероятности
1 Если A ⊂ B, то P(A) 6 P(B).
Действительно, P(B) = P(A ⊔ (B rA)
)= P(A) + P(B rA)︸ ︷︷ ︸
>0
> P(A).
2 Для любых A,B ∈ F имеет место равенство P(A ∪B) = P(A) + P(B) − P(AB).
Имеем A∪B = AB⊔AB⊔AB. Значит, P(A∪B) = P(AB)+P(AB)+P(AB). Заметим, что P(AB)+P(AB) == P (A), и P(AB) + P(AB) = P(B). Подставим вероятности событий AB и AB и получим требуемое.
Теорема 1.1 (Формула включений-исключений). Для любых A1, . . . , An ∈ F верна формула
P (A1 ∪ . . . An) =
n∑
i=1
P(Ai) −∑
i6j
P(AiAj) +∑
i6j6k
P(AiAjAk) + . . .+ (−1)n−1P(A1 . . . An). (2)
Предыдущее доказательство очевидным образом по индукции обобщается на случай произвольногочисла событий.
1.2.2. Непрерывность мер и её связь со счётной аддитивностью
Определение. Мера P называется непрерывной (в нуле), если для любой последовательности вложенныхсобытий Bn ց ∅ их вероятность стремится к нулю: P(Bn) → 0 при n→ ∞.
Теорема 1.2. Счётная аддитивность функции P эквивалентна её конечной аддитивности и непрерывно-сти в нуле.
Выведем непрерывность из счётной аддитивности. Пусть Ai∞i=1 ⊂ F , и An+1 ⊂ An. Рассмотримсобытия Bn := An rAn+1. Они не пересекаются, следовательно
P(A1) = P(B1) + . . .+ P(Bn)︸ ︷︷ ︸↓
P(A1)
+ P(An+1)︸ ︷︷ ︸↓0
, (3)
так как вероятность события A1 конечна, а все члены ряда неотрицательны.Пусть теперь P аддитивна и непрерывна. Докажем её σ-аддитивность. Пусть Bi∞i=1 — последовательность
попарно непересекающихся событий. Пусть An :=∞⋃
i=n
Bi — «остаточные события». Они лежат в F , так как это
дополнение к конечному объединению. Очевидно, что⋂n
An = ∅ и An+1 ⊂ An. По непрерывности P(An) → 0.
Значит, P
( ∞⋃i=1
Bi
)=
∞∑i=1
P(Bi).
Теорема 1.3 (Каратеодори2). Вероятностная мера P на алгебре A однозначно продолжается на σ A .
1.3. Дискретные вероятностные пространства (примеры)
1.3.1. Схема Бернулли
В схеме испытаний Бернулли Ω = ω = (k1, . . . , kn), где ki ∈ 0, 1, т. е. проводится n испытаний, каждое изкоторых может быть либо успехом, либо неудачей. Вероятность успеха равна p ∈ (0, 1), а неудачи — q := 1 − p.Вероятность задаётся корректно, так как строк с m единицами будет C
mn , а всего по формуле бинома Ньютона
n∑
m=0
Cmn p
m(1 − p)n−m =(p+ (1 − p)
)n= 1. (4)
1Нематематическая постановка задачи слегка изменена по сравнению c версией А.В. Булинского.2Эта теорема доказывается в курсе действительного анализа.
6
1.3.2. Геометрическая вероятность
Модель геометрического распределения: монету бросают до первого выпадения герба. Вероятность этогособытия при каждом бросании равна p. Положим P (ωn) := (1−p)n−1p. Корректность проверяется аналогично.
1.3.3. Гипергеометрическая вероятность
Гипергеометрическое распределение моделируется так: в урне находится M белых и N чёрных шаров. Изнеё наугад вынимают n шаров. Найдём вероятность того, что вынуто k белых шаров. Имеем
P (ωk) =C
kmC
n−kN
CnM+N
. (5)
Замечание. Будем считать, что Ckn = 0 при k < 0 или k > n.
1.3.4. Распределение Пуассона
В схеме Пуассона Ω = 0 ∪ N, а F = 2Ω. Положим
pn := P(ωn) =λn
n!e−λ. (6)
Задача 1.2. Доказать, что если npn → λ > 0, то
Cknp
kn(1 − pn)n−k → λk
k!e−λ, n→ ∞. (7)
1.4. Условная вероятность и формула Байеса
1.4.1. Понятие условной вероятности
Определение. Система непересекающихся непустых событий Ai называется разбиением Ω, если⋃Ai = Ω.
Определение. Пусть P(B) > 0. Условной вероятностью события A при условии B называется число
P(A|B) :=P(AB)
P(B). (8)
Теорема 1.4 (Формула полной вероятности). Пусть Bi — разбиение Ω. Тогда для ∀A ∈ F
P(A) =∑
P(A|Bn)P(Bn). (9)
Действительно, P(A) = P(AΩ) = P(⋃ABn) =
∑P(ABn)
def
=∑
P(A|Bn)P(Bn).
Задача 1.3. На экзамене по теории вероятностей N билетов, из них n хороших. Студенты подходят поочереди и вытягивают билеты. Доказать, что вероятность того, что попадётся хороший билет, не зависитот позиции в очереди.
Решение. Пусть событие Bk — «первые m человек вынули k хороших билетов». Событие A — «досталсяхороший билет». Тогда
P(A|Bk) =n− k
N −m, P(Bk) =
CknC
m−kN−n
CmN
. (10)
Отсюда
P(A) =
n∧m∑
k=0
n− k
N −m
CknC
m−kN−n
CmN
n
N=
n
N
n∧m∑
k=0
Ckn−1C
m−k(N−1)−(n−1)
Cm−1N
=n
N, (11)
так как сумма в последней формуле есть в точности сумма вероятностей всех исходов в геометрическом рас-пределении. Таким образом, искомая вероятность, вопреки бытующему мнению, зависит только степени подго-товленности студентов, т. е. от концентрации хороших билетов.
7
1.4.2. Формула Байеса
Можно все вероятности рассматривать как условные: P(A) = P(AΩ). Если Bi — разбиение Ω, то
P(Bj |A) =P(ABj)
P(A)=
P(A|Bj)P(Bj)n∑
k=1
P(A|Bk)P(Bk). (12)
К знаменателю дроби здесь была применена формула полной вероятности. Это и есть формула Байеса.TODO: пример
1.5. Функции распределения и плотности
1.5.1. Распределения мер
Определение. Пусть P — вероятность на B(R). Функцией распределения меры P называется функция
FP(x) := P((−∞;x]
). (13)
Теорема 1.5. Функция распределения F вероятностной меры P обладает следующими свойствами:1 F (x) неубывает;
2 lim
x→−∞F (x) = 0, lim
x→∞F (x) = 1;
3 F (x) непрерывна справа на R.
1 Очевидно, что если x 6 y, то P
((−∞;x]
)6 P
((−∞; y]
).
2 Рассмотрим последовательность xn → −∞. Тогда события An := (−∞;xn] ց ∅. По непрерывности меры
F (xn) → 0. Переходя к дополнению к An, получим значение предела F (x) на +∞.3 Фиксируем точку x0 и рассмотрим последовательность xn → +x0. Тогда An+1 ⊂ An, и An ց A = (−∞;x0].
Снова по непрерывности меры P(An) → P(A).
Замечание. Теорема даёт исчерпывающее описание всех распределений мер на R, т. е. если функция F (x)обладает свойствами 1
– 3, то существует единственная вероятностная мера P на B(R), такая, что её функция
распределения есть F .TODO: пояснение
1.5.2. Примеры распределений вероятностных мер
Пример 5.1. Равномерное распределение на отрезке [a, b] имеет плотность
p(x) =
1
b−a, x ∈ [a, b];
0, x /∈ [a, b].(14)
Функция распределения F (x) имеет график
0
1
a b
Пример 5.2. Показательное распределение с параметром λ имеет плотность
p(x) =
λe−λx, x > 0;
0, x < 0.(15)
Функция распределения F (x) имеет график
1 2 3 40
1
Пример 5.3. Нормальное (гауссовское) распределение с параметрами a и σ2 имеет плотность
p(x) =1
σ√
2πexp
(− (x− a)2
2σ2
). (16)
8
График этой плотности при разных значениях σ выглядит примерно так:
0
Чем меньше величина σ2, тем явственнее выделяется «пик» в точке x = a. Обозначение: N (a, σ2).
1.6. Независимость событий. Леммы Бореля – Кантелли
1.6.1. Попарная независимость и независимость в совокупности
Определение. Говорят, что событие A не зависит от события B, если P(A|B) = P(A). По-другому можнопереформулировать определение так: события A и B независимы, если P(AB) = P(A)P(B).
Замечание. Вторая форма определения удобнее, поскольку в ней не накладывается ограничений на веро-ятности событий. Невозможные события, т. е. такие, что их вероятность равна 0, являются независимыми слюбыми событиями, ибо если P(A) = 0, то 0 6 P(AB) 6 P(A) = 0, а значит, и P(AB) = 0.
Определение. События A1, . . . , An называются попарно независимыми, если P(AiAj) = P(Ai)P(Aj) для∀ i 6= j. События A1, . . . , An называются независимыми в совокупности, если для любого набора индексовi1, . . . , ik имеем P(Ai1 · . . . ·Aik
) = P(Ai1) · . . . · P(Aik).
Замечание. Независимость в совокупности, очевидно, влечёт попарную независимость. Обратное, однако,неверно. Например, пусть Ω = 1, 2, 3, 4 и P (i) = 1
4 . Рассмотрим события A1 = 1, 2, A2 = 1, 3, A3 = 1, 4.Имеем AiAj = 1, значит, P(AiAj) = 1
4 . С другой стороны, P(A1A2A3) = P (1) = 14 6=
(12
)3.
Определение. Говорят, что Ai∞i=1 — последовательность независимых событий, если для ∀n > 2 событияA1, . . . , An независимы в совокупности.
Определение. Верхним пределом системы событий Ak называется множество
limAk = lim supAk :=∞⋂
n=1
∞⋃
k=n
Ak. (17)
Непосредственно из определения следует, что верхний предел состоит их тех элементов Ω, принадлежащихбесконечному числу Ak.
Определение. Нижним пределом системы событий Ak называется множество
limAk = lim inf Ak :=
∞⋃
n=1
∞⋂
k=n
Ak. (18)
Непосредственно из определения следует, что нижний предел состоит их тех элементов Ω, принадлежащихвсем Ak-м, начиная с некоторого.
1.6.2. Две леммы Бореля – Кантелли
Лемма 1.6 (Бореля – Кантелли 1). Дана последовательность событий Ak. Пусть ряд∞∑
k=0
P(Ak) схо-
дится. Тогда вероятность события A := (произойдёт бесконечно много событий Ak) равна нулю.
Для ∀n ∈ N имеем P(A) 6 P
( ∞⋃k=n
Ak
)6
∞∑k=n
P(Ak) → 0, так как это остаток сходящегося ряда.
Вторая лемма относится уже к независимым событиям.
Лемма 1.7 (Бореля –Кантелли 2). Пусть Ai∞i=1 — последовательность независимых событий. Пусть∑P(Ak) = ∞. Тогда P
(limAk
)= 1.
Введём обозначение Bn :=∞⋃
n=k
Ak. Заметим, что Bn убывают. Тогда по свойству непрерывности меры
P(Bn) = limN→∞
P
(N⋃
k=n
Ak
). (19)
9
Рассмотрим дополнение:
P
( N⋃
k=n
Ak
)= P
( N⋂
k=n
Ak
)!=
N∏
k=n
P(Ak
)=
N∏
k=n
(1 − P(Ak)
) !!6
N∏
k=n
exp(−P(Ak)
)= exp
(−
N∑
k=n
Ak
)→ 0,
так как ряд расходится. Переход «!» обоснован независимостью Ak, а «!!» — неравенством Бернулли. Переходяк пределу при N → ∞, получаем, что P
(limAk
)= 1.
Задача 1.4 (**). Доказать вторую лемму Бореля –Кантелли для последовательности попарно независи-мых событий.
Задача 1.5 (**). Назовём событие A «атомом» вероятностного пространства, если оно обладает следу-ющим свойством: если B ⊂ A, то либо P(B) = 0, либо P(B) = P(A). Доказать, что в любое вероятностноепространстве разбивается на не более чем счётное число атомов и «непрерывную» часть C, обладающуюследующим свойством: если C ∈ C и P(C) = p, то для ∀ q ∈ [0, p] найдётся Cq ∈ C : P(Cq) = q.
2. Случайные величины
2.1. Понятие случайного элемента
2.1.1. Измеримые отображения
Определение. Пусть (Ω,F ) и (Θ,B) — измеримые пространства. Отображение ξ : Ω → Θ называетсяF |B-измеримым, если для ∀B ∈ B имеем ξ−1(B) ∈ F , т. е. прообраз измеримого множества измерим. В теориивероятностей измеримые отображения называются случайными элементами.
В дальнейшем, если из контекста ясно, какие алгебры заданы на наших пространствах, будем опускатьпрефикс «F |B» и говорить просто «измеримая функция».
Определение случайной величины напоминает определение непрерывной функции в топологическом про-странстве. Напомним, что топологическим пространством называется множество X , на котором задана то-пология, т. е. отмечен класс подмножеств, называемых открытыми, такой, что объединение любого набораоткрытых множеств открыто, и пересечение конечного набора открытых множеств открыто. Открытыми счи-тают также ∅ и все множество X . Непрерывным отображением называется отображение, при котором прообразоткрытого множества открыт. Иными словами, непрерывное отображение f : X → Y должно быль измеримоотносительно топологий на X и Y.
Если в определении случайной величины B = B(R), то F |B-измеримые отображения называют действи-тельными случайными величинами.
Определение. Борелевским называется отображение, при котором прообраз борелевского множества боре-левский.
2.1.2. Свойства измеримых функций
Чтобы не загромождать формулировки следующих утверждений, оговоримся сразу о том, что мы будемрассматривать измеримые пространства (Ω,F ) и (Θ,B) и случайную величину ξ : Ω → Θ.
Теорема 2.1. Пусть B = σ M. Чтобы ξ была измеримой функцией, необходимо и достаточно, чтобыдля ∀С ∈ M было выполнено ξ−1(C) ∈ F . Иными словами, свойство измеримости можно проверять толькона порождающих элементах σ-алгебры.
Необходимость очевидна. Достаточность: рассмотрим класс множеств D :=D ⊂ Θ: ξ−1(D) ∈ F
, т. е.
класс тех множеств, для которых свойство измеримости выполняется. Оно является σ-алгеброй, так как опера-ция взятия прообраза сохраняет все теоретико-множественные операции, т. е. ξ−1 (
⋃Bn) =
⋃ξ−1(Bn) и т. д. По
условию M ⊂ D, а значит, и σ M ⊂ D. Но σ M = B, поэтому D совпадает с B.
Далее ξ : Ω → R — действительная случайная величина, а B = B(R).
Теорема 2.2. Чтобы ξ была случайной величиной, необходимо и достаточно измеримости прообразов лу-чей (−∞;x], т. е. для ∀x ∈ R множество ω : ξ(ω) 6 x должно содержаться в F .
Заметим, что B(R) порождается лучами (−∞, x], так как открытое множество на прямой есть объеди-нение не более чем счётного множества интервалов (возможно, бесконечных), а интервал из лучей соорудитьнесложно. Остаётся применить предыдущую теорему.
Аналогичное утверждение справедливо для открытых лучей вида (−∞;x).
Теорема 2.3. Пусть ξn : Ω → R — последовательность случайных величин. Тогда:1 sup ξn, inf ξn, lim ξn, lim ξn будут случайными величинами;
2 Если ξn → ξ, то ξ — случайная величина.
10
1 В самом деле, имеем
ω : sup ξn(ω) 6 x =
∞⋂
n=1
ξn(ω) 6 x︸ ︷︷ ︸событие
. (1)
Счётное пересечение событий есть событие, поэтому sup ξn измерима. Аналогично inf ξn измерима. Докажемдля верхних и нижних пределов. Имеем lim ξn = lim sup ξn = inf
nsupk>n
ξk. По доказанному функция ηn := supk>n
ξk
будет случайной величиной. Точно также и inf ηn будет случайной величиной. Для нижнего предела имеемlim ξn = lim sup ξn = sup
ninfk>n
ξk, далее рассуждения аналогичны.
2 Существование предела равносильно совпадению верхнего и нижнего пределов. А по доказанному lim и
lim измеримы, значит, и lim будет измерим.
Задача 2.1. Рассмотрим последовательность случайных величин ξn : Ω → S, где S — метрическое про-странство. Доказать, что если ξn → ξ, то ξ ∈ F |B(S).
Лемма 2.4. Рассмотрим измеримые пространства (Ω,F ), (Θ,B), (Λ,A ) и случайные величины ξ ∈ F |Bи η ∈ B|A . Тогда η ξ ∈ F |A .
Очевидно: η измерима, поэтому η−1(A) ∈ B, а так как ξ измерима, то ξ−1(η−1(A)︸ ︷︷ ︸
∈B
)∈ F .
Следствие 2.1. Пусть ξ : Ω → R — случайная величина, а ϕ : R → R — борелевская функция. Тогда ϕ ξ —случайная величина.
Это частный случай предыдущего утверждения: ϕ ∈ B(R)|B(R).
Следствие 2.2. Пусть ξ : Ω → R — случайная величина, а ϕ — непрерывная функция. Тогда ϕ ξ —случайная величина.
Это опять-таки частный случай первого следствия: непрерывная функция, очевидно, борелевская (про-образ открытого множества открыт).
Утверждение 2.5. Пусть ξ, η — действительные случайные величины. Тогда ξ ± η, ξ · η и ξη
(если η 6= 0)также будут случайными величинами.
Доказывать можно тремя способами. Первый (короткий): сослаться на следствие предыдущей леммы,сказав, что арифметические операции на R непрерывны. Второй (подлиннее): открыть учебник М. И. Ульяноваи П. Л. Дьяченко «Мера и интеграл» на странице 44 и найти там полное доказательство этого утверждения.Третий: немного подумать и доказать утверждение самостоятельно.
2.1.3. Примеры случайных величин
Пример 1.1. Пусть Ω = [0, 1], F = B(Ω), а P — мера Лебега на Ω. Любая непрерывная функция f : Ω → R
будет случайной величиной.
Пример 1.2. Рассмотрим схему Бернулли. Случайной величины будет, например, количество успехов при
n испытаниях, т. е. Sn(ω) :=n∑
i=1
ki, где ω = (k1, . . . , kn), kn ∈ 0, 1.
Пример 1.3. Рассмотрим дискретное вероятностное пространство (Ω,F ,P) в котором F = 2Ω. На такомпространстве любая функция ξ : Ω → R будет случайной величиной, так как прообраз любого множества содер-жится в 2Ω.
2.2. Распределения случайных элементов. Пополнение вероятностного пространства
2.2.1. Вероятностные меры и распределения случайных величин
Определение. Функцией распределения (действительной) случайной величины ξ называется функция
Fξ(x) := P(ω : ξ(ω) 6 x
). (2)
В дальнейшем для сокращения записи будем в подобных формулах писать просто «P(ξ 6 x)».Пусть (Θ,B) — измеримое пространство. Покажем, что изучение вероятностных мер на (Θ,B) и случай-
ных элементов со значениями в Θ — это одно и то же. В самом деле, пусть нам дана мера Q. Найдём такоевероятностное пространство, что распределение некоторого случайного элемента совпадает с Q. Положим
Ω := Θ, F := B, ξ := id : Θ → Θ, P := Q. (3)
Очевидно, что Fξ ≡ FQ (вспомните определение функции распределения меры!).
11
Определение. Индикатором3 события A ⊂ Ω называется функция
IA(ω) :=
1, ω ∈ A;
0, ω /∈ A.(4)
Задача 2.2. Рассмотрим измеримое пространство (Ω,F ). Доказать, что IA ∈ F |B(R) ⇔ A ∈ F .
2.2.2. Пополнение вероятностного пространства
В теории вероятностей всегда удобно считать вероятностное пространство (Ω,F ,P) пополненным. Поясним,что это означает. Рассмотрим класс N нулевых множеств, т. е. все события A ∈ F такие, что P(A) = 0 и все ихподмножества B ⊂ A (множество B уже не обязательно событие!), т. е.
N = B : B ⊂ A, A ∈ F , P(A) = 0 . (5)
Пусть F := σ F ,N.Утверждение 2.6. F состоит из множеств вида A ∪ C, где A ∈ F , а C ∈ N , и только из них.
Доказательство этого утверждения предоставляется читателю в качестве упражнения (включения ⊃ и ⊂легко устанавливаются).
Теперь, опираясь на это утверждение, определим на пространстве (Ω,F ) вероятностную меру P следующиместественным образом:
P(A ∪ C) := P(A), где A ∈ F , C ∈ N . (6)
Все аксиомы вероятности, очевидно, выполняются. Таким образом, получено вероятностное пространство(Ω,F ,P). Оно и называется пополнением пространства (Ω,F ,P).
Теперь поясним, собственно, зачем мы его построили. Сначала введём новый вид сходимости.
Определение. Говорят, что последовательность случайных величин ξn сходится к ξ почти наверное (почтивсюду), если ξn → ξ поточечно за исключением множества меры нуль, т. е. ξn → ξ на множестве Ω0 : P(Ω0) = 1.Обозначение: ξn
п.н.−→ ξ.
Утверждение 2.7. Пусть действительные случайные величины ξn сходятся к ξ почти наверное. Тогда ξбудет случайной величиной на пополнении нашего пространства по мере P.
Доказательство4 этого утверждения мы также предоставляем читателю.В дальнейшем, когда речь пойдёт о сходимости случайных величин и их математических ожиданий, всегда
под словом «сходимость», как правило, будем иметь в виду сходимость почти наверное и считать пространствопополненным.
2.3. Независимость случайных величин
2.3.1. Независимые алгебры и случайные величины
Теперь дадим одно из самых важных в теории вероятностей определений.
Определение. Алгебры (или σ-алгебры) A1, . . . ,An ⊂ F называются независимыми, если
P(A1 · . . . · An) = P(A1) · . . . · P(An) ∀Ai ∈ Ai. (7)
Определение. Пусть (Ω,F ) и (Θ,B) — измеримые пространства, а ξ : Ω → Θ — случайная величина.Сигма-алгеброй, порождённой величиной ξ, называется множество
σ ξ :=ξ−1(B), B ∈ B
. (8)
Определение. Величины ξ1, . . . , ξn называются независимыми, если σ ξ1 , . . . , σ ξn независимы.
Иными словами, независимость означает, что
P (ξ1 ∈ B1, . . . , ξn ∈ Bn) =
n⋂
i=1
ω : ξi(ω) ∈ Bi =
n∏
i=1
P(ξi ∈ Bi). (9)
Аналогично событиям определяется последовательность независимых случайных величин.
3Иногда используется термин «характеристическая функция», однако в теории вероятностей он имеет совсем другой смысл.4Его можно прочесть в книге А.В.Булинского и А.Н.Ширяева «Теория случайных процессов».
12
2.3.2. Теорема о булочках с изюмом
v1v2
vn
Теперь докажем одну из теорем о сходимости последовательности случайных вели-чин. Рассмотрим куб V с ребром M . Пусть в нём выделено n непересекающихся боре-левских подмножеств vi. Будем бросать точки в куб и считать, сколько их попадает в
каждое подмножество. Вероятность попадания k-й точки в vi равна P(ξk ∈ vi) = |vi||V |
(распределение равномерное, а модуль обозначает меру Лебега). Пусть Yi — число ча-стиц, попавших в vi. Это случайная величина, так как она равна сумме N индикаторовборелевских множеств (N — общее число частиц):
Yi :=
N∑
k=1
Ivi
(ξk(ω)
). (10)
Теорема 2.8. Пусть длина ребра куба стремится к +∞, а плотность частиц стремится к некоторому(конечному) числу: N
|V | → λ > 0. Тогда
P (Y1 = m1, . . . , Yn = mn) → (λ|v1|)m1
m1!exp (−λ|v1|) · . . . ·
(λ|vn|)mn
mn!exp (−λ|vn|) =
n∏
i=1
P(zi = mi), (11)
где величины zi имеет пуассоновское распределение с параметром λ|vi|. Пусть m0 — число частиц, не попавших ни в одно из vi, а pi — вероятность попадания в vi.
m0 := N −n∑
i=1
mi, pi :=|vi||V | , p0 :=
|V | −n∑
i=1
|vi|
|V | . (12)
Тогда искомая вероятность равна
N !
m0! ·m1! · . . . ·mn!· pm0
0 · pm11 · . . . · pmn
n . (13)
Заметим, что
N !
m0!=
N !(N −
n∑i=1
mi
)!
→ N
nPi=1
mi
. (14)
Тогда
Nmipmi
i = Nmi
( |vi||V |
)mi
=
(N |vi||V |
)mi
→ (λ|vi|)mi . (15)
В следующей формуле все операции суммирования — по i от 1 до n. Имеем
pm00 =
( |V | −∑ |vi||V |
)N−Pmi
→(
1 −∑ |vi||V |
)N
=
(1 −
∑ |vi||V |
) N|V | |V |
→ exp(−λ∑
|vi|), (16)
так как показатель степени стремится к λ|V |. Теорема доказана.
Следствие 2.3. Если npn → λ > 0 при n→ ∞, то
Cmn p
mn (1 − pn)n−m → λm
m!e−λ. (17)
2.4. Теорема о монотонных классах и её следствия
2.4.1. π-системы и λ-системы множеств
Определение. Система M подмножеств S называется π-системой, если A,B ∈ M ⇒ A ∩B ∈ M.
Замечание. Если M — π-система, то можно считать, что S ∈ M.
Определение. Система M называется λ-системой, если:1 S ∈ M;
2 A ⊂ B и A,B ∈ M ⇒ B rA ∈ M;
3 An ր A и An ∈ M ⇒ A ∈ M.
13
Очевидно, что пересечение π-систем будет π-системой. То же самое верно и для λ-систем.Будем рассматривать π K и λ K — наименьшие π-системы и λ-системы, порождённые системой K. Их
существование доказывается аналогично соответствующему утверждению для σ-алгебр.
Лемма 2.9. Множество A является σ-алгеброй тогда и только тогда, когда оно является π-λ-системой.
Честно проверяем аксиомы: замкнутость относительно пересечения уже есть, счётная аддитивностьлегко выводится из свойства 3
определения λ-системы. Всё остальное совсем очевидно.
Теорема 2.10 (О монотонных классах). Пусть π-система M содержится в λ-системе D. Тогда σ-ал-гебра, натянутая на M, совпадает с λ-системой, порождённой M, т. е. σ M = λ M ⊂ D.
Без потери общности можно считать, что D = λ M. Покажем, что D замкнуто относительно пересе-чения, откуда по предыдущей лемме и будет следовать, что D есть σ-алгебра, так как это будет π-λ-система.
Рассмотрим произвольные множества A,B ∈ D и докажем, что A∩B ∈ D. Пусть B ∈ M. Рассмотрим классFB таких множеств A, для которых утверждение верно, т. е. FB := A ∈ D : A ∩B ∈ D. Легко видеть, что этоткласс является λ-системой, а значит, он совпадает с D. Аналогично, фиксировав множество A, рассмотрим классGA := B ∈ D : A ∩B ∈ D. Это также будет λ-система, поэтому GA = D для ∀A ∈ D. Значит, A ∩ B ∈ D длялюбых A,B ∈ D.
2.4.2. Следствия
Теорема 2.11. Рассмотрим вероятностное пространство (Ω,F ,P). Пусть A = σ K, где K — π-системаподмножеств Ω, а Q — некоторая вероятностная мера. Пусть P = Q на K. Тогда P = Q на A .
Рассмотрим совокупность M множеств A ∈ F таких, что P(A) = Q(A). Она является λ-системой,поэтому если An ր A, где An ∈ M, то и A ∈ M. В силу непрерывности P имеем P(An) → P(A). Но P(An) =Q(An) по определению класса M. Значит, P(A) = Q(A).
Следствие 2.4. Пусть P,Q — меры на B(R), а F (x) и G(x) — их функции распределения. Пусть F = G.Тогда меры P и Q совпадают на B(R).
Действительно, очевидно, что класс M :=(−∞;x], x ∈ R
есть π-система. Кроме того, σ M = B(R).
Остается воспользоваться только что доказанной теоремой.
Задача 2.3. Пусть A = σ K, где K — алгебра. Тогда для ∀ ε > 0 и для ∀A ∈ A найдётся множествоAε ∈ K такое, что P(AAε) < ε.
Решение. Нужно всего лишь вспомнить теорему о продолжении меры (Каратеодори).
Покажем теперь, что свойство независимости σ-алгебр можно проверять только на порождающих элементах,если они образуют π-системы.
Теорема 2.12. Пусть A1, . . . ,An ⊂ F , где Ai = σ Mi, а Mi — π-системы. Пусть также для событийAi ∈ Mi справедливо равенство
P(A1 · . . . · An) = P(A1) · . . . · P(An). (18)
Тогда оно верно и для любых событий Ai ∈ Ai.
Зафиксируем Ai ∈ Mi для i = 2, n. Рассмотрим класс событий K1 таких, что (18) верно для любогоA1 ∈ K1. Легко видеть, что K1 будет λ-системой. Применяя теорему о монотонных классах, получаем, чтоформула верна для любого A1 ∈ A1. Далее, аналогично зафиксируем все множества, кроме A2, и т. д. Темсамым утверждение будет доказано для любых событий из A1, . . . ,An.
Следствие 2.5. Независимость действительных случайных величин ξ1, . . . , ξn равносильна тому, что для∀x1, . . . , xn ∈ R совместная вероятность равна произведению вероятностей:
P(ξ1 6 x1, . . . , ξn 6 xn) =
n∏
i=1
P(ξi 6 xi). (19)
Лемма 2.13. Пусть ξ1, . . . , ξn — независимые случайные величины, а f1, . . . , fn : R → R — борелевскиефункции. Тогда функции f1(ξ1), . . . , fn(ξn) также независимы.
В самом деле,
σ fi(ξi) =
(fi(ξi)
)−1(B)
=
ξ−1i
(f−1
i (B)︸ ︷︷ ︸∈B(R)
)⊆ σ ξi . (20)
Значит, определение независимости будет выполнено и для σ-алгебр σ fi(ξi).
Теперь обобщим утверждение леммы. Покажем, что борелевские функции от непересекающихся наборовнезависимых случайных величин независимы.
14
Теорема 2.14. Рассмотрим независимые действительны случайные величины ξ1, . . . , ξn и некоторые бо-релевские функции f1(x1, . . . , xk1 ), . . . , fs(xkm
, . . . , xn). Тогда композиции f(ξ1, . . . , ξk1 ), . . . , f(ξkm, . . . , ξn) также
независимы.
Легко видеть, что свойство независимости справедливо для «параллелепипедов», т. е. множеств видаB = C1 × . . . × Ck, где Ci ∈ B(R), для которых
(x1, . . . , xk) ∈ B
=x1 ∈ C1, . . . , xk ∈ Ck
. Параллелепипеды
образуют π-систему. Остаётся применить первое следствие из теоремы о монотонных классах (теорему 2.11).
2.5. Построение случайных величин с заданным распределением
2.5.1. Последовательности равномерно распределённых величин
Рассмотрим независимые случайные величины ξk, принимающие только значения 0 и 1 с одинаковой веро-ятностью p = 1
2 . Рассмотрим также величину
ξ :=
∞∑
k=1
ξk(ω)
2k. (21)
Лемма 2.15. Величина ξ имеет равномерное распределение на [0, 1].
Заметим сначала, что ξ будет случайной величиной, так как это предел суммы сходящегося ряда. Пустьx ∈ [0, 1] имеет двоичное разложение
x =
∞∑
k=1
xk
2k. (22)
Найдём функцию распределения ξ:
P(ξ < x) = P(ξ1 < x1 ∪ ξ1 = x1, ξ2 < x2 ∪ ξ1 = x1, ξ2 = x2, ξ3 < x3 ∪ . . .
) !=
!=
∞∑
k=1
P (ξ1 = x1, . . . , ξk−1 = xk−1, ξk < xk)!!=
!!=
∞∑
k=1
(P(ξ1 = x1) · . . . · P (ξk−1 = xk−1) · P (ξk < xk)
)=
∞∑
k=1
xk
2k= x = P
([0, x]
),
что и означает равномерную распределённость. Переход «!» обусловлен тем, что рассматриваемые события непересекаются, а равенство «!!» — независимостью величин ξk.
Теперь построим не одну равномерно распределённую величину, а сразу много. Для этого запишем нашивеличины ξk в виде таблицы, заполняя её по диагоналям:
ξ1 ξ2 ξ4 ξ7 . . .ξ3 ξ5 ξ8 . . .ξ6 ξ9 . . .ξ10 . . .
(23)
Перенумеруем ξk индексами по строкам и столбцам, получим величины ξij . Получатся последовательностиξij∞j=1 (при фиксированном i) независимых случайных величин, так как они являются подпоследовательно-
стями в последовательности независимых величин ξk. Рассмотрим теперь величины
ηn :=∞∑
k=1
ξnk(ω)
2k. (24)
По только что доказанной лемме они имеют равномерное распределение на [0, 1]. Остаётся показать их незави-симость. Рассмотрим конечные суммы
θnm :=
m∑
k=1
ξnk(ω)
2k→ ηn, m→ ∞. (25)
Они будут независимыми как (борелевские) функции от непересекающихся наборов случайных величин. Довестидоказательство до конца, сославшись на непрерывность вероятности в нуле и равномерную распределённостьвеличин ηn, мы предоставляем читателю.
15
2.5.2. Построение произвольной последовательности вероятностных мер
Определение. Закон распределения случайной величины ξ : Ω → R есть
Law(ξ) = Pξ(B) := P(ξ−1(B)
). (26)
Теперь определим нечто вроде «обратной функции» для функций распределения.
Определение. Пусть x ∈ (0, 1). Положим
F−1(y) := inf x : F (x) > y , (27)
то есть из всевозможных прообразов берём их нижнюю грань.
Лемма 2.16. Для ∀ z ∈ R имеет место равенство множеств
x ∈ (0, 1): F−1(x) 6 z
= x ∈ (0, 1): x 6 F (z) . (28)
Если x 6 F (z), то по определению F−1(x) 6 z. Таким образом, включение «⊇» установлено. Наоборот,если F−1(x) 6 z, то F
(F−1(x)
)6 F (z), так как F неубывает. Покажем, что x 6 F
(F−1(x)
)для ∀x ∈ (0, 1).
Пусть F−1(x) = a. Рассмотрим последовательность yn ց a. Тогда F (yn) > a в силу неубывания F . Функция Fнепрерывна справа, поэтому F (yn) → F (a). Переход к пределу даёт F
(F−1(a)
)> a.
Следствие 2.6. Пусть ν имеет равномерное распределение на [0, 1], а F — функция распределения неко-торой меры Q на B(R). Тогда Law
(F−1(ν)
)= Q.
Действительно, P(F−1(ν) 6 z
) != P
(ω : ν(ω) 6 F (z)
)= F (z), так как распределение равномерно. Равен-
ство «!» обусловлено леммой.
Таким образом, имея равномерно распределённую величину ξ, можно построить случайную величину с про-извольной функцией распределения.
А вот теперь настало время прояснить, зачем всё это нам потребовалось.
Теорема 2.17. Пусть задана последовательность Qn вероятностных мер на B(R), т. е. последователь-ность Fn их функций распределения. Тогда на некотором вероятностном пространстве существуют неза-висимые случайные величины ξn c функциями распределения Fn, т. е. Law(ξn) = Qn.
Построим последовательность независимых случайных величин νn, равномерно распределённых на[0, 1]. Положим ξn := F−1
n (νn). Величины ξn будут независимыми как борелевские функции от независимыхвеличин. По следствию из леммы их законы распределения суть в точности Qn.
3. Математическое ожидание
3.1. Интеграл Лебега по вероятностной мере
3.1.1. Определение интеграла Лебега
Как обычно, мы рассматриваем вероятностное пространство (Ω,F ,P).
Определение. Случайная величина ξ : Ω → R называется простой, если она представима в виде
ξ(ω) =
n∑
i=1
aiIAi(ω), (1)
где A1, . . . , An — разбиение Ω.
Математическое ожидание определяется в три этапа: сначала для простых случайных величин, потом дляпроизвольных неотрицательных, и только потом для любых. Приступим. . .
Определение. Интегралом Лебега по вероятностной мере P (математическим ожиданием) простой слу-чайной величины ξ называется число
Eξ :=
n∑
i=1
akP(Ak). (2)
Задача 3.1. Показать, что значение Eξ не зависит от разбиения, т. е.
ξ =
n∑
i=1
aiIAi=
m∑
j=1
bjIBj⇒ Eξ =
n∑
i=1
aiP(Ai) =
m∑
j=1
bjP(Bj). (3)
16
Решение. Достаточно перейти к более мелкому разбиению, т. е. к попарным пересечениям всех Ai и Bj .
Очевидно, что для простых случайных величин верны свойства:1 E(cξ) = cEξ;
2 E(ξ ± η) = Eξ ± Eη;
3 ξ 6 η ⇒ Eξ 6 Eη (в частности, ξ > 0 ⇒ Eξ > 0).
Теперь определим математическое ожидание произвольной неотрицательной величины.
Определение. Пусть ξ > 0. Положим
Eξ := sup Eη : η 6 ξ , (4)
где η — простые случайные величины.
Замечание. Для неотрицательных случайных величин математическое ожидание определено всегда, однакооно может принимать бесконечные значения.
Наконец, определим Eξ для произвольной величины ξ. Для этого введём следующие обозначения:
ξ+ := max ξ, 0 , ξ− := −min ξ, 0 . (5)
Определение. Пусть ξ — действительная случайная величина. Положим
Eξ := E(ξ+)− E
(ξ−). (6)
При этом говорят, что математическое ожидание существует, если хотя бы одно из значений E (ξ+) и E (ξ−)конечно, причём C + ∞ := +∞, а C −∞ := −∞. В противном случае Eξ не определено.
В дальнейшем будем говорить, что математическое ожидание существует, если интегралы от положительнойи отрицательной части конечны.
Интеграл Лебега обозначается так:
Eξ =
∫
Ω
ξ dP =
∫
Ω
ξ(ω) P(dω). (7)
Если ξ интегрируема по Лебегу, пишут ξ ∈ L1.Обозначение «E» происходит от французского «esperance mathematique». Иногда используется буква «M»,
происходящая от английского «mean value» (среднее значение), что лучше отражает смысл данного понятия.
Замечание. Интеграл Лебега относится к числу абсолютных интегралов, т. е. f ∈ L1 ⇔ |f | ∈ L1.
3.1.2. Свойства математического ожидания
Далее будем рассматривать случайную величину ξ : Ω → R.Следующее утверждение, несмотря на свою очевидность, чрезвычайно важно и будет многократно приме-
няться ниже.
Лемма 3.1 (об аппроксимации). Пусть ξ > 0. Тогда существует последовательность простых случай-ных величин ξn такая, что ξn ր ξ.
Построим «ступенчатые» функции, уменьшая высоту ступенек со скоростью 2−n и наращивая высоту«лестницы» со скоростью n. Там, где наша функция оказывается между ступеньками, берем нижнюю границу,а выше уровня n «срезаем» функцию. Более формально, положим
ξn :=
k2−n, k2n 6 ξ(ω) < (k + 1)2−n;
n, ξ(ω) > n,где k = 0, 2n − 1. (8)
Это — искомая последовательность. Сходимость к ξ и неубывание последовательности очевидны.
Лемма 3.2. Пусть 0 6 ξn ր ξ, где ξn — простые случайные величины. Тогда Eξn → Eξ.
Положим a := limEξn и покажем, что a = Eξ. По определению математического ожидания Eξn 6 Eξ,а значит, и a 6 Eξ. Докажем обратное неравенство, т. е. что a > Eη для любой простой величины 0 6 η 6 ξ.Пусть η принимает значения a1, . . . , ak на множествах A1, . . . , Ak соответственно. Фиксируем ε ∈ (0, 1). Введёмслучайные величины
ηn := (1 − ε)η · I(1−ε)η6ξn. (9)
Рассмотрим множества Ain := Ai∩(1 − ε)η 6 ξn. Очевидно, что Ain ր Ai при n→ ∞. Значит, P(Ain) → P(Ai)при n→ ∞. Тогда
Eηn = (1 − ε)
k∑
i=1
aiP(Ain) → (1 − ε)
k∑
i=1
aiP(Ai) = (1 − ε)Eη. (10)
17
Значит, (1 − ε)Eη 6 a, а так как ε произвольно, то Eη 6 a.
Теорема 3.3. Множество интегрируемых функций L1 есть векторное пространство, а E — линейныйоператор на L1. Если ξ > 0, то и Eξ > 0. Если 0 6 η 6 ξ и ξ ∈ L1, то и η ∈ L1. Если ξ
п.н.
= η, то Eξ = Eη.
Докажем первое утверждение теоремы. Если ξ и η — простые случайные величины, то αξ+βη — простаяслучайная величина, и E(αξ+βη) = αEξ+βEη для любых α, β ∈ R. Если ξ, η > 0, то построим последовательности0 6 ξn ր ξ и 0 6 ηn ր η. Тогда E(ξn + ηn) = Eξn + Eηn, а по предыдущей лемме E(ξn + ηn) ր E(ξ + η) иEξn + Eηn ր Eξ + Eη. Далее, если C > 0, то Cξn ր Cξ, поэтому E(Cξ) = CEξ.
Покажем теперь, что если ξ, η > 0, тоE(ξ − η) = Eξ − Eη. (11)
По определению, E(ξ− η) = E(ξ− η)+ −E(ξ− η)−. Так как (ξ− η)+ + η = ξ+(ξ− η)−, и каждое слагаемое справаи слева неотрицательно, то E(ξ − η)+ + Eη = Eξ + E(ξ − η)−, а это равносильно (11). Представляя каждое изслагаемых в виде разности двух неотрицательных, получаем
E(ξ + η) = E((ξ+ + η+) − (ξ− + η−)
)= (Eξ+ + Eη+) − (Eξ− + Eη−) = Eξ + Eη. (12)
Таким образом, первое утверждение доказано для любых ξ, η ∈ L1.Второе и третье утверждение теоремы очевидны. Докажем четвёртое утверждение. Как видно из доказа-
тельства первой части, можно рассматривать лишь случай ξ, η > 0. Пусть событие A := ξ = η. Построим0 6 ξn ր ξ и 0 6 ηn ր η. Тогда Eηn ր Eη. Имеем
Eηn = E(ηnIA) + E(ηnIA). (13)
Возьмём ηn из леммы об аппроксимации. Так как P(A) = 0, то Eηn = E(ηnIA) = E(ξnIA) → E(ξIA) = Eξ.
Как известно, интеграл от произведения функций в общем случае не равен произведению интегралов. А вотесли случайные величины независимы, то оказывается, что это всегда верно. Настало время это доказать.
Теорема 3.4. Пусть ξ, η ∈ L1 — независимые случайные величины. Тогда (ξ · η) ∈ L1 и E(ξ · η) = Eξ · Eη. Очевидно, что ξ+, η+ и ξ−, η− — также независимые величины (это борелевские функции от независимых
величин). Покажем, что E(ξ+ ·η+) = E(ξ+)·E(η+). Снова построим величины 0 6 ξn ր ξ и 0 6 ηn ր η. Величиныξn и ηn будут независимыми. Имеем
ξn =
k∑
i=1
a(n)i I
A(n)i
, ηn =
m∑
j=1
b(n)j I
B(n)j
. (14)
Пользуясь тем, что P(A
(n)i · B(n)
j
)= P
(A
(n)i
)· P(B
(n)j
), перемножим ряды, и получим, что E(ξnηn) = EξnEηn.
Остаётся перейти к пределу при n→ ∞.
3.1.3. Теоремы о предельном переходе под знаком интеграла Лебега
Следующая теорема является обобщением уже полученных результатов.
Теорема 3.5 (о монотонной сходимости). Пусть 0 6 ξn ր ξ. Тогда Eξn ր Eξ.
Построим простые величины ηnk ր ξn при k → ∞.
η11 6 η12 6 . . . 6 η1k 6 . . .ր ξ1
6
......
6
ηk1 6 ηk2 6 . . . 6 ηkk 6 . . .ր ξk
Положимζk := max
16i,j6kηij = max
16i6kηnk. (15)
Это будет возрастающая последовательность простых случайных величин. Пусть ζk ր ζ. Имеем
0 6 ηnk 6 ζk 6 ξk 6 ξ. (16)
Устремим k → ∞, получим ξn 6 ζ 6 ξ. Теперь устремим n→ ∞, получим ξ 6 ζ 6 ξ, откуда ζ = ξ.
18
В силу неравенства (16) Eηnk 6 Eζk 6 Eξk. В пределе при k → ∞ получаем Eξn 6 Eζ 6 limEξk. Переходя кпределу при n→ ∞, получаем limEξn 6 Eζ 6 lim Eξk. Но ζ = ξ, поэтому limEξn = Eξ.
Следствие 3.1. Пусть ξn > 0. Тогда E∞∑
n=1ξn =
∞∑n=1
Eξn.
Нужно рассмотреть (неубывающую) последовательность частичных сумм и применить теорему.
Следствие 3.2. Пусть∞∑
n=1E|ξn| сходится. Тогда
∞∑n=1
ξn сходится почти наверное и E∞∑
n=1ξn =
∞∑n=1
Eξn.
В самом деле, если бы функциональный ряд расходится на множестве положительной меры, то расхо-дится и ряд из модулей. Но тогда расходится и ряд из интегралов от модулей. Противоречие.
Задача 3.2. Доказать более общую теорему: пусть η 6 ξn ր ξ, где Eη > −∞. Тогда Eξn ր Eξ.
Лемма 3.6 (Фату). Пусть η 6 ξn, и Eη > −∞. Тогда E lim inf ξn 6 lim inf Eξn.
Имеемξ := lim inf ξn = lim
ninfk>n
ξk︸ ︷︷ ︸
ηn
. (17)
Тогда ηn ր ξ, и η 6 ηn 6 ξn. Из этого неравенства и теоремы о монотонной сходимости (точнее, из задачи 3.2)следует, что Eξ = limEηn 6 lim inf Eξn.
Теорема 3.7 (Лебега о мажорируемой сходимости). Пусть ξ, η — случайные величины, и ξn → ξ, и|ξ| 6 η. Пусть η ∈ L1. Тогда Eξn → Eξ.
Имеем −ξn > −η и E(−η) > −∞. По лемме Фату
E(lim inf(−ξn)
)6 lim inf E(−ξn) ⇒ E(− lim sup ξn) 6 − lim supEξn. (18)
Выносим минус за знак E, и получаем E(lim sup ξn) > lim sup Eξn. Таким образом,
E lim sup ξn > lim sup Eξn > lim inf Eξn > E lim inf ξn. (19)
Отсюда всё следует, так как ξ = lim ξn = lim inf ξn = lim sup ξn, а потому Eξ > lim sup Eξn > lim sup Eξn > Eξ.Следовательно, limEξn = Eξ.
Теорема 3.8. Пусть (Ω,F ,P) и (Θ,B,Pξ) — вероятностные пространства, где ξ : Ω → Θ — случайнаявеличина, а Pξ = Law(ξ). Пусть также ϕ : Θ → R — борелевская функция. Тогда
Eϕ(ξ(ω)
)=
∫
Ω
ϕ(ξ(ω)
)P(dω) =
∫
Θ
ϕ(θ)Pξ(dθ). (20)
Докажем утверждение сначала для индикаторов. Имеем
EIB
(ξ(ω)
)= P (ξ ∈ B)
def
= Pξ(B) =
∫
Θ
IB(θ)Pξ(dθ). (21)
Для простой функции ϕ =n∑
k=1
akIAkутверждение также справедливо по линейности интеграла.
Теперь пусть ϕ > 0. Построим простые функции 0 6 ϕn ր ϕ. По теореме о монотонной сходимости
Eϕn(ξ) =
∫
Θ
ϕn(θ)Pξ(dθ) →∫
Θ
ϕ(θ)Pξ(dθ) = Eϕ(ξ), n→ ∞. (22)
В общем случае рассмотрим ϕ+ и ϕ− и повторим предыдущее рассуждение.
Замечание. Как уже было замечено выше, все теоремы о сходимости случайных величин можно перефор-мулировать в терминах сходимости почти наверное, пополнив вероятностное пространство, поскольку значениеинтеграла не зависит от значений функции на множестве меры нуль.
Далее будем рассматривать вероятностное пространство с σ-конечной мерой, т. е. такое, которое можно раз-бить на счётное число подмножеств, каждое из которых имеет конечную меру.
Определение. Пусть ξ — случайная величина. Говорят, что она обладает плотностью, если её функцияраспределения представляется интегралом от неотрицательной функции p(t):
Fξ(x) =
x∫
−∞
p(t) dt. (23)
19
Очевидно, что если функция f интегрируема по Риману, то она интегрируема по Лебегу и интегралы совпа-дают. Если же существует несобственный интеграл Римана у |f |, то существует и интеграл Лебега и они такжесовпадают.
Пусть p(t) — плотность величины ξ. Введём функцию
Q(B) :=
∫
B
p(t) dt =
∫
R
p(t)IB(t) dt. (24)
Эта функция является мерой на B(R), так как
Q
(⋃Bi
)=
∫
R
p(t)∑
IBi(t) dt =
∑∫
R
p(t)IBi(t) dt =
∑Q(Bi). (25)
Имеем Q((−∞, x]
)=
x∫−∞
p(t) dt = Fξ(x). Значит, Q = Pξ.
Теорема 3.9. Пусть случайная величина ξ имеет плотность p(t), а ϕ — борелевская функция. Тогда
E(ϕ(ξ)
)=
∫
R
ϕ(x)Pξ(dx) =
∫
R
h(t)p(t) dt. (26)
3.2. Дисперсия и ковариация. Пространство Lp
3.2.1. Определения и свойства
Определим понятие «момента инерции» случайной величины — величину среднеквадратичного отклоненияот своего среднего значения.
Определение. Пусть существует Eξ2. Дисперсией величины ξ называется число
Dξ := E(ξ − Eξ)2. (27)
Рассмотрим множество Lp случайных величин ξ на вероятностном пространстве (Ω,F ,P), у которых суще-ствует E|ξ|p, где p ∈ (1,∞) — некоторое (фиксированное) число. Введём на нём отношение эквивалентности:
ξ ∼ η ⇔ ξп.н.
= η. Положим Lp := Lp/∼ — пространство классов эквивалентных функций, интегрируемых вместе
со своей p-й степенью.Пространство L2 является полным нормированным (гильбертовым) пространством. Скалярное произведе-
ние вводится так:
〈X,Y 〉 :=
∫
Ω
XY dP. (28)
Очевидно, что это симметричная билинейная положительно определённая форма. Как будет показано ниже,〈X,X〉 = 0 ⇔ X
п.н.
= 0.Таким образом, Dξ имеет смысл, если ξ ∈ L2.Раскрывая скобки в определении дисперсии, по свойству линейности получаем
Dξ = E (ξ − Eξ)2
= E[ξ2 − 2ξEξ + (Eξ)2
]= E(ξ2) − (Eξ)
2. (29)
Теперь определим «скалярное произведение» случайных величин.
Определение. Ковариацией величин ξ, η ∈ L2 называется число
cov(ξ, η) := E[(ξ − Eξ)(η − Eη)
]. (30)
Определение корректно в силу неравенства |XY | 6 12
(|X |2 + |Y |2
), где X := ξ − Eξ, а Y := η − Eη.
Если в определении раскрыть скобки, получится ещё одна хорошая формула для ковариации:
cov(ξ, η) = E(ξ · η) − Eξ · Eη. (31)
Замечание. Если ξ, η — независимые случайные величины, то cov(ξ, η) = 0, так как EξEη = Eξη. Обрат-ное, однако, неверно: существуют зависимые случайные величины, с нулевой ковариацией. В качестве примерагодятся, скажем, sin ν и cos ν, где величина ν равномерно распределена на [0, π].
20
Теперь сформулируем некоторые свойства дисперсии и ковариации. Очевидно, что ковариация если симмет-ричная билинейная функция на L2, именно потому она имеет сходство со скалярным произведением. Крометого, Dξ = cov(ξ, ξ), и D(Cξ) = C2Dξ.
Из свойства билинейности и симметричности ковариации следует, что
D
n∑
k=1
ξk =
n∑
i=1
n∑
j=1
cov(ξi, ξj) =
n∑
k=1
Dξk +∑
i6=j
cov(ξiξj) =
n∑
k=1
Dξk + 2∑
i<j
cov(ξi, ξj). (32)
Если же ξk попарно независимы, то D∑ξk =
∑Dξk.
Пример 2.1. Пусть P(ξ = 1) = p, P(ξ = 0) = 1 − p. Тогда Eξ = p, а Dξ = E(ξ2)−(Eξ2)
= p(1 − p).
3.2.2. Неравенство Чебышева
Лемма 3.10 (неравенство Чебышева5 для Lp). Для ∀α > 0 выполняется неравенство
αp · P x : |f(x)| > α 6
∫
Ω
|f(x)|p dP. (33)
Пусть L := ω : |f(x)| < α, а G := Ω r L. Тогда
∫
Ω
|f |p dP =
∫
L
|f |p dP +
∫
G
|f |p dP >
∫
G
|f |p dP. (34)
Последний интеграл оценим снизу числом αpP(G), ибо |f |p > αp на G. Значит,∫Ω
|f |p dP > αp · P |f | > α.
На языке теории вероятностей это неравенство при p = 1 переформулируется так:
P (|ξ| > ε) 6E|ξ|ε. (35)
Следствие 3.3. Dξ = 0 ⇔ E|ξ| = 0 ⇔ ξп.н.
= 0.
Справа налево утверждение очевидно. Наоборот: положим α = 1n
для ∀n ∈ N. Тогда по условию идоказанному неравенству P
(|ξ| > 1
n
)6 n · E|ξ| = 0. Так как n произвольно, то P (|ξ| 6= 0) = 0.
Ещё одно следствие леммы будет много раз применяться в следующей главе.
Следствие 3.4 (неравенство Чебышева).
P(|ξ − Eξ| > ε
)6
Dξ
ε2. (36)
Рассмотрим случайную величину η := ξ − Eξ и запишем для неё неравенство Чебышева для L2. Это ибудет требуемое неравенство, так как Eη2 = Dξ.
4. Сходимость случайных величин. Закон больших чисел
4.1. Закон больших чисел
4.1.1. Простейший вариант ЗБЧ
Определение. Говорят, что ξn → ξ по вероятности, и пишут «ξnP−→ ξ», если для ∀ ε > 0 вероятность
отклонения ξn от ξ на величину ε стремится к нулю:
P|ξn − ξ| > ε
→ 0, n→ ∞. (1)
Докажем теперь один из фундаментальных результатов теории вероятностей.
Теорема 4.1 (Закон больших чисел). Пусть ξn — последовательность попарно независимых случай-ных величин. Пусть также их дисперсии ограничены в совокупности: Dξn 6 C <∞ для ∀n. Тогда
1
n
n∑
k=1
ξkP−→ 1
n
n∑
k=1
Eξk. (2)
5Эта лемма в явном виде не доказывалась на лекциях, но она сильно сокращает дальнейшие выкладки.
21
Введём обозначение: ξ := 1n
n∑k=1
ξk. Нужно показать, что P(|ξ − Eξ| > ε
)→ 0. По неравенству Чебышева
P(|ξ − Eξ| > ε
)6
Dξ
ε2=
1
n2ε2D
n∑
k=1
ξk!=
1
n2ε2
n∑
k=1
Dξk 6C · nn2ε2
=C
nε2→ 0, n→ ∞. (3)
Равенство «!» обусловлено попарной независимостью.
Иными словами, при большом количестве случайных испытаний отклонение от среднего значения неслучай-но. Это явление, замеченное уже давно, как мы сейчас убедились, имеет строгое математическое обоснование.
Следствие 4.1. В схеме испытаний Бернулли средняя частота успехов стремится к p.
4.1.2. Теорема Вейерштрасса
Покажем, как теперь можно сравнительно просто доказать теорему о плотности многочленов в C[0, 1].
Теорема 4.2. Пусть f ∈ C[0, 1]. Тогда найдётся последовательность многочленов Pn таких, что Pn
f .
В силу непрерывности на компакте f ограничена по модулю числом M и равномерно непрерывна нанём. Определим многочлены Бернштейна
Bn(f, p) :=
n∑
k=0
f
(k
n
)C
knp
k(1 − p)n−k. (4)
Для удобства считаем, что 00 = 1 и Bn(f, 0) = f(0), а Bn(f, 1) = f(1). Введём независимые величины
ξk :=
1 с вероятностью p;
0 с вероятностью (1 − p).(5)
Пусть σn := ξ1 + . . .+ ξn, тогда P(σn = k) = Cknp
k(1 − p)n−k. Теперь заметим, что
Ef(σn
n
)=
n∑
k=0
f
(k
n
)· P(σn = k) = Bn(f, p). (6)
Приступим у оценке разности. Так как E(const) = const, и |Eξ| 6 E|ξ|, то имеем
|f(p) −Bn(f, p)| =∣∣∣Ef(p) − Ef
(σn
n
)∣∣∣ 6 E
∣∣∣f(p) − f(σn
n
)∣∣∣ = (∗). (7)
Пусть событие A :=∣∣σn
n− p∣∣ < δ
, где δ > 0. Тогда, разбивая разность на две части и оценивая вторую по
неравенству Чебышева, получаем
(∗) = E
∣∣∣f(p) − f(σn
n
)∣∣∣ · IA + E
∣∣∣f(p) − f(σn
n
)∣∣∣ · IA 6 ωf (δ) · P(∣∣∣σn
n− p∣∣∣ < δ
)
︸ ︷︷ ︸61
+2M · P(∣∣∣σn
n− p∣∣∣ > δ
)6
6 ωf (δ) + 2M · D(
σn
n
)
δ2= ωf (δ) + 2M · 1
n2δ2
n∑
k=0
Dξk = ωf (δ) + 2M · np(1 − p)
n2δ26 ωf (δ) +
M
2nδ2→ 0, n→ ∞,
так как max[0,1]
p(1 − p)
= 1
4 , а модуль непрерывности f стремится к нулю при достаточно малых δ.
4.2. Различные виды сходимости и их взаимосвязь
4.2.1. Теорема Пуассона
4.2.2. Сходимость по вариации
4.2.3. Сходимость по распределению и слабая сходимость
4.2.4. Сходимость почти всюду и сходимость по вероятности
4.3. Усиленные законы больших чисел и их следствия
4.3.1. УЗБЧ для некоррелированных величин
Теорема 4.3. Пусть X1, . . . , Xn, . . .— случайные величины такие, что DXk 6 c < ∞ ∀k и covXiXj = 0∀i 6= j (т.е. случайные величины X1, . . . , Xn, . . . некоррелированы). Тогда
1
n
n∑
k=1
Xk − 1
n
n∑
k=1
EXkп.н.−→ 0, n −→ ∞. (8)
22
Без ограничения общности можно считать, что EXk = 0 ∀k. Действительно, иначе рассмотрим случайные
величины Xk = Xk − EXk. Для них DXk = DXk 6 c, cov XiXj = covXiXj = 0, EXk = 0 ∀k и 1n
n∑k=1
Xk −
1n
n∑k=1
EXk = 1n
n∑k=1
Xk.
Для каждого n > 2 найдем m(n) ∈ N: m(n)2 < n 6 (m(n) + 1)2. Очевидно, m(n) ր ∞. Обозначим Sn = X1 +
. . .+Xn. Тогда|Sn|n
6|Sm(n)2 | + Zm(n)
n, где Zm(n) := max
16k62m(n)+1
∣∣∣Xm(n)2+1 + . . .+Xm(n)2+k
∣∣∣ (напоминаем, что
(m(n) + 1)2
= m(n)2+ 2m(n) + 1). Далее, имеем
|Sn|n
6|Sm(n)2 | + Zm(n)
n6Sm(n)2
m(n)2 +
Zm(n)
m(n)2 , поэтому достаточно
доказать, чтоSm(n)2
m(n)2
п.н.−→ 0 иZm(n)
m(n)2
п.н.−→ 0 при n −→ ∞.
Для ∀ε > 0 рассмотрим P
(ω :
|Sm2(ω)|m2 > ε
). По неравенству Чебышёва и используя условия DXk 6 c < ∞
∀k и covXiXj = 0 ∀i 6= j, получаем
P
(ω :
|Sm2(ω)|m2
> ε
)6
DSm2
ε2m4=
m2∑k=1
DXk
ε2m46
cm2
ε2m4=
c
ε2m2.
Следовательно,∞∑
m=1P
(|S
m2(ω)|m2 > ε
)6 c
ε2
∞∑m=1
1m2 <∞. По лемме Бореля–Кантелли отсюда следует, что ∀ω ∈ Ω0,
P(Ω0) = 1 ∃N(ω) :|Sm2(ω)|m2
6 ε ∀m > N . А это и означает, чтоSm2
m2
п.н.−→ 0, m −→ ∞.
Теперь рассмотрим Zm
m2 . Имеем:
P
( |Zm|m2
> ε
)= P
(2m+1⋃
k=1
|Xm2+1 + . . .+Xm2+k| > εm2
)6
2m+1∑
k=1
P
(|Xm2+1 + . . .+Xm2+k| > εm2
),
и применяя неравенство Чебышёва и условия теоремы, отсюда получаем:
P
( |Zm|m2
> ε
)6
2m+1∑
k=1
D(Xm2+1 + . . .+Xm2+k)
ε2m46c(2m+ 1)
ε2m4∼ 2c
ε2m3, m −→ ∞,
поэтому∞∑
m=1P(
Zm
m2 > ε)< ∞. Снова по лемме Бореля–Кантелли получаем
Zm
m2
п.н.−→ 0, m −→ ∞. А так как
m(n) ր ∞ при n −→ ∞, то иZm(n)
m(n)2
п.н.−→ 0, n −→ ∞. Теорема доказана.
4.3.2. Теорема Этемади
Теорема 4.4 (Этемади). Пусть X1, X2, . . .— попарно независимые одинаково распределенные случайныевеличины, E|X1| <∞. Тогда
Sn
n
п.н.−→ EX1, n −→ ∞, (9)
где Sn = X1 + . . .+Xn.
Замечание. Если случайные величины Xn > 0, одинаково распределены, некоррелированы (т.е. covXiXj =0 ∀i 6= j) и существует E|X1| <∞, то соотношение (9) следует из теоремы 4.3.
Покажем сначала, что достаточно рассмотреть случай неотрицательных случайных величин Xn. Дей-ствительно, если они любого знака, то представляем их в виде Xn = X+
n − X−n = x+(Xn) − x−(Xn), где
x+ = max(0, x), x− = x+ − x. Если Xi Xj , то x+(Xi) x+(Xj) и x−(Xi) x−(Xj). Поэтому если теоре-ма будет доказана для неотрицательных величин, то применяя ее для X+
1 , X+2 , . . . и X−
1 , X−2 , . . . , получим
Sn
n=
nP1
X+i
n−
nP1
X−i
n
п.н.−→ EX+1 − EX−
1 = EX1, n −→ ∞.Итак, далее считаем, что Xn > 0, n = 1, 2, . . .. Введем «урезанные» случайные величины Yi = Xi IXi 6 i,
i = 1, 2, . . .. Пусть Sn =n∑
i=1
Yi. Определим последовательность kn = [αn], n = 1, 2, . . ., где α > 1.
Лемма 4.5.Skn
− ESkn
kn
п.н.−→ 0, n −→ ∞.
23
Для доказательства применим лемму Бореля–Кантелли. А именно, докажем, что ∀ε > 0 сходится ряд∞∑
n=1P
(∣∣∣eSkn−E eSkn
kn
∣∣∣ > ε)< ∞. Применяя неравенство Чебышева, получаем
∞∑n=1
P
(∣∣∣eSkn−E eSkn
kn
∣∣∣ > ε)
6∞∑
n=1
D eSkn
ε2k2n
. В
силу некоррелированности имеем DSkn=
kn∑i=1
DYi, поэтому
∞∑
n=1
P
(∣∣∣∣∣Skn
− ESkn
kn
∣∣∣∣∣ > ε
)6
∞∑
n=1
DSkn
ε2k2n
=1
ε2
∞∑
n=1
1
k2n
kn∑
i=1
DYi 61
ε2
∞∑
i=1
EY 2i
∑
n: kn>i
1
k2n
.
В последнем неравенстве мы изменили порядок суммирования и воспользовались оценкой DYn 6 EY 2n . Далее,
оцениваем последнюю сумму в правой части:∑
n:[αn]>i
1
[αn]26
∑
n:[αn]>i
1
cαα2n=
1
cα
∑
n:[αn]>i
1
α2n, т.к. [αn]
2> cαα
2n
для некоторой константы cα. Так как∑
n>m
1
q2n=
1q2m
1 − 1q2
=1
q2(m−1)(1 − q2), то
∑
n: [αn]>i
1
α2n=
∑
n>[logα(i+1)]
1
α2n6
1
α2 logα(i+1)(
1−α2
α2
) = cα1
(i+ 1)2.
Итак, мы доказали, что
∞∑
n=1
P
(∣∣∣eSkn−E eSkn
kn
∣∣∣ > ε)
6C(α)
ε2
∞∑
i=1
EY 2i
(i+ 1)2. Далее, по формуле математического
ожидания Ef(X) =∞∫
−∞f(x)PX(dx) и учитывая, что PXi
= PX1 ∀i (так как по условию X1, X2, . . . одинаково
распределены) имеем∞∑
i=1
EY 2i
(i+ 1)2=
∞∑
i=1
1
(i+ 1)2
i∫
0
x2µ(dx), где µ = PX1 (в нашем случае функция f имеет вид
f(x) = x2I06x6i). Применяя аддитивность интеграла и меняя порядок суммирования, получаем:
∞∑
i=1
EY 2i
(i+ 1)2=
∞∑
i=1
1
(i+ 1)2
i∫
0
x2µ(dx) =∞∑
i=1
1
(i+ 1)2
i−1∑
k=0
k+1∫
k
x2µ(dx) =∞∑
k=0
k+1∫
k
x2µ(dx)∑
i>k+1
1
(i+ 1)2.
Далее, воспользуемся известной из математического анализа оценкой∞∑
n=m
f(n) 6∞∫
m−1
f(x) dx; получим:
∑
i>k+1
1
(i+ 1)2=∑
j>k+2
1
j26
∞∫
k+1
dx
x2=
1
k + 1. Следовательно,
∞∑
k=0
k+1∫
k
x2µ(dx)∑
i>k+1
1
(i+ 1)26
∞∑
k=0
1
k + 1
k+1∫
k
x2 µ(dx) 6
∞∑
k=0
k+1∫
k
xµ(dx) = EX1 <∞ (по условию). Подставляя эту оценку в исходную, получаем
∞∑
n=1
P
(∣∣∣eSkn−E eSkn
kn
∣∣∣ > ε)
6
C(α)EX1
ε2<∞ ∀ε > 0. Значит, по лемме Бореля–Кантелли
Skn− ESkn
kn
п.н.−→ 0, n −→ ∞, что и требовалось.
Вернемся к доказательству теоремы. Мы имеемE eSkn
kn=
knPi=1
EYi
kn. Покажем, что EYi = EXiI0 6 Xi 6 i −→ EX1,
i −→ ∞. Действительно, EXiI0 6 Xi 6 i =i∫0
xµ(dx) =∞∫0
xIx 6 iµ(dx) −→∞∫0
xµ(dx) = EX1, i −→ ∞ по теореме
о монотонной сходимости. Следовательно,ESkn
kn
−→ EX1, n −→ ∞. А так как по лемме 4.5Skn
− ESkn
kn
п.н.−→ 0,
n −→ ∞, то отсюда получаемSkn
kn
п.н.−→ EX1, n −→ ∞. Докажем, что отсюда вытекаетSkn
kn
п.н.−→ EX1, n −→ ∞.
Действительно, так как∑i
P(Xi 6= Yi) =∑i
P(Xi > i) =∑i
P(X1 > i)лемма
< EX1 + 1 < ∞, то по лемме Бореля–
Кантелли P(Xi 6= Yi) = 0. Следовательно, для почти всех ω ∈ Ω и ∀n > N(ω) Xi(ω) = Yi(ω) =⇒ 1kn
kn∑i=1
Xiп.н.−→
EX1, n −→ ∞.
Наконец, докажем, чтоSn
n
п.н.−→ EX1. Фиксируем α > 1. Для каждого n > N(α) найдем такое m(n), что
[αm(n)] 6 n < [αm(n)+1]. Так как все Xi > 0, то limn
Sn
n> lim
n
S[αm(n)]
n= lim
n
S[αm(n)]
[αm(n)]
[αm(n)]
n> EX1
1
α, так как
24
[αm(n)]
n>
[αm(n)]
[αm(n)+1]−→ 1
α, n −→ ∞. Аналогично, lim
n
Sn
n6 lim
n
S[αm(n)+1]
n= lim
n
S[αm(n)+1]
[αm(n)+1]
[αm(n)+1]
n6 EX1 · α
(воспользовались тем, что[αm(n)+1]
n6
[αm(n)+1]
[αm(n)]−→ α, n −→ ∞). Итак,
1
αEX1 6 lim
n
Sn
n6 lim
n
Sn
n6 αEX1, где
α > 1 — любое. Устремим α ⇓ 1, тогда получим limn
Sn
n= EX1 п.н., что и требовалось доказать.
Следствием доказанной теоремы является важная классическая теорема Колмогорова:
Следствие 4.2 (Колмогоров). Пусть X1, X2, . . .— независимые в совокупности одинаково распределен-
ные случайные величины такие, что E|X1| <∞. ТогдаSn
n
п.н.−→ EX1, n −→ ∞, где Sn = X1 + . . .+Xn.
4.3.3. Классическая теорема Колмогорова. Закон 0 и 1
Теорема 4.6 (Закон 0 или 1 Колмогорова). Пусть ξ1, ξ2, . . .— независимые случайные величины ипусть Fn = σξn, ξn+1, . . .. Обозначим F∞ =
⋂n
Fn. Тогда если A ∈ F∞, то P(A) = 0 или P(A) = 1.
Пусть A ∈ F∞. Тогда A ∈ Fn ∀n. Обозначим Ank = σξn, . . . , ξn+k, тогда Fn = σ
⋃k>1
Ank
. Но
An =⋃
k>1
Ank — это алгебра, следовательно, ∀ε > 0 ∃Aε ∈ Ank = σξn, . . . , ξn+k : P(AAε) < ε (см. задачу
такую-то). Но A ∈ Fn+k+1 = σξn+k+1, . . ., поэтому A и Aε — независимые события, т.е. P(A∩Aε) = P(A)P(Aε).
Отсюда получаем, что P(A) = P(A)2, откуда либо P(A) = 0, либо P(A) = 1, что и требовалось доказать.
5. Центральная предельная теорема
5.1. Теорема Александрова
5.2. Характеристические функции
5.2.1. Определение, основные свойства и примеры
Пусть Q — вероятностная мера на B(R).
Определение. Характеристической функцией вероятностной меры Q называется функция
ϕQ(t) :=
∫
R
eitxQ(dx) =
∫
R
cos(tx)Q(dx) + i
∫
R
sin(tx)Q(dx).
Если X : Ω −→ R — случайная величина, то на B(R) возникает вероятностная мера PX , определяемая поформуле PX(B) = P(X−1(B)). Тогда характеристической функцией случайной величины X называется харак-теристическая функция вероятностной меры PX :
ϕPX(t) =
∫
R
eitxPX(dx) =
∫
Ω
eitX dP = EeitX = ϕX(t).
Таким образом, характеристическая функция случайной величины X записывается в виде ϕX(t) = EeitX .Имеется взаимно-однозначное соответствие между вероятностными мерами Q на Ω, их функциями распре-
деления F и характеристическими функциями ϕ: Q ↔ F ↔ ϕ.Приведем несколько примеров характеристических функций.
Пример 2.1. Пусть X(ω) = C = const ∀ω ∈ Ω — постоянная случайная величина. Тогда ее характеристи-ческая функция: ϕX(t) = EeitX = EeitC = eitC .
Пример 2.2. ПустьX ∼ πλ (пуассоновское распределение с параметром λ > 0),X =
0, . . . , k, . . .
e−λ, . . . , λke−λ
k! . . .Найдем характеристическую функцию этого распределения:
ϕX(t) = EeitX =
∞∑
k=0
eitkP(X = k) =
∞∑
k=0
eitk λke−λ
k!= e−λ
∞∑
k=0
(λeit)k
k!= e−λeλeit
= eλ(eit−1).
Итак, характеристическая функция пуассоновской случайной величины X ∼ πλ с параметром λ > 0 равнаϕX(t) = eλ(eit−1).
25
Пример 2.3. Пусть случайная величина X ∼ N (0, 1) имеет стандартное нормальное распределение. То-
гда, по определению, его плотность равна p(x) = 1√2πe−
x2
2 , x ∈ R. Характеристическая функция равна ϕ(t) =
ϕX(t) =∞∫
−∞eitx dF (x) =
∞∫−∞
eitxp(x) dx = 1√2π
∞∫−∞
eitx−x2
2 dx. Легко проверить, что эта функция от t удовлетворя-
ет дифференциальному уравнению ϕ′(t) = −tϕ(t) (продифференцируйте интеграл по параметру t и убедитесь
в этом!), решая которое, получаем решение ϕ(t) = e−t2
2 с начальным условием ϕ(0) = 1, которое должно бытьвыполнено для любой характеристической функции.
Итак, характеристическая функция случайной величины X ∼ N (0, 1), имеющей стандартное нормальное
распределение, равна ϕX(t) = e−t2
2 .
Теорема 5.1 (Свойства характеристических функций). Все характеристические функции обладаютследующими свойствами:
1) ϕ(0) = 1;2) |ϕ(t)| 6 1;3) ϕ равномерно непрерывна на R;4) ϕ(−t) = ϕ(t);5) X имеет симметричное распределение (т.е. Law(X) = Law(−X)) тогда и только тогда, когда ϕX —
действительная функция;6) Если Y = aX + b, a, b ∈ R, то ϕY (t) = eitbϕX(at).
Свойство 1) очевидно: ϕX(0) = Ee0 = 1. Свойство 2): |ϕX(t)| =
∣∣∣∣∣∞∫
−∞eitx dF (x)
∣∣∣∣∣ 6∞∫
−∞|eitx| dF (x) =
∞∫−∞
dF (x) = 1, так как |eitx| = 1.
Докажем свойство 3) — равномерную непрерывность. Имеем:
ϕ(t+ h) − ϕ(t) =
∞∫
−∞
eitx(eihx − 1) dF (x), |ϕ(t+ h) − ϕ(t)| 6
∞∫
−∞
|eihx − 1| dF (x) ∀x ∈ R.
Так как |eihx − 1| −→ 0, h −→ 0 ∀x ∈ R, то по теореме о мажорируемой сходимости получаем требуемое.Докажем свойство 4). Вспомним, что комплексно сопряженное число к z = u + iv (u, v ∈ R) — это число
z = u− iv. Имеем: ϕ(−t) =∞∫
−∞e−itx dF (x) =
∞∫−∞
eitx dF (x) = ϕ(t).
Свойство 5) сразу следует из свойства 4): действительно, пусть ϕ— действительная функция. Тогда ϕ−X(t) =Eeit(−X) = Eei(−t)X = ϕX(−t) = ϕX(t) = ϕX(t), следовательно ϕ−X(t) = ϕX(t) ∀ t ∈ R. По теореме единственно-сти (формула обращения; см. следующий пункт) Law(−X) = Law(X). Производя те же выкладки в обратномпорядке, получаем обратное утверждение (достаточность).
Осталось доказать свойство 6). Имеем: ϕaX+b(t) = Eeit(aX+b) = Eei(at)Xeitb = eitbϕX(at), что и требовалосьдоказать.
Доказанная теорема дает необходимые условия, которым должны удовлетворять характеристические функ-ции произвольных случайных величин. В частности, если некоторая (данная) функция ϕ не удовлетворяет хотябы одному из этих условий, то теорема позволяет сделать вывод о том, что эта функция не является характе-ристической ни для какой случайной величины X . Если же все свойства для функции ϕ выполнены, то этотвопрос остается открытым.
Следующая теорема дает необходимое и достаточное условие того, что функция ϕ является характеристи-ческой для некоторой случайной величины X . Чтобы сформулировать ее, дадим следующее
Определение. Функция ϕ(t) называется неотрицательно определенной, если ∀n ∈ N, ∀ t1, . . . , tn ∈ R и∀ z1, . . . , zn ∈ C
n∑
k=1
n∑
l=1
ϕ(tk − tl)zkzl > 0.
Теорема 5.2 (Бохнер–Хинчин). Функция ϕ(t), t ∈ R является характеристической функцией для неко-торой случайной величины X тогда и только тогда, когда выполнены следующие три условия:
1) ϕ(0) = 1;2) ϕ непрерывна в нуле;3) ϕ является неотрицательно определенной функцией.
26
Мы докажем только необходимость. Пусть ϕ — характеристическая функция. Тогда 1) и 2), очевидно,
выполнены. Докажем 3), т.е. проверим, что ϕ — неотрицательно определенная функция. Имеем:n∑
k=1
n∑l=1
ϕ(tk −
tl)zkzl =n∑
k=1
n∑l=1
(Eei(tk−tl)X
)zkzl =
n∑k=1
n∑l=1
E(zkeitkX)(zle
itlX) = E
(n∑
k=1
zkeitkX
)(n∑
l=1
zleitlX
)= Eωω = E|ω|2 > 0
(применили линейность мат. ожидания), что и требовалось.
5.2.2. Формула обращения
Теорема 5.3 (Формула обращения). 1) Для любых точек a, b ∈ C (F ) имеет место формула
F (b) − F (a) = limc−→∞
1
2π
c∫
−c
e−ita − e−itb
itϕ(t) dt.
2) Если ϕ ∈ L 1(R), т.е.∞∫
−∞|ϕ(t)| dt <∞, то F абсолютно непрерывна и имеет плотность
p(x) =1
2π
∞∫
−∞
e−itxϕ(t) dt, x ∈ R; p ∈ L1(R), p > 0.
По формуле для характеристической функции ϕ(t) имеем:
1
2π
c∫
−c
e−ita − e−itb
itϕ(t) dt =
1
2π
c∫
−c
(e−ita − e−itb
it
∞∫
−∞
eitx dF (x)
)dt.
Изменим в последнем интеграле порядок интегрирования. Для этого применим теорему Фубини. Чтобы ее
условия были выполнены, необходимо, чтобы
c∫
−c
∫
R
∣∣∣∣e−ita − e−itb
iteitx
∣∣∣∣ dF (x) dt < ∞. Так как |eiα| = 1 ∀α ∈ R и
∣∣∣ e−ita−e−itb
it
∣∣∣ =
∣∣∣∣∣b∫a
e−itx dx
∣∣∣∣∣ 6b∫
a
|e−itx| dx =b∫a
dx = b − a, то имеет место оценка
c∫
−c
∫
R
∣∣∣∣e−ita − e−itb
iteitx
∣∣∣∣ dF (x) dt <
2c(b− a) <∞. Итак, можно поменять порядок интегрирования; получим:
1
2π
c∫
−c
e−ita − e−itb
itϕ(t) dt =
1
2π
c∫
−c
(e−ita − e−itb
it
∞∫
−∞
eitx dF (x)
)dt =
∞∫
−∞
dF (x)
(1
2π
c∫
−c
e−it(x−a) − e−it(x−b)
itdt
)= (∗)
Так как eitα = cosα+ i sinα иc∫
−c
cos t(x−a)t
dt = 0 (подынтегральная функция нечетна), то отсюда получаем:
(∗) =
∞∫
−∞
dF (x)
1
2π
c∫
−c
sin t(x− a) − sin t(x− b)
tdt
=
∞∫
−∞
1
π
c(x−a)∫
0
sin z
zdz −
c(x−b)∫
0
sin z
zdz
dF (x) =
∞∫
−∞
ψc(x) dF (x).
Функция f(z) = sin zz
не интегрируема по Лебегу на (0,∞), но интегрируема по Риману на этом множестве
в несобственном смысле (интеграл Дирихле):∞∫0
sin zzdz = π
2 . Поэтому здесь мы понимаем этот интеграл как
несобственный интеграл Римана, т.е. как предел limu−→∞
u∫0
sin zzdz. Так как функция
u∫0
sin zzdz непрерывна по u, то
∃A :
∣∣∣∣u∫0
sin zzdz
∣∣∣∣ 6 A = const ∀u > 0. Значит, |ψc(x)| 6 2A ∀x и
ψc(x) −→ ψ(x) =
0 если x < a или x > b,12 если x = a или x = b,
1 если a < x < b.
c −→ ∞.
27
По теореме о мажорируемой сходимости получаем∞∫
−∞ψc(x) dF (x) −→
∞∫−∞
ψ(x) dF (x) =∞∫
−∞ψ(x) dQ(x) = Q(a)
2 +
Q(b)2 + F (b−) − F (a) = F (a)−F (a−)
2 + F (b)−F (b−)2 + F (b−) − F (a) = F (b)+F (b−)
2 − F (a)+F (a−)2 . Если a, b ∈ C (F ), то
F (a)+F (a−)2 = F (a), F (b)+F (b−)
2 = F (b), откуда и следует утверждение 1) теоремы.
Докажем утверждение 2). А именно, докажем, что функция p(x) = 12π
∞∫−∞
e−itxϕ(t) dt, x ∈ R является плот-
ностью нашего распределения, F (x) =x∫
−∞p(u) du. Функция p(x) является непрерывной на R по теореме о
мажорируемой сходимости, p(x+ h) − p(x) =∫R
(e−i(x+h)t − e−ixt)ϕ(t) dt, |e−itx| = 1.
Применим теорему Фубини: ∀ a < b имеем
b∫
a
p(x) dx =
b∫
a
(1
2π
∫
R
e−itxϕ(t) dt
)dx =
1
2π
∫
R
( b∫
a
e−itxϕ(t) dx
)dt =
1
2π
∞∫
−∞
ϕ(t)e−ita − e−itb
itdt = (∗)
По теореме о мажорируемой сходимости и применяя уже доказанный пункт 1) теоремы, получаем:
(∗) =1
2πlim
c−→∞
c∫
−c
ϕ(t)e−ita − e−itb
itdt = F (b) − F (a), a, b ∈ C (F ).
Итак, мы получили, что p(x) — непрерывная функция, такая чтоb∫a
p(x) dx = F (b)− F (a), ∀ a, b ∈ C (F ). Следо-
вательно, p(x) > 0 ∀x ∈ R. Устремим a −→ −∞, тогда получим:b∫
−∞p(x) dx = F (b) ∀ b ∈ C (F ). Этот интеграл
можно понимать как интеграл Лебега (так как p(x) > 0). Итак, F (x) =x∫
−∞p(u) du ∀x ∈ R, что и требовалось.
5.2.3. Теорема Леви
Теорема 5.4 (Леви) (Теорема непрерывности). 1) Пусть последовательность функций распределения
Fn(x) сходится к F (x) ∀x ∈ C (F ): Fn(x)ω−→ F (x). Тогда ϕn(t) −→ ϕ(t) ∀ t ∈ R, где Fn ↔ ϕn, F ↔ ϕ.
2) Пусть характеристические функции ϕn(t) −→ ϕ(t), n −→ ∞, причем ϕ непрерывна в 0. Тогда ϕ является
характеристической функцией, и Fnω−→ F , где Fn ↔ ϕn, F ↔ ϕ.
Пример 2.4. Докажем, что∑
λ+a√
λ6k6λ+b√
λ
λke−λ
k!−→ 1√
2π
b∫
a
e−x2
2 dx, λ −→ ∞.
Рассмотрим пуассоновскую случайную величину Zλ ∼ πλ. Тогда
∑
λ+a√
λ6k6λ+b√
λ
λke−λ
k!=
∑
λ+a√
λ6k6λ+b√
λ
P(Zλ = k) = P
(Zλ ∈ [λ+ a
√λ, λ+ b
√λ]
)= P
(a 6
Zλ − λ√λ
6 b
).
Вспоминая свойство 6) характеристических функций и выражение для характеристической функции пуассо-
новской случайной величины(ϕZλ
(s) = eλ(eis−1)), получаем:
ϕZλ−λ√λ
(t) = ϕ 1√λ
Zλ−√
λ(t) = e−it√
λϕZλ
(t√λ
)= e−it
√λe
λ
„e
i t√λ
−1«
= eλ
„e
i t√λ −1− it√
λ
«
−→ e−t2
2 ∀ t, λ −→ ∞,
так как ew = 1 + w + w2
2 + o(w2), w −→ 0. Итак, ϕZλ−λ√λ
(t) −→ ϕX(t) = e−t2
2 , λ −→ ∞, ∀ t ∈ R, поэтому по теореме
непрерывности Zλ−λ√λ
D−→ X ∼ N (0, 1), значит ∀ a < b будет P
(a 6 Zλ−λ√
λ6 b)−→ P (a 6 X 6 b) = 1√
2π
b∫a
e−x2
2 dx,
λ −→ ∞, так как функция распределения случайной величины X ∼ N (0, 1) непрерывна на R.
Доказательство теоремы непрерывности. 1) Заметим сначала, что если Fn −→ F , то
∫R
eitx dFn(x) −→∫R
eitx dF (x), поскольку eitx — непрерывная
ограниченная функция.
28
Лемма 5.5. Пусть имеется соответствие функции распределения, вероятностной меры и характеристи-ческой функции: F ↔ Q ↔ ϕ. Тогда ∀ a > 0
Q
(R\(−1
a,1
a
))=
∫
R\(− 1a
, 1a )
dF (x) 6C
a
a∫
0
(1 − Reϕ(t)) dt, где C = const.
a∫0
(1 − Reϕ(t)) dt = 1a
a∫0
( ∞∫−∞
(1 − cos tx) dF (x)
)dt = (∗), так как Reϕ(t) =
∞∫−∞
cos tx dF (x). По теореме
Фубини (∗) =∞∫
−∞
(1 − sin ax
ax
)dF (x) >
∫
|ax|>1
(1 − sin ax
ax
)dF (x) > inf
u>1
(1 − sin u
u
) ∫
|x|> 1a
dF (x) = (1−sin 1)∫
|x|> 1a
dF (x).
Полагая 1/C = 1 − sin 1, получаем нужное неравенство. Лемма доказана.
Лемма 5.6. Пусть ϕn(t) −→ ϕ(t), где ϕ(t) непрерывна в нуле. Тогда семейство распределений Qn (Qn ↔ ϕn)плотно, т.е. ∀ ε > 0 ∃Kε : sup
nQn(R\Kε) < ε.
По предыдущей лемме ∀ a > 0 имеем Qn
(R\(− 1
a, 1
a
))6
5.3. Центральная предельная теорема в условиях Линдеберга
5.3.1. Ещё два (а может, три) свойства характеристических функций
5.4. Свёртки распределений
5.5. Случайные векторы
5.5.1. Основные определения
5.5.2. Многомерная центральная предельная теорема
29