МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

имени М. В. ЛОМОНОСОВАМеханико-математический факультет

Курс лекций по

теории вероятностейЛектор — Александр Вадимович Булинский

II курс, 4 семестр, поток математиков

Москва, 2004 г.

Оглавление

1. Элементарная теория вероятностей 51.1. Вероятностные пространства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.1.1. Предмет теории вероятностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.1.2. Алгебры событий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.1.3. Вероятность. Аксиоматика Колмогорова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5TODO: Лемма о баллотировке . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.2. Свойства вероятностных мер. Непрерывность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.2.1. Простейшие свойства вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.2.2. Непрерывность мер и её связь со счётной аддитивностью . . . . . . . . . . . . . . . . . . . . 6

1.3. Дискретные вероятностные пространства (примеры) . . . . . . . . . . . . . . . . . . . . . . . . . . 61.3.1. Схема Бернулли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.3.2. Геометрическая вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.3.3. Гипергеометрическая вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.3.4. Распределение Пуассона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.4. Условная вероятность и формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.4.1. Понятие условной вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.4.2. Формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8TODO: пример . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.5. Функции распределения и плотности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.5.1. Распределения мер . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8TODO: пояснение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.5.2. Примеры распределений вероятностных мер . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.6. Независимость событий. Леммы Бореля – Кантелли . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.6.1. Попарная независимость и независимость в совокупности . . . . . . . . . . . . . . . . . . . 91.6.2. Две леммы Бореля – Кантелли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2. Случайные величины 102.1. Понятие случайного элемента . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.1.1. Измеримые отображения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.1.2. Свойства измеримых функций . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102.1.3. Примеры случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.2. Распределения случайных элементов. Пополнение вероятностного пространства . . . . . . . . . . 112.2.1. Вероятностные меры и распределения случайных величин . . . . . . . . . . . . . . . . . . . 112.2.2. Пополнение вероятностного пространства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.3. Независимость случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.3.1. Независимые алгебры и случайные величины . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.3.2. Теорема о булочках с изюмом . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.4. Теорема о монотонных классах и её следствия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.4.1. π-системы и λ-системы множеств . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.4.2. Следствия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.5. Построение случайных величин с заданным распределением . . . . . . . . . . . . . . . . . . . . . . 152.5.1. Последовательности равномерно распределённых величин . . . . . . . . . . . . . . . . . . . 152.5.2. Построение произвольной последовательности вероятностных мер . . . . . . . . . . . . . . 16

3. Математическое ожидание 163.1. Интеграл Лебега по вероятностной мере . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.1.1. Определение интеграла Лебега . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163.1.2. Свойства математического ожидания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173.1.3. Теоремы о предельном переходе под знаком интеграла Лебега . . . . . . . . . . . . . . . . . 18

3.2. Дисперсия и ковариация. Пространство Lp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203.2.1. Определения и свойства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203.2.2. Неравенство Чебышева . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2

4. Сходимость случайных величин. Закон больших чисел 214.1. Закон больших чисел . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.1.1. Простейший вариант ЗБЧ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214.1.2. Теорема Вейерштрасса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

4.2. Различные виды сходимости и их взаимосвязь . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.2.1. Теорема Пуассона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.2.2. Сходимость по вариации . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.2.3. Сходимость по распределению и слабая сходимость . . . . . . . . . . . . . . . . . . . . . . . 224.2.4. Сходимость почти всюду и сходимость по вероятности . . . . . . . . . . . . . . . . . . . . . 22

4.3. Усиленные законы больших чисел и их следствия . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.3.1. УЗБЧ для некоррелированных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.3.2. Теорема Этемади . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234.3.3. Классическая теорема Колмогорова. Закон 0 и 1 . . . . . . . . . . . . . . . . . . . . . . . . . 25

5. Центральная предельная теорема 255.1. Теорема Александрова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255.2. Характеристические функции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

5.2.1. Определение, основные свойства и примеры . . . . . . . . . . . . . . . . . . . . . . . . . . . 255.2.2. Формула обращения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275.2.3. Теорема Леви . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

5.3. Центральная предельная теорема в условиях Линдеберга . . . . . . . . . . . . . . . . . . . . . . . . 295.3.1. Ещё два (а может, три) свойства характеристических функций . . . . . . . . . . . . . . . . 29

5.4. Свёртки распределений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295.5. Случайные векторы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

5.5.1. Основные определения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295.5.2. Многомерная центральная предельная теорема . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3

Предисловие

Данное издание является результатом совместного творчества DMVN Corporation и Дмитрия Горяшина.Пока работа полностью не завершена, трудно сказать, оказался ли этот эксперимент удачным или нет. Стан-дартизовать обозначения и исходные TEX-исходники непросто, но ряд усилий в этом направлении всё же былоприложено. Случайные величины мы решили обозначать греческими буквами, а не латинскими, как это былона лекциях — все-таки, это общепринятый стандарт.

Порядок следования теорем, определений и т. д. в целом сохранён таким, каким он был на лекциях в 2004 году.Некоторые перестановки с целью более логичной группировки утверждений были осуществлены во второй итретьей главах настоящего издания. В частности, собраны воедино все теоремы, относящиеся к теории интегралаЛебега.

В данной версии исправлено несколько опечаток, за что спасибо Игорю Приходько.Вопросы, комментарии, замечания и предложения направляйте на dmvn@mccme.ru, обновления электронной

версии — на сайте http://dmvn.mexmat.net.Набор и вёрстка: DMVN Corporation, GorDmit

Последняя компиляция: 15 февраля 2006 года

Версия: 0.3

4

1. Элементарная теория вероятностей

1.1. Вероятностные пространства

1.1.1. Предмет теории вероятностей

Теория вероятностей изучает математические модели случайных явлений. Один и тот же случайный экспе-римент может быть описан с помощью разных пространств элементарных исходов. Одно и то же пространствоможет описывать разные случайные эксперименты.

1.1.2. Алгебры событий

Будем рассматривать некоторое (фиксированное) множество Ω и различные семейства его подмножеств. Егомы будем называть множеством элементарных исходов, а подмножества A ⊂ Ω — событиями.

Определение. Алгеброй подмножеств на Ω называется семейство A ⊂ 2Ω со следующими свойствами:1 Ω ∈ A ;

2 Если A ∈ A , то и A := Ω rA ∈ A .

3 Если A1, . . . , An ∈ A , то и

n⋃i=1

Ai ∈ A .

Из определения следует, что и пересечение конечного набора элементов алгебры принадлежит ей: по правилу

Де Морганаn⋂

i=1

Ai =n⋃

i=1

Ai ∈ A , так как Ai ∈ A .

Определение. Система F подмножеств Ω называется σ-алгеброй, если она является алгеброй, но к тому

же выдерживает счётные объединения и пересечения множеств, т. е. если Ai∞i=1 ⊂ F , то и∞⋃

i=1

Ai ∈ F .

Элементы алгебр и σ-алгебр часто называют измеримыми множествами (по аналогии с классами множеств,измеримых по Жордану или по Лебегу).

Заметим, что для любой системы M подмножеств Ω существует минимальная σ-алгебра σ M, порождённаяэтой системой. Хотя бы одна есть — 2Ω, очевидно, является σ-алгеброй. Рассмотрим пересечение всех σ-алгебр,содержащих M. Легко видеть, что оно тоже будет σ-алгеброй. Это и будет σ M.

Определение. Борелевской σ-алгеброй топологического или метрического пространства называется σ-ал-гебра, порождённая всеми открытыми множествами.

Для обозначения объединения непересекающихся множеств часто будем использовать знак «⊔». Пересече-ние множеств A и B будем иногда обозначать через AB. Сигма-алгебры будем обозначать шрифтом mathscr

(A ,B,C , . . .), а пространства элементарных исходов — заглавными греческими буквами.

1.1.3. Вероятность. Аксиоматика Колмогорова

Определение. Пусть F — σ-алгебра на множестве Ω. Пара (Ω,F ) называется измеримым пространством.

Определение. Вероятностью называется функция P : F → R со свойствами:1 Неотрицательность: P(A) > 0 для любого события A ∈ F ;

2 Нормировка: P(Ω) = 1;

3 Счётная аддитивность: если Ai∞i=1 ⊂ F , и Ai не пересекаются, то P

( ∞⋃i=1

Ai

)=

∞∑i=1

P(Ai).

Аксиомы в определении вероятности называют аксиомами Колмогорова.Если на измеримом пространстве задана функция P, то тройка (Ω,F ,P) называется вероятностным про-

странством. Заметим, что вероятность есть частный случай σ-аддитивной меры на Ω.Если пространство Ω не более чем счётно, то говорят, что вероятностное пространство дискретно. Пусть

Ω = ωi∞i=1. Пусть каждой точке ωi ∈ Ω приписан вес pi > 0, такой, что∞∑

i=1

pi = 1. Вероятность определим

следующим образом. Пусть A = wi1wi2 , . . .. Положим

P(A) :=∑

i : ωi∈A

pi. (1)

Проверка того, что это действительно вероятность, предоставляется читателю.Классическое определение вероятности таково: |Ω| = N , все «веса» исходов одинаковы и равны p = 1

N.

Вероятность события A ⊂ 2Ω определяется как P(A) := |A|N

.

5

Задача 1.1. На экзамене1 по теории вероятностей студенту предлагают три билета. Один он знаетхорошо, а два других — не знает. Он выбирает один билет, после чего ему открывают один из оставшихсябилетов (которого он не знает). Что выгоднее сделать студенту: поменять свой выбор, или сохранить его?

TODO: Лемма о баллотировке

1.2. Свойства вероятностных мер. Непрерывность

1.2.1. Простейшие свойства вероятности

1 Если A ⊂ B, то P(A) 6 P(B).

Действительно, P(B) = P(A ⊔ (B rA)

)= P(A) + P(B rA)︸ ︷︷ ︸

>0

> P(A).

2 Для любых A,B ∈ F имеет место равенство P(A ∪B) = P(A) + P(B) − P(AB).

Имеем A∪B = AB⊔AB⊔AB. Значит, P(A∪B) = P(AB)+P(AB)+P(AB). Заметим, что P(AB)+P(AB) == P (A), и P(AB) + P(AB) = P(B). Подставим вероятности событий AB и AB и получим требуемое.

Теорема 1.1 (Формула включений-исключений). Для любых A1, . . . , An ∈ F верна формула

P (A1 ∪ . . . An) =

n∑

i=1

P(Ai) −∑

i6j

P(AiAj) +∑

i6j6k

P(AiAjAk) + . . .+ (−1)n−1P(A1 . . . An). (2)

Предыдущее доказательство очевидным образом по индукции обобщается на случай произвольногочисла событий.

1.2.2. Непрерывность мер и её связь со счётной аддитивностью

Определение. Мера P называется непрерывной (в нуле), если для любой последовательности вложенныхсобытий Bn ց ∅ их вероятность стремится к нулю: P(Bn) → 0 при n→ ∞.

Теорема 1.2. Счётная аддитивность функции P эквивалентна её конечной аддитивности и непрерывно-сти в нуле.

Выведем непрерывность из счётной аддитивности. Пусть Ai∞i=1 ⊂ F , и An+1 ⊂ An. Рассмотримсобытия Bn := An rAn+1. Они не пересекаются, следовательно

P(A1) = P(B1) + . . .+ P(Bn)︸ ︷︷ ︸↓

P(A1)

+ P(An+1)︸ ︷︷ ︸↓0

, (3)

так как вероятность события A1 конечна, а все члены ряда неотрицательны.Пусть теперь P аддитивна и непрерывна. Докажем её σ-аддитивность. Пусть Bi∞i=1 — последовательность

попарно непересекающихся событий. Пусть An :=∞⋃

i=n

Bi — «остаточные события». Они лежат в F , так как это

дополнение к конечному объединению. Очевидно, что⋂n

An = ∅ и An+1 ⊂ An. По непрерывности P(An) → 0.

Значит, P

( ∞⋃i=1

Bi

)=

∞∑i=1

P(Bi).

Теорема 1.3 (Каратеодори2). Вероятностная мера P на алгебре A однозначно продолжается на σ A .

1.3. Дискретные вероятностные пространства (примеры)

1.3.1. Схема Бернулли

В схеме испытаний Бернулли Ω = ω = (k1, . . . , kn), где ki ∈ 0, 1, т. е. проводится n испытаний, каждое изкоторых может быть либо успехом, либо неудачей. Вероятность успеха равна p ∈ (0, 1), а неудачи — q := 1 − p.Вероятность задаётся корректно, так как строк с m единицами будет C

mn , а всего по формуле бинома Ньютона

n∑

m=0

Cmn p

m(1 − p)n−m =(p+ (1 − p)

)n= 1. (4)

1Нематематическая постановка задачи слегка изменена по сравнению c версией А.В. Булинского.2Эта теорема доказывается в курсе действительного анализа.

6

1.3.2. Геометрическая вероятность

Модель геометрического распределения: монету бросают до первого выпадения герба. Вероятность этогособытия при каждом бросании равна p. Положим P (ωn) := (1−p)n−1p. Корректность проверяется аналогично.

1.3.3. Гипергеометрическая вероятность

Гипергеометрическое распределение моделируется так: в урне находится M белых и N чёрных шаров. Изнеё наугад вынимают n шаров. Найдём вероятность того, что вынуто k белых шаров. Имеем

P (ωk) =C

kmC

n−kN

CnM+N

. (5)

Замечание. Будем считать, что Ckn = 0 при k < 0 или k > n.

1.3.4. Распределение Пуассона

В схеме Пуассона Ω = 0 ∪ N, а F = 2Ω. Положим

pn := P(ωn) =λn

n!e−λ. (6)

Задача 1.2. Доказать, что если npn → λ > 0, то

Cknp

kn(1 − pn)n−k → λk

k!e−λ, n→ ∞. (7)

1.4. Условная вероятность и формула Байеса

1.4.1. Понятие условной вероятности

Определение. Система непересекающихся непустых событий Ai называется разбиением Ω, если⋃Ai = Ω.

Определение. Пусть P(B) > 0. Условной вероятностью события A при условии B называется число

P(A|B) :=P(AB)

P(B). (8)

Теорема 1.4 (Формула полной вероятности). Пусть Bi — разбиение Ω. Тогда для ∀A ∈ F

P(A) =∑

P(A|Bn)P(Bn). (9)

Действительно, P(A) = P(AΩ) = P(⋃ABn) =

∑P(ABn)

def

=∑

P(A|Bn)P(Bn).

Задача 1.3. На экзамене по теории вероятностей N билетов, из них n хороших. Студенты подходят поочереди и вытягивают билеты. Доказать, что вероятность того, что попадётся хороший билет, не зависитот позиции в очереди.

Решение. Пусть событие Bk — «первые m человек вынули k хороших билетов». Событие A — «досталсяхороший билет». Тогда

P(A|Bk) =n− k

N −m, P(Bk) =

CknC

m−kN−n

CmN

. (10)

Отсюда

P(A) =

n∧m∑

k=0

n− k

N −m

CknC

m−kN−n

CmN

n

N=

n

N

n∧m∑

k=0

Ckn−1C

m−k(N−1)−(n−1)

Cm−1N

=n

N, (11)

так как сумма в последней формуле есть в точности сумма вероятностей всех исходов в геометрическом рас-пределении. Таким образом, искомая вероятность, вопреки бытующему мнению, зависит только степени подго-товленности студентов, т. е. от концентрации хороших билетов.

7

1.4.2. Формула Байеса

Можно все вероятности рассматривать как условные: P(A) = P(AΩ). Если Bi — разбиение Ω, то

P(Bj |A) =P(ABj)

P(A)=

P(A|Bj)P(Bj)n∑

k=1

P(A|Bk)P(Bk). (12)

К знаменателю дроби здесь была применена формула полной вероятности. Это и есть формула Байеса.TODO: пример

1.5. Функции распределения и плотности

1.5.1. Распределения мер

Определение. Пусть P — вероятность на B(R). Функцией распределения меры P называется функция

FP(x) := P((−∞;x]

). (13)

Теорема 1.5. Функция распределения F вероятностной меры P обладает следующими свойствами:1 F (x) неубывает;

2 lim

x→−∞F (x) = 0, lim

x→∞F (x) = 1;

3 F (x) непрерывна справа на R.

1 Очевидно, что если x 6 y, то P

((−∞;x]

)6 P

((−∞; y]

).

2 Рассмотрим последовательность xn → −∞. Тогда события An := (−∞;xn] ց ∅. По непрерывности меры

F (xn) → 0. Переходя к дополнению к An, получим значение предела F (x) на +∞.3 Фиксируем точку x0 и рассмотрим последовательность xn → +x0. Тогда An+1 ⊂ An, и An ց A = (−∞;x0].

Снова по непрерывности меры P(An) → P(A).

Замечание. Теорема даёт исчерпывающее описание всех распределений мер на R, т. е. если функция F (x)обладает свойствами 1

– 3, то существует единственная вероятностная мера P на B(R), такая, что её функция

распределения есть F .TODO: пояснение

1.5.2. Примеры распределений вероятностных мер

Пример 5.1. Равномерное распределение на отрезке [a, b] имеет плотность

p(x) =

1

b−a, x ∈ [a, b];

0, x /∈ [a, b].(14)

Функция распределения F (x) имеет график

0

1

a b

Пример 5.2. Показательное распределение с параметром λ имеет плотность

p(x) =

λe−λx, x > 0;

0, x < 0.(15)

Функция распределения F (x) имеет график

1 2 3 40

1

Пример 5.3. Нормальное (гауссовское) распределение с параметрами a и σ2 имеет плотность

p(x) =1

σ√

2πexp

(− (x− a)2

2σ2

). (16)

8

График этой плотности при разных значениях σ выглядит примерно так:

0

Чем меньше величина σ2, тем явственнее выделяется «пик» в точке x = a. Обозначение: N (a, σ2).

1.6. Независимость событий. Леммы Бореля – Кантелли

1.6.1. Попарная независимость и независимость в совокупности

Определение. Говорят, что событие A не зависит от события B, если P(A|B) = P(A). По-другому можнопереформулировать определение так: события A и B независимы, если P(AB) = P(A)P(B).

Замечание. Вторая форма определения удобнее, поскольку в ней не накладывается ограничений на веро-ятности событий. Невозможные события, т. е. такие, что их вероятность равна 0, являются независимыми слюбыми событиями, ибо если P(A) = 0, то 0 6 P(AB) 6 P(A) = 0, а значит, и P(AB) = 0.

Определение. События A1, . . . , An называются попарно независимыми, если P(AiAj) = P(Ai)P(Aj) для∀ i 6= j. События A1, . . . , An называются независимыми в совокупности, если для любого набора индексовi1, . . . , ik имеем P(Ai1 · . . . ·Aik

) = P(Ai1) · . . . · P(Aik).

Замечание. Независимость в совокупности, очевидно, влечёт попарную независимость. Обратное, однако,неверно. Например, пусть Ω = 1, 2, 3, 4 и P (i) = 1

4 . Рассмотрим события A1 = 1, 2, A2 = 1, 3, A3 = 1, 4.Имеем AiAj = 1, значит, P(AiAj) = 1

4 . С другой стороны, P(A1A2A3) = P (1) = 14 6=

(12

)3.

Определение. Говорят, что Ai∞i=1 — последовательность независимых событий, если для ∀n > 2 событияA1, . . . , An независимы в совокупности.

Определение. Верхним пределом системы событий Ak называется множество

limAk = lim supAk :=∞⋂

n=1

∞⋃

k=n

Ak. (17)

Непосредственно из определения следует, что верхний предел состоит их тех элементов Ω, принадлежащихбесконечному числу Ak.

Определение. Нижним пределом системы событий Ak называется множество

limAk = lim inf Ak :=

∞⋃

n=1

∞⋂

k=n

Ak. (18)

Непосредственно из определения следует, что нижний предел состоит их тех элементов Ω, принадлежащихвсем Ak-м, начиная с некоторого.

1.6.2. Две леммы Бореля – Кантелли

Лемма 1.6 (Бореля – Кантелли 1). Дана последовательность событий Ak. Пусть ряд∞∑

k=0

P(Ak) схо-

дится. Тогда вероятность события A := (произойдёт бесконечно много событий Ak) равна нулю.

Для ∀n ∈ N имеем P(A) 6 P

( ∞⋃k=n

Ak

)6

∞∑k=n

P(Ak) → 0, так как это остаток сходящегося ряда.

Вторая лемма относится уже к независимым событиям.

Лемма 1.7 (Бореля –Кантелли 2). Пусть Ai∞i=1 — последовательность независимых событий. Пусть∑P(Ak) = ∞. Тогда P

(limAk

)= 1.

Введём обозначение Bn :=∞⋃

n=k

Ak. Заметим, что Bn убывают. Тогда по свойству непрерывности меры

P(Bn) = limN→∞

P

(N⋃

k=n

Ak

). (19)

9

Рассмотрим дополнение:

P

( N⋃

k=n

Ak

)= P

( N⋂

k=n

Ak

)!=

N∏

k=n

P(Ak

)=

N∏

k=n

(1 − P(Ak)

) !!6

N∏

k=n

exp(−P(Ak)

)= exp

(−

N∑

k=n

Ak

)→ 0,

так как ряд расходится. Переход «!» обоснован независимостью Ak, а «!!» — неравенством Бернулли. Переходяк пределу при N → ∞, получаем, что P

(limAk

)= 1.

Задача 1.4 (**). Доказать вторую лемму Бореля –Кантелли для последовательности попарно независи-мых событий.

Задача 1.5 (**). Назовём событие A «атомом» вероятностного пространства, если оно обладает следу-ющим свойством: если B ⊂ A, то либо P(B) = 0, либо P(B) = P(A). Доказать, что в любое вероятностноепространстве разбивается на не более чем счётное число атомов и «непрерывную» часть C, обладающуюследующим свойством: если C ∈ C и P(C) = p, то для ∀ q ∈ [0, p] найдётся Cq ∈ C : P(Cq) = q.

2. Случайные величины

2.1. Понятие случайного элемента

2.1.1. Измеримые отображения

Определение. Пусть (Ω,F ) и (Θ,B) — измеримые пространства. Отображение ξ : Ω → Θ называетсяF |B-измеримым, если для ∀B ∈ B имеем ξ−1(B) ∈ F , т. е. прообраз измеримого множества измерим. В теориивероятностей измеримые отображения называются случайными элементами.

В дальнейшем, если из контекста ясно, какие алгебры заданы на наших пространствах, будем опускатьпрефикс «F |B» и говорить просто «измеримая функция».

Определение случайной величины напоминает определение непрерывной функции в топологическом про-странстве. Напомним, что топологическим пространством называется множество X , на котором задана то-пология, т. е. отмечен класс подмножеств, называемых открытыми, такой, что объединение любого набораоткрытых множеств открыто, и пересечение конечного набора открытых множеств открыто. Открытыми счи-тают также ∅ и все множество X . Непрерывным отображением называется отображение, при котором прообразоткрытого множества открыт. Иными словами, непрерывное отображение f : X → Y должно быль измеримоотносительно топологий на X и Y.

Если в определении случайной величины B = B(R), то F |B-измеримые отображения называют действи-тельными случайными величинами.

Определение. Борелевским называется отображение, при котором прообраз борелевского множества боре-левский.

2.1.2. Свойства измеримых функций

Чтобы не загромождать формулировки следующих утверждений, оговоримся сразу о том, что мы будемрассматривать измеримые пространства (Ω,F ) и (Θ,B) и случайную величину ξ : Ω → Θ.

Теорема 2.1. Пусть B = σ M. Чтобы ξ была измеримой функцией, необходимо и достаточно, чтобыдля ∀С ∈ M было выполнено ξ−1(C) ∈ F . Иными словами, свойство измеримости можно проверять толькона порождающих элементах σ-алгебры.

Необходимость очевидна. Достаточность: рассмотрим класс множеств D :=D ⊂ Θ: ξ−1(D) ∈ F

, т. е.

класс тех множеств, для которых свойство измеримости выполняется. Оно является σ-алгеброй, так как опера-ция взятия прообраза сохраняет все теоретико-множественные операции, т. е. ξ−1 (

⋃Bn) =

⋃ξ−1(Bn) и т. д. По

условию M ⊂ D, а значит, и σ M ⊂ D. Но σ M = B, поэтому D совпадает с B.

Далее ξ : Ω → R — действительная случайная величина, а B = B(R).

Теорема 2.2. Чтобы ξ была случайной величиной, необходимо и достаточно измеримости прообразов лу-чей (−∞;x], т. е. для ∀x ∈ R множество ω : ξ(ω) 6 x должно содержаться в F .

Заметим, что B(R) порождается лучами (−∞, x], так как открытое множество на прямой есть объеди-нение не более чем счётного множества интервалов (возможно, бесконечных), а интервал из лучей соорудитьнесложно. Остаётся применить предыдущую теорему.

Аналогичное утверждение справедливо для открытых лучей вида (−∞;x).

Теорема 2.3. Пусть ξn : Ω → R — последовательность случайных величин. Тогда:1 sup ξn, inf ξn, lim ξn, lim ξn будут случайными величинами;

2 Если ξn → ξ, то ξ — случайная величина.

10

1 В самом деле, имеем

ω : sup ξn(ω) 6 x =

∞⋂

n=1

ξn(ω) 6 x︸ ︷︷ ︸событие

. (1)

Счётное пересечение событий есть событие, поэтому sup ξn измерима. Аналогично inf ξn измерима. Докажемдля верхних и нижних пределов. Имеем lim ξn = lim sup ξn = inf

nsupk>n

ξk. По доказанному функция ηn := supk>n

ξk

будет случайной величиной. Точно также и inf ηn будет случайной величиной. Для нижнего предела имеемlim ξn = lim sup ξn = sup

ninfk>n

ξk, далее рассуждения аналогичны.

2 Существование предела равносильно совпадению верхнего и нижнего пределов. А по доказанному lim и

lim измеримы, значит, и lim будет измерим.

Задача 2.1. Рассмотрим последовательность случайных величин ξn : Ω → S, где S — метрическое про-странство. Доказать, что если ξn → ξ, то ξ ∈ F |B(S).

Лемма 2.4. Рассмотрим измеримые пространства (Ω,F ), (Θ,B), (Λ,A ) и случайные величины ξ ∈ F |Bи η ∈ B|A . Тогда η ξ ∈ F |A .

Очевидно: η измерима, поэтому η−1(A) ∈ B, а так как ξ измерима, то ξ−1(η−1(A)︸ ︷︷ ︸

∈B

)∈ F .

Следствие 2.1. Пусть ξ : Ω → R — случайная величина, а ϕ : R → R — борелевская функция. Тогда ϕ ξ —случайная величина.

Это частный случай предыдущего утверждения: ϕ ∈ B(R)|B(R).

Следствие 2.2. Пусть ξ : Ω → R — случайная величина, а ϕ — непрерывная функция. Тогда ϕ ξ —случайная величина.

Это опять-таки частный случай первого следствия: непрерывная функция, очевидно, борелевская (про-образ открытого множества открыт).

Утверждение 2.5. Пусть ξ, η — действительные случайные величины. Тогда ξ ± η, ξ · η и ξη

(если η 6= 0)также будут случайными величинами.

Доказывать можно тремя способами. Первый (короткий): сослаться на следствие предыдущей леммы,сказав, что арифметические операции на R непрерывны. Второй (подлиннее): открыть учебник М. И. Ульяноваи П. Л. Дьяченко «Мера и интеграл» на странице 44 и найти там полное доказательство этого утверждения.Третий: немного подумать и доказать утверждение самостоятельно.

2.1.3. Примеры случайных величин

Пример 1.1. Пусть Ω = [0, 1], F = B(Ω), а P — мера Лебега на Ω. Любая непрерывная функция f : Ω → R

будет случайной величиной.

Пример 1.2. Рассмотрим схему Бернулли. Случайной величины будет, например, количество успехов при

n испытаниях, т. е. Sn(ω) :=n∑

i=1

ki, где ω = (k1, . . . , kn), kn ∈ 0, 1.

Пример 1.3. Рассмотрим дискретное вероятностное пространство (Ω,F ,P) в котором F = 2Ω. На такомпространстве любая функция ξ : Ω → R будет случайной величиной, так как прообраз любого множества содер-жится в 2Ω.

2.2. Распределения случайных элементов. Пополнение вероятностного пространства

2.2.1. Вероятностные меры и распределения случайных величин

Определение. Функцией распределения (действительной) случайной величины ξ называется функция

Fξ(x) := P(ω : ξ(ω) 6 x

). (2)

В дальнейшем для сокращения записи будем в подобных формулах писать просто «P(ξ 6 x)».Пусть (Θ,B) — измеримое пространство. Покажем, что изучение вероятностных мер на (Θ,B) и случай-

ных элементов со значениями в Θ — это одно и то же. В самом деле, пусть нам дана мера Q. Найдём такоевероятностное пространство, что распределение некоторого случайного элемента совпадает с Q. Положим

Ω := Θ, F := B, ξ := id : Θ → Θ, P := Q. (3)

Очевидно, что Fξ ≡ FQ (вспомните определение функции распределения меры!).

11

Определение. Индикатором3 события A ⊂ Ω называется функция

IA(ω) :=

1, ω ∈ A;

0, ω /∈ A.(4)

Задача 2.2. Рассмотрим измеримое пространство (Ω,F ). Доказать, что IA ∈ F |B(R) ⇔ A ∈ F .

2.2.2. Пополнение вероятностного пространства

В теории вероятностей всегда удобно считать вероятностное пространство (Ω,F ,P) пополненным. Поясним,что это означает. Рассмотрим класс N нулевых множеств, т. е. все события A ∈ F такие, что P(A) = 0 и все ихподмножества B ⊂ A (множество B уже не обязательно событие!), т. е.

N = B : B ⊂ A, A ∈ F , P(A) = 0 . (5)

Пусть F := σ F ,N.Утверждение 2.6. F состоит из множеств вида A ∪ C, где A ∈ F , а C ∈ N , и только из них.

Доказательство этого утверждения предоставляется читателю в качестве упражнения (включения ⊃ и ⊂легко устанавливаются).

Теперь, опираясь на это утверждение, определим на пространстве (Ω,F ) вероятностную меру P следующиместественным образом:

P(A ∪ C) := P(A), где A ∈ F , C ∈ N . (6)

Все аксиомы вероятности, очевидно, выполняются. Таким образом, получено вероятностное пространство(Ω,F ,P). Оно и называется пополнением пространства (Ω,F ,P).

Теперь поясним, собственно, зачем мы его построили. Сначала введём новый вид сходимости.

Определение. Говорят, что последовательность случайных величин ξn сходится к ξ почти наверное (почтивсюду), если ξn → ξ поточечно за исключением множества меры нуль, т. е. ξn → ξ на множестве Ω0 : P(Ω0) = 1.Обозначение: ξn

п.н.−→ ξ.

Утверждение 2.7. Пусть действительные случайные величины ξn сходятся к ξ почти наверное. Тогда ξбудет случайной величиной на пополнении нашего пространства по мере P.

Доказательство4 этого утверждения мы также предоставляем читателю.В дальнейшем, когда речь пойдёт о сходимости случайных величин и их математических ожиданий, всегда

под словом «сходимость», как правило, будем иметь в виду сходимость почти наверное и считать пространствопополненным.

2.3. Независимость случайных величин

2.3.1. Независимые алгебры и случайные величины

Теперь дадим одно из самых важных в теории вероятностей определений.

Определение. Алгебры (или σ-алгебры) A1, . . . ,An ⊂ F называются независимыми, если

P(A1 · . . . · An) = P(A1) · . . . · P(An) ∀Ai ∈ Ai. (7)

Определение. Пусть (Ω,F ) и (Θ,B) — измеримые пространства, а ξ : Ω → Θ — случайная величина.Сигма-алгеброй, порождённой величиной ξ, называется множество

σ ξ :=ξ−1(B), B ∈ B

. (8)

Определение. Величины ξ1, . . . , ξn называются независимыми, если σ ξ1 , . . . , σ ξn независимы.

Иными словами, независимость означает, что

P (ξ1 ∈ B1, . . . , ξn ∈ Bn) =

n⋂

i=1

ω : ξi(ω) ∈ Bi =

n∏

i=1

P(ξi ∈ Bi). (9)

Аналогично событиям определяется последовательность независимых случайных величин.

3Иногда используется термин «характеристическая функция», однако в теории вероятностей он имеет совсем другой смысл.4Его можно прочесть в книге А.В.Булинского и А.Н.Ширяева «Теория случайных процессов».

12

2.3.2. Теорема о булочках с изюмом

v1v2

vn

Теперь докажем одну из теорем о сходимости последовательности случайных вели-чин. Рассмотрим куб V с ребром M . Пусть в нём выделено n непересекающихся боре-левских подмножеств vi. Будем бросать точки в куб и считать, сколько их попадает в

каждое подмножество. Вероятность попадания k-й точки в vi равна P(ξk ∈ vi) = |vi||V |

(распределение равномерное, а модуль обозначает меру Лебега). Пусть Yi — число ча-стиц, попавших в vi. Это случайная величина, так как она равна сумме N индикаторовборелевских множеств (N — общее число частиц):

Yi :=

N∑

k=1

Ivi

(ξk(ω)

). (10)

Теорема 2.8. Пусть длина ребра куба стремится к +∞, а плотность частиц стремится к некоторому(конечному) числу: N

|V | → λ > 0. Тогда

P (Y1 = m1, . . . , Yn = mn) → (λ|v1|)m1

m1!exp (−λ|v1|) · . . . ·

(λ|vn|)mn

mn!exp (−λ|vn|) =

n∏

i=1

P(zi = mi), (11)

где величины zi имеет пуассоновское распределение с параметром λ|vi|. Пусть m0 — число частиц, не попавших ни в одно из vi, а pi — вероятность попадания в vi.

m0 := N −n∑

i=1

mi, pi :=|vi||V | , p0 :=

|V | −n∑

i=1

|vi|

|V | . (12)

Тогда искомая вероятность равна

N !

m0! ·m1! · . . . ·mn!· pm0

0 · pm11 · . . . · pmn

n . (13)

Заметим, что

N !

m0!=

N !(N −

n∑i=1

mi

)!

→ N

nPi=1

mi

. (14)

Тогда

Nmipmi

i = Nmi

( |vi||V |

)mi

=

(N |vi||V |

)mi

→ (λ|vi|)mi . (15)

В следующей формуле все операции суммирования — по i от 1 до n. Имеем

pm00 =

( |V | −∑ |vi||V |

)N−Pmi

→(

1 −∑ |vi||V |

)N

=

(1 −

∑ |vi||V |

) N|V | |V |

→ exp(−λ∑

|vi|), (16)

так как показатель степени стремится к λ|V |. Теорема доказана.

Следствие 2.3. Если npn → λ > 0 при n→ ∞, то

Cmn p

mn (1 − pn)n−m → λm

m!e−λ. (17)

2.4. Теорема о монотонных классах и её следствия

2.4.1. π-системы и λ-системы множеств

Определение. Система M подмножеств S называется π-системой, если A,B ∈ M ⇒ A ∩B ∈ M.

Замечание. Если M — π-система, то можно считать, что S ∈ M.

Определение. Система M называется λ-системой, если:1 S ∈ M;

2 A ⊂ B и A,B ∈ M ⇒ B rA ∈ M;

3 An ր A и An ∈ M ⇒ A ∈ M.

13

Очевидно, что пересечение π-систем будет π-системой. То же самое верно и для λ-систем.Будем рассматривать π K и λ K — наименьшие π-системы и λ-системы, порождённые системой K. Их

существование доказывается аналогично соответствующему утверждению для σ-алгебр.

Лемма 2.9. Множество A является σ-алгеброй тогда и только тогда, когда оно является π-λ-системой.

Честно проверяем аксиомы: замкнутость относительно пересечения уже есть, счётная аддитивностьлегко выводится из свойства 3

определения λ-системы. Всё остальное совсем очевидно.

Теорема 2.10 (О монотонных классах). Пусть π-система M содержится в λ-системе D. Тогда σ-ал-гебра, натянутая на M, совпадает с λ-системой, порождённой M, т. е. σ M = λ M ⊂ D.

Без потери общности можно считать, что D = λ M. Покажем, что D замкнуто относительно пересе-чения, откуда по предыдущей лемме и будет следовать, что D есть σ-алгебра, так как это будет π-λ-система.

Рассмотрим произвольные множества A,B ∈ D и докажем, что A∩B ∈ D. Пусть B ∈ M. Рассмотрим классFB таких множеств A, для которых утверждение верно, т. е. FB := A ∈ D : A ∩B ∈ D. Легко видеть, что этоткласс является λ-системой, а значит, он совпадает с D. Аналогично, фиксировав множество A, рассмотрим классGA := B ∈ D : A ∩B ∈ D. Это также будет λ-система, поэтому GA = D для ∀A ∈ D. Значит, A ∩ B ∈ D длялюбых A,B ∈ D.

2.4.2. Следствия

Теорема 2.11. Рассмотрим вероятностное пространство (Ω,F ,P). Пусть A = σ K, где K — π-системаподмножеств Ω, а Q — некоторая вероятностная мера. Пусть P = Q на K. Тогда P = Q на A .

Рассмотрим совокупность M множеств A ∈ F таких, что P(A) = Q(A). Она является λ-системой,поэтому если An ր A, где An ∈ M, то и A ∈ M. В силу непрерывности P имеем P(An) → P(A). Но P(An) =Q(An) по определению класса M. Значит, P(A) = Q(A).

Следствие 2.4. Пусть P,Q — меры на B(R), а F (x) и G(x) — их функции распределения. Пусть F = G.Тогда меры P и Q совпадают на B(R).

Действительно, очевидно, что класс M :=(−∞;x], x ∈ R

есть π-система. Кроме того, σ M = B(R).

Остается воспользоваться только что доказанной теоремой.

Задача 2.3. Пусть A = σ K, где K — алгебра. Тогда для ∀ ε > 0 и для ∀A ∈ A найдётся множествоAε ∈ K такое, что P(AAε) < ε.

Решение. Нужно всего лишь вспомнить теорему о продолжении меры (Каратеодори).

Покажем теперь, что свойство независимости σ-алгебр можно проверять только на порождающих элементах,если они образуют π-системы.

Теорема 2.12. Пусть A1, . . . ,An ⊂ F , где Ai = σ Mi, а Mi — π-системы. Пусть также для событийAi ∈ Mi справедливо равенство

P(A1 · . . . · An) = P(A1) · . . . · P(An). (18)

Тогда оно верно и для любых событий Ai ∈ Ai.

Зафиксируем Ai ∈ Mi для i = 2, n. Рассмотрим класс событий K1 таких, что (18) верно для любогоA1 ∈ K1. Легко видеть, что K1 будет λ-системой. Применяя теорему о монотонных классах, получаем, чтоформула верна для любого A1 ∈ A1. Далее, аналогично зафиксируем все множества, кроме A2, и т. д. Темсамым утверждение будет доказано для любых событий из A1, . . . ,An.

Следствие 2.5. Независимость действительных случайных величин ξ1, . . . , ξn равносильна тому, что для∀x1, . . . , xn ∈ R совместная вероятность равна произведению вероятностей:

P(ξ1 6 x1, . . . , ξn 6 xn) =

n∏

i=1

P(ξi 6 xi). (19)

Лемма 2.13. Пусть ξ1, . . . , ξn — независимые случайные величины, а f1, . . . , fn : R → R — борелевскиефункции. Тогда функции f1(ξ1), . . . , fn(ξn) также независимы.

В самом деле,

σ fi(ξi) =

(fi(ξi)

)−1(B)

=

ξ−1i

(f−1

i (B)︸ ︷︷ ︸∈B(R)

)⊆ σ ξi . (20)

Значит, определение независимости будет выполнено и для σ-алгебр σ fi(ξi).

Теперь обобщим утверждение леммы. Покажем, что борелевские функции от непересекающихся наборовнезависимых случайных величин независимы.

14

Теорема 2.14. Рассмотрим независимые действительны случайные величины ξ1, . . . , ξn и некоторые бо-релевские функции f1(x1, . . . , xk1 ), . . . , fs(xkm

, . . . , xn). Тогда композиции f(ξ1, . . . , ξk1 ), . . . , f(ξkm, . . . , ξn) также

независимы.

Легко видеть, что свойство независимости справедливо для «параллелепипедов», т. е. множеств видаB = C1 × . . . × Ck, где Ci ∈ B(R), для которых

(x1, . . . , xk) ∈ B

=x1 ∈ C1, . . . , xk ∈ Ck

. Параллелепипеды

образуют π-систему. Остаётся применить первое следствие из теоремы о монотонных классах (теорему 2.11).

2.5. Построение случайных величин с заданным распределением

2.5.1. Последовательности равномерно распределённых величин

Рассмотрим независимые случайные величины ξk, принимающие только значения 0 и 1 с одинаковой веро-ятностью p = 1

2 . Рассмотрим также величину

ξ :=

∞∑

k=1

ξk(ω)

2k. (21)

Лемма 2.15. Величина ξ имеет равномерное распределение на [0, 1].

Заметим сначала, что ξ будет случайной величиной, так как это предел суммы сходящегося ряда. Пустьx ∈ [0, 1] имеет двоичное разложение

x =

∞∑

k=1

xk

2k. (22)

Найдём функцию распределения ξ:

P(ξ < x) = P(ξ1 < x1 ∪ ξ1 = x1, ξ2 < x2 ∪ ξ1 = x1, ξ2 = x2, ξ3 < x3 ∪ . . .

) !=

!=

∞∑

k=1

P (ξ1 = x1, . . . , ξk−1 = xk−1, ξk < xk)!!=

!!=

∞∑

k=1

(P(ξ1 = x1) · . . . · P (ξk−1 = xk−1) · P (ξk < xk)

)=

∞∑

k=1

xk

2k= x = P

([0, x]

),

что и означает равномерную распределённость. Переход «!» обусловлен тем, что рассматриваемые события непересекаются, а равенство «!!» — независимостью величин ξk.

Теперь построим не одну равномерно распределённую величину, а сразу много. Для этого запишем нашивеличины ξk в виде таблицы, заполняя её по диагоналям:

ξ1 ξ2 ξ4 ξ7 . . .ξ3 ξ5 ξ8 . . .ξ6 ξ9 . . .ξ10 . . .

(23)

Перенумеруем ξk индексами по строкам и столбцам, получим величины ξij . Получатся последовательностиξij∞j=1 (при фиксированном i) независимых случайных величин, так как они являются подпоследовательно-

стями в последовательности независимых величин ξk. Рассмотрим теперь величины

ηn :=∞∑

k=1

ξnk(ω)

2k. (24)

По только что доказанной лемме они имеют равномерное распределение на [0, 1]. Остаётся показать их незави-симость. Рассмотрим конечные суммы

θnm :=

m∑

k=1

ξnk(ω)

2k→ ηn, m→ ∞. (25)

Они будут независимыми как (борелевские) функции от непересекающихся наборов случайных величин. Довестидоказательство до конца, сославшись на непрерывность вероятности в нуле и равномерную распределённостьвеличин ηn, мы предоставляем читателю.

15

2.5.2. Построение произвольной последовательности вероятностных мер

Определение. Закон распределения случайной величины ξ : Ω → R есть

Law(ξ) = Pξ(B) := P(ξ−1(B)

). (26)

Теперь определим нечто вроде «обратной функции» для функций распределения.

Определение. Пусть x ∈ (0, 1). Положим

F−1(y) := inf x : F (x) > y , (27)

то есть из всевозможных прообразов берём их нижнюю грань.

Лемма 2.16. Для ∀ z ∈ R имеет место равенство множеств

x ∈ (0, 1): F−1(x) 6 z

= x ∈ (0, 1): x 6 F (z) . (28)

Если x 6 F (z), то по определению F−1(x) 6 z. Таким образом, включение «⊇» установлено. Наоборот,если F−1(x) 6 z, то F

(F−1(x)

)6 F (z), так как F неубывает. Покажем, что x 6 F

(F−1(x)

)для ∀x ∈ (0, 1).

Пусть F−1(x) = a. Рассмотрим последовательность yn ց a. Тогда F (yn) > a в силу неубывания F . Функция Fнепрерывна справа, поэтому F (yn) → F (a). Переход к пределу даёт F

(F−1(a)

)> a.

Следствие 2.6. Пусть ν имеет равномерное распределение на [0, 1], а F — функция распределения неко-торой меры Q на B(R). Тогда Law

(F−1(ν)

)= Q.

Действительно, P(F−1(ν) 6 z

) != P

(ω : ν(ω) 6 F (z)

)= F (z), так как распределение равномерно. Равен-

ство «!» обусловлено леммой.

Таким образом, имея равномерно распределённую величину ξ, можно построить случайную величину с про-извольной функцией распределения.

А вот теперь настало время прояснить, зачем всё это нам потребовалось.

Теорема 2.17. Пусть задана последовательность Qn вероятностных мер на B(R), т. е. последователь-ность Fn их функций распределения. Тогда на некотором вероятностном пространстве существуют неза-висимые случайные величины ξn c функциями распределения Fn, т. е. Law(ξn) = Qn.

Построим последовательность независимых случайных величин νn, равномерно распределённых на[0, 1]. Положим ξn := F−1

n (νn). Величины ξn будут независимыми как борелевские функции от независимыхвеличин. По следствию из леммы их законы распределения суть в точности Qn.

3. Математическое ожидание

3.1. Интеграл Лебега по вероятностной мере

3.1.1. Определение интеграла Лебега

Как обычно, мы рассматриваем вероятностное пространство (Ω,F ,P).

Определение. Случайная величина ξ : Ω → R называется простой, если она представима в виде

ξ(ω) =

n∑

i=1

aiIAi(ω), (1)

где A1, . . . , An — разбиение Ω.

Математическое ожидание определяется в три этапа: сначала для простых случайных величин, потом дляпроизвольных неотрицательных, и только потом для любых. Приступим. . .

Определение. Интегралом Лебега по вероятностной мере P (математическим ожиданием) простой слу-чайной величины ξ называется число

Eξ :=

n∑

i=1

akP(Ak). (2)

Задача 3.1. Показать, что значение Eξ не зависит от разбиения, т. е.

ξ =

n∑

i=1

aiIAi=

m∑

j=1

bjIBj⇒ Eξ =

n∑

i=1

aiP(Ai) =

m∑

j=1

bjP(Bj). (3)

16

Решение. Достаточно перейти к более мелкому разбиению, т. е. к попарным пересечениям всех Ai и Bj .

Очевидно, что для простых случайных величин верны свойства:1 E(cξ) = cEξ;

2 E(ξ ± η) = Eξ ± Eη;

3 ξ 6 η ⇒ Eξ 6 Eη (в частности, ξ > 0 ⇒ Eξ > 0).

Теперь определим математическое ожидание произвольной неотрицательной величины.

Определение. Пусть ξ > 0. Положим

Eξ := sup Eη : η 6 ξ , (4)

где η — простые случайные величины.

Замечание. Для неотрицательных случайных величин математическое ожидание определено всегда, однакооно может принимать бесконечные значения.

Наконец, определим Eξ для произвольной величины ξ. Для этого введём следующие обозначения:

ξ+ := max ξ, 0 , ξ− := −min ξ, 0 . (5)

Определение. Пусть ξ — действительная случайная величина. Положим

Eξ := E(ξ+)− E

(ξ−). (6)

При этом говорят, что математическое ожидание существует, если хотя бы одно из значений E (ξ+) и E (ξ−)конечно, причём C + ∞ := +∞, а C −∞ := −∞. В противном случае Eξ не определено.

В дальнейшем будем говорить, что математическое ожидание существует, если интегралы от положительнойи отрицательной части конечны.

Интеграл Лебега обозначается так:

Eξ =

∫

Ω

ξ dP =

∫

Ω

ξ(ω) P(dω). (7)

Если ξ интегрируема по Лебегу, пишут ξ ∈ L1.Обозначение «E» происходит от французского «esperance mathematique». Иногда используется буква «M»,

происходящая от английского «mean value» (среднее значение), что лучше отражает смысл данного понятия.

Замечание. Интеграл Лебега относится к числу абсолютных интегралов, т. е. f ∈ L1 ⇔ |f | ∈ L1.

3.1.2. Свойства математического ожидания

Далее будем рассматривать случайную величину ξ : Ω → R.Следующее утверждение, несмотря на свою очевидность, чрезвычайно важно и будет многократно приме-

няться ниже.

Лемма 3.1 (об аппроксимации). Пусть ξ > 0. Тогда существует последовательность простых случай-ных величин ξn такая, что ξn ր ξ.

Построим «ступенчатые» функции, уменьшая высоту ступенек со скоростью 2−n и наращивая высоту«лестницы» со скоростью n. Там, где наша функция оказывается между ступеньками, берем нижнюю границу,а выше уровня n «срезаем» функцию. Более формально, положим

ξn :=

k2−n, k2n 6 ξ(ω) < (k + 1)2−n;

n, ξ(ω) > n,где k = 0, 2n − 1. (8)

Это — искомая последовательность. Сходимость к ξ и неубывание последовательности очевидны.

Лемма 3.2. Пусть 0 6 ξn ր ξ, где ξn — простые случайные величины. Тогда Eξn → Eξ.

Положим a := limEξn и покажем, что a = Eξ. По определению математического ожидания Eξn 6 Eξ,а значит, и a 6 Eξ. Докажем обратное неравенство, т. е. что a > Eη для любой простой величины 0 6 η 6 ξ.Пусть η принимает значения a1, . . . , ak на множествах A1, . . . , Ak соответственно. Фиксируем ε ∈ (0, 1). Введёмслучайные величины

ηn := (1 − ε)η · I(1−ε)η6ξn. (9)

Рассмотрим множества Ain := Ai∩(1 − ε)η 6 ξn. Очевидно, что Ain ր Ai при n→ ∞. Значит, P(Ain) → P(Ai)при n→ ∞. Тогда

Eηn = (1 − ε)

k∑

i=1

aiP(Ain) → (1 − ε)

k∑

i=1

aiP(Ai) = (1 − ε)Eη. (10)

17

Значит, (1 − ε)Eη 6 a, а так как ε произвольно, то Eη 6 a.

Теорема 3.3. Множество интегрируемых функций L1 есть векторное пространство, а E — линейныйоператор на L1. Если ξ > 0, то и Eξ > 0. Если 0 6 η 6 ξ и ξ ∈ L1, то и η ∈ L1. Если ξ

п.н.

= η, то Eξ = Eη.

Докажем первое утверждение теоремы. Если ξ и η — простые случайные величины, то αξ+βη — простаяслучайная величина, и E(αξ+βη) = αEξ+βEη для любых α, β ∈ R. Если ξ, η > 0, то построим последовательности0 6 ξn ր ξ и 0 6 ηn ր η. Тогда E(ξn + ηn) = Eξn + Eηn, а по предыдущей лемме E(ξn + ηn) ր E(ξ + η) иEξn + Eηn ր Eξ + Eη. Далее, если C > 0, то Cξn ր Cξ, поэтому E(Cξ) = CEξ.

Покажем теперь, что если ξ, η > 0, тоE(ξ − η) = Eξ − Eη. (11)

По определению, E(ξ− η) = E(ξ− η)+ −E(ξ− η)−. Так как (ξ− η)+ + η = ξ+(ξ− η)−, и каждое слагаемое справаи слева неотрицательно, то E(ξ − η)+ + Eη = Eξ + E(ξ − η)−, а это равносильно (11). Представляя каждое изслагаемых в виде разности двух неотрицательных, получаем

E(ξ + η) = E((ξ+ + η+) − (ξ− + η−)

)= (Eξ+ + Eη+) − (Eξ− + Eη−) = Eξ + Eη. (12)

Таким образом, первое утверждение доказано для любых ξ, η ∈ L1.Второе и третье утверждение теоремы очевидны. Докажем четвёртое утверждение. Как видно из доказа-

тельства первой части, можно рассматривать лишь случай ξ, η > 0. Пусть событие A := ξ = η. Построим0 6 ξn ր ξ и 0 6 ηn ր η. Тогда Eηn ր Eη. Имеем

Eηn = E(ηnIA) + E(ηnIA). (13)

Возьмём ηn из леммы об аппроксимации. Так как P(A) = 0, то Eηn = E(ηnIA) = E(ξnIA) → E(ξIA) = Eξ.

Как известно, интеграл от произведения функций в общем случае не равен произведению интегралов. А вотесли случайные величины независимы, то оказывается, что это всегда верно. Настало время это доказать.

Теорема 3.4. Пусть ξ, η ∈ L1 — независимые случайные величины. Тогда (ξ · η) ∈ L1 и E(ξ · η) = Eξ · Eη. Очевидно, что ξ+, η+ и ξ−, η− — также независимые величины (это борелевские функции от независимых

величин). Покажем, что E(ξ+ ·η+) = E(ξ+)·E(η+). Снова построим величины 0 6 ξn ր ξ и 0 6 ηn ր η. Величиныξn и ηn будут независимыми. Имеем

ξn =

k∑

i=1

a(n)i I

A(n)i

, ηn =

m∑

j=1

b(n)j I

B(n)j

. (14)

Пользуясь тем, что P(A

(n)i · B(n)

j

)= P

(A

(n)i

)· P(B

(n)j

), перемножим ряды, и получим, что E(ξnηn) = EξnEηn.

Остаётся перейти к пределу при n→ ∞.

3.1.3. Теоремы о предельном переходе под знаком интеграла Лебега

Следующая теорема является обобщением уже полученных результатов.

Теорема 3.5 (о монотонной сходимости). Пусть 0 6 ξn ր ξ. Тогда Eξn ր Eξ.

Построим простые величины ηnk ր ξn при k → ∞.

η11 6 η12 6 . . . 6 η1k 6 . . .ր ξ1

6

......

6

ηk1 6 ηk2 6 . . . 6 ηkk 6 . . .ր ξk

Положимζk := max

16i,j6kηij = max

16i6kηnk. (15)

Это будет возрастающая последовательность простых случайных величин. Пусть ζk ր ζ. Имеем

0 6 ηnk 6 ζk 6 ξk 6 ξ. (16)

Устремим k → ∞, получим ξn 6 ζ 6 ξ. Теперь устремим n→ ∞, получим ξ 6 ζ 6 ξ, откуда ζ = ξ.

18

В силу неравенства (16) Eηnk 6 Eζk 6 Eξk. В пределе при k → ∞ получаем Eξn 6 Eζ 6 limEξk. Переходя кпределу при n→ ∞, получаем limEξn 6 Eζ 6 lim Eξk. Но ζ = ξ, поэтому limEξn = Eξ.

Следствие 3.1. Пусть ξn > 0. Тогда E∞∑

n=1ξn =

∞∑n=1

Eξn.

Нужно рассмотреть (неубывающую) последовательность частичных сумм и применить теорему.

Следствие 3.2. Пусть∞∑

n=1E|ξn| сходится. Тогда

∞∑n=1

ξn сходится почти наверное и E∞∑

n=1ξn =

∞∑n=1

Eξn.

В самом деле, если бы функциональный ряд расходится на множестве положительной меры, то расхо-дится и ряд из модулей. Но тогда расходится и ряд из интегралов от модулей. Противоречие.

Задача 3.2. Доказать более общую теорему: пусть η 6 ξn ր ξ, где Eη > −∞. Тогда Eξn ր Eξ.

Лемма 3.6 (Фату). Пусть η 6 ξn, и Eη > −∞. Тогда E lim inf ξn 6 lim inf Eξn.

Имеемξ := lim inf ξn = lim

ninfk>n

ξk︸ ︷︷ ︸

ηn

. (17)

Тогда ηn ր ξ, и η 6 ηn 6 ξn. Из этого неравенства и теоремы о монотонной сходимости (точнее, из задачи 3.2)следует, что Eξ = limEηn 6 lim inf Eξn.

Теорема 3.7 (Лебега о мажорируемой сходимости). Пусть ξ, η — случайные величины, и ξn → ξ, и|ξ| 6 η. Пусть η ∈ L1. Тогда Eξn → Eξ.

Имеем −ξn > −η и E(−η) > −∞. По лемме Фату

E(lim inf(−ξn)

)6 lim inf E(−ξn) ⇒ E(− lim sup ξn) 6 − lim supEξn. (18)

Выносим минус за знак E, и получаем E(lim sup ξn) > lim sup Eξn. Таким образом,

E lim sup ξn > lim sup Eξn > lim inf Eξn > E lim inf ξn. (19)

Отсюда всё следует, так как ξ = lim ξn = lim inf ξn = lim sup ξn, а потому Eξ > lim sup Eξn > lim sup Eξn > Eξ.Следовательно, limEξn = Eξ.

Теорема 3.8. Пусть (Ω,F ,P) и (Θ,B,Pξ) — вероятностные пространства, где ξ : Ω → Θ — случайнаявеличина, а Pξ = Law(ξ). Пусть также ϕ : Θ → R — борелевская функция. Тогда

Eϕ(ξ(ω)

)=

∫

Ω

ϕ(ξ(ω)

)P(dω) =

∫

Θ

ϕ(θ)Pξ(dθ). (20)

Докажем утверждение сначала для индикаторов. Имеем

EIB

(ξ(ω)

)= P (ξ ∈ B)

def

= Pξ(B) =

∫

Θ

IB(θ)Pξ(dθ). (21)

Для простой функции ϕ =n∑

k=1

akIAkутверждение также справедливо по линейности интеграла.

Теперь пусть ϕ > 0. Построим простые функции 0 6 ϕn ր ϕ. По теореме о монотонной сходимости

Eϕn(ξ) =

∫

Θ

ϕn(θ)Pξ(dθ) →∫

Θ

ϕ(θ)Pξ(dθ) = Eϕ(ξ), n→ ∞. (22)

В общем случае рассмотрим ϕ+ и ϕ− и повторим предыдущее рассуждение.

Замечание. Как уже было замечено выше, все теоремы о сходимости случайных величин можно перефор-мулировать в терминах сходимости почти наверное, пополнив вероятностное пространство, поскольку значениеинтеграла не зависит от значений функции на множестве меры нуль.

Далее будем рассматривать вероятностное пространство с σ-конечной мерой, т. е. такое, которое можно раз-бить на счётное число подмножеств, каждое из которых имеет конечную меру.

Определение. Пусть ξ — случайная величина. Говорят, что она обладает плотностью, если её функцияраспределения представляется интегралом от неотрицательной функции p(t):

Fξ(x) =

x∫

−∞

p(t) dt. (23)

19

Очевидно, что если функция f интегрируема по Риману, то она интегрируема по Лебегу и интегралы совпа-дают. Если же существует несобственный интеграл Римана у |f |, то существует и интеграл Лебега и они такжесовпадают.

Пусть p(t) — плотность величины ξ. Введём функцию

Q(B) :=

∫

B

p(t) dt =

∫

R

p(t)IB(t) dt. (24)

Эта функция является мерой на B(R), так как

Q

(⋃Bi

)=

∫

R

p(t)∑

IBi(t) dt =

∑∫

R

p(t)IBi(t) dt =

∑Q(Bi). (25)

Имеем Q((−∞, x]

)=

x∫−∞

p(t) dt = Fξ(x). Значит, Q = Pξ.

Теорема 3.9. Пусть случайная величина ξ имеет плотность p(t), а ϕ — борелевская функция. Тогда

E(ϕ(ξ)

)=

∫

R

ϕ(x)Pξ(dx) =

∫

R

h(t)p(t) dt. (26)

3.2. Дисперсия и ковариация. Пространство Lp

3.2.1. Определения и свойства

Определим понятие «момента инерции» случайной величины — величину среднеквадратичного отклоненияот своего среднего значения.

Определение. Пусть существует Eξ2. Дисперсией величины ξ называется число

Dξ := E(ξ − Eξ)2. (27)

Рассмотрим множество Lp случайных величин ξ на вероятностном пространстве (Ω,F ,P), у которых суще-ствует E|ξ|p, где p ∈ (1,∞) — некоторое (фиксированное) число. Введём на нём отношение эквивалентности:

ξ ∼ η ⇔ ξп.н.

= η. Положим Lp := Lp/∼ — пространство классов эквивалентных функций, интегрируемых вместе

со своей p-й степенью.Пространство L2 является полным нормированным (гильбертовым) пространством. Скалярное произведе-

ние вводится так:

〈X,Y 〉 :=

∫

Ω

XY dP. (28)

Очевидно, что это симметричная билинейная положительно определённая форма. Как будет показано ниже,〈X,X〉 = 0 ⇔ X

п.н.

= 0.Таким образом, Dξ имеет смысл, если ξ ∈ L2.Раскрывая скобки в определении дисперсии, по свойству линейности получаем

Dξ = E (ξ − Eξ)2

= E[ξ2 − 2ξEξ + (Eξ)2

]= E(ξ2) − (Eξ)

2. (29)

Теперь определим «скалярное произведение» случайных величин.

Определение. Ковариацией величин ξ, η ∈ L2 называется число

cov(ξ, η) := E[(ξ − Eξ)(η − Eη)

]. (30)

Определение корректно в силу неравенства |XY | 6 12

(|X |2 + |Y |2

), где X := ξ − Eξ, а Y := η − Eη.

Если в определении раскрыть скобки, получится ещё одна хорошая формула для ковариации:

cov(ξ, η) = E(ξ · η) − Eξ · Eη. (31)

Замечание. Если ξ, η — независимые случайные величины, то cov(ξ, η) = 0, так как EξEη = Eξη. Обрат-ное, однако, неверно: существуют зависимые случайные величины, с нулевой ковариацией. В качестве примерагодятся, скажем, sin ν и cos ν, где величина ν равномерно распределена на [0, π].

20

Теперь сформулируем некоторые свойства дисперсии и ковариации. Очевидно, что ковариация если симмет-ричная билинейная функция на L2, именно потому она имеет сходство со скалярным произведением. Крометого, Dξ = cov(ξ, ξ), и D(Cξ) = C2Dξ.

Из свойства билинейности и симметричности ковариации следует, что

D

n∑

k=1

ξk =

n∑

i=1

n∑

j=1

cov(ξi, ξj) =

n∑

k=1

Dξk +∑

i6=j

cov(ξiξj) =

n∑

k=1

Dξk + 2∑

i<j

cov(ξi, ξj). (32)

Если же ξk попарно независимы, то D∑ξk =

∑Dξk.

Пример 2.1. Пусть P(ξ = 1) = p, P(ξ = 0) = 1 − p. Тогда Eξ = p, а Dξ = E(ξ2)−(Eξ2)

= p(1 − p).

3.2.2. Неравенство Чебышева

Лемма 3.10 (неравенство Чебышева5 для Lp). Для ∀α > 0 выполняется неравенство

αp · P x : |f(x)| > α 6

∫

Ω

|f(x)|p dP. (33)

Пусть L := ω : |f(x)| < α, а G := Ω r L. Тогда

∫

Ω

|f |p dP =

∫

L

|f |p dP +

∫

G

|f |p dP >

∫

G

|f |p dP. (34)

Последний интеграл оценим снизу числом αpP(G), ибо |f |p > αp на G. Значит,∫Ω

|f |p dP > αp · P |f | > α.

На языке теории вероятностей это неравенство при p = 1 переформулируется так:

P (|ξ| > ε) 6E|ξ|ε. (35)

Следствие 3.3. Dξ = 0 ⇔ E|ξ| = 0 ⇔ ξп.н.

= 0.

Справа налево утверждение очевидно. Наоборот: положим α = 1n

для ∀n ∈ N. Тогда по условию идоказанному неравенству P

(|ξ| > 1

n

)6 n · E|ξ| = 0. Так как n произвольно, то P (|ξ| 6= 0) = 0.

Ещё одно следствие леммы будет много раз применяться в следующей главе.

Следствие 3.4 (неравенство Чебышева).

P(|ξ − Eξ| > ε

)6

Dξ

ε2. (36)

Рассмотрим случайную величину η := ξ − Eξ и запишем для неё неравенство Чебышева для L2. Это ибудет требуемое неравенство, так как Eη2 = Dξ.

4. Сходимость случайных величин. Закон больших чисел

4.1. Закон больших чисел

4.1.1. Простейший вариант ЗБЧ

Определение. Говорят, что ξn → ξ по вероятности, и пишут «ξnP−→ ξ», если для ∀ ε > 0 вероятность

отклонения ξn от ξ на величину ε стремится к нулю:

P|ξn − ξ| > ε

→ 0, n→ ∞. (1)

Докажем теперь один из фундаментальных результатов теории вероятностей.

Теорема 4.1 (Закон больших чисел). Пусть ξn — последовательность попарно независимых случай-ных величин. Пусть также их дисперсии ограничены в совокупности: Dξn 6 C <∞ для ∀n. Тогда

1

n

n∑

k=1

ξkP−→ 1

n

n∑

k=1

Eξk. (2)

5Эта лемма в явном виде не доказывалась на лекциях, но она сильно сокращает дальнейшие выкладки.

21

Введём обозначение: ξ := 1n

n∑k=1

ξk. Нужно показать, что P(|ξ − Eξ| > ε

)→ 0. По неравенству Чебышева

P(|ξ − Eξ| > ε

)6

Dξ

ε2=

1

n2ε2D

n∑

k=1

ξk!=

1

n2ε2

n∑

k=1

Dξk 6C · nn2ε2

=C

nε2→ 0, n→ ∞. (3)

Равенство «!» обусловлено попарной независимостью.

Иными словами, при большом количестве случайных испытаний отклонение от среднего значения неслучай-но. Это явление, замеченное уже давно, как мы сейчас убедились, имеет строгое математическое обоснование.

Следствие 4.1. В схеме испытаний Бернулли средняя частота успехов стремится к p.

4.1.2. Теорема Вейерштрасса

Покажем, как теперь можно сравнительно просто доказать теорему о плотности многочленов в C[0, 1].

Теорема 4.2. Пусть f ∈ C[0, 1]. Тогда найдётся последовательность многочленов Pn таких, что Pn

f .

В силу непрерывности на компакте f ограничена по модулю числом M и равномерно непрерывна нанём. Определим многочлены Бернштейна

Bn(f, p) :=

n∑

k=0

f

(k

n

)C

knp

k(1 − p)n−k. (4)

Для удобства считаем, что 00 = 1 и Bn(f, 0) = f(0), а Bn(f, 1) = f(1). Введём независимые величины

ξk :=

1 с вероятностью p;

0 с вероятностью (1 − p).(5)

Пусть σn := ξ1 + . . .+ ξn, тогда P(σn = k) = Cknp

k(1 − p)n−k. Теперь заметим, что

Ef(σn

n

)=

n∑

k=0

f

(k

n

)· P(σn = k) = Bn(f, p). (6)

Приступим у оценке разности. Так как E(const) = const, и |Eξ| 6 E|ξ|, то имеем

|f(p) −Bn(f, p)| =∣∣∣Ef(p) − Ef

(σn

n

)∣∣∣ 6 E

∣∣∣f(p) − f(σn

n

)∣∣∣ = (∗). (7)

Пусть событие A :=∣∣σn

n− p∣∣ < δ

, где δ > 0. Тогда, разбивая разность на две части и оценивая вторую по

неравенству Чебышева, получаем

(∗) = E

∣∣∣f(p) − f(σn

n

)∣∣∣ · IA + E

∣∣∣f(p) − f(σn

n

)∣∣∣ · IA 6 ωf (δ) · P(∣∣∣σn

n− p∣∣∣ < δ

)

︸ ︷︷ ︸61

+2M · P(∣∣∣σn

n− p∣∣∣ > δ

)6

6 ωf (δ) + 2M · D(

σn

n

)

δ2= ωf (δ) + 2M · 1

n2δ2

n∑

k=0

Dξk = ωf (δ) + 2M · np(1 − p)

n2δ26 ωf (δ) +

M

2nδ2→ 0, n→ ∞,

так как max[0,1]

p(1 − p)

= 1

4 , а модуль непрерывности f стремится к нулю при достаточно малых δ.

4.2. Различные виды сходимости и их взаимосвязь

4.2.1. Теорема Пуассона

4.2.2. Сходимость по вариации

4.2.3. Сходимость по распределению и слабая сходимость

4.2.4. Сходимость почти всюду и сходимость по вероятности

4.3. Усиленные законы больших чисел и их следствия

4.3.1. УЗБЧ для некоррелированных величин

Теорема 4.3. Пусть X1, . . . , Xn, . . .— случайные величины такие, что DXk 6 c < ∞ ∀k и covXiXj = 0∀i 6= j (т.е. случайные величины X1, . . . , Xn, . . . некоррелированы). Тогда

1

n

n∑

k=1

Xk − 1

n

n∑

k=1

EXkп.н.−→ 0, n −→ ∞. (8)

22

Без ограничения общности можно считать, что EXk = 0 ∀k. Действительно, иначе рассмотрим случайные

величины Xk = Xk − EXk. Для них DXk = DXk 6 c, cov XiXj = covXiXj = 0, EXk = 0 ∀k и 1n

n∑k=1

Xk −

1n

n∑k=1

EXk = 1n

n∑k=1

Xk.

Для каждого n > 2 найдем m(n) ∈ N: m(n)2 < n 6 (m(n) + 1)2. Очевидно, m(n) ր ∞. Обозначим Sn = X1 +

. . .+Xn. Тогда|Sn|n

6|Sm(n)2 | + Zm(n)

n, где Zm(n) := max

16k62m(n)+1

∣∣∣Xm(n)2+1 + . . .+Xm(n)2+k

∣∣∣ (напоминаем, что

(m(n) + 1)2

= m(n)2+ 2m(n) + 1). Далее, имеем

|Sn|n

6|Sm(n)2 | + Zm(n)

n6Sm(n)2

m(n)2 +

Zm(n)

m(n)2 , поэтому достаточно

доказать, чтоSm(n)2

m(n)2

п.н.−→ 0 иZm(n)

m(n)2

п.н.−→ 0 при n −→ ∞.

Для ∀ε > 0 рассмотрим P

(ω :

|Sm2(ω)|m2 > ε

). По неравенству Чебышёва и используя условия DXk 6 c < ∞

∀k и covXiXj = 0 ∀i 6= j, получаем

P

(ω :

|Sm2(ω)|m2

> ε

)6

DSm2

ε2m4=

m2∑k=1

DXk

ε2m46

cm2

ε2m4=

c

ε2m2.

Следовательно,∞∑

m=1P

(|S

m2(ω)|m2 > ε

)6 c

ε2

∞∑m=1

1m2 <∞. По лемме Бореля–Кантелли отсюда следует, что ∀ω ∈ Ω0,

P(Ω0) = 1 ∃N(ω) :|Sm2(ω)|m2

6 ε ∀m > N . А это и означает, чтоSm2

m2

п.н.−→ 0, m −→ ∞.

Теперь рассмотрим Zm

m2 . Имеем:

P

( |Zm|m2

> ε

)= P

(2m+1⋃

k=1

|Xm2+1 + . . .+Xm2+k| > εm2

)6

2m+1∑

k=1

P

(|Xm2+1 + . . .+Xm2+k| > εm2

),

и применяя неравенство Чебышёва и условия теоремы, отсюда получаем:

P

( |Zm|m2

> ε

)6

2m+1∑

k=1

D(Xm2+1 + . . .+Xm2+k)

ε2m46c(2m+ 1)

ε2m4∼ 2c

ε2m3, m −→ ∞,

поэтому∞∑

m=1P(

Zm

m2 > ε)< ∞. Снова по лемме Бореля–Кантелли получаем

Zm

m2

п.н.−→ 0, m −→ ∞. А так как

m(n) ր ∞ при n −→ ∞, то иZm(n)

m(n)2

п.н.−→ 0, n −→ ∞. Теорема доказана.

4.3.2. Теорема Этемади

Теорема 4.4 (Этемади). Пусть X1, X2, . . .— попарно независимые одинаково распределенные случайныевеличины, E|X1| <∞. Тогда

Sn

n

п.н.−→ EX1, n −→ ∞, (9)

где Sn = X1 + . . .+Xn.

Замечание. Если случайные величины Xn > 0, одинаково распределены, некоррелированы (т.е. covXiXj =0 ∀i 6= j) и существует E|X1| <∞, то соотношение (9) следует из теоремы 4.3.

Покажем сначала, что достаточно рассмотреть случай неотрицательных случайных величин Xn. Дей-ствительно, если они любого знака, то представляем их в виде Xn = X+

n − X−n = x+(Xn) − x−(Xn), где

x+ = max(0, x), x− = x+ − x. Если Xi Xj , то x+(Xi) x+(Xj) и x−(Xi) x−(Xj). Поэтому если теоре-ма будет доказана для неотрицательных величин, то применяя ее для X+

1 , X+2 , . . . и X−

1 , X−2 , . . . , получим

Sn

n=

nP1

X+i

n−

nP1

X−i

n

п.н.−→ EX+1 − EX−

1 = EX1, n −→ ∞.Итак, далее считаем, что Xn > 0, n = 1, 2, . . .. Введем «урезанные» случайные величины Yi = Xi IXi 6 i,

i = 1, 2, . . .. Пусть Sn =n∑

i=1

Yi. Определим последовательность kn = [αn], n = 1, 2, . . ., где α > 1.

Лемма 4.5.Skn

− ESkn

kn

п.н.−→ 0, n −→ ∞.

23

Для доказательства применим лемму Бореля–Кантелли. А именно, докажем, что ∀ε > 0 сходится ряд∞∑

n=1P

(∣∣∣eSkn−E eSkn

kn

∣∣∣ > ε)< ∞. Применяя неравенство Чебышева, получаем

∞∑n=1

P

(∣∣∣eSkn−E eSkn

kn

∣∣∣ > ε)

6∞∑

n=1

D eSkn

ε2k2n

. В

силу некоррелированности имеем DSkn=

kn∑i=1

DYi, поэтому

∞∑

n=1

P

(∣∣∣∣∣Skn

− ESkn

kn

∣∣∣∣∣ > ε

)6

∞∑

n=1

DSkn

ε2k2n

=1

ε2

∞∑

n=1

1

k2n

kn∑

i=1

DYi 61

ε2

∞∑

i=1

EY 2i

∑

n: kn>i

1

k2n

.

В последнем неравенстве мы изменили порядок суммирования и воспользовались оценкой DYn 6 EY 2n . Далее,

оцениваем последнюю сумму в правой части:∑

n:[αn]>i

1

[αn]26

∑

n:[αn]>i

1

cαα2n=

1

cα

∑

n:[αn]>i

1

α2n, т.к. [αn]

2> cαα

2n

для некоторой константы cα. Так как∑

n>m

1

q2n=

1q2m

1 − 1q2

=1

q2(m−1)(1 − q2), то

∑

n: [αn]>i

1

α2n=

∑

n>[logα(i+1)]

1

α2n6

1

α2 logα(i+1)(

1−α2

α2

) = cα1

(i+ 1)2.

Итак, мы доказали, что

∞∑

n=1

P

(∣∣∣eSkn−E eSkn

kn

∣∣∣ > ε)

6C(α)

ε2

∞∑

i=1

EY 2i

(i+ 1)2. Далее, по формуле математического

ожидания Ef(X) =∞∫

−∞f(x)PX(dx) и учитывая, что PXi

= PX1 ∀i (так как по условию X1, X2, . . . одинаково

распределены) имеем∞∑

i=1

EY 2i

(i+ 1)2=

∞∑

i=1

1

(i+ 1)2

i∫

0

x2µ(dx), где µ = PX1 (в нашем случае функция f имеет вид

f(x) = x2I06x6i). Применяя аддитивность интеграла и меняя порядок суммирования, получаем:

∞∑

i=1

EY 2i

(i+ 1)2=

∞∑

i=1

1

(i+ 1)2

i∫

0

x2µ(dx) =∞∑

i=1

1

(i+ 1)2

i−1∑

k=0

k+1∫

k

x2µ(dx) =∞∑

k=0

k+1∫

k

x2µ(dx)∑

i>k+1

1

(i+ 1)2.

Далее, воспользуемся известной из математического анализа оценкой∞∑

n=m

f(n) 6∞∫

m−1

f(x) dx; получим:

∑

i>k+1

1

(i+ 1)2=∑

j>k+2

1

j26

∞∫

k+1

dx

x2=

1

k + 1. Следовательно,

∞∑

k=0

k+1∫

k

x2µ(dx)∑

i>k+1

1

(i+ 1)26

∞∑

k=0

1

k + 1

k+1∫

k

x2 µ(dx) 6

∞∑

k=0

k+1∫

k

xµ(dx) = EX1 <∞ (по условию). Подставляя эту оценку в исходную, получаем

∞∑

n=1

P

(∣∣∣eSkn−E eSkn

kn

∣∣∣ > ε)

6

C(α)EX1

ε2<∞ ∀ε > 0. Значит, по лемме Бореля–Кантелли

Skn− ESkn

kn

п.н.−→ 0, n −→ ∞, что и требовалось.

Вернемся к доказательству теоремы. Мы имеемE eSkn

kn=

knPi=1

EYi

kn. Покажем, что EYi = EXiI0 6 Xi 6 i −→ EX1,

i −→ ∞. Действительно, EXiI0 6 Xi 6 i =i∫0

xµ(dx) =∞∫0

xIx 6 iµ(dx) −→∞∫0

xµ(dx) = EX1, i −→ ∞ по теореме

о монотонной сходимости. Следовательно,ESkn

kn

−→ EX1, n −→ ∞. А так как по лемме 4.5Skn

− ESkn

kn

п.н.−→ 0,

n −→ ∞, то отсюда получаемSkn

kn

п.н.−→ EX1, n −→ ∞. Докажем, что отсюда вытекаетSkn

kn

п.н.−→ EX1, n −→ ∞.

Действительно, так как∑i

P(Xi 6= Yi) =∑i

P(Xi > i) =∑i

P(X1 > i)лемма

< EX1 + 1 < ∞, то по лемме Бореля–

Кантелли P(Xi 6= Yi) = 0. Следовательно, для почти всех ω ∈ Ω и ∀n > N(ω) Xi(ω) = Yi(ω) =⇒ 1kn

kn∑i=1

Xiп.н.−→

EX1, n −→ ∞.

Наконец, докажем, чтоSn

n

п.н.−→ EX1. Фиксируем α > 1. Для каждого n > N(α) найдем такое m(n), что

[αm(n)] 6 n < [αm(n)+1]. Так как все Xi > 0, то limn

Sn

n> lim

n

S[αm(n)]

n= lim

n

S[αm(n)]

[αm(n)]

[αm(n)]

n> EX1

1

α, так как

24

[αm(n)]

n>

[αm(n)]

[αm(n)+1]−→ 1

α, n −→ ∞. Аналогично, lim

n

Sn

n6 lim

n

S[αm(n)+1]

n= lim

n

S[αm(n)+1]

[αm(n)+1]

[αm(n)+1]

n6 EX1 · α

(воспользовались тем, что[αm(n)+1]

n6

[αm(n)+1]

[αm(n)]−→ α, n −→ ∞). Итак,

1

αEX1 6 lim

n

Sn

n6 lim

n

Sn

n6 αEX1, где

α > 1 — любое. Устремим α ⇓ 1, тогда получим limn

Sn

n= EX1 п.н., что и требовалось доказать.

Следствием доказанной теоремы является важная классическая теорема Колмогорова:

Следствие 4.2 (Колмогоров). Пусть X1, X2, . . .— независимые в совокупности одинаково распределен-

ные случайные величины такие, что E|X1| <∞. ТогдаSn

n

п.н.−→ EX1, n −→ ∞, где Sn = X1 + . . .+Xn.

4.3.3. Классическая теорема Колмогорова. Закон 0 и 1

Теорема 4.6 (Закон 0 или 1 Колмогорова). Пусть ξ1, ξ2, . . .— независимые случайные величины ипусть Fn = σξn, ξn+1, . . .. Обозначим F∞ =

⋂n

Fn. Тогда если A ∈ F∞, то P(A) = 0 или P(A) = 1.

Пусть A ∈ F∞. Тогда A ∈ Fn ∀n. Обозначим Ank = σξn, . . . , ξn+k, тогда Fn = σ

⋃k>1

Ank

. Но

An =⋃

k>1

Ank — это алгебра, следовательно, ∀ε > 0 ∃Aε ∈ Ank = σξn, . . . , ξn+k : P(AAε) < ε (см. задачу

такую-то). Но A ∈ Fn+k+1 = σξn+k+1, . . ., поэтому A и Aε — независимые события, т.е. P(A∩Aε) = P(A)P(Aε).

Отсюда получаем, что P(A) = P(A)2, откуда либо P(A) = 0, либо P(A) = 1, что и требовалось доказать.

5. Центральная предельная теорема

5.1. Теорема Александрова

5.2. Характеристические функции

5.2.1. Определение, основные свойства и примеры

Пусть Q — вероятностная мера на B(R).

Определение. Характеристической функцией вероятностной меры Q называется функция

ϕQ(t) :=

∫

R

eitxQ(dx) =

∫

R

cos(tx)Q(dx) + i

∫

R

sin(tx)Q(dx).

Если X : Ω −→ R — случайная величина, то на B(R) возникает вероятностная мера PX , определяемая поформуле PX(B) = P(X−1(B)). Тогда характеристической функцией случайной величины X называется харак-теристическая функция вероятностной меры PX :

ϕPX(t) =

∫

R

eitxPX(dx) =

∫

Ω

eitX dP = EeitX = ϕX(t).

Таким образом, характеристическая функция случайной величины X записывается в виде ϕX(t) = EeitX .Имеется взаимно-однозначное соответствие между вероятностными мерами Q на Ω, их функциями распре-

деления F и характеристическими функциями ϕ: Q ↔ F ↔ ϕ.Приведем несколько примеров характеристических функций.

Пример 2.1. Пусть X(ω) = C = const ∀ω ∈ Ω — постоянная случайная величина. Тогда ее характеристи-ческая функция: ϕX(t) = EeitX = EeitC = eitC .

Пример 2.2. ПустьX ∼ πλ (пуассоновское распределение с параметром λ > 0),X =

0, . . . , k, . . .

e−λ, . . . , λke−λ

k! . . .Найдем характеристическую функцию этого распределения:

ϕX(t) = EeitX =

∞∑

k=0

eitkP(X = k) =

∞∑

k=0

eitk λke−λ

k!= e−λ

∞∑

k=0

(λeit)k

k!= e−λeλeit

= eλ(eit−1).

Итак, характеристическая функция пуассоновской случайной величины X ∼ πλ с параметром λ > 0 равнаϕX(t) = eλ(eit−1).

25

Пример 2.3. Пусть случайная величина X ∼ N (0, 1) имеет стандартное нормальное распределение. То-

гда, по определению, его плотность равна p(x) = 1√2πe−

x2

2 , x ∈ R. Характеристическая функция равна ϕ(t) =

ϕX(t) =∞∫

−∞eitx dF (x) =

∞∫−∞

eitxp(x) dx = 1√2π

∞∫−∞

eitx−x2

2 dx. Легко проверить, что эта функция от t удовлетворя-

ет дифференциальному уравнению ϕ′(t) = −tϕ(t) (продифференцируйте интеграл по параметру t и убедитесь

в этом!), решая которое, получаем решение ϕ(t) = e−t2

2 с начальным условием ϕ(0) = 1, которое должно бытьвыполнено для любой характеристической функции.

Итак, характеристическая функция случайной величины X ∼ N (0, 1), имеющей стандартное нормальное

распределение, равна ϕX(t) = e−t2

2 .

Теорема 5.1 (Свойства характеристических функций). Все характеристические функции обладаютследующими свойствами:

1) ϕ(0) = 1;2) |ϕ(t)| 6 1;3) ϕ равномерно непрерывна на R;4) ϕ(−t) = ϕ(t);5) X имеет симметричное распределение (т.е. Law(X) = Law(−X)) тогда и только тогда, когда ϕX —

действительная функция;6) Если Y = aX + b, a, b ∈ R, то ϕY (t) = eitbϕX(at).

Свойство 1) очевидно: ϕX(0) = Ee0 = 1. Свойство 2): |ϕX(t)| =

∣∣∣∣∣∞∫

−∞eitx dF (x)

∣∣∣∣∣ 6∞∫

−∞|eitx| dF (x) =

∞∫−∞

dF (x) = 1, так как |eitx| = 1.

Докажем свойство 3) — равномерную непрерывность. Имеем:

ϕ(t+ h) − ϕ(t) =

∞∫

−∞

eitx(eihx − 1) dF (x), |ϕ(t+ h) − ϕ(t)| 6

∞∫

−∞

|eihx − 1| dF (x) ∀x ∈ R.

Так как |eihx − 1| −→ 0, h −→ 0 ∀x ∈ R, то по теореме о мажорируемой сходимости получаем требуемое.Докажем свойство 4). Вспомним, что комплексно сопряженное число к z = u + iv (u, v ∈ R) — это число

z = u− iv. Имеем: ϕ(−t) =∞∫

−∞e−itx dF (x) =

∞∫−∞

eitx dF (x) = ϕ(t).

Свойство 5) сразу следует из свойства 4): действительно, пусть ϕ— действительная функция. Тогда ϕ−X(t) =Eeit(−X) = Eei(−t)X = ϕX(−t) = ϕX(t) = ϕX(t), следовательно ϕ−X(t) = ϕX(t) ∀ t ∈ R. По теореме единственно-сти (формула обращения; см. следующий пункт) Law(−X) = Law(X). Производя те же выкладки в обратномпорядке, получаем обратное утверждение (достаточность).

Осталось доказать свойство 6). Имеем: ϕaX+b(t) = Eeit(aX+b) = Eei(at)Xeitb = eitbϕX(at), что и требовалосьдоказать.

Доказанная теорема дает необходимые условия, которым должны удовлетворять характеристические функ-ции произвольных случайных величин. В частности, если некоторая (данная) функция ϕ не удовлетворяет хотябы одному из этих условий, то теорема позволяет сделать вывод о том, что эта функция не является характе-ристической ни для какой случайной величины X . Если же все свойства для функции ϕ выполнены, то этотвопрос остается открытым.

Следующая теорема дает необходимое и достаточное условие того, что функция ϕ является характеристи-ческой для некоторой случайной величины X . Чтобы сформулировать ее, дадим следующее

Определение. Функция ϕ(t) называется неотрицательно определенной, если ∀n ∈ N, ∀ t1, . . . , tn ∈ R и∀ z1, . . . , zn ∈ C

n∑

k=1

n∑

l=1

ϕ(tk − tl)zkzl > 0.

Теорема 5.2 (Бохнер–Хинчин). Функция ϕ(t), t ∈ R является характеристической функцией для неко-торой случайной величины X тогда и только тогда, когда выполнены следующие три условия:

1) ϕ(0) = 1;2) ϕ непрерывна в нуле;3) ϕ является неотрицательно определенной функцией.

26

Мы докажем только необходимость. Пусть ϕ — характеристическая функция. Тогда 1) и 2), очевидно,

выполнены. Докажем 3), т.е. проверим, что ϕ — неотрицательно определенная функция. Имеем:n∑

k=1

n∑l=1

ϕ(tk −

tl)zkzl =n∑

k=1

n∑l=1

(Eei(tk−tl)X

)zkzl =

n∑k=1

n∑l=1

E(zkeitkX)(zle

itlX) = E

(n∑

k=1

zkeitkX

)(n∑

l=1

zleitlX

)= Eωω = E|ω|2 > 0

(применили линейность мат. ожидания), что и требовалось.

5.2.2. Формула обращения

Теорема 5.3 (Формула обращения). 1) Для любых точек a, b ∈ C (F ) имеет место формула

F (b) − F (a) = limc−→∞

1

2π

c∫

−c

e−ita − e−itb

itϕ(t) dt.

2) Если ϕ ∈ L 1(R), т.е.∞∫

−∞|ϕ(t)| dt <∞, то F абсолютно непрерывна и имеет плотность

p(x) =1

2π

∞∫

−∞

e−itxϕ(t) dt, x ∈ R; p ∈ L1(R), p > 0.

По формуле для характеристической функции ϕ(t) имеем:

1

2π

c∫

−c

e−ita − e−itb

itϕ(t) dt =

1

2π

c∫

−c

(e−ita − e−itb

it

∞∫

−∞

eitx dF (x)

)dt.

Изменим в последнем интеграле порядок интегрирования. Для этого применим теорему Фубини. Чтобы ее

условия были выполнены, необходимо, чтобы

c∫

−c

∫

R

∣∣∣∣e−ita − e−itb

iteitx

∣∣∣∣ dF (x) dt < ∞. Так как |eiα| = 1 ∀α ∈ R и

∣∣∣ e−ita−e−itb

it

∣∣∣ =

∣∣∣∣∣b∫a

e−itx dx

∣∣∣∣∣ 6b∫

a

|e−itx| dx =b∫a

dx = b − a, то имеет место оценка

c∫

−c

∫

R

∣∣∣∣e−ita − e−itb

iteitx

∣∣∣∣ dF (x) dt <

2c(b− a) <∞. Итак, можно поменять порядок интегрирования; получим:

1

2π

c∫

−c

e−ita − e−itb

itϕ(t) dt =

1

2π

c∫

−c

(e−ita − e−itb

it

∞∫

−∞

eitx dF (x)

)dt =

∞∫

−∞

dF (x)

(1

2π

c∫

−c

e−it(x−a) − e−it(x−b)

itdt

)= (∗)

Так как eitα = cosα+ i sinα иc∫

−c

cos t(x−a)t

dt = 0 (подынтегральная функция нечетна), то отсюда получаем:

(∗) =

∞∫

−∞

dF (x)

1

2π

c∫

−c

sin t(x− a) − sin t(x− b)

tdt

=

∞∫

−∞

1

π

c(x−a)∫

0

sin z

zdz −

c(x−b)∫

0

sin z

zdz

dF (x) =

∞∫

−∞

ψc(x) dF (x).

Функция f(z) = sin zz

не интегрируема по Лебегу на (0,∞), но интегрируема по Риману на этом множестве

в несобственном смысле (интеграл Дирихле):∞∫0

sin zzdz = π

2 . Поэтому здесь мы понимаем этот интеграл как

несобственный интеграл Римана, т.е. как предел limu−→∞

u∫0

sin zzdz. Так как функция

u∫0

sin zzdz непрерывна по u, то

∃A :

∣∣∣∣u∫0

sin zzdz

∣∣∣∣ 6 A = const ∀u > 0. Значит, |ψc(x)| 6 2A ∀x и

ψc(x) −→ ψ(x) =

0 если x < a или x > b,12 если x = a или x = b,

1 если a < x < b.

c −→ ∞.

27

По теореме о мажорируемой сходимости получаем∞∫

−∞ψc(x) dF (x) −→

∞∫−∞

ψ(x) dF (x) =∞∫

−∞ψ(x) dQ(x) = Q(a)

2 +

Q(b)2 + F (b−) − F (a) = F (a)−F (a−)

2 + F (b)−F (b−)2 + F (b−) − F (a) = F (b)+F (b−)

2 − F (a)+F (a−)2 . Если a, b ∈ C (F ), то

F (a)+F (a−)2 = F (a), F (b)+F (b−)

2 = F (b), откуда и следует утверждение 1) теоремы.

Докажем утверждение 2). А именно, докажем, что функция p(x) = 12π

∞∫−∞

e−itxϕ(t) dt, x ∈ R является плот-

ностью нашего распределения, F (x) =x∫

−∞p(u) du. Функция p(x) является непрерывной на R по теореме о

мажорируемой сходимости, p(x+ h) − p(x) =∫R

(e−i(x+h)t − e−ixt)ϕ(t) dt, |e−itx| = 1.

Применим теорему Фубини: ∀ a < b имеем

b∫

a

p(x) dx =

b∫

a

(1

2π

∫

R

e−itxϕ(t) dt

)dx =

1

2π

∫

R

( b∫

a

e−itxϕ(t) dx

)dt =

1

2π

∞∫

−∞

ϕ(t)e−ita − e−itb

itdt = (∗)

По теореме о мажорируемой сходимости и применяя уже доказанный пункт 1) теоремы, получаем:

(∗) =1

2πlim

c−→∞

c∫

−c

ϕ(t)e−ita − e−itb

itdt = F (b) − F (a), a, b ∈ C (F ).

Итак, мы получили, что p(x) — непрерывная функция, такая чтоb∫a

p(x) dx = F (b)− F (a), ∀ a, b ∈ C (F ). Следо-

вательно, p(x) > 0 ∀x ∈ R. Устремим a −→ −∞, тогда получим:b∫

−∞p(x) dx = F (b) ∀ b ∈ C (F ). Этот интеграл

можно понимать как интеграл Лебега (так как p(x) > 0). Итак, F (x) =x∫

−∞p(u) du ∀x ∈ R, что и требовалось.

5.2.3. Теорема Леви

Теорема 5.4 (Леви) (Теорема непрерывности). 1) Пусть последовательность функций распределения

Fn(x) сходится к F (x) ∀x ∈ C (F ): Fn(x)ω−→ F (x). Тогда ϕn(t) −→ ϕ(t) ∀ t ∈ R, где Fn ↔ ϕn, F ↔ ϕ.

2) Пусть характеристические функции ϕn(t) −→ ϕ(t), n −→ ∞, причем ϕ непрерывна в 0. Тогда ϕ является

характеристической функцией, и Fnω−→ F , где Fn ↔ ϕn, F ↔ ϕ.

Пример 2.4. Докажем, что∑

λ+a√

λ6k6λ+b√

λ

λke−λ

k!−→ 1√

2π

b∫

a

e−x2

2 dx, λ −→ ∞.

Рассмотрим пуассоновскую случайную величину Zλ ∼ πλ. Тогда

∑

λ+a√

λ6k6λ+b√

λ

λke−λ

k!=

∑

λ+a√

λ6k6λ+b√

λ

P(Zλ = k) = P

(Zλ ∈ [λ+ a

√λ, λ+ b

√λ]

)= P

(a 6

Zλ − λ√λ

6 b

).

Вспоминая свойство 6) характеристических функций и выражение для характеристической функции пуассо-

новской случайной величины(ϕZλ

(s) = eλ(eis−1)), получаем:

ϕZλ−λ√λ

(t) = ϕ 1√λ

Zλ−√

λ(t) = e−it√

λϕZλ

(t√λ

)= e−it

√λe

λ

„e

i t√λ

−1«

= eλ

„e

i t√λ −1− it√

λ

«

−→ e−t2

2 ∀ t, λ −→ ∞,

так как ew = 1 + w + w2

2 + o(w2), w −→ 0. Итак, ϕZλ−λ√λ

(t) −→ ϕX(t) = e−t2

2 , λ −→ ∞, ∀ t ∈ R, поэтому по теореме

непрерывности Zλ−λ√λ

D−→ X ∼ N (0, 1), значит ∀ a < b будет P

(a 6 Zλ−λ√

λ6 b)−→ P (a 6 X 6 b) = 1√

2π

b∫a

e−x2

2 dx,

λ −→ ∞, так как функция распределения случайной величины X ∼ N (0, 1) непрерывна на R.

Доказательство теоремы непрерывности. 1) Заметим сначала, что если Fn −→ F , то

∫R

eitx dFn(x) −→∫R

eitx dF (x), поскольку eitx — непрерывная

ограниченная функция.

28

Лемма 5.5. Пусть имеется соответствие функции распределения, вероятностной меры и характеристи-ческой функции: F ↔ Q ↔ ϕ. Тогда ∀ a > 0

Q

(R\(−1

a,1

a

))=

∫

R\(− 1a

, 1a )

dF (x) 6C

a

a∫

0

(1 − Reϕ(t)) dt, где C = const.

a∫0

(1 − Reϕ(t)) dt = 1a

a∫0

( ∞∫−∞

(1 − cos tx) dF (x)

)dt = (∗), так как Reϕ(t) =

∞∫−∞

cos tx dF (x). По теореме

Фубини (∗) =∞∫

−∞

(1 − sin ax

ax

)dF (x) >

∫

|ax|>1

(1 − sin ax

ax

)dF (x) > inf

u>1

(1 − sin u

u

) ∫

|x|> 1a

dF (x) = (1−sin 1)∫

|x|> 1a

dF (x).

Полагая 1/C = 1 − sin 1, получаем нужное неравенство. Лемма доказана.

Лемма 5.6. Пусть ϕn(t) −→ ϕ(t), где ϕ(t) непрерывна в нуле. Тогда семейство распределений Qn (Qn ↔ ϕn)плотно, т.е. ∀ ε > 0 ∃Kε : sup

nQn(R\Kε) < ε.

По предыдущей лемме ∀ a > 0 имеем Qn

(R\(− 1

a, 1

a

))6

5.3. Центральная предельная теорема в условиях Линдеберга

5.3.1. Ещё два (а может, три) свойства характеристических функций

5.4. Свёртки распределений

5.5. Случайные векторы

5.5.1. Основные определения

5.5.2. Многомерная центральная предельная теорема

29