17.9–17.11. Оценка прогнозов

17. Математическая статистика в синоптической метеорологии

Н.А. Дашко Курс лекций по синоптической метеорологии

41

17.9. Построение схемы прогноза на основе

дискриминантного анализа

Для прогноза метеорологических величин и явлений погоды широко применя-

ются методы параметрического и непараметрического дискриминантного анализа.

Дискриминантные схемы прогноза не указывают непосредственно на количест-

венные оценки метеорологической величины, а дают возможность оценить наличие яв-

ления или его отсутствие, например, будет или нет резкое похолодание, произойдет

или нет усиление ветра до той или иной градации и др. Такие прогнозы называются

альтернативными. Удобно использовать данный подход при прогнозировании явлений

погоды, которые трудно выразить количественно – грозы, туманы, гололед и др.

На первом этапе важно выявить синоптические ситуации, метеорологические

условия, благоприятствующие наличию или отсутствию данного явления. По сочета-

нию объясняющих переменных требуется решить, к какому классу можно отнести дан-

ное событие.

В зависимости от способа классификации, различают параметрические (локаль-

ные) и непараметрические (интегральные) методы дискриминантного анализа.

В параметрическом дискриминантном анализе принимается, что рассматривае-

мые объекты извлекаются из нормальных генеральных совокупностей. При значитель-

ных отклонениях закона распределения случайной величины от нормального предпоч-

тительнее использование непараметрического дискриминантного анализа.

При применении как параметрического, так и непараметрического дискрими-

нантного анализа положительные результаты следует ожидать, когда выбранные пред-

сказатели хорошо отражают физическую сущность развития явлений погоды.

В качестве предикторов выбираются объясняющие переменные, которые наибо-

лее ярко проявляют себя в случае наличия и отсутствия явления. Таким образом необ-

ходимо оценить расстояния между классами.

Для оценки репрезентативности предсказателей, позволяющих отнести исход-

ную совокупность признаков к определённому классу, используется расстояние Маха-

лонобиса в случае одной объясняющей переменной (∆∆∆∆21 ) и двух объясняющих пере-

менных (∆∆∆∆22 ):



42

∆∆∆∆21

2

====−−−−

M x M xi j( ) ( )

σσσσ,

∆∆∆∆22

1 2

2

1 1

1

2

2 2

2

2

1 2 1 1 2 2

1 2

1

1

2

====−−−−

−−−−

++++

−−−−

−−−−

−−−−−−−− −−−− −−−−

r

M x M x M x M x

r M x M x M x M x

i j i j

i j i j

,

,

( ) ( ) ( ) ( )

[ ( ) ( ) ] [ ( ) ( ) ]

σσσσ σσσσ

σσσσ σσσσ

где

M x i( ) – математическое ожидание при наличии явления,

M x j( ) – математическое ожидание при отсутствии явления,

σσσσ – среднее квадратическое отклонение.

В прогностические схемы включаются переменные, дающие наибольший вклад

в расстояние Махалонобиса.

Затем строится уравнение дискриминантной функции (решающее правило):

U a a X a X a Xn n==== ++++ ++++ ++++ ++++0 1 1 2 2 . . . ,

где a a a a n0 1 2, , , . . . , – коэффициенты уравнения регрессии, X X Xn1 2, , . . . , – объяс-

няющие переменные.

Вектор Х считается отнесённым к реализации W1 (например, наличие явления)

при U≥≥≥≥0, и к реализации W2 (например, отсутствие явления) при U<0. Задача, таким

образом, сводится к определению коэффициентов a a a a n0 1 2, , , . . . , , минимизирующих

вероятность ошибочной классификации с использованием метода наименьших квадра-

тов.

В случае двух объясняющих переменных разделение на классы может быть

представлено графически (рис. 17.12, 17.13), что очень наглядно демонстрирует про-

гностические возможности выбранных предикторов.

Нередко оценка полученных уравнений показывает, что одни уравнения более

целесообразно использовать для прогноза класса наличия явления, другие – для класса

его отсутствия.

Повышение качества прогнозов на основе линейного дискриминантного анализа

может быть достигнуто, если для разделения синоптических ситуаций использовать

одновременно две дискриминантные функции и альтернативные прогнозы давать с

учетом сочетания знаков этих функций.



43

0

10

20

30

40

50

60

0 30 60 90 120

Величина A

Величина B

17.12. Связь метеорологических параметров А и B при наличии (точки)

и отсутствии (звездочки) явления (разделение хорошее)

0

10

20

30

40

50

60

0 30 60 90 120

Величина C

Величина Д

Рис. 17.13. Связь метеорологических параметров С и Д при наличии (точки)

и отсутствии (треугольники) явления (разделение неудовлетворительное)

Тогда если две схемы (или более) указывают на наличие или отсутствие явления,

прогнозировать тот или иной класс можно с большей уверенностью.

Для уточнения величины прогнозируемого явления применяется приём сочета-

ния дискриминантного и регрессионного анализов. После использования решающего



44

правила, позволяющего отнести синоптическую ситуацию к тому или иному классу,

рассчитывается ожидаемая величина явления (например, сильного ветра) с помощью

уравнений множественной линейной регрессии, которые строятся отдельно для выбо-

рок наличия или отсутствия явления. В случае сложных синоптических ситуаций, когда

вероятность осуществления классов близка, ожидаемая величина явления рассчитыва-

ется по общей выборке без разделения ситуаций.

17.10. Концепции применения статистических

методов для построения способов прогноза погоды

Современные методы статистического анализа и прогноза погоды и опасных ее

явлений допускают применение двух концепций - использования статистик "идеально-

го" прогноза (Perfect Prognos Methods – PP) и прогнозов конкретных гидродинамиче-

ских моделей (Model Output Statistics Methods – MOS).

Данные концепции идентичны по используемому статистическому аппарату и

различаются способами формирования обучающих выборок.

iiiiКонцепция РР предполагает получение устойчивых оценок диагностиче-

ских (синхронных и асинхронных) связей между рассматриваемыми эле-

ментами или явлениями погоды и значениями ряда характеристик атмо-

сферы, определяемым по фактическим данным на архивном материале.

Выявленные диагностические соотношения, например, в виде уравнений регрес-

сии, переносятся на связи между элементами погоды и прогностическими переменны-

ми, которые снимаются с прогностических карт, построенных с помощью той или иной

гидродинамической модели.

Неоспоримы достоинства РР-концепции:

• Уравнения регрессии строятся на основе архивных данных за большой период

метеорологических наблюдений;

• Качество прогнозов элементов и явлений погоды автоматически повышается

при улучшении качества используемых гидродинамических моделей;

• Не требуется пересчета уравнений регрессии при внедрении в практику новой

гидродинамической модели.



45

• При применении концепции РР для отбора предикторов используется сравни-

тельно большая географическая область вокруг пункта, для которого составляются про-

гностические уравнения регрессии.

Недостатки PP-концепции:

Основным методическим недостатком РР-концепции является то, что в ней не

учитываются ошибки конкретной гидродинамической модели, из которой при опера-

тивном использовании берутся значения предикторов. Уравнения регрессии построены

на фактическом материале (идеальный прогноз), а при оперативном использовании по-

лученные связи в «чистом» виде переносятся на прогностические поля, из которых вы-

бираются необходимые предикторы для прогноза метеорологических величин и явле-

ний погоды. При этом мы допускаем, что прогностические поля отражают те же осо-

бенности пространственно-временного распределения метеорологических величин и

условий циркуляции, что и фактические. На самом деле прогностические модели, ле-

жащие в основе прогноза полей метеорологических величин, не могут учесть всего раз-

нообразия процессов, их формирующих.

Этот процесс можно сравнить с процессом разработки дизайнером модели на-

рядного платья из тонкого шелка, а на практике модель сошьют по той же выкройке, но

из грубой льняной ткани – модель одна и та же, но конечный результат будет отличным

от модельного, разработанного автором.

По мере совершенствования гидродинамических моделей прогностические поля

всё более приближаются к фактическим, но всё же между ними остаются более или ме-

нее существенные различия.

Поэтому для уменьшения методической ошибки в уравнения регрессии можно

ввести коэффициенты, учитывающие несоответствие прогностических и фактических

полей метеорологических величин.

Второй путь – это использование для построения прогностических моделей

концепции MOS.

iiiiКонцепция MOS предполагает отбор предикторов и построение уравне-

ний регрессии непосредственно для связей между фактически наблю-

давшимися явлениями погоды и прогностическими значениями пара-

метров атмосферы из конкретной гидродинамической модели.

Достоинства MOS-концепции:



46

При оперативном использовании построенные уравнения регрессии применяют-

ся в сочетании с теми же гидродинамическими моделями, на которых производилось

обучение.

Здесь исключается замеченный выше методический недостаток РР-концепции.

Уравнения регрессии, построенные в соответствии с MOS-концепцией, действительно

наилучшим образом используют прогностическую способность конкретных гидроди-

намических моделей.

В этом основное достоинство MOS-концепции по сравнению с РР-концепцией,

которое останется решающим до тех пор, пока гидродинамические прогнозы не станут

практически достоверными.

Качество прогнозов на основе концепции MOS тем выше, чем выше качество

прогностических моделей, чем больше полнота и разнообразие получаемых из моделей

метеорологических величин и явлений погоды и чем больше архивы прогностических

гидродинамических полей, что позволяет построить зависимости для различных пунк-

тов прогнозирования и для разных сезонов года.

Недостатками MOS-концепции являются:

• Качество прогнозов каждый раз ухудшается, когда в гидродинамические моде-

ли происходят перестройки, в том числе, и улучшающие модель. Следовательно, для

MOS-концепции желательно использовать полностью отработанные гидродинамиче-

ские модели.

• Для построения уравнений регрессии требуется архив прогностических карт,

построенных на основе конкретных гидродинамических моделей, что требует извест-

ного времени функционирования уже разработанной модели.

Специально проведенные исследования показывают перспективу данного на-

правления для прогноза ветра, температуры воздуха и других элементов и явлений по-

годы, в том числе, опасных. Качество прогнозов при использовании MOS-концепции

выше на 10-15%.

В рамках концепции MOS в США созданы методики прогноза максимальной и

минимальной температур воздуха, вероятности выпадения осадков, ветра, ливней, об-

щей облачности, видимости, опасных и стихийных явлений погоды и др. Многие явле-

ния и элементы погоды прогнозируются на основе оперативной шестиуровенной моде-

ли полей давления и геопотенциала (Shuman F.G., Hovermale D.B. An Operational Six-

Layer Primitive Equation Model – PE), которая в оперативной практике с 1967 г. В осно-



47

ве PE использована система полных уравнений в квазистатическим приближении с

применением σ-системы координат для стереографической проекции.

17.11. Статистическая оценка прогнозов

Полученные методики прогноза (методические прогнозы) проверяются на зави-

симой и независимой выборках. Оценка успешности прогнозов погоды позволяет уста-

новить, насколько методические прогнозы отвечают требованиям, предъявляемым к

прогнозу элементов погоды.

Зависимая (обучающая) выборка – это выборка, объясняющие переменные (пре-

дикторы) которой использованы для построения прогностических зависимостей –

уравнений регрессии, дискриминантных функций. Независимая выборка по содержа-

нию переменных ничем принципиально не отличается от зависимой, но объясняющие

переменные здесь не используются для построения решающих правил.

17.11.1. Количественные прогнозы

При проверке на зависимой (обучающей) и независимой выбор-

ках для количественных прогнозов рассчитываются следующие кри-

терии:

• Число оправдавшихся прогнозов n (в соответствии с наставлением).

• Общая оправдываемость прогнозов Pn

N==== , где N – общее число прогнозов n –

число оправдавшихся прогнозов.

• Средняя абсолютная ошибка прогнозов:

δδδδ ==== −−−−∑∑∑∑1

1Nf fп факт

N

i

р ,

где fпр и fфакт – прогностическое и фактическое значение метеорологического элемен-

та.

• Средняя абсолютная фактическая изменчивость (ошибка инерционного про-

гноза, под которым понимается использование в качестве прогностического значения

фактически наблюдавшегося в исходный срок fисх ):

δδδδ факт факт исх

N

Nf f

i

==== −−−−∑∑∑∑1

1

,



48

где f исх – исходное значение метеорологического элемента.

• Средняя относительная ошибка:

ξξξξδδδδ

δδδδ====

факт

,

при ξξξξ =0 – прогноз идеальный, чем больше ξξξξ , тем хуже прогноз.

• Средняя абсолютная прогностическая изменчивость:

δδδδ п огн п исх

N

Nf f

iр р==== −−−−∑∑∑∑

1

1

.

• Коэффициент отклонения прогноза от фактического значения:

ηηηηδδδδ

δδδδ====

п огн

факт

р,

при ηηηη=1 – прогноз идеальный, при ηηηη>1 – прогнозы дают постоянное завышение, при

ηηηη<1 – прогнозы дают постоянное занижение.

• Средняя ошибка прогноза:

θθθθ ==== −−−−∑∑∑∑1

1Nf fп факт i

N

( )р .

• Средняя квадратическая ошибка прогноза:

σσσσ ====−−−−∑∑∑∑ ( )рf f

N

п факт i

2

2,

чем меньше σσσσ – тем лучше прогноз.

• Средняя квадратическая фактическая изменчивость:

σσσσ факт

факт исх if f

N====

−−−−∑∑∑∑ ( )2

2,

при идеальном прогнозе σσσσ факт ==== 0.

• Относительная средняя квадратическая ошибка:

ξξξξσσσσ

σσσσσσσσ ====факт

,

при идеальном прогнозе ξξξξ σσσσ =0, при плохом – ξξξξ σσσσ >1.

• Коэффициент корреляции R между прогностическими и фактическими значе-

ниями прогнозируемой величины:



49

r

x x y y

x x y y

X Y

n

nn( , )

_ _

_ _

( )( )

( ) ( )

====−−−− −−−−

−−−− −−−−

∑∑∑∑

∑∑∑∑∑∑∑∑

1

2 2

11

.

• Кроме того, методические прогнозы сравниваются климатическими. Климати-

ческий прогноз в данном случае – это использование в качестве прогностического мно-

голетнего среднего значения величины, наблюдавшегося в срок прогноза (либо средне-

го значения за какой-либо период, относящийся к данному интервалу времени).

17.11.2. Альтернативные прогнозы

В случае альтернативных прогнозов, имеющих одно из двух (или

нескольких) взаимоисключающих содержаний, рассчитывается:

• Общее число оправдавшихся прогнозов и отдельно – число оправдавшихся и

не оправдавшихся прогнозов наличия и отсутствия явления по матрице успешности

прогнозов. Например, для двухфазовых альтернативных прогнозов составляется мат-

рица (табл. 17.5):

Таблица 17.5

Оправдываемость альтернативных прогнозов

Фактически

наблюдалось

Прогноз явления(П j ) Всего

(Ф i ) П 1 П 2

Ф1 n 11 n12 n10

Ф 2 n 21 n 22 n 20

Всего n 01 n 02N

В табл. 17.5 обозначены:

n 11 и n 22 – число случаев оправдавшихся прогнозов наличия и отсутствия явления,

n 21 и n12 – число случаев не оправдавшихся прогнозов наличия и отсутствия явления,

n 01 и n 02 – число прогнозов наличия и отсутствия явления,

n10 и n 20 – число случаев фактического осуществления погоды наличия и отсутствия

явления,

N - общее число прогнозов.



50

• Общая оправдываемость альтернативных прогнозов, отдельно – оправдывае-

мость наличия P( )++++ (предупреждение явления) и отсутствия явления P( )−−−− (предупреж-

дение отсутствия явления):

Pn n

NP

n

nP

n

nобщ ====

++++==== ====++++ ====

11 22 11

01

22

02

, ,( ) ( ) ,

где n ( )++++ и n ( )−−−− – число оправдавшихся прогнозов наличия и отсутствия явления,

– Оправдываемость случайных прогнозов:

Pn n n n

Nсл ====

++++01 10 02 20

2

• Оценка успешности:

δδδδ P

общ

сл

P

P==== или ∆∆∆∆P P Pобщ сл==== −−−− ,

при ∆∆∆∆P >0 методические прогнозы предпочтительнее случайных.

• Критерий надежности прогнозов по Багрову

HP P

P

общ сл

сл

====−−−−

−−−−1,

при Н=1 – все прогнозы оправдались, при Н=0 – прогнозы на уровне случайных, при

Н=-1 – все прогнозы ошибочны.

• Критерий точности по Обухову:

Qn

n

n

n==== −−−− ++++ ==== −−−− ++++1 1

12

10

21

20

( ) ( ),αααα ββββ

где αααα – ошибка риска (явление не прогнозировалось, но наблюдалось), ββββ – ошибка

страховки (явление прогнозировалось, но не наблюдалось).

• Критерий успешности прогнозов по Петерсену:

Sn E

N E====

−−−−−−−−

,

где здесь n n n==== ++++11 22 , Е – ожидаемое число оправдавшихся прогнозов, полученных на

основании оценок оправдываемости неметодических прогнозов – случайных, климато-

логических, инерционных:

• Коэффициент качественной корреляции:

ρρρρ ====++++ −−−− ++++( ) ( )n n n n

N

11 22 12 21.



51

Статистическая оценка успешности прогнозов погоды производится на массо-

вом материале путём расчёта и анализа критериев успешности. Схемы, показавшие

лучшие результаты в дальнейшем проверяются на независимой выборке. Затем, после

официальных (независимых) оперативных испытаний в прогностических подразделе-

ниях Гидрометеорологической службы, в случае положительных результатов, рекомен-

дуются к использованию в оперативной работе.

17.9–17.11. Оценка прогнозов

Documents

Transcript of 17.9–17.11. Оценка прогнозов