ЗЕМЛЯ И ОКРУЖАЮЩАЯ СРЕДАdownload.microsoft.com/documents/rus/devcenter/Part...

1. ЗЕМЛЯ И ОКРУЖАЮЩАЯ СРЕДА

ЗЕМЛЯ И ОКРУЖАЮЩАЯ СРЕДА

ЧЕТВЕРТАЯ ПАРАДИГМА 3

Вступление

ДЭН ФЭЙ (DAN FAY) | Microsoft Research

Изменения неизбежны. Вселенная расширяется, при-рода адаптируется и эволюционирует, и за ними должны следовать научные инструменты и техно-логии, которые мы используем в жестокой борьбе за

знания в науках о космосе, Земле и окружающей среде.Возможностей и задач множество. Новые компьютерные

технологии, такие как облачные вычисления и многоядерные процессоры, в общем виде предоставляют комплексное ре-шение. Но эффективное и своевременное применение таких технологий может помочь нам существенно продвинуться в понимании нашего мира, включая проблемы окружающей среды и возможные методы их решения.

С продвижением в направлении становления науки, ос-нованной на вычислениях и данных, ключевые задачи тех-нологии включают в себя необходимость более качественно собирать, анализировать, моделировать и визуализировать научную информацию. Конечная цель — помочь ученым, исследователям, разработчикам политик и обществу в целом принимать решения, подкрепленные информацией. Так как общество требует действий и ответственности в отношении растущих экологических проблем, новые типы приложений, основанные на научных исследованиях, должны будут уйти от простого обнаружения и извлечения базовых данных, что даст нам знания в поддержку практических решений. Горя-щие вопросы, такие как изменение климата, не будут ждать, пока ученые получат все данные, чтобы заполнить свои про-белы в знаниях.

Как подтверждается статьями в этой части книги, ученые на самом деле активно получают научное понимание посред-ством новых компьютерных технологий. Шалай (Szalay) и


ЧЕТВЕРТАЯ ПАРАДИГМА 5ЗЕМЛЯ И ОКРУЖАЮЩАЯ СРЕДА4

Блейкли (Blakeley) описывают неформальные правила Джима Грея (Jim Gray) для развития с фокусом на данные и то, как они могут служить для создания крупномасштабных наборов данных, доступных при использовании баз дан-ных, с использованием встроенного управления данными и параллельной обра-ботки, присущих SQL-серверам.

Чтобы облегчить принятие рациональных решений на основании надежных научных доказательств, Дозье (Dozier) и Гейл (Gail) исследуют, как применение технологий и существующих научных знаний может стать ключом к предостав-лению инструментов для разработчиков политик и ответственных за принятие решений. Хант (Hunt), Балдоччи (Baldocchi) и ван Инген (van Ingen) описывают происходящие в экологической науке изменения как перемещение от «науки в малом» к крупным взаимодействиям, основанным на синтезе данных. Такие сборные наборы данных вскрывают необходимость в инструментах взаимодей-ствия в облаке, а также простых в использовании инструментах визуализации и анализа. Затем Делейни (Delaney) и Барга (Barga) аргументированно говорят о необходимости мониторинга сложной динамики моря в реальном времени путем создания интерактивной океанской лаборатории. Эта инновационная инфраструктура откроет путь для новых открытий посредством улучшенных моделей океана.

Гудман (Goodman) и Вонг (Wong) подчеркивают необходимость в новых тех-нологиях научного обзора информации. Для улучшения связи существующих ресурсов астрономы могут использовать новый класс инструментов визуали-зации, таких как WorldWide Telescope (WWT). Этот инструмент нового класса предлагает доступ к данным и информации не только для ученых-профессио-налов, но и широкой общественности, как в целях образования, так и, возможно, для новых открытий, совершенных кем-либо с доступом к Интернету. Наконец, Ленинг (Lehning) и другие приводят подробную информацию о плотно внедря-емых датчиках реального времени в комбинации с визуализацией для улучшен-ного понимания динамики окружающей среды — подобно виртуальному теле-скопу, который смотрит на Землю. Эти приложения иллюстрируют, как ученые и технологи получают возможность охватить и привлечь специалистов по граж-данской науке к своим усилиям.

В 1 части и далее во всей книге вы увидите, как новые датчики и инфраструк-туры дают возможность доступа в реальном времени к потенциально огромным количествам данных, но с экспериментальной повторяемостью при использова-нии рабочих процессов. Архитектуры, ориентированные на сервисы, помогают упростить переход к новым базовым технологиям и обеспечивают возможность соединения ресурсов и данных. Этот стремительно развивающийся процесс — единственный доступный нам механизм для работы со шквалом данных, кото-рый поступает от наших инструментов.

Стоящий перед нами вопрос — как наилучшим образом скоординировать интеллектуальные и технологические ресурсы, чтобы решительно направить наши реакции на существующие и будущие задачи. В следующих статьях есть несколько отличных ответов.

Законы Грея: Научные вычисления,

основанные на базах данных

Взрыв научных данных создал большие проблемы для современных научных проектов. После того, как объе-мы наборов данных вышли за пределы нескольких де-сятков терабайт, у ученых нет стандартных решений,

которые они могли бы сразу использовать для управления этими данными и их анализа [1].

В сегодняшних успешных проектах используются различ-ные комбинации плоских файлов и баз данных [2]. Однако большинство этих решений приспособлено к конкретным проектам и не может легко обобщаться или масштабировать-ся для следующего поколения экспериментов. К тому же се-годняшние компьютерные архитектуры все менее сбаланси-рованы; разница времени ожидания между многоядерными процессорами и механическими жесткими дисками с каждым годом растет, что затрудняет возможность преодоления про-блем вычислений с использованием большого объема данных [3]. Необходимы систематические и общие подходы к реше-нию этих проблем с архитектурой, которые смогут масштаби-роваться в будущем.

ЗАКОНЫ ГРЕЯ

Джим Грей (Jim Gray) сформулировал несколько неформаль-ных правил — или законов, — которые определяют, какой подход использовать для задач проектирования данных в от-ношении крупных научных наборов данных. Вот они:

АЛЕКСАНДР С. ШАЛАЙ (ALEXANDER S. SZALAY) The Johns Hopkins University

ХОСЕ А. БЛЕЙКЛИ (JOSE A. BLAKELY) Microsoft Research

ЧЕТВЕРТАЯ ПАРАДИГМАЗЕМЛЯ И ОКРУЖАЮЩАЯ СРЕДА 76

1. В научных вычислениях используется все больше данных.2. Решение заключается в «горизонтально-масштабируемой» архитектуре.3. Приводить вычисления к данным, а не данные к вычислениям.4. Начинать проектирование следует с «20 вопросов».5. Переходить от одной рабочей версии к другой.

Важно понимать, что анализ наборов данных от наблюдений в огромной степени ограничен относительно низкой производительностью ввода-вывода у большинства сегодняшних вычислительных платформ. Высокопроизводитель-ные числовые модели также все чаще сталкиваются с «узким местом ввода-вы-вода». После того, как наборы данных превышают объем оперативной памяти (RAM), размещение в многоуровневом кэше больше не помогает [4]. Достаточно быструю подсистему ввода-вывода предлагают только несколько профессио-нальных платформ.

Высокопроизводительные и масштабируемые численные вычисления также представляют и алгоритмическую задачу. Традиционные пакеты численного анализа проектировались для работы с наборами данных, которые помещают-ся в оперативной памяти. Чтобы справиться с объемами данных на несколько порядков больше, эти пакеты следует перестроить для работы в многофазовом режиме по типу «разделяй и властвуй», но при этом сохранив их численную точ-ность. Таким образом, предлагается метод, согласно которому объемная пробле-ма разделяется на более мелкие части, которые можно обработать в оператив-ной памяти, а оставшаяся часть остается на диске. Аналогично алгоритмы базы данных, такие как сортировка или объединение, работают с наборами данных, превышающими размеры оперативной памяти. Такие проблемы достигают сво-его критического этапа.

Приобретение более крупных сетевых систем хранения и их подключение к кластерам компьютерных узлов не решает проблему, так как скорости передачи данных растут недостаточно быстро для того, чтобы покрыть ежегодное удвое-ние необходимого хранилища. Горизонтально-масштабируемые решения под-держивают простые составляющие блоки, в которых данные распределены сре-ди узлов с локально подключенным хранилищем [5]. Чем меньше и проще эти блоки, тем лучшим может стать баланс между процессорами, дисками и сетями. Грей представлял простые «кибер-кирпичи» (CyberBricks), где каждый привод имеет собственный процессор и сеть [6]. Хотя количество узлов такой системы было бы намного большим, чем в традиционной архитектуре с вертикальным масштабированием, простота и малая стоимость каждого узла вместе с сово-купной производительностью дали бы в итоге весьма существенный эффект. Теперь, когда появились твердотельные диски и материнские платы с малой по-требляемой мощностью, мы находимся на пороге создания таких систем [7].

ВЫЧИСЛЕНИЯ, ОСНОВАННЫЕ НА БАЗАХ ДАННЫХ

Большинство процессов анализа научных данных выполняется иерархически-ми этапами. На первом этапе подчиненный набор данных извлекается либо при помощи фильтрации по определенным атрибутам (то есть удаляются ошибоч-ные данные), либо извлечением вертикального подчиненного набора столбцов. На следующем этапе данные обычно каким-то образом трансформируются или объединяются. Безусловно, в более сложных наборах данных эти шаблоны за-частую сопровождаются соединениями множества наборов данных, например, такими, как внешняя калибровка или извлечение и анализ различных частей по-следовательности гена [8]. Так как объемы наборов данных продолжают расти, самым эффективным методом для выполнения большей части таких вычисле-ний однозначно является перемещение функций анализа как можно ближе к данным. Также оказывается, что большую часть таких шаблонов можно легко выразить при помощи ориентированного на наборы данных декларативного языка, исполнение которого может заметно выиграть от оптимизации запросов на основе затрат, автоматического параллелизма и индексов.

Грей и его компаньоны на нескольких проектах показали, что в этом кон-тексте могут быть успешно применены существующие технологии реляционных баз данных [9]. Также существуют пути бесшовной интеграции сложных библи-отек классов, написанных на процедурных языках в качестве расширения базо-вого механизма базы данных [10, 11].

В последние годы MapReduce стала популярной парадигмой вычисления и анализа распределенных данных [12]. Принципы этой парадигмы напоминают возможности распределенной группировки и объединения, которые некоторое время существовали в параллельных системах реляционных баз данных. Парал-лельные системы баз данных нового поколения, такие как Teradata, Aster Data и Vertica, создали новый образ этих возможностей, как «MapReduce в базе дан-ных». Разработаны новые критерии сравнения преимуществ каждого из мето-дов [13].

СВЯЗЬ С УЧЕНЫМИ

Одна из самых сложных проблем в проектировании научных баз данных — это установление эффективной связи между создателем базы данных и учеными в конкретной предметной области, которые заинтересованы в анализе. Большин-ство проектов совершают ошибку, когда стараются стать «всем и для каждого». Ясно, что какие-то отдельные функции важнее других, и это вызывает неизбеж-ность компромиссов в структуре системы, которые оборачиваются компромис-сами в производительности.

Джим Грей представил эвристическое правило «20 вопросов». В каждом из проектов, в котором он участвовал, он задавал 20 наиболее важных вопросов, ответы на которые исследователи хотели бы получить от системы данных. Он говорил, что пяти вопросов недостаточно для обзора расширенного шаблона,


а сто вопросов снизят степень определенности. Так как большинство выборов включают в себя решения по принципу «вытянутого хвоста» или так называе-мого распределения 1/f, то понятно, что относительная информация в запросах, разделенная по степени важности, является логарифмической, поэтому резуль-тат в пределах 20 (24,5)—100 (26,5) является достаточно скромным [14].

Правило «20 вопросов» означает этап проектирования, который создает ди-алог между учеными предметной области и инженерами баз данных, помогаю-щий сократить семантическую дистанцию между наименованиями предметов и действий, используемых в науке, и элементами и взаимосвязями, которые хранятся в базах данных. Запросы определяют точный набор вопросов, кото-рые ученые будут задавать базе данных, в терминах элементов и взаимосвязей. После полного выполнения этого упражнения ученый конкретной предметной области и база данных общаются на одном языке.

Этот метод был очень успешным для ориентации процесса проектирования на наиболее важные функции, которые должна поддерживать система, и в то же время помогал ученым понимать компромиссы базы данных, тем самым пре-пятствуя избыточному усложнению системы.

Другой закон проектирования — переходить от одной рабочей версии к дру-гой. Грей очень хорошо понимал, как быстро изменяется архитектура вычис-лений под управлением данных, особенно когда она включает в себя распре-деленные данные. Новые парадигмы распределенных вычислений появляются и развиваются каждый год, что крайне затрудняет возможность использования многолетнего цикла нисходящего проектирования и внедрения. На момент за-вершения такого проекта его стартовая площадка становится устаревшей. Если мы будем строить систему, которая начнет работать только тогда, когда каждый из ее компонентов будет работать правильно, мы никогда не закончим.

Единственный способ выжить и развиваться в таком мире — это создать мо-дульные системы, где отдельные компоненты можно заменять с развитием ос-новных технологий. Хороший тому пример — сегодняшние архитектуры, ори-ентированные на сервисы. Веб-сервисы уже прошли несколько основных этапов эволюции, и сейчас мы уже можем видеть результаты.

НАУЧНЫЕ БАЗЫ ДАННЫХ: ОТ ТЕРАМАСШТАБА К ПЕТАМАСШТАБУ

При помощи Microsoft SQL Server мы успешно справились с несколькими про-ектами в размере от нескольких терабайт (Тб) до десятков терабайт [15-17]. Вне-дрение баз данных, которые вскоре превысят 100 Тб, выглядит вполне законо-мерным [18], но пока не совсем понятно, каким образом наука пересечет барьер петамасштаба. Так как объемы баз данных продолжают расти, неизбежно будет использоваться все более горизонтально-масштабируемая архитектура. Данные будут очень распределенными, и это еще больше будет затруднять распределен-ные, нелокальные запросы и распределенные соединения.

Для большинства сегодняшних проблем петамасштаба простая стратегия об-хода разделов данных с массивным горизонтальным масштабированием и без

разделения ресурсов была вполне адекватной (MapReduce, Hadoop, и проч.). Но также понятно, что такая компоновка очень неоптимальна, когда хороший ин-декс может обеспечить на порядки более высокую производительность. Связи между таблицами с очень разным количеством элементов было очень сложно использовать с такими программами-обходчиками.

Базы данных могут дать эффективные планы. Также нам необходимо пе-ресмотреть практичность ожидания набора монолитных результатов. Можно представить себе программы-обходчики в базах данных с высокой степенью распределенности, внедряющие концепцию, которая может выдавать по при-горшне результатов за раз, что даст более простое создание контрольных точек и восстановление в середине расширенного запроса. Такой метод также полезен для сбора функций с оператором, который произведет остановку, когда резуль-тат находится, например, в пределах 99% точности. Эти простые улучшения по-зволят обойти огромные монолитные запросы, разбивая их на более мелкие и более управляемые.

Облачные вычисления — другая, недавно появившаяся парадигма. Они предлагают очевидные преимущества, такие как совмещение данных и вычис-лений, а также экономичность размещения сервисов. Хотя эти платформы уже очень хорошо зарекомендовали себя в текущем применении для поисковых механизмов или гибкого размещения коммерческих веб-сайтов, их роль в на-учных вычислениях должна быть прояснена. В некоторых сценариях научного анализа данные должны находиться рядом с местом проведения эксперимента. В других случаях узлы должны быть плотно интегрированы с очень низкой за-держкой. Также бывают случаи, когда необходима очень высокая полоса пропу-скания ввода-вывода. Любая из этих стратегий анализа в существующих средах виртуализации не будет оптимальной. Конечно, вскоре должны появиться более специализированные облака. В следующие несколько лет мы увидим, перейдут ли научные вычисления из университетов к коммерческим поставщикам сер-висов, или же возникнет необходимость объединения крупнейших хранилищ научных данных в одно.

ВЫВОДЫ

Экспериментальная наука производит огромное количество данных. При ра-боте проекта Pan-STARRS каждый год будет собираться 2,5 петабайт (ПБ) ин-формации [18]. Большой адронный коллайдер будет образовывать ежегодно 50—100 ПБ данных, из которых около 20 ПБ будет сохраняться и обрабатываться мировой федерацией национальных сетей, которая объединяет 100 тыс. процес-соров [19]. Но общие решения с фокусом на данные, необходимые для обработ-ки таких объемов информации и соответствующего анализа, еще недоступны [20].

Ученым и научным организациям необходимы шаблоны и набор хороших практик, которые дадут сбалансированную архитектуру оборудования и соот-ветствующее программное обеспечение для работы с такими объемами данных.


Тогда не придется заново изобретать колесо. Однозначно необходимы функции баз данных, например, ориентированные на наборы данных декларативные языки и автоматический параллелизм, которые подтвердили свою успешность при создании масштабных научных приложений.

Мы уверены, что сегодняшняя волна баз данных сможет справиться с мас-штабами как минимум следующего порядка. Поэтому мы продолжаем работать. Но уже пора начинать думать и о следующей волне. Научные базы данных — ранний показатель тех требований, которые потребуются обычным корпора-тивным приложениям. Поэтому инвестиции в такие приложения дадут нам тех-нологии, которые получат широкое распространение в ближайшие несколько лет. Сегодняшние научные задачи являются хорошим показателем проблем с управлением данными 21 века. Законы Грея являются превосходным набором руководящих принципов для проектирования будущих систем с использовани-ем большого объема данных.

ССЫЛКИ

[1] A. S. Szalay and J. Gray, «Science in an Exponential World», Nature, vol. 440, pp. 23—24, 2006, doi: .1038/srep01099).

[2] J. Becla and D. Wang, «Lessons Learned from Managing a Petabyte», CIDR 2005 Conference, Asilomar, 2005, doi: 10.2172/839755.

[3] G. Bell, J. Gray, and A. Szalay, «Petascale Computational Systems: Balanced Cyber-Infrastructure in a Data-Centric World», IEEE Computer, vol. 39, pp. 110—112, 2006, doi: 10.1109/MC.2006.29.

[4] W. W. Hsu and A. J. Smith, «Characteristics of I/O traffic in personal computer and server workloads», IBM Sys. J., vol. 42, pp. 347—358, 2003, doi: 10.1147/sj.422.0347.

[5] A. Szalay, G. Bell, et al., «GrayWulf: Scalable Clustered Architecture for Data Intensive Computing», Proc. HICSS-42 Conference, Hawaii, 2009, doi: 10.1109/HICSS.2009.750.

[6] J. Gray, Cyberbricks Talk at DEC/NT Wizards Conference, 2004; T. Barclay, W. Chong, and J. Gray, «TerraServer Bricks — A High Availability Cluster Alternative», Microsoft Technical Report, MSR-TR-2004-107, http://research.microsoft.com/en-us/um/people/gray/talks/DEC_ Cyberbrick.ppt.

[7] A. S. Szalay, G. Bell, A. Terzis, A. S. White, and J. Vandenberg, «Low Power Amdahl Blades for Data-Intensive Computing», http://perspectives.mvdirona.com/content/binary/AmdahlBladesV3. pdf.

[8] U. Roehm and J. A. Blakeley, «Data Management for High-Throughput Genomics», Proc. CIDR, 2009.

[9] J. Gray, D. T. Liu, M. A. Nieto-Santisteban, A. S. Szalay, G. Heber, and D. DeWitt, «Scientific Data Management in the Coming Decade», ACM SIGMOD Record, vol. 34, no. 4, pp. 35—41, 2005; also MSR-TR-2005-10, doi: 10.1145/1107499.1107503.

[10] A. Acheson et al., «Hosting the .NET Runtime in Microsoft SQL Server», ACM SIGMOD Conf., 2004, doi: 10.1145/1007568.1007669.

[11] J. A. Blakeley, M. Henaire, C. Kleinerman, I. Kunen, A. Prout, B. Richards, and V. Rao, «.NET Database Programmability and Extensibility in Microsoft SQL Server», ACM SIGMOD Conf., 2008, doi: 10.1145/1376616.1376725.

[12] J. Dean and S. Ghemawat, «MapReduce: Simplified Data Processing on Large Clusters», OSDI, 2004, doi: 10.1145/1327452.1327492.

[13] A. Pavlo et al., «A Comparison of Approaches to Large-Scale Data Analysis», ACM SIGMOD Conf., 2009, doi: 10.1145/1559845.1559865.

[14] C. Anderson. The Long Tail. New York: Random House, 2007.[15] A. R. Thakar, A. S. Szalay, P. Z. Kunszt, and J. Gray, «The Sloan Digital Sky Survey

Science Archive: Migrating a Multi-Terabyte Astronomical Archive from Object to Relational DBMS», Comp. Sci. and Eng., vol. 5, no. 5, pp. 16—29, Sept. 2003.

[16] A. Terzis, R. Musaloiu-E., J. Cogan, K. Szlavecz, A. Szalay, J. Gray, S. Ozer, M. Liang, J. Gupchup, and R. Burns, «Wireless Sensor Networks for Soil Science», Int. J. Sensor Networks, to be published 2009.

[17] Y. Li, E. Perlman, M. Wan, Y. Yang, C. Meneveau, R. Burns, S. Chen, A. Szalay, and G. Eyink, «A public turbulence database cluster and applications to study Lagrangian evolution of velocity increments in turbulence», J. Turbul., vol. 9, no. 31, pp. 1—29, 2008, doi: 10.1080/14685240802376389.

[18] Pan-STARRS: Panoramic Survey Telescope and Rapid Response System, http://pan-starrs.ifa.hawaii.edu.

[19] A. M. Parker, «Understanding the Universe», in Towards 2020 Science, Microsoft Corporation, 2006, http://research.microsoft.com/towards2020science/background_overview.htm.

[20] G. Bell, T. Hey, and A. Szalay, «Beyond the Data Deluge», Science, vol. 323, no. 5919, pp. 1297—1298, 2009, doi: 10.1126/science.1170411.

http://research.microsoft.com/en-us/um/people/gray/talks/DEC_Cyberbrick.ppt



http://perspectives.mvdirona.com/content/binary/AmdahlBladesV3.pdf



http://research.microsoft.com/towards2020science/background_overview.htm

http://research.microsoft.com/towards2020science/background_overview.htm



ДЖЕФ ДОЗЬЕ (JEFF DOZIER) University of California, Santa Barbara

УИЛЬЯМ Б. ГЕЙЛ (WILLIAM B. GAIL) Microsoft

Новая наука экологических приложений

Наука о Земле и окружающей среде прошла два боль-ших этапа и входит в третий. На первом этапе, ко-торый завершился два десятилетия назад, наука о Земле и окружающей среде была в большой мере

ориентирована на дисциплину и сфокусирована на получе-нии знаний в геологии, химии атмосферных процессов, эко-системах и других аспектах Земли.

В 1980-х гг. научное сообщество осознало тесную взаимос-вязь этих дисциплин и начало изучать их как взаимодейству-ющие элементы единой системы. На втором этапе возникла парадигма науки о Земле. С ней пришла возможность пони-мания сложных системно-ориентированных феноменов, та-ких как изменение климата, которые объединяют концепции науки об атмосфере, биологии и поведении человека. Крайне важной для изучения взаимодействующих систем Земли была возможность сбора, управления и предоставления данных спутниковых наблюдений. Параллельно с этим были разра-ботаны новые модели для выражения нашего растущего по-нимания сложных процессов в динамике системы Земли [1].

На новом, третьем этапе, научные знания дополняются знаниями, созданными для практических применений. Это новое направление знаний можно назвать наукой приложе-ний окружающей среды. Изменение климата является самым ярким примером важности этого перехода. До сегодняшнего дня научное сообщество по вопросам климата было сфокуси-ровано на критических вопросах, которые включали базовые знания от измерения величины изменения до определения причин. Теперь, когда уже получено базовое понимание, воз-никает потребность в знаниях программного обеспечения для климата. Как можно количественно оценить и отслеживать


общую биомассу лесов, чтобы рынки эмиссионных квот могли охарактеризо-вать его выбросы? Какое влияние оказывают региональные изменения в водных ресурсах на демографические тренды, показатели сельского хозяйства и произ-водство электроэнергии? В какой степени морские дамбы и другие конструк-ции, необходимость в которых вызвана повышением уровня моря, влияют на побережье?

Ответы на эти вопросы дает фундаментальная наука, но они вызывают до-полнительные проблемы, которые можно решить только посредством новой научной дисциплины, сфокусированной именно на приложениях, которая объ-единяет физические, биогеохимические, инженерные и человеческие процессы. Эти основные вопросы отражают фундаментальную пытливость в отношении самой природы мира, в котором мы живем, и которая сдерживается понима-нием того, что важность вопроса растет вместе с его соответствием требовани-ям общества. Как заметил лауреат Нобелевской премии и министр энергетики США Стивен Чу (Steven Chu): «Мы ищем решения. Мы больше не ищем — могу ли я сказать так? — просто научные факты» [2].

Чтобы проиллюстрировать взаимосвязь фундаментальной науки и прило-жений, подумайте о роли стока талых вод в запасах воды. Во всем мире 1 млрд человек зависит от таяния снегов или ледников, обеспечивающих запасы воды [3]. Конструкция и принципы работы систем водоснабжения традиционно пола-гались на исторические измерения стационарного климата вместе с эмпириче-скими взаимосвязями и моделями. С изменением климата и землепользования, ростом и перемещением населения, а также с устареванием созданных нами систем эти эмпирические методы управления нашими водными запасами ста-ли неточными — это ребус под названием «стационарность умерла» [4]. Талые воды обычно дают воду для различных целей: городское и сельскохозяйственное водоснабжение, гидроэнергетика, мелиорация и экосистемы. Во многих районах идут и дожди, и снег, что приводит к мысли о том, что будущий, более теплый климат, даст большую долю осадков в виде дождей, с поступлением воды за не-сколько месяцев до пиковых потребностей сельского хозяйства, и более быстрые стоки, которые вызовут большее количество наводнений. В этих смешанных системах со снегом и дождем потребность общества заключается в следующем: «Как можно сохранить контроль над наводнениями и выгоды, которые вода дает людям и экосистемам, если изменения во времени и величине стоков, ско-рее всего, сделают существующую инфраструктуру неадекватной?»

Чтобы разработать решения в ответ на требования общества, необходимо более фундаментальное понимание, основанное на процессе круговорота воды в природе. В настоящее время практиками и решениями для систем защиты от наводнений и водоснабжения управляют исторические данные. Противопавод-ковые мероприятия и объемы водохранилищ определяются распоряжениями, которые статичны и не учитывают тип гидрологического года, текущее состо-яние снежной массы или риск наводнения. На протяжении многих лет ранние талые воды не сохранялись, так как основанные на статистике предположения в

отношении наводнений не реализовывались ввиду отсутствия снега. Чем дальше будет идти потепление, тем чаще подобные случаи будут влиять на запасы воды [5]. Связанные с этим научные задачи таковы: (1) Используемые сейчас стати-стические методы не пытаются оценивать баланс воды в бассейнах, и при нали-чии существующих сетей измерений даже в США нам не хватает необходимой информации о количестве снега в бассейнах; (2) Мы не можем разделить воду, поступающую в виде дождя и снега, или разделить этот снег и дождь между эва-потранспирацией и стоками; (3) Нам не хватает знаний для управления взаимос-вязью между снежным покровом, лесами и углекислотой; (4) Прогнозы стока, не основанные на физических принципах, относящихся к таянию снегов, зачастую неточны; и (5) Мы не знаем, какие стимулы и организационные мероприятия обеспечат лучшее управление водосборными бассейнами для услуг экосистемы.

В целом модели не учитывают такие типы взаимодействий, а следовательно, и необходимость науки приложений для окружающей среды. Ее ключевые ха-рактеристики отличают ее от фундаментальной науки о Земле и окружающей среде:

• Управлениеотпотребностипротивуправленияотпытливости. Фундамен-тальная наука управляется вопросами; в отличие от нее, новая прикладная наука управляется в большей степени общественными нуждами, чем науч-ным интересом. Вместо поиска ответов на вопросы она сосредоточена на соз-дании возможности для поиска образа действий и определения их послед-ствий.

• Внешниеограничения.Внешние обстоятельства зачастую определяют, ког-да и как потребуются знания и приложения. Процесс создания рынков квот на выбросы углерода не будет ждать, пока мы полностью подсчитаем коли-чество углерода в лесах. Это произойдет согласно графику, продиктованно-му политикой и экономикой. Процессы строительства и ремонта городской инфраструктуры водоснабжения не будут ждать, пока ученые разберутся в глобальных изменениях климата. Прикладная наука должна быть готова к обслуживанию действий, вызванных такими внешними механизмами, без привязки к академическим графикам, которые описывают время и методы для наилучшего получения знаний.

• Последовательностьирекурсивность. Действия, возникающие из наших зна-ний о Земле, зачастую изменяют ее, что создает необходимость в новых зна-ниях о том, что мы изменили. Например, чем больше мы узнавали о место-нахождении популяций рыб, тем больше эти популяции истощались. Наши исходные данные о них быстро устаревали в результате наших же собствен-ных действий. Прикладная наука ищет понимания не только этих аспектов Земли, на которые направлены отдельные сценарии использования, но и последствий и внешних эффектов, которые возникают в результате такого сценария использования. Свежий пример — перевод сельскохозяйственных


угодий на выращивание зерновых для получения этилового спирта: попытка компенсации изменений климата, которые мы видим сейчас в форме суще-ственного сокращения водных ресурсов.

• Полезностьдажевнезавершенномвиде.Как показывает пример снежной массы, действия часто бывают необходимы, несмотря на неполные данные или частичные знания. С учетом утраты постоянства, связанного с измене-нием климата, особенно смущает неуверенность в качестве наших знаний. Следует разработать новые средства эффективного использования частич-ных знаний, включая надежные механизмы составления выводов и статисти-ческой интерпретации.

• Масштабируемость. Знания фундаментальной науки не всегда масштаби-руются для поддержки требований приложений. Превосходная иллюстра-ция — это пример торговли квотами на выбросы углерода. Фундаментальная наука говорит нам, как соотнести содержание углерода с измерениями типа и плотности вегетации, но она не дает нам инструментов для масштабиро-вания на мировые запасы. Необходимо создать новые инструменты знаний для точного создания и обновления этих запасов посредством экономичных дистанционных датчиков или других средств.

• Надежность. Люди, ответственные за принятие решений, обычно имеют ограниченное понимание того, как были получены знания, которыми они руководствуются, и в каких ситуациях применимы эти знания. Чтобы исклю-чить ошибки, знания должны быть описаны очень надежными терминами. Они должны быть устойчивыми во времени и не поддаваться воздействию индивидуальных интерпретаций, изменяющих контекст и особые условия.

• Использование большого количества данных. Фундаментальная наука по праву использует большое количество данных, но источники данных, кото-рые ее поддерживают, зачастую недостаточны для поддержки приложений. Локализованные воздействия с глобальным масштабом, например, попада-ние инвазивных видов, часто бывает сложно проверить в централизованных проектах с небольшим количеством исследователей. Необходимо опреде-лить новые, подходящие для приложений источники, и разработать новые методы наблюдений (включая использование сообществ в качестве источни-ков сбора данных).

Каждая из этих характеристик предполагает разработку новых типов знаний и новых инструментов для получения этих знаний. Пример снежной массы ил-люстрирует, что это требование означает для отдельного направления. Именно теперь появились все четыре компонента, которые вместе дают возможность развертывания системы измерений и информации, способной поддерживать решения в масштабах крупных речных бассейнов: (1) точные и подтвержденные спутниковые оценки заснеженных участков всех горных районов; (2) надежные

и недорогие датчики и системы телеметрии для снега и почвенной влаги; (3) данные социальных наук, которые дополняют данные природных и инженер-ных систем для того, чтобы появилась возможность анализа принятия решений человеком; и (4) развитие киберинфраструктуры для интеграции данных и их передачи практически в реальном масштабе времени.

Научная задача максимальной важности для речных бассейнов с преобла-данием снега — это оценка пространственного распределения и разнородности эквивалентного слоя воды, то есть количества воды, которая может образоваться при таянии снега. Так как после выпадения снега он перераспределяется под дей-ствием ветра, снег на поверхности располагается более разнородно, чем дожди, с разницей в несколько метров на расстоянии 10—100 м. Разнородность глубины снега сглаживает ежедневные стоки за счет разной длительности таяния снежной массы [6]; сезонно она образует квазиприводные зоны повышенной влажности почвы, которые сохраняются до лета. Такой метод оценки эквивалентного слоя воды включает в себя несколько задач с использованием усовершенствованных данных: (1) расширенная проверка спутниковых оценок снежного покрова и его отражения, как показано на рисунке 1; (2) использование результатов рекон-струкции баланса энергии снежного покрова для улучшения интерполяции от более расширенных наземных измерений и спутниковых данных [7]; (3) разра-ботка новых методов, чтобы характеризовать разнородность [8]; и (4) тестиро-вание интерполированных оценок на модели пространственно-распределенных стоков [9]. Измерения также могут помочь определить точность оценок осадков из моделей регионального климата.

Третий этап науки о Земле и окружающей среде будет развиваться в сле-дующем десятилетии, так как научное сообщество начинает его использовать. Метеорология уже создала устойчивые возможности в прикладной науке; наибольшая часть науки о Земле должна перенять и развить этот опыт. Необ-ходимость в фундаментальной науке и дальнейших открытиях не исчезнет, а будет дополнена и расширена этим новым этапом. Стоящие вопросы имеют как практическую важность, так и интеллектуальную привлекательность. Придут ли в упадок наши навыки гидрологических прогнозов, когда изменения осадков устранят ценность статистики, полученной из исторических шаблонов? Где воз-никнет следующая крупная проблема изменения климата, и какие сегодняшние действия смогут помочь нам ее предвидеть?

Также важно улучшать применение этих знаний в нашей ежедневной жизни. Интернет и мобильные телефоны, с их глобальным охватом, дают новые методы быстрого и широкого распространения информации. У нас была информация, которая могла исключить большую часть разрушений от цунами в Азии и урага-на Катрина, но у нас не было инструментов для быстрого принятия решений и коммуникации по необходимым действиям.

Таким образом, прикладная наука является интегративной. Она объединяет понимание физических феноменов и исследований в таком виде, чтобы люди и организации могли использовать улучшенные знания для принятия решений. Общество в целом также может вносить важный вклад в локализованные на-


блюдения Земли, дополняя ограниченные сети спутников и датчиков такими простыми устройствами, как камеры мобильных телефонов. Для нового этапа развития науки об окружающей среде возможность использования этих новых способов сбора данных станет важной задачей.

Безопасность и благосостояние почти 7 млрд человек все больше зависит от нашей возможности собирать и применять информацию об окружающем нас мире. Фундаментальная наука об окружающей среде дала отличную стартовую точку. Сейчас мы должны развить это в надежную науку экологических прило-жений.

ССЫЛКИ

[1] National Research council, Earth Observations from Space: The First 50 Years of Scientific Achievement. Washington, D.c.: national Academies Press, 2007.

[2] R. DelVecchio, «Uc Berkeley: Panel looks at control of emissions», S.F. Chronicle, March 22, 2007.

[3] T. P. Barnett, J. c. Adam, and D. P. Lettenmaier, «Potential impacts of a warming climate on water availability in snow-dominated regions», Nature, vol. 438, pp. 303—309, 2005, doi: 10.1038/nature04141.

[4] P. c. D. Milly, J. Betancourt, M. falkenmark, R. M. Hirsch, Z. W. Kundzewicz, D. P. Lettenmaier, and R. J. stouffer, «Stationarity is dead: whither water management?» Science, vol. 319, pp. 573—574, 2008, doi: 10.1126/science.1151915.

[5] R. c. Bales, n. P. Molotch, T. H. Painter, M. D. Dettinger, R. Rice, and J. Dozier, «Mountain hydrology of the western United states», Water Resour. Res., vol. 42, W08432, 2006, doi: 10.1029/2005WR004387.

[6] J. D. Lundquist and M. D. Dettinger, «How snowpack heterogeneity affects diurnal streamflow timing», Water Resour. Res., vol. 41, W05007, 2005, doi: 10.1029/2004WR003649.

[7] D. W. cline, R. c. Bales, and J. Dozier, «Estimating the spatial distribution of snow in mountain basins using remote sensing and energy balance modeling», Water Resour. Res., vol. 34, pp. 1275—1285, 1998, doi: 10.1029/97WR03755.

[8] N. P. Molotch and R. c. Bales, «Scaling snow observations from the point to the grid element: implications for observation network design», Water Resour. Res., vol. 41, W11421, 2005, doi: 10.1029/2005WR004229.

[9] C. L. Tague and L. e. Band, «RHessys: regional hydro-ecologic simulation system—an object- oriented approach to spatially distributed modeling of carbon, water, and nutrient cycling», Earth Int., vol. 19, pp. 1—42, 2004.

[10] T. H. Painter, K. Rittger, c. McKenzie, R. e. Davis, and J. Dozier, «Retrieval of subpixel snow- covered area, grain size, and albedo from MODIs», Remote Sens. Environ., vol. 113, pp. 868—879, 2009, doi: 10.1016/j.rse.2009.01.001.

35N

36N

37N

38N

39N

40N

41N

122W 120W 118W 122W 120W 118W 122W 120W 118W

0 1 2 3 4

Высота над уровнемморя, км

0 0.25 0.5 0.75 1.0

Распределениеснежного покрова

MODIS, 19 января 2008 г.Полосы 2,4,3 (RGB)

РИСУНОК 1.

Иллюстрация типа данных, полезных для анализа снежного покрова. В левой части показаны вы-соты Сьерра-Невада и Калифорнийской долины, вместе с частью северо-западной Невады. В цен-тральной части — необработанные спутниковые данные в трех полосах спектра (0,841—0,876, 0,545—0,565 и 0,459—0,479 мкм), полученные от сканирующего спектрорадиометра среднего разрешения (Moderate Resolution Imaging Spectroradiometerfrom) (MODIS) NASA, который пре-доставляет ежедневные глобальные данные в разрешении 250—1000 м в 36 полосах спектра. Из семи «наземных» полос с разрешением 500 м мы получили распределение снежного покрова — то есть доли каждой 500-метровой ячейки, покрытой снегом, что показано в правой части [10].



ДЖЕЙМС Р. ХАНТ (JAMES R. HUNT) University of California, Berkeley, and the Berkeley Water Center

ДЕННИС Д. БАЛДОЧЧИ (DENNIS D. BALDOCCHI) University of California, Berkeley

КАТАРИН ВАНИНГЕН (СATHARINE VANINGEN) Microsoft Research

Переопределение экологической науки при помощи данных

Экология изучает жизнь и ее взаимодействие с физи-ческой средой. Так как изменение климата требует быстрой адаптации, новые инструменты анализа дан-ных крайне важны для оценки таких изменений среди

огромного природного разнообразия. В экологии исследова-ния выполняются преимущественно в небольших группах, с записью и сохранением данных на ноутбуках. Однако сейчас предпринимаются попытки проведения крупных комплекс-ных исследований при участии сотен ученых, как результат развития двух направлений: методов реализации науки и вопросов управления ресурсами, и важность таких исследо-ваний растет. Вычислительная поддержка является неотъем-лемой частью такого взаимодействия и ключом к научному процессу.

КАК ГЛОБАЛЬНЫЕ ИЗМЕНЕНИЯ ВЛИЯЮТ НА ЭКОЛОГИЧЕСКУЮ НАУКУ

Мировой климат и ландшафт Земли изменяются, и ученые должны оценить взаимосвязи атмосферных, океанских и на-земных процессов для правильного изучения этого феномена. Например, сейчас ученые задаются вопросом, как колебания температуры, объема осадков, интенсивности солнечного из-лучения, длительности посевного периода и количества экс-тремальных погодных событий, таких как засухи, влияют на обмен углерода между растительностью и атмосферой.


Этот вопрос охватывает множество дисциплин науки о Земле, с их соответ-ствующими данными, моделями и предположениями.

Для этих изменений требуются новые методы решения вопросов по управ-лению ресурсами. В ближайшие несколько десятилетий экосистемы не смогут восстановиться до прежнего состояния. Например, учитывая потепление клима-та на Западном побережье США, имеет ли смысл ориентироваться на историче-ские данные по прибрежным бассейнам в южной Калифорнии для прогнозиро-вания районов обитания рыб в прибрежных бассейнах северной Калифорнии? И что, например, нам могут сказать о вырубке лесов дистанционные датчики? Для решения этих задач требуется синтез данных и моделей, которые охваты-вают масштабы от очень локальных (бассейны рек) до глобальных (океаны) и временную шкалу от нескольких десятков миллисекунд до столетий.

ПРИМЕР ЭКОЛОГИЧЕСКОГО СИНТЕЗА

На рисунке 1 показан простой при-мер «смешивания наук» для синте-тического исследования. На графике приводится сравнение ежегодных стоков из относительно небольших бассейнов в предгорьях Сьерра-Не-вада в Калифорнии с локальными ежегодными осадками за несколько лет. Значения ежегодных стоков полу-чены от Геологической службы США (U.S. Geological Survey, USGS) по трем гидрометрическим станциям в Драй-крик и экспериментальной площадке Университета Шуберта, Калифорния (Schubert University of California)1. Долговременные записи количества осадков от расположенных непода-леку дождемеров были получены от Национального центра климатиче-ских данных (National Climatic Data Center)2. Осадки, которые не стекают, подвергаются эвапотранспирации (ЭТ), которая в большой степени обе-спечивается растительностью бассей-на. В этих бассейнах за все годы, по

которым представлены данные, наблюдалось отдельное значение в 400 мм. По-добное значение годовой ЭТ было получено путем независимых измерений при помощи атмосферных датчиков, установленных в экосистеме дубовой саванны на башне AmeriFlux Tonzi Ranch3.

Этот синтез исторических данных определяет модель бассейна, подходящую для исторических условий, и предоставляет справочную структуру для решения эффектов изменения климата в системе с высокой степенью изменений.

ГРЯДУЩЕЕ НАВОДНЕНИЕ ЭКОЛОГИЧЕСКИМИ ДАННЫМИ

Новые синтетические исследования стали возможными благодаря объединению недорогих датчиков, дистанционных датчиков, подключения к Интернету и массовой вычислительной обработки. Группы исследователей начинают исполь-зовать датчики не только в кратковременных кампаниях, но и для длительного мониторинга с большей детализацией и более разнообразными инструмента-ми. Спутники обеспечивают глобальное покрытие для удаленных или сложных районов, где полевые исследования затруднены особенностями физической и политической логистики. Подключение к Интернету дает возможность обмени-ваться данными между организациями и дисциплинами. Результатом этих трех факторов становится наводнение данными. Массовая вычислительная обработ-ка дает часть решения, позволяя совместить этот поток информации с моделя-ми, которые включают в себя различные физические и биологические процес-сы, а также соединять различные модели для охвата необходимых масштабов и времени.

Поток экологических данных и синтез экологической науки представляет уникальные задачи вычислительной инфраструктуры и новые возможности. В отличие от таких наук, как физика или астрономия, где датчики являются общими, в экологии данные образуются большим количеством групп, кото-рые используют большое количество методов отбора проб и моделирования и стандартов данных. Как показано на рисунке 1, для получения данных эва-потранспирации было необходимо использование опубликованных данных из двух различных источников. Для такого синтеза требовался цифровой доступ к долговременным записям, обработка этих наборов данных для получения ЭТ, и окончательная проверка по независимым измерениям метеорологической стан-ции. Для других синтетических действий потребуется доступ к появляющимся ресурсам от правительственных организаций, таких как NASA или USGS, на-учных сообществ, таких как Национальная сеть экологических обсерваторий (National Ecological Observatory Network) и WATERS Network4, отдельных уни-верситетских научно-исследовательских групп, таких как «Жизнь у вас под нога-

В м и л л и м е т р а х

С р е д н е г о д о в ы е о с а д к и

0 200 400 800 1000600

400

300

100

0

200

500

Шуберт (1,03 км2)Драй-Крик (181 км2)

Драй-Крик (689 км2)Драй-Крик (829 км2)

Ежег

од

ны

е ст

оки

РИСУНОК 1.

Простой годовой баланс воды для оценки эва-потранспирации в бассейнах предгорья Сьер-ра-Невада. Пунктирная линия представляет ежегодную ЭТ в 400 мм.

1 http://waterdata.usgs.gov/nwis2 www.ncdc.noaa.gov

3 www.fluxdata.org:8080/SitePages/siteInfo.aspx?US-Ton4 www.watersnet.org

http://waterdata.usgs.gov/nwis

http://www.ncdc.noaa.gov/

http://www.fluxdata.org:8080/SitePages/siteInfo.aspx?US-Ton

http://www.watersnet.org/


ми» (Life Under Your Feet)5, и даже гражданских научных групп, таких как Обще-ственная сеть по дождю, граду и снегу (Community Collaborative Rain, Hail and Snow Network)6 и Национальная сеть фенологии США (USA National Phenology Network)7.

В то время как текущие данные, поступающие с полевых датчиков, радаров или спутников, уже имеют цифровой формат, критически важные для науки исторические и полевые данные проходят процесс оцифровки. Последние дан-ные не всегда равномерно распределены по времени; они могут включать даты появления листьев или снимки аэрофотосъемки с различной длиной волны и разрешением для оценки бассейнов по таким параметрам, как влажность по-чвы, растительность и использование земель. Получение научных переменных от удаленных датчиков остается активной областью исследований; для обработ-ки полученных тяжелым трудом результатов полевых измерений необходима разработка алгоритмов преобразования. Все более важными становятся поле-вые наблюдения гражданской науки, такие как виды растений, развитие расте-ний (например, даты появления листьев или развитие кроны дерева), количе-ство рыб и птиц. Интеграция такой разнообразной информации является все более усложняющейся задачей для научных аналитиков.

ИССЛЕДОВАНИЕ ПОТОКА ЭКОЛОГИЧЕСКИХ ДАННЫХ

Первым этапом любого экологического анализа является обнаружение и гар-монизация данных. Сегодня можно выявлять более крупные наборы данных. Исторические наборы данных и наборы данных меньшего размера зачастую пе-редаются в устной форме. Ввиду разнообразия источников публикации данных отсутствует общий протокол отчетности. Преобразование единиц измерения, геопространственное повторное проектирование и выравнивание масштабов времени и размера стали стилем жизни. Возникают порталы каталогов данных, такие как Sci-Scope8 и веб-сервисы с общими моделями данных, подобно пред-лагаемым Открытым геопространственным консорциумом (Open Geospatial Consortium)9.

Неотъемлемая часть таких поисковых порталов научных данных — это зна-ние геопространственных функций и переменное посредничество в простран-стве имен. Первое позволяет выполнять поиск в исследуемых бассейнах или гео-логических районах, а также в пределах произвольных многоугольников. Второе позволяет выполнять поиск с различными терминами — например, «дождь», «ливень» и «осадки» — когда он выполняется в хранилищах с различными со-

глашениями о названиях. Новое поколение реестров метаданных, которое ис-пользует семантические интернет-технологии, дает возможность выполнения более обширного поиска, а также обеспечивает автоматическое преобразование названий и единиц измерения. Комбинация обеих разработок позволит выпол-нять поиск научных данных по запросам типа «Найти данные по ежедневному речному стоку и расходу взвешенных наносов по всем бассейнам штата Вашинг-тон со среднегодовыми осадками более 30 дюймов».

ПЕРЕМЕЩЕНИЕ ЭКОЛОГИЧЕСКОГО СИНТЕЗА В ОБЛАКО

Наборы данных крупного синтеза также приводят к переходу от настольных к облачным вычислениям. Большая часть наборов данных экологии представляет собой коллекции файлов. В качестве примера можно привести синтетический набор данных Fluxnet LaThuile, который содержит 966 площадко-лет информа-ции датчиков от 253 площадок во всем мире.

Данные для каждого площадко-года публикуются в виде простого файла с разделением запятыми или файла с поддержкой MATLAB для сводки за день или за полчаса. Большая часть ученых загружает какую-то часть или все эти файлы, после чего выполняет их локальный анализ. В других видах синтеза ис-пользуются альтернативные облачные сервисы, которые соединяют MATLAB на рабочем столе с кубом данных SQL Server Analysis Services в облаке. Данные вы-глядят локальными, но ученым не нужно беспокоиться об обработке отдельных файлов. Локальная загрузка и работа с данными дистанционных датчиков, ко-торые могли бы дополнить эти данные датчиков, для многих ученых не являет-ся практичной. Для выполняемого сейчас проекта облачного анализ, в котором используются оба типа данных для расчета изменений в эвапотранспирации в США, за последние 10 лет будут загружены 3 терабайта изображений и будут использованы 4 тыс. часов работы процессора для получения менее 100 Мб ре-зультатов. Проведение анализа вне рабочего стола позволяет использовать более высокую полосу пропускания, более крупные временные хранилища и вычис-лительный парк, доступные в облаке.

Синтетические исследования также создают необходимость для появления инструментов облачного взаимодействия. Научные данные имеют значение для ученых-владельцев информации в виде публикаций, грантов, репутации и сту-дентов. Обмен этими данными с другими скорее увеличит эту ценность. Опре-деление подходящих политик цитирования, признания и соавторства для син-тетических документов остается открытым для обсуждения вопросом в более крупных сообществах, таких как Fluxnet10 и Северо-американская программа углерода11. Место в журналах и ограничения авторства также являются важным моментом в этих обсуждениях. Важно решить этический вопрос: что означает

5 www.lifeunderyourfeet.org6 www.cocorahs.org7 www.usanpn.org8 www.sciscope.org9 www.opengeospatial.org

10 www.fluxdata.org11 www.nacarbon.org/nacp

http://www.lifeunderyourfeet.org/

http://www.cocorahs.org/

http://www.usanpn.org/

http://www.sciscope.org/

http://www.opengeospatial.org/

http://www.fluxdata.org/

http://www.nacarbon.org/nacp



ДЖОН Р. ДЕЛЕЙНИ (JOHN R. DELANEY) University of Washington

РОДЖЕР С. БАРГА (ROGER S. BARGA) Microsoft Research

быть соавтором? Достаточным ли является вклад данных, если он основан на существенных интеллектуальных и физических усилиях? После согласования таких политик простые инструменты взаимодействия в облаке смогут суще-ственно упростить логистику, необходимую для публикации документов, предо-ставить возможность поиска соавторов, и позволят исследователям быть в курсе использования своих данных.

КАК КИБЕРИНФРАСТРУКТУРА ИЗМЕНЯЕТ ЭКОЛОГИЧЕСКУЮ НАУКУ

Наводнение экологическими данными разрушит научную разрозненность и позволит проводить научные исследования нового поколения. Цель понимания воздействия изменения климата управляет исследованиями, которые охватыва-ют такие дисциплины, как физиология растений, почвоведение, метеорология, океанография, гидрология и флювиальная геоморфология. Для совмещения различных масштабов времени и величин потребуется набор моделей взаимо-действия. Для разработки и проверки этих моделей критически важен синтез полевых наблюдений с результатами применения этих моделей при ключевых масштабах времени размера.

Для киберинфрастуктуры разнообразие размеров экологических наборов данных, их семантики и источников публикации ставит задачи, которые будут решаться в течение нескольких ближайших лет. Синтетическая наука управля-ет не только непосредственным, но и виртуальным общением между учеными различных отраслей. Разрушить семантические и синтаксические преграды в этом общении может продвижение в представлении метаданных. Визуализация данных, от простой смеси до более сложных виртуальных миров, также являет-ся ключевым элементом этого общения. Облачный доступ к обнаруживаемым, распределенным наборам данных, и, возможно, еще более важный фактор — анализ облачных данных вблизи более массивных наборов данных, позволят появиться новому поколению междисциплинарной науки.

Будущее океанологии — 2020 год

Мировой океан остался последним физическим барьером на Земле. Покрывая 70 процентов по-верхности планеты, он является крупнейшим и наиболее сложным из известных нам биомов. Это

огромный мобильный резервуар тепла и действующей мас-сы. Таким образом, океан является «движителем», который управляет погодно-климатическими системами бассейнов океана и континентов, непосредственно воздействуя на про-изводство продуктов питания, засухи и наводнения. Вода не пропускает электромагнитное излучение, поэтому морское дно изучено не так хорошо, как поверхность Марса и Венеры, и хотя пространственные связи бассейнов океана достаточно понятны, кратко- и долговременные колебания и сложность динамики океана изучены мало.

Являясь конечным хранилищем отходов человечества, океан с 1800 г. поглотил почти половину ископаемого углеро-да. Бассейны океана являются источником опасности: земле-трясений, цунами и гигантских штормов. Это эпизодические, мощные, часто очень мобильные, и с трудом прогнозируемые события. Так как океанические бассейны являются огромным, но имеющим свои пределы хранилищем ресурсов для жизни и других целей, мы обращаемся к ним за продуктами питания, энергией и рядом минералов, необходимых для поддержания широкого спектра видов жизнедеятельности человека. Мно-гие ученые уверены, что подводные вулканы были горнилом, в которых зародилась первая жизнь на Земле и, возможно, на других планетах. Океаны соединяют все континенты; они не принадлежат никому и при этом принадлежат всем вви-ду своей подвижной природы. Океаны можно рассматривать


как общее наследие человечества для поддержания жизни на Земле, за которую мы несем общую ответственность.

СЛОЖНОСТЬ ОКЕАНА

Наша задача состоит в оптимизации преимуществ и устранении рисков жизни на планете, у которой два основных источника энергии: солнечный свет, кото-рый управляет атмосферой и большей долей верхней части океана, и внутрен-нее тепло, которое отвечает за тектонику плит и нижнюю часть океана. Более чем четыре миллиарда лет мировой океан подвергался воздействию этих двух мощнейших движущих сил, так как Земля, океаны, атмосфера и жизнь эволю-ционировали параллельно. Как следствие, наши океаны имели долгую и слож-ную историю, которая привела к образованию сегодняшней крайне сложной системы, в которой тысячи физических, химических и биологических процессов непрерывно взаимодействуют в различных масштабах времени и пространства, так как океаны поддерживают нашу экологическую «зону комфорта» в плане-тарном масштабе.

На рисунке 1 показана крайне упрощенная схема питания океана энерги-ей сверху и снизу. Для более глубокого понимания этой «системы поддержания жизни на Земле» требуются совершенно новые методы исследований, которые позволят множеству ученых одновременно изучать разнообразные и интерак-тивные океанические процессы — методы, которые позволят вести непрервыное изучение связей различных процессов в согласованных по времени и простран-ству рамках. Внедрение таких новых мощных методов является как задачей, так и перспективой для океанологии следующего поколения.

ИСТОРИЧЕСКАЯ ПЕРСПЕКТИВА

На протяжении тысяч лет люди уходили в море на кораблях, чтобы убегать, за-воевывать, вести торговлю или исследовать. В октябре 1957 г. человек запустил первый спутник на орбиту Земли, а в январе 1960 г. погрузился в самую глу-бокую часть океана. Последние 50 лет корабли, спутники и подводные лодки были основой пространственных океанографических исследований. Сейчас мы находимся на пороге следующего технологического прорыва, который двинет вперед изучение океана. Доминантой исследований станут время и взаимо-действие. Новая эра будет основана на появлении и взаимодействии новейших технологий. Именно об этом говорил Марсель Пруст: «настоящее путешествие, полное открытий, состоит не в поиске новых ландшафтов, но в обладании но-выми глазами».

Такое видение океанографических исследований и образования следующего поколения включает в себя использование множества различных инновацион-ных технологий для одновременного и непрерывного изучения большого коли-чества разнообразных процессов, которые происходят в океане, изнутри океана. Некоторые из этих технологий позволят удаленно обнаруживать локальные

РИСУНОК 1.

Два основных источника энергии оказывают мощное воздействие на океанические бассейны: излучающий энергию солнечный свет и внутренняя теплота со своей конвекцией и проводи-мостью. Сложность океанов требует документирования и количественной оценки — в четко определенных за десятилетия рамках пространства и времени — мириад процессов, которые постоянно изменяются и взаимодействуют друг с другом.

Иллюстрация разработана Джоном Делейни (John Delaney) и Марком Штермером (Mark Stoermer); создана Цен-тром визуализации окружающей среды (Center for Environmental Visualization, CEV) для программы NEPTUNE.


критические изменения, имеющие место в некоторых частях океана. Быстрая реконфигурация основных матриц датчиков, подключенных к Интернету под-водными электрооптическими кабелями, позволит нам собирать, отображать, документировать и измерять сильные и ранее недоступные для научных иссле-дований феномены, такие как извергающиеся вулканы, шаблоны крупных ми-граций, подводные оползни и множество других.

ЧЕТВЕРТАЯ ПАРАДИГМА

Человек всегда пытался изучить океан во всей его сложности, и океан постоянно оставался изученным не до конца. Сегодняшний набор числовых и теоретиче-ских моделей океана с большим количеством вычислений намного опережает уровень данных, необходимых для воплощения этих моделей в реальности. Как следствие, мы не могли даже подойти к полезным прогностическим моделям реального поведения океанов. Только при оценке мощных эпизодических со-бытий, таких как гигантские штормы и извергающиеся вулканы, в контексте более длительных, десятилетних изменений, мы можем начать приближаться к надежным прогностическим моделям поведения океана. Со временем, так как адаптивные модели все более подтверждаются постоянным сравнением с фак-тическими данными из реальных систем, мы постепенно получим возможность предсказывать будущее поведение этих крайне сложных природных систем. Чтобы достичь этой цели, мы должны предпринимать шаги для фундаменталь-ного изменения наших методов, с которыми мы подходим к океанографии.

Этот путь состоит из нескольких основных этапов. Мы должны иметь воз-можность документирования состояния и измерения потоков в океане, одновре-менно и в реальном времени, в различных масштабах времени и пространства, независимо от глубины, энергии, подвижности или сложности задействованных процессов. Измерения должны проводиться при помощи совместно располо-женных матриц датчиков различных типов, которые управляются исследова-телями в периоды от десятилетий до столетий. Данные должны немедленно собираться, архивироваться, отображаться и сравниваться с моделями, четко настроенными для работы с уровнями сложности в масштабах, сопоставимых по времени и пространству с фактическими измерениями.

Этот метод дает три основных преимущества: (1) Модели должны прогрес-сивно эмулировать измеренную реальность за счет постоянного сравнения с данными для получения реального поведения океанов в «пространстве модели» для продвижения в направлении более прогностических моделей; (2) Если моде-ли и данные не согласованы, и предполагается, что данные верны, мы должны немедленно использовать морские роботизированные системы датчиков, чтобы полностью охарактеризовать разворачивающиеся события, так как они, очевид-но, дают новые знания в тех комплексах, которые нам необходимы для охвата в нерабочих моделях; (3) Выполняя и архивируя все наблюдения и измерения в согласованных рамках пространства и времени, мы сможем предоставить мно-

жеству исследователей (даже не связанных со сбором данных) возможность из-учения корреляции среди любого количества выбранных феноменов во время (или намного позже) происхождения процессов или событий. Если архивные данные немедленно становятся широко доступными при помощи Интернета, то вследствие растущего количества потенциальных исследователей, которые мо-гут изучать быстро расширяющийся спектр «пространства параметров», суще-ственно возрастает потенциал новых открытий. Для ученых, которые работают в этой насыщенной информацией среде, возникнет необходимость в разработ-ке нового набора продуктов для научного процесса, которые смогут упростить архивирование, ассимиляцию, визуализацию, моделирование и интерпретацию информации по всем интересующим научным системам. Отчеты по нескольким симпозиумам, которые предлагают примеры таких «продуктов процесса», до-ступны в открытой литературе [1, 2].

ПОЯВЛЕНИЕ И СБЛИЖЕНИЕ

Океанология получает выгоды от множества мощных появляющихся техноло-гий, управляемых различными сообществами, которые являются полностью внешними по отношению к исследованию океана — например, такими, как нанотехнологии, биотехнологии, информационные технологии, компьютерное моделирование, технологии визуализации и робототехника. Еще более мощным будет результат интеграции этих возможностей, так как они адаптированы для проведения сложных удаленных морских операций новыми методами, с объ-единением инновационных технологий в необходимые исследовательские или экспериментальные системы.

Например, потребуются системы хранения больших объемов данных, об-лачные вычисления, решения для научной обработки данных, расширенные дисплеи визуализации и портативные супервычисления. Электрическое пита-ние и огромная пропускная способность оптоволокна будут использоваться для трансформации различных видов научных и образовательных операций, кото-рые могут выполняться в океане, вместо батарей и спутников, которые исполь-зовались для удаленных районов. Применение электрооптических кабелей про-мышленного стандарта в океанографических исследованиях может полностью изменить природу телеприсутствия человека во всем объеме океана за счет вво-да беспрецедентной, но уже доступной мощности и полосы пропускания в про-странство океана. Оптические и акустические датчики с высоким разрешением станут частью более широкой технологии «систем визуализации океана». Эти методы будут использовать видео с высоким разрешением, при необходимости со стереозвуком, а также гидролокаторы высокого разрешения, акустические линзы, лазерное формирование изображений и пространственный отбор проб. Расширенные технологии датчиков будут включать в себя химическое зонди-рование при помощи удаленных и мобильных масс-спектрометров и газовых хроматографов, эко-геномного анализа и адаптивных техник отбора проб.


КОМПЛЕКСНЫЙ ПОДХОД

После нескольких десятилетий планирования [3, 4] Национальный научный фонд США (U.S. National Science Foundation, NSF) готов инвестировать более 600 млн долл. США в течение 6 лет в строительство и начало работы иннова-ционной инфраструктуры, известной под названием Программа океанических обсерваторий (Ocean Observatories Initiative, OOI) [4]. Расчетный срок действия программы — 25 лет. Кроме выполнения крайне необходимых высокоширот-ных и прибрежных измерений, которые поддерживаются относительно низ-кой пропускной способностью спутниковых систем связи, эта программа будет включать в себя мероприятия по внедрению систем наблюдения с электрооп-тическими кабелями в северо-восточной части Тихого океана [5-7] у побережья Вашингтона, Орегона и Британской Колумбии, как показано на рисунке 2.12

Эта интерактивная распределенная сеть датчиков в США и Канаде создаст «природную лабораторию» с широкой апертурой для проведения большого ко-личества долговременных инновационных экспериментов в океане при помощи управления всей «лабораторной» системой в реальном времени. Распростра-нение беспрецедентной мощности и полосы пропускания на широкий спектр интерактивных датчиков, приборов и роботов, распределенных в водах океана, в местах соприкосновения воды с воздухом, на дне и под ним в скважинах, от-кроет дорогу для творчества следующего поколения и исследования временных интервалов широкой аудиторией исследователей. Вашингтонский университет (University of Washington) управляет вопросами кабелей в инициативе NSF, из-вестной как Региональная измерительная сеть (Regional Scale Nodes, RSN) (ра-нее известная и финансированная как NEPTUNE); Викторианский университет (University of Victoria) отвечает за развитие инициативы в Канаде, которая назы-вается NEPTUNE Canada. Эти два метода были совместно запущены в 2000 г. в сотрудничестве США и Канады. Консорциум по лидерству в океане (Consortium for Ocean Leadership) из Вашингтона (округ Колумбия) занимается управлением и интеграцией всей системы OOI для NSF. Океанографический институт Вудс Хол (Woods Hole Oceanographic Institution) и Калифорнийский университет, Сан-Диего (University of California, San Diego), отвечают за контроль прибреж-но-глобальной и киберинфраструктурной частей программы соответственно. Университет штата Орегон (Oregon State University) и Институт океанографии Скриппса (Scripps Institution of Oceanography) являются участниками прибреж-но-глобальной части OOI.

Метод кабельной океанской обсерватории совершит революцию в океано-логии и предоставит непрервыный интерактивный доступ к океаническим дан-ным и приборам в ближайшие два-три десятилетия. Более чем 1200 километров электрооптического подводного кабеля обеспечат десятками киловатт мощно-сти узлы на дне океана, где приборы, которые могут быть установлены в радиусе 50 км от узла, будут подключаться либо непосредственно, либо через вторичные

удлинительные кабели. Основной кабель обеспечит полосу пропускания в пре-делах 2,5—10 Гбит/с между землей и растущим количеством стационарных и мобильных групп датчиков. Ожидается, что такая доступность локальной мощ-ности и полосы пропускания приведет к появлению множества новых методов океанографии. Основным преимуществом станет возврат данных в реальном времени и командное управление флотом аппаратов с дистанционным управ-лением и автономных подводных устройств.

Инфраструктура будет адаптируемой, расширяемой и экспортируемой для заинтересованных пользователей. Политика в отношении данных по OOI при-зывает делать всю информацию доступной заинтересованным пользователям

Аксиал Симаунт

РИСУНОК 2.

Часть программы OOI фокусируется на динамическом поведении плиты и мощных процессах, происходящих в океане и атмосфере, которые находятся над ней. Недавние изменения Регио-нальной измерительной сети были направлены на элементы, отмеченные красным цветом, а розовые элементы представляют направления для расширения в будущем. На выноске показан хребет вулкана Аксиал Симаунт (Axial Seamount) вдоль активной гряды Хуан де Фука. Каждая ограниченная квадратом площадка предоставит уникальную электрическую мощность и полосу пропускания для исследований и обучения. На этих площадках могут исследоваться многие про-цессы, показанные на рисунке 1.

Изображение создано CEV для OOI-RSN.

12 www.interactiveoceans.ocean.washington.edu

http://www.interactiveoceans.ocean.washington.edu/


через Интернет (за исключением информации, которая имеет отношение к на-циональной безопасности).

Подключенные к Интернету кабельные обсерватории предоставят ученым, студентам, педагогам и обществу виртуальный доступ к значительным участкам нашей планеты, которые ранее редко посещались человеком. По сути, Интернет будет расширен на морское дно, с возможностью взаимодействия с различными инструментами, включая потоковое видео в высоком разрешении из множества точек внутри океанов, как показано на рисунке 3. Системы кабельных обсерва-торий смогут охватить процессы в масштабах тектонической плиты, океанских водоворотов средней величины или даже меньших масштабах. Благодаря новой инфраструктуре можно будет проводить исследования репрезентативных про-цессов, отвечающих за изменение климата, основную биологическую продук-тивность в начале пищевой цепи, расширяющееся окисление океана и т.д. С ис-пользованием тех же инвестиций в эту кабельную инфраструктуру можно будет выполнять новые исследования центров распространения в открытом океане, трансформных разломов и особенно процессов в зоне субдукции у основания

материкового склона, которые могут вызывать землетрясения в северо-запад-ной части Тихого океана.

Интерактивная океаническая лаборатория будет поддерживаться общей ки-беринфраструктурой, объединяющей множество обсерваторий, тысячи прибо-ров, десятки тысяч пользователей и петабайты информации. Цели кабельной океанической лаборатории могут быть достигнуты только в том случае, если морская часть проекта будет дополнена современной ИТ-инфраструктурой, со-зданной при плотном взаимодействии компьютерных ученых и океанологов. Та-кое сотрудничество позволит ученым взаимодействовать с океаном при помощи команд и управления датчиками в реальном времени; обеспечить постоянную подачу данных для моделей; автоматизировать контроль качества данных и их калибровку, а также поддерживать новые методы управления, анализа и визуа-лизации данных.

ЧТО ВОЗМОЖНО?

На рисунке 4 показаны некоторые из новых возможностей, имеющих потенци-ал дальнейшего развития. В долговременной перспективе ключевым элементом введения уникальной мощности и полосы пропускания в глубины океана будет возможность реализации интеграционных проектов и разработок. Они позво-лят нам лучше понимать — и, возможно, прогнозировать — поведение Земли, океана и атмосферы, их взаимодействие и влияние на развитие жизни на пла-нете.

ВЫВОД

В кабельной океанической обсерватории объединяются грандиозные достиже-ния в технологиях датчиков, робототехнических системах, высокоскоростной связи, экогеномике и нанотехнологиях с инфраструктурой океанской лабора-тории, причем такими путями, которые существенно изменят методы взаимо-действия ученых, педагогов, технологов и разработчиков политики с динамикой мирового океана. В ближайшие десятилетия в большинстве стран в прибрежных зонах их территориальных морей будут внедрены системы этого типа. Так как эти системы становятся все более сложными, а данные становятся постоянно до-ступными в Интернете, последний станет самым мощным инструментом океа-нографического исследования на планете. Таким образом, наследие Джима Грея (Jim Gray) продолжит развиваться с нашим обнаружением новых знаний

Появление кабельных обсерваторий будет иметь глубокие последствия для методов, которыми ученые, инженеры и педагоги ведут свою профессиональ-ную деятельность. Наиболее перспективным эффектом может быть существен-ное изменение отношения общества к океанам и научному процессу. Данные, получаемые в реальном времени, и высокоскоростная связь, присущие кабель-ным системам дистанционного наблюдения, также откроют новые пути для вза-имодействия общества с миром природы.

РИСУНОК 3.

Ученые или граждане следующего поколения. На виртуальном изображении показан глубоко-водный осьминог Grimpoteuthis и часть подводной гидротермальной системы гряды Хуана де Фука. В ближайшие пять лет подобное отображение трехмерного видео высокого разрешения в реальном времени станет повседневной возможностью.

Изображение разработано Марком Штермером и создано CEV для проекта NEPTUNE в 2005 г.


В конечном счете наличие прогностических моделей функционирования океана на основании многолетнего уточнения сложных компьютерных моделей высококачественными наблюдениями распределенных сетей датчиков сфор-мирует основы для управления наиболее мощной системой изменения климата планеты — мировым океаном, или, как минимум, адаптации к ней.

БЛАГОДАРНОСТЬ

Мы благодарны значимому влиянию Джима Грея, который решительно заявил о том, что метод кабельных наблюдений океана с использованием потока данных в реальном времени и с широкой полосой пропускания может стать неотъемле-мой частью прогресса человечества и понимания мира, в котором мы живем. Мы также благодарим за поддержку Вашингтонский университет, Националь-ный научный фонд, Консорциум по лидерству в океане и группу по внешним исследованиям Microsoft за техническое взаимодействие и финансовую помощь. NSF и программа Национального океанографического партнерства были осо-бенно ценны на ранних этапах реализации концепции проекта NEPTUNE с 1998 по 2005 гг., с грантами Дж. Р. Делейни. Дебора Келли (Deborah Kelley), Ненси Пенроуз (Nancy Penrose) и Марк Штермер приложили множество усилий для подготовки этой рукописи и обсуждения ее содержания.

ССЫЛКИ

[1] «Project Trident: A Scientific Workflow Workbench Brings Clarity to Data», http://research.microsoft.com/en-us/collaboration/focus/e3/workflowtool.aspx.

[2] Две ссылки по симпозиуму NSF о задачах научных процессов:http://grids.ucs.indiana.edu/ptliupages/publications/IEEEComputer-gil.pdf http://vtcpc.isi.edu/wiki/index.php/Main_Page.

[3] National Research Council of the National Academies, Enabling Ocean Research in the 21st Century: Implementation of a Network of Ocean Observatories. Washington, D.C.: National Academies Press, 2003, p. 220.

[4] «Ocean Observatories Initiative (OOI) Scientific Objectives and Network Design: A Closer Look», 2007, http://ooi.ocean.washington.edu/cruise/cruiseFile/show/40. Ocean Leadership Web site for the Ocean Observatories Initiative: www.oceanleadership.org/ programs-and-partnerships/ocean-observing/ooi.

[5] J. R. Delaney, F. N. Spiess, S. C. Solomon, R. Hessler, J. L. Karsten, J. A. Baross, R. T. Holcomb, D. Norton, R. E. McDuff, F. L. Sayles, J. Whitehead, D. Abbott, and L. Olson, «Scientific rationale for establishing long-term ocean bottom observatory/laboratory systems», in Marine Minerals: Resource Assessment Strategies, P. G. Teleki, M. R. Dobson, J. R. Moor, and U. von Stackelberg, Eds., 1987, pp. 389—411.

[6] J. R. Delaney, G. R. Heath, A. D. Chave, B. M. Howe, and H. Kirkham, «NEPTUNE: Real-time ocean and earth sciences at the scale of a tectonic plate», Oceanography, vol. 13, pp. 71—83, 2000, doi: 10.1109/OCEANS.2001.968033.

РИСУНОК 4.

Некоторые из трансформирующих разработок, которые могут стать привычными в ближай-шие 5 лет при помощи вспомогательной кабельной системы. На верхнем рисунке показана ми-ниатюра систем геномного анализа, адаптированных к океану на базе наземных лабораторий, которые позволят ученым при помощи переключателя в лаборатории, расположенной на рас-стоянии сотен миль, дистанционно отбирать образцы окружающей среды и проводить локаль-ные операции секвенирования генов в океане. Данные могут стать доступными в Интернете в считанные минуты после решения о взятии пробы микробов из магмы извергающегося под водой вулкана, или сезонного цветения фитопланктона. В нижней части показана концептуаль-ная иллюстрация комплекса удаленной аналитической биологической лаборатории на морском дне, которая позволяет выполнять множество локальных измерений или препарирований при помощи видео в высоком разрешении с поддержкой стереозвука для проведения высокоточных дистанционных манипуляций.

Научные концепции Джинджера Армбруста (Ginger Armbrust) и Джона Делейни; графический дизайн — Марк Штермер для CEV.

http://research.microsoft.com/en-us/collaboration/focus/e3/workflowtool.aspx

http://research.microsoft.com/en-us/collaboration/focus/e3/workflowtool.aspx

http://grids.ucs.indiana.edu/ptliupages/publications/IEEEComputer-gil.pdf

http://grids.ucs.indiana.edu/ptliupages/publications/IEEEComputer-gil.pdf

http://vtcpc.isi.edu/wiki/index.php/Main_Page

http://vtcpc.isi.edu/wiki/index.php/Main_Page

http://ooi.ocean.washington.edu/cruise/cruiseFile/show/40

http://ooi.ocean.washington.edu/cruise/cruiseFile/show/40

http://www.oceanleadership.org/programs-and-partnerships/ocean-observing/ooi





АЛИСА А. ГУДМАН (ALYSSA A. GOODMAN) Harvard University

КЕРТИС Г. ВОНГ (CURTIS G . WONG) Microsoft Research

[7] A. D. Chave, B. St. Arnaud, M. Abbott, J. R. Delaney, R. Johnson, E. Lazowska, A. R. Maffei, J. A. Orcutt, and L. Smarr, «A management concept for ocean observatories based on web services», Proc. Oceans’04/Techno-Ocean’04, Kobe, Japan, Nov. 2004, p. 7, doi: 10.1109/ OCEANS.2004.1406486. Приближая ночное небо:

открытия в шквале данных

Астрономы привыкли к информации, которая падает с неба. Теперь возможность сохранения данных о небе «в облаках» предлагает вдохновляющие новые мето-ды доступа распределения, использования и анализа

данных, как в исследованиях, так и в образовании. Здесь мы рассматриваем три взаимосвязанных вопроса: (1) Какие тен-денции мы видели и вскоре увидим благодаря растущим объ-емам данных и изображений с телескопов? (2) Как мы будем решать задачу поиска пресловутой иголки в стоге сена этих данных для продвижения научных открытий? (3) Какие воз-можности визуализации и анализа нас ожидают в будущем?

ТЕНДЕНЦИИ РОСТА ДАННЫХ

Астрономия имеет историю сбора данных, уходящую корня-ми как минимум до эпохи Стоунхенджа — а это более трех тысяч лет назад. Со временем формат информации, которая регистрировалась астрономами, изменился с резьбы по кам-ню до письменных записей и ручных набросков, а затем до фотографий и цифровых носителей.

Хотя телескоп (изобретенный в 1600 г.) и открытие элек-тромагнитного спектра за пределами длин волн, видимых глазу человека (в 1940 г.) привели к качественным изменениям природы астрономических исследований, они не увеличили объема собираемых данных в такой мере, как это произошло в цифровую эру.

Приборы с зарядовой связью (charge-coupled devices, CCD), получившие широкое распространение в 1980-х гг., и аналогичные датчики неоптических длин волн стали более эффективными, чем традиционные аналоговые средства (на-


пример, фотографические пластинки). Это привело к продолжающемуся (и, возможно, бесконечно ускоряющемуся) увеличению объема данных, доступных астрономам. Растущие возможности и падающие цены на цифровые устрой-ства, используемые в обработке сигналов, анализе данных и их хранении, в ком-бинации с расширением Интернета, сделали астрономию из наблюдательной науки цифровой и компьютерной.

Например, Большой обзорный телескоп (Large Synoptic Survey Telescope, LSST), строительство которого будет завершено в этом десятилетии, даст в пер-вый год своей работы данных намного больше данных — 1,28 петабайт — чем любой другой телескоп за всю историю существования телескопов. LSST достиг-нет этого за счет очень чувствительного CCD с огромным количеством точек на относительно большом телескопе с очень быстрой оптикой (f/1,234) и ши-роким полем обзора (9,6 квадратных градусов), а также за счет выполнения се-рии снимков с более короткой экспозицией (в сравнении с традиционными, с более длинной экспозицией), которые могут использоваться для изучения пове-дения астрономических источников во времени. И в то время как LSST, решетка астрономических телескопов Pan-STARRS и другие будущие астрономические мега-проекты — многие из которых работают в неоптической длине волны — будут создавать огромные наборы данных, охватывающих все небо, другие группы и отдельные специалисты будут добавлять к ним свои меньшие, но по-тенциально более целевые наборы данных.

В следующей части этой статьи мы предположим, что задача управления этим взрывоподобным ростом данных будет решена (скорее всего, за счет раз-умного использования «облачного» хранилища и новых структур данных), и сфокусируемся на вопросе, как предлагать лучшие инструменты и новую техни-ческую и социальную аналитику, которые позволят узнать нам больше о нашей Вселенной.

Множество возникающих тенденций, включая краудсорсинг, демократиза-цию доступа при помощи новых браузерных технологий и растущую вычис-лительную мощность, может помочь нам искать «иглы в стогах сена» данных, доступных в Интернете.

КРАУДСОРСИНГ

Слоуновский цифровой обзор неба (Sloan Digital Sky Survey) выполнялся для получения снимков и измерения спектров миллионов галактик. Так как снимки галактик автоматически исключались из широкоугольных изображений, обре-занных в автоматическом процессе, большую часть из них мы никогда не виде-ли. Чтобы проверить заявление, что большая часть галактик вращается против часовой стрелки, а не наоборот, команда Слоуна использовала пользователь-ский код для создания веб-страницы, которая предоставляла снимки галактик желающим поиграть в онлайн-игру Galaxy Zoo, основной задачей которой явля-ется классификация направлений вращения галактик. В этой игре продуманные

алгоритмы показывают одну и ту же галактику различным пользователям как в качестве справочного образца, так и чтобы проверить точность игроков.

Результаты сводной классификации галактик широким сообществом за пер-вый год работы были такими же точными, как и проводимые астрономами. За первый год пользователи провели более 50 млн классификаций для миллиона галактик, и заявление о преобладании право- или левостороннего вращения было наконец опровергнуто. При этом Ханни Ван Аркель (Hanny Van Arkel), школьный учитель из Голландии, обнаружил галактику, которая сейчас счита-ется самой синей во Вселенной. Она была тщательно исследована основными телескопами, включая радиотелескоп с очень большой антенной решеткой (Very Large Array, VLA) и вскоре будет исследоваться Космическим телескопом Хаб-бла (Hubble Space Telescope).

ДЕМОКРАТИЗАЦИЯ ДОСТУПА ПРИ ПОМОЩИ НОВЫХ БРАУЗЕРНЫХ ТЕХНОЛОГИЙ

Время, необходимое для получения данных от любого астрономического объ-екта, пропорционально как минимум квадрату расстояния до этого объекта. Поэтому любой сервис, который может накапливать пользовательские коллек-ции уже полученных изображений и данных, эффективно приближает ночное небо. Использование архивных онлайн-данных, сохраненных в «облаке дан-ных» упрощается при помощи новых программных инструментов, таких как Microsoft WorldWide Telescope (WWT), который предоставляет интуитивно по-нятный доступ к снимкам ночного неба, полученным астрономами с использо-ванием многих тысяч часов работы телескопов.

При помощи WWT (рисунок 1) любой желающий может перемещаться по небу на длинах волн от рентгеновского излучения до радиочастот, а также рас-сматривать трехмерную модель Вселенной, созданную на основе реальных на-блюдений, просто ради интереса. Любой пользователь может отметить необыч-ное соответствие аспектов на разных длинах волны в одной и той же точке неба, при помощи щелчка мыши увидеть все опубликованные статьи в журналах и обсудить эту часть неба. Каждый желающий может подключить телескоп к ком-пьютеру с установленным WWT и накладывать реальные, новые изображения поверх онлайн-изображений этого же участка неба практически на любой дли-не волны. В своих исследованиях можно воспользоваться «маршрутами», состав-ленными пользователями WWT. С появлением все большего количества таких «маршрутов» WWT становится настоящим «небесным браузером». Исследова-тели будут перемещаться путями, которые соединяют объекты общего интереса, объединяя идеи и людей. Переход от маршрута к маршруту будет подобен пере-ходу между веб-страницами.

Но мощность WWT выходит далеко за пределы этой отдельной способности. Он становится частью экосистемы онлайн-астрономии, которая ускорит про-гресс «гражданской» и «профессиональной» науки в ближайшие годы.


Компания Microsoft посредством WWT и Google посредством Google Sky со-здали среды интерфейса прикладного программирования (API), которые позво-ляют работать программному обеспечению просмотра неба внутри веб-страни-цы. Эти API упрощают создание всего, что угодно — от образовательной среды для детей до сайтов «гражданской науки» и распределения данных для профес-сиональных научных исследований.

Благодаря API теперь легко внедрять такие инструменты, как Galaxy Zoo. Поэтому теперь астрономические и образовательные сообщества отвечают за повышение желания общества помогать в исследовании растущего притока дан-ных. Студенты высших учебных заведений для совершения реальных открытий о Вселенной сегодня могут использовать спутниковые данные, которые еще ни-кто не анализировал, а не просто двигать блоки по наклонной плоскости на за-нятиях по физике. Астрономы-любители могут собирать данные по требованию для заполнения информационных пробелов, о которых студенты, профессиона-

лы и другие астрономы спрашивают в Интернете. Возможности сотрудничества и образования действительно безграничны.

Роль WWT и подобных инструментов в сообществе профессиональной астрономии продолжает расширяться. В частности, WWT уже стал лучшим из методов доступа к обзорам неба в сравнении с любыми существующими про-фессиональными инструментами. WWT как часть действий по международной «виртуальной обсерватории» бесшовно подключается к инструментам оценки и исследований, к которым привыкли астрономы, чтобы дать красивый и кон-текстный обзор для информации, которая обычно подавалась частями. И он уже начал восстанавливать целостный обзор данных, который использовался астрономами до того, как цифровая эра разбила небо на огромное количество мелких частей в несовместимых форматах.

РАСТУЩАЯ ВЫЧИСЛИТЕЛЬНАЯ МОЩНОСТЬ

В течение 10 лет многоядерные процессоры увеличат массовую вычислитель-ную мощность по сравнению с сегодняшней на два-три порядка. Как вся эта компьютерная мощь поможет справиться со шквалом данных? Более быстрые компьютеры, увеличенные хранилища и полоса пропускания безусловно по-зволят использовать современные методы для охвата более крупных наборов данных. Кроме того, станут доступны совершенно новые методы обработки и анализа данных. Например, техники компьютерного зрения уже используются в бытовых цифровых фотоаппаратах с обнаружением и распознаванием лица в качестве базовой функции.

Большая вычислительная мощность позволит нам сортировать и иденти-фицировать уникальные предметы, события и посторонние данные сразу при их обнаружении и направлять их в гражданско-научные сети для подтвержде-ния. За счет более качественных интерфейсов, которые смогут из работы сде-лать игру, может быть оптимизировано привлечение гражданских ученых к сети оповещения для этой последней составляющей обнаружения. Интерфейсы потенциально могут объединить подтверждение предметов человеком с гло-бальными сетями игр и симуляторов, где данные реального времени широко распространены и встроены в обширные игры в реальном времени с большим количеством игроков, которые бесшовно интегрируют правильную идентифи-кацию предметов в лестницу достижений в игре. Такие игры смогут дать детям возможность повысить свой социальный престиж среди других игроков, при этом делая ценный вклад в науку.

ВИЗУАЛИЗАЦИЯ И АНАЛИЗ ДЛЯ БУДУЩЕГО

WWT представляет краткий обзор будущего. С расширением разнообразия и масштаба собранных данных, программное обеспечение должно стать более сложным в отношении доступа к данным, при этом становясь более интуитив-ным, настраиваемым и совместимым.

РИСУНОК 1.

WorldWide Telescope показывает район туманности Тарантул вблизи Большого Магелланова Об-лака.

Изображение предоставлено Национальной оптической астрономической обсерваторией (National Optical Astronomy Observatory)/Национальный научный фонд.



МИХАЭЛЬ ЛЕНИНГ, НИКОЛАС ДЕЙВС, МАТИАС БЕВЕЙ (MICHAEL LEHNING, NICHOLAS DAWES, MATHIAS BAVAY) WSL Institute for Snow and Avalanche Research SLF

МАРК ПАРЛАНЖ (MARC PARLANGE) École Polytechnique Fédérale de Lausanne

СУМАН НАТ, ФЕНГ ДЖАО (SUMAN NATH, FENG ZHAO) Microsoft Research

Методы улучшения таких инструментов, как WWT, скорее всего, будут связа-ны с более масштабной задачей улучшения использования инструментов визуа-лизации и анализа данных во всех сферах — а не только в астрономии.

Задачи визуализации и анализа в науке очень схожи. Представьте, например, астронома и специалиста по климату, работающих вместе. Они оба хотят изу-чить свойства физических систем, наблюдаемых в сферической системе коорди-нат. Оба хотят бесшовно перемещаться, например, между наблюдениями линии спектра отдельных источников в некоторых особых положениях на сфере (на-пример, изучать состав звездной атмосферы или СО2 в атмосфере Земли), кон-текстом этих положений на сфере, а также статьями в журналах и онлайн-об-суждениями этих феноменов.

Сегодня, даже в пределах отдельной дисциплины, ученые часто сталкивают-ся с множеством возможностей выполнения одной и той же подзадачи анализа, но ни один из пакетов не содержит всех необходимых им задач. Для ученых или специалистов по данным, сотрудничающих с учеными, будущее имеет потенци-ал разработки собственного программного обеспечения путем соединения ком-понентов модульных приложений по необходимости. Так, например, астроном и климатолог могут использовать какую-то обобщенную версию WWT как часть отдельной, пользовательской системы, которая соединит их избранные пакеты, относящиеся к конкретной дисциплине или ученому, для решения таких задач, как анализ линии спектра.

ВЫВОД

Вопрос, которые соединяет все три рассмотренные темы — как мы можем со-здать новые инструменты для астрономии, которые упростят процесс откры-тий в шквале данных? Ответ, скорее всего, заключается в соединении различных существующих ресурсов — включая гражданских ученых, желающих помогать в анализе данных; доступные браузеры изображений, подобные WWT; и более приспособленные для пользователя инструменты визуализации, собранные из общих компонентов. Этот метод, направленный на более бесшовное соединение (и повторное использование) различных компонентов, в ближайшем десятиле-тии, скорее всего, станет общим для многих отраслей науки — а не только для астрономии.

ССЫЛКИ

[1] WorldWide Telescope http://www.worldwidetelescope.orghttp://research.microsoft.com/en-us/projects/wwt/http://research.microsoft.com/en-us/research/toys/worldwide-telescope.aspxhttp://www.microsoft.com/ru-ru/devcenter/MRTelescope.aspx (рус.)

Оснащение Земли приборами: Сети датчиков

следующего поколения и экология

Повышенная озабоченность глобальным изменением климата и растущие во всем мире экологические про-блемы говорят об острой необходимости улучшения методов решения задач экологии. Существующие си-

стемы мониторинга окружающей среды большого масштаба, с их низким пространственно-временным разрешением, не только дороги, но и неспособны выявлять сложные взаимо-действия между компонентами атмосферы и земной поверх-ности с точностью, достаточной для получения точных моде-лей экосистемы.

В особенности это применимо к горным районам с очень сложной поверхностью, которые являются мировым источни-ком пресной воды и шаблонов погоды. Количество данных, необходимых для понимания и моделирования этих взаи-модействий, настолько огромно (терабайты, и продолжает расти), что ни одно из стандартных решений не позволяет ученым легко управлять ими и анализировать их. Это быстро привело к растущему мировому взаимодействию ученых-эко-логов и компьютерных ученых для системного решения этих проблем и разработки решений датчиков и баз данных, кото-рые позволят экологам проводить эксперименты следующего поколения.

http://www.worldwidetelescope.org

http://research.microsoft.com/en-us/projects/wwt/

http://research.microsoft.com/en-us/research/toys/worldwide-telescope.aspx

http://www.microsoft.com/ru-ru/devcenter/MRTelescope.aspx


ЭКОЛОГИЯ СЛЕДУЮЩЕГО ПОКОЛЕНИЯ

Новое поколение наук об окружающей среде, как показано на рисунке 1, моти-вировано следующими наблюдениями сообщества науки об атмосфере: во-пер-вых, наиболее выдающейся задачей в прогнозировании погоды и климата яв-ляется понимание процессов взаимодействия земли и атмосферы. Во-вторых, среднее влияние неоднородной поверхности на атмосферу может существенно отличаться от влияния, рассчитанного путем усреднения отдельных свойств по-верхности, таких как температура или влажность [1-3] — особенно в горах, где разнообразие поверхности стандартно высокое.

На рисунке 2 показан такой при-мер — очень сложная горная поверх-ность с голыми скалами, засоренными участками вечной мерзлоты, частич-ным снежным покровом, разбросан-ными деревьями, а также мелкими и глубокими слоями почвы с различной растительностью. Все эти типы поверх-ности могут находиться в пределах одного километра — а такие разреше-ния обычно не охватываются моделя-ми прогноза погоды даже последнего поколения. В существующих моделях прогноза погоды и изменения клима-та все еще используют разрешающую способность сетки, которая слишком слаба (несколько километров) для четкого и правильного определения разнородности поверхности в горах (и других местах). Это может приво-дить к грубым ошибкам в понимании и прогнозах.

В экологии следующего поколения проблема разрешения данных будет решена при помощи плотной сети датчиков (обычно беспроводных). Не-давние усовершенствования беспро-водных датчиков сделали возможным получение информации о физиче-ском мире с высоким разрешением и точностью в течение длительного пе-риода времени. Беспроводная связь обеспечивает надежный сбор данных

от удаленных датчиков для отправки в лаборатории в целях обработки, анализа и архивирования. Такое зондирование в высоком разрешении дает ученым воз-можность понять вариабельность и динамику параметров окружающей среды с большей точностью. Беспроводное зондирование также обеспечивает ученым безопасный и удобный метод наблюдения за датчиками на местах, позволяя включать, отлаживать и тестировать их из лаборатории.

Это позволяет снизить до минимума посещения площадок, которые могут занимать много времени, быть дорогостоящими, а иногда и опасными.

Однако внедрение плотной сети датчиков в сложных и удаленных районах по нескольким причинам остается проблемным. Во-первых, весь процесс зон-дирования, вычисления и передачи данных должен быть предельно энергоэф-фективным, чтобы датчики могли работать длительное время от небольших ба-тарей, солнечных панелей или других источников энергии окружающей среды. Во-вторых, датчики и их каналы связи должны быть очень надежными, чтобы обеспечить сбор данных в сложных природных условиях. В-третьих, ошибочные данные датчиков, полученные в результате отказов системы или природного

РИСУНОК 1

Типовой контекст источников данных для экологии следующего поколения с внедрением разнообразных датчиков, который включа-ет следующее: (1) мобильные станции, (2) традиционные погодные станции с высоким разрешением, (3) полноразмерные снежные и погодные станции, (4) внешние погодные станции, (5) спутниковая съемка, (6) метео-рологический радар, (7) мобильный метеоро-логический радар, (8) потоковые наблюдения, (9) наблюдения, передаваемые гражданами, (10) наземный лидар, (11) воздушный лидар, (12) замеры азота и метана, (13) датчики ги-дрологии снега и лавин, (14) сейсмодатчики, (15) распределенные оптоволоконные датчи-ки температуры, (16) отбор проб воды, (17) потоковые гидрометрические станции, (18) быстрые исследования движения масс, (19) станции стоков и (20) исследования почвы.

778500 779500779250779000 779750778750187000

186000

185750

186750

186250

186500

No Snow0-200200-400400-600

600-800800-10001000-12001200-1400

1400-1600>1600

Картография и дизайн: Грюневальд Т.Основная карта: Географическая карта Швейцарии № 1197 1:25000

Глубина снега в миллиметрах

РИСУНОК 2.

Сканирование распределения снега в швейцарских Альпах наземным лазером показывает типо-вой неравномерный снежный покров.


воздействия, должны определяться и обрабатываться должным образом (напри-мер, отмечаться или даже отфильтровываться из набора данных). Хотя недав-ние исследования (включая «Швейцарский эксперимент» (Swiss Experiment) и «Жизнь у вас под ногами» (Life Under Your Feet) частично устраняют эти пробле-мы, для решения подобных задач во множестве продукционных систем требу-ются дальнейшие исследования.

УПРАВЛЕНИЕ И ИССЛЕДОВАНИЕ БОЛЬШИХ ОБЪЕМОВ ДАННЫХ ОТ ДАТЧИКОВ

Зондирование экологических данных в высоком разрешении ставит перед уче-ными серьезные задачи по управлению данными. Сюда относится надежное архивирование больших объемов (несколько терабайт) данных, обмен такими данными с другими пользователями в пределах политики контроля доступа, а также сохранение достаточного контекста и источников данных датчиков с ис-пользованием подходящих метаданных [4].

Ученые-экологи могут использовать коммерческие инструменты работы с базами данных для решения множества задач управления и изучения данных, связанных с этим массивным потоком данных. Например, проект Microsoft SenseWeb [5] предоставляет инфраструктуру, которая включает основную базу данных Microsoft SQL Server, для архивирования большого количества данных от датчиков, которые могут сжиматься и распределяться по множеству компью-теров. SenseWeb также поддерживает подходящие индексы данных и позволяет эффективно обрабатывать запросы, чтобы пользователи могли быстро иссле-довать наборы данных в целях обнаружения функций для детального анали-за [5-7]. Но даже с этими возможностями SenseWeb касается только верхушки айсберга сложных задач по управлению данными, которые стоят перед учены-ми-экологами. Для эффективной интеграции данных от датчиков с подходящим контекстом и сохранения информации об источниках данных требуются допол-нительные инструменты. Одной из задач остается запрос таких данных в унифи-цированной системе. Также требуются дополнительные исследования для рабо-ты с неточными данными, поступающими от датчиков с помехами, а также для обработки постоянного потока данных из распределенных местоположений.

Для лучшего понимания феноменов окружающей среды ученым нужно вы-водить и применять различные модели для преобразования данных от датчиков в научные и прочие практические результаты. Технология баз данных может помочь ученым легко интегрировать данные наблюдений от различных источ-ников, возможно, распределенных в Интернете, с оценками моделей и прогноза-ми — такую процедуру называют ассимиляцией данных. Расширенные техники сбора данных могут позволить ученым легко исследовать пространственно-вре-менные шаблоны данных (как интерактивно, так и в группах архивных данных). Техники моделирования могут предоставить своевременные и точные прогнозы таких феноменов, как наводнения, оползни или циклы лавин, которые могут быть очень полезны для планирования действий и профилактики ущерба, даже

если подобные прогнозы становятся доступными всего за несколько часов до события. В метеороло-гии такие кратковремен-ные прогнозы называют прогнозами на период до двух часов.

Ученые из проекта «Швейцарский экспери-мент»13 заметно продви-нулись в ассимиляции полезных данных и крат-ковременных прогнозах. В одном из направлений этого проекта к прогно-зированию природных опасностей в Альпах применяются расширенные датчики и модели [8]. Уточненный кратковремен-ный прогноз полагается на рабочие прогнозы погоды для определения целевых зон потенциальных бурь, которые могут затронуть небольшие районы (в не-сколько квадратных километров) в горах.

Рабочий прогноз погоды должен давать достаточно времени для установки локальных мобильных станций (типа станций SensorScope14) и дистанционных датчиков в целевом районе для составления моделей опасности в высоком раз-решении. В долговременной перспективе будут разработаны специализирован-ные модели прогноза погоды для возможности проведения более точных про-цессов локального моделирования.

Для повышения осведомленности общества об окружающей среде и в целях поддержки разработчиков политик и решений полезные находки научных экс-периментов должны быть представлены и распространены в практичной фор-ме. Например, SenseWeb предоставляет онлайн-интерфейс пользователя под названием SensorMap15, представляющий экологические факторы в реальном времени и истории в простой для понимания визуальной форме. Он накладыва-ет пространственные образы (например, значки текущего загрязнения воздуха в различных местах или изображения распространения снегопадов) на географи-ческую карту с возможностью просмотра различных участков, визуализирует выбранные наборы экологических данных в форме видеозаписи поверх геогра-фической карты и показывает важные тенденции исторических экологических

РИСУНОК 3.

SensorMap показывает распределение температуры, нало-женное на трехмерную карту горной поверхности.

13 www.swiss-experiment.ch14 www.swiss-experiment.ch/index.php/SensorScope:Home15 www.sensormap.org

http://www.swiss-experiment.ch/

http://www.swiss-experiment.ch/index.php/SensorScope%3AHome

http://www.sensormap.org/


данных, а также сводку таких данных в реальном времени (см. рисунок 3). В настоящее время такие платформы поддерживают только ограниченный набор способов визуализации, и для поддержки более сложной визуализации, необхо-димой для различных аудиторий пользователей, требуется решение по-прежне-му большого количества задач.

ВСЕМИРНЫЙ МОНИТОРИНГ ОКРУЖАЮЩЕЙ СРЕДЫ

Мы описали систему экологического мониторинга следующего поколения в изо-лированном виде — сфокусированной на отдельный регион, например, горный район, ледовое поле или лес. Таким образом, экологические системы только на-чинают внедряться. Однако мы предвидим появление намного более широких систем мониторинга, которые позволят ученым обмениваться данными друг с другом, объединять и коррелировать данные, получаемые от миллионов датчи-ков со всего мира и получать еще более качественное понимание мировых эко-логических шаблонов.

Такое внедрение датчиков в мировом масштабе создаст как уникальные выгоды, так и новые проблемы. Традиционные техники управления данными (например, загрузка данных в базу данных SQL и последующие запросы) с уве-личением объема наборов данных датчиков становятся неадекватными. Для исключения перемещения массивных объемов данных вычисления должны быть распределены и производиться как можно ближе к источникам данных [7]. Для сокращения использования хранилищ и каналов связи наборы данных должны максимально сжиматься без потери достоверности. Для поддержки анализа данных с допустимой задержкой вычисления лучше выполнять над сжатыми данными [9]. Для научного анализа также, скорее всего, понадобят-ся дополнительные метаданные, такие как спецификации датчиков, параметры экспериментов, источники данных и другая информация о контексте. Данные из различных источников должны будут интегрироваться в унифицированной системе управления и исследования данных [10].

Очевидно, что инструменты компьютерной науки смогут поддерживать та-кую экологию следующего поколения только в том случае, если они будут при-меняться учеными этой предметной области на практике. Такие инструменты должны быть интуитивно понятными, простыми в использовании и надежны-ми, чтобы ускорить их использование учеными. Кроме того, они не могут быть универсальным решением для всех отраслей науки — наоборот, это должны быть специальные для конкретной отрасли инструменты — или, как минимум, пользовательские варианты инструментов общего назначения. Для разработки таких инструментов требуется определить важные проблемы, на которые ищут ответы ученые этой предметной области, проанализировать компромиссы их структуры и сфокусироваться на важных функциях. Хотя такие методы проек-тирования приложений являются стандартными для ненаучного применения, пока они не являются основными в приложениях для науки. Это должно изме-ниться.

ВЫВОД

Тесное взаимодействие между экологией и компьютерной наукой дает новые и более качественные методы проведения научных исследований при помощи сбора данных с высокими разрешением и точностью, упрощенного управле-ния данными большого масштаба, мощного моделирования и поиска данных, а также эффективного обмена данными и визуализации. В этом документе мы выделили несколько задач, чтобы наметить возможности развития экологии следующего поколения. В этом контексте уже наблюдается заметный прогресс — например, «Швейцарский эксперимент» и SenseWeb, где расширенная и инте-грированная инфраструктура экологических данных используется в различных крупных проектах экологических исследований, экологического образования и отдельными учеными. Кроме того, большой прогресс идет и во вспомогатель-ных областях, таких как базовая технология датчиков. Мы ожидаем, что все эти шаги в оснащении Земли приборами помогут нам реализовать мечты науки об окружающей среде следующего поколения, и позволят ученым, правительствам и обществу лучше понимать окружающую среду и более безопасно жить в ней.

ССЫЛКИ

[1] M. Bavay, M. Lehning, T. Jonas, and H. Löwe, «Simulations of future snow cover and discharge in Alpine headwater catchments», Hydrol. Processes, vol. 22, pp. 95—108, 2009, doi: 10.1002/ hyp.7195.

[2] M. Lehning, H. Löwe, M. Ryser, and N. Raderschall, «Inhomogeneous precipitation distribution and snow transport in steep terrain», Water Resour. Res., vol. 44, 2008, doi: 10.1029/2007WR006545.

[3] N. Raderschall, M. Lehning, and C. Schär, «Fine scale modelling of the boundary layer wind field over steep topography», Water Resour. Res., vol. 44, 2008, doi: 10.1029/2007WR006544.

[4] N. Dawes, A. K. Kumar, S. Michel, K. Aberer, and M. Lehning, «Sensor Metadata Management and Its Application in Collaborative Environmental Research», presented at the 4th IEEE Int. Conf. e-Science, 2008.

[5] A. Kansal, S. Nath, J. Liu, and F. Zhao, «SenseWeb: An Infrastructure for Shared Sensing», IEEE MultiMedia, vol. 14, no. 4, pp. 8—13, Oct. 2007, doi: 10.1109/MMUL.2007.82.

[6] Y. Ahmad and S. Nath, «COLR-Tree: Communication Efficient Spatio-Temporal Index for a Sen- sor Data Web Portal», presented at the Int. Conf. Data Engineering, 2008, doi: 10.1.1.65.6941.

[7] A. Deshpande, S. Nath, P. B. Gibbons, and S. Seshan, «Cache-and-Query for Wide Area Sensor Databases», Proc. 22nd ACM SIGMOD Int. Conf. Management of Data Principles of Database Systems, 2003, doi: 10.1145/872757.872818.

[8] M. Lehning and C. Wilhelm, «Integral Risk Management and Physical Modelling for Mountainous Natural Hazards», in Extreme Events in Nature and Society, S. Albeverio, V. Jentsch, and H. Kantz, Eds. Springer, 2005.

ЗЕМЛЯ И ОКРУЖАЮЩАЯ СРЕДА52

[9] G. Reeves, J. Liu, S. Nath, and F. Zhao, «Managing Massive Time Series Streams with MultiScale Compressed Trickles», Proc. 35th Int. Conf. Very Large Data Bases, 2009.

[10] S. Nath, J. Liu, and F. Zhao, «Challenges in Building a Portal for Sensors World-Wide», presented at the First Workshop on World-Sensor-Web, 2006, doi: 10.1109/MPRV.2007.27.

ЗЕМЛЯ И ОКРУЖАЮЩАЯ СРЕДАdownload.microsoft.com/documents/rus/devcenter/Part...

Documents

Transcript of ЗЕМЛЯ И ОКРУЖАЮЩАЯ СРЕДАdownload.microsoft.com/documents/rus/devcenter/Part...