Self organization - ekaterinburg

В.Городецкий (СПИИРАН). Самоорганизация и многоагентные системы Екатеринбург, 25 ноября 2011 г.

Городецкий В.И.Санкт-Петербургский институт информатики

и автоматизации РАНЛаборатория интеллектуальных систем

Самоорганизация и многоагентные системы


Приложения, определяющие направления развитияинформационных технологий

– Предсказание аварийных и чрезвычайных ситуаций, мониторинг и снижениевредных последствий

– Мобильные телекоммуникационные системы– Управление ресурсами ГРИД– Задачи логистики глобального масштаба (на транспорте и др.)– Управление крупными производствами– Сенсорные сети и интеллектуальные

встроенные системы– Безопасность, анти - терроризм,

защита компьютерных сетей– Машинный интеллект для управления

автономными объектами и операциями– и многие другие


В чем сходны современные критическиеприложения?

― Автономность и крупномасштабность: Системы состоят изогромного числа автономные сущностей, каждая из которых имеетсобственные цели, возможно, отличные от целей системы в целом;

― Открытость: автономные сущности образуют сетевую структуру имогут в любой момент уходить из системы и присоединяться к ней;

― Распределенное взаимодействие в сети с динамическойтопологией (из-за открытости систем и возможной мобильностиузлов);

― Динамичность внешней среды и наличие неопределенности в ней;― Ограниченность знаний каждой автономной сущности о внешней

среде (только локальная информация) и также о других автономныхсущностях;Традиционные архитектуры и методы управления не годятся врассматриваемом классе приложений. Для эффективного управление такими системами необходимопривлечение новых идей, принципов и архитектур управления.

Efficient and effective management and control of such systems is achallenging task. New ideas, management and control principles, and

architectures are needed to cope with the associated problems


Самоорганизующиеся многоагентные системы –современный путь решения проблемы

В настоящее время в качестве единственногофизически реализуемого решения, которое можетпозволить преодолеть указанные трудностирассматривается делегирование управление самойсистеме на основе принципов самоорганизации сиспользованием архитектуры многоагентных систем.


СодержаниеСодержание

1. Введение: Самоорганизация, эмерджентность имногоагентные системы

2. Классификация механизмов самоорганизации

3. Биологические прототипы механизмов самоорганизации ипримеры их использования

4. Другие примеры приложений

5. Самоорганизация при управлении процессами вкомпьютерных сетях

6. Заключение

7. Избранные публикации лаборатории ИС СПИИРАН в 2008–2009, связанные с тематикой самоорганизации в МАС


1. Введение: Самоорганизация, эмерджентность имногоагентные системы


Что такое самоорганизация?

Самоорганизация есть явление, понятие, свойство или процесс, который изучается и исследуется не только в кибернетике, но такжеи в физике, химии, биологии, экономике, искусственных системах идр. областях.

Далее обсуждается только одно «измерение» явлениясамоорганизации: самоорганизация как метод и средствоуправления в распределенных сложных системах и ееиспользование для построения многоагентных программныхсистем.


Что такое самоорганизация?

Термин “само” означает, что некоторые «внутренние» процессы системы являются движущимисилами управления и адаптации системы. В частности, в самоорганизующихся МАС такимидвижущими силами являются локальные взаимодействия распределенных автономныхсущностей (агентов) системы.

Термин “организация” понимается как (1) множество сущностей, составляющих систему и (2) структура, заданная на этом множестве, а также (3) взаимодействия между ними.“Самоорганизация” есть динамический адаптивный процесс, в котором структурасистемы и взаимодействия компонент возникают и поддерживаются без всякоговнешнего вмешательства

R. Descartes был первым, кто ввел этот термин. В кибернетике этот термин был введен R.Ashby (1947), который определил

самоорганизующуюся систему как систему, которая способна изменять свою организациюбез внешнего вмешательства.

P.P.Grassé (1959), используя аналогию с биологическими системами, ввел понятиесамоорганизации в терминах “стигмерджи” (“stigmergy”) как явление, которое возникаетблагодаря косвенному взаимодействию автономных сущностей, когда они воспринимаютвнешний мир и изменения в нем, обусловленные воздействием на него других автономныхсущностей (биологическая аналогия: массовые взаимодействия насекомых, в которых средавыступает в качестве посредника).

И.Пригожин (1976) дал иную интерпретацию самоорганизации, рассматривая ее в терминахтермодинамики : открытая система уменьшает свою энтропию, когда в нее извне поступаетэнергия, увеличивая «порядок» в системе (когда возникает порядок из хаоса).


Как развивалась и развивается сейчас теория ипрактика самоорганизующихся МАС ?

Конец 1990-х – возрастание практического интереса ксамоорганизующимся МАС.

2000–2005 – Европейские проекты программ FP3-5 “AgentLink”: Вычисления на основе агентов, в рамках которых была созданарабочая группа “Самоорганизующиеся МАС”, которая дала мощныйимпульс исследованиям и разработкам в этой области. В процессеисследований по проектам и после их завершения по настоящеевремя проведено много специализированных международныхсеминаров, целиком посвященных проблемам и решениям в областисамоорганизующихся МАС. В издательстве Springer опубликованонесколько специальных выпусков на эту тему, например, LNAI 2977 (2004), LNAI 3910 (2006), LNAI 5918 (2009).

В настоящее время данная область исследований являетсяобластью повышенного интереса в многоагентных системах


Свойства самоорганизации

“Самоорганизация есть динамический адаптивный процесс, приводящий в возникновению и поддержке структурысистемы и взаимодействий без внешнего вмешательства”Еще одно более длинное, но, по сути, такое же определениедано в работе [Camazine et al., 2001 ]

“Самоорганизация есть процесс, котором на глобальномуровне системы появляются паттерны, причем онипоявляются только вследствие большого числавзаимодействий между низкоуровневыми компонентамисистемы. Более того, правила, описывающиевзаимодействия между компонентами системы используюттолько локальную информацию без ссылок на глобальныепаттерны”.


Основные свойства самоорганизующихсяпроцессов [Di Marzo Serugendo et al., 2005]

1. Автономность – взаимодействие с внешним миром допустимо, но управление извне недопустимо.

2. Глобальный порядок – он возникает в системе только благодарялокальным взаимодействиям ее компонент.

3. Наличие эмерджентных свойств, которые не могут бытьвыведены из наблюдения индивидуального поведенияавтономных сущностей; они видимы только на мета – уровне.

4. Нелинейная динамика, неустойчивость и чувствительность квариациям начального состояния и малым вариациямпараметров системы; это свойство не может быть выведено изсвойств отдельных компонент и их локальных взаимодействий;

5. Множественность устойчивых состояний системы(аттракторов)


Основные свойства самоорганизующихсяпроцессов [Di Marzo Serugendo et al., 2005](прод.)

6. Избыточность – это обеспечивает нечувствительность к отказамили разрушениям отдельных элементов

7. Адаптивность –это способность самоорганизующейся системыизменять свое поведение и переходить в новое устойчивоесостояние со сменой организационной структуры

8. Сложность – она вызывается тем, что такая система, как правило, состоит из огромного числа взаимодействующих компонент

9. Простота правил, которые используются компонентами системы впроцессах взаимодействия; в итоге это ведет к сложномуповедению системы в целом

10. Иерархическая структура – самоорганизующаяся системаописывается, по крайней мере, на двух уровнях, а именно, науровне локальных компонент системы и на мета – уровне, гдепроявляются эмерджентные свойства системы


ЭмерджентностьЭмерджентность

Что такое эмерджентность?Говорят, что система проявляет эмерджентность, если, на макро – уровнединамически появляются новые свойства, паттерны, процессы илиструктуры и эти свойства появляются в результате локальныхвзаимодействий компонент системы. Как уже отмечалось, эти свойства, процессы, паттерны или структуры не могут быть выражены в терминахсвойств микро – уровня.

Каковы необходимые условия возникновения эмерджентности?–Система должна быть, по крайней мере, двухуровневой структуры,

состоящей из множества локально взаимодействующих компонент микро -уровня и макро уровня, на котором проявляется эмерджентность

– Нелинейность – на микро уровне компоненты взаимодействуют внелинейной манере

– Обратная связь – локальные взаимодействия должны содержатьположительную обратную связь

– Динамическая устойчивость – эмерджентные свойства возникают ипроявляются только в динамике. Эмерджентность не может существоватьбез динамики

– “Остенсивность” – эмерджентность демонстрирует себя явно


““ОстенсивностьОстенсивность”” эмерджентностиэмерджентности

A.Omicini & L.Gardelli. Self-Organisation & MAS An Introduction. http://unibo.lgardelli.com/teaching/2007-selforg-mas.pdf

Мгновенный снимок химической реакцииБелоусова - Жаботинского

Косяк рыб


ЕщеЕще одинодин примерпример остенсивностиостенсивности


Термитник (Южная Африка)


СходствоСходство ии различиеразличие понятийпонятий эмерджентностиэмерджентности иисамоорганизациисамоорганизации

Сходство понятий эмерджентности и самоорганизациидинамические процессы,

характеризуются возрастанием порядка, обусловлены локальными взаимодействиями на микроуровне, а проявляются на макроуровне. Различие этих понятий состоит в том, что эмерджентность робастна по отношению к множеству

компонент, чьи взаимодействия вызывают это явление(отдельные компоненты могут возникать и исчезать, нопаттерн эмерджентности сохраняется), а

самоорганизация, в отличие от этого, – адаптивный процесс. Заметим, что адаптивность выражается в том, что система

переходит в новое устойчивое состояние, изменяя своеповедение и организацию при изменениях в системе и/или вовнешнем мире.


Почему МАС - технология является удобной дляпрограммной реализации самоорганизующихся систем?

Базовые требования самоорганизующихся систем к ИТ:–автономность - способность управлять своим целенаправленнымповедением без внешнего вмешательства

–способность воспринимать внешнюю среду и воздействовать не нее–наличие инфраструктуры, поддерживающей распределенноевзаимодействие автономных сущностей (агентов) или физически (черезкоммуникации), или виртуально, т.е. путем обмена сообщениями

–способность поддерживать различные отношения междураспределенными автономными сущностями, т.е. поддерживатьструктуру (организацию) системы с помощью локальныхвзаимодействий

В настоящее время МАС является единственной ИТ, которая имеет всесредства для программной реализации самоорганизующихся систем. . По этой причине теория и практика самоорганизации сейчас являетсяобластью исследований и разработок, главным образом, в области МАС.


2. Классификация механизмов самоорганизации


Классификация механизмов самоорганизации

1. Механизмы, основанные на прямых взаимодействияхагентов. В этих механизмах локальные взаимодействияосуществляются непосредственно между агентами

2. Механизмы, основанные на косвенных взаимодействияхагентов организации, когда каждый агент воздействует навнешнюю среду, изменяя ее, а другие агенты воспринимаютэти изменения и на этой основе модифицируют своеповедение в соответствии с некоторыми правилами.Пример такого механизма – самоорганизации в колониимуравьев при поиске пищи, которая является одним ихбиологических прототипов для широкого класса механизмовсамоорганизации типа стигмержи, который уже ранееупоминался и известен под названием.


1. МеханизмыМеханизмы, , основанныеоснованные нана обученииобучении ссподкреплениемподкреплением

Движущей силой процесса самоорганизации является функцияполезности, или функция поощрения (reward function), а агентыстремятся изменить свое поведение так, чтобы величинаполучаемого поощрения была бы как можно больше.

Обычно локальной функцией полезности является некотораявиртуальная плата, величина которой зависит от поведения агента, и он стремится ее максимизировать.

Если система работает в динамической внешней среде, то поведениеагентов со временем меняется, поэтому процесс самоорганизации –непрерывный процесс изменения организации системы.

Примером является система P2P обучения далее).Обучение с подкреплением (reinforcement learning) является

также самостоятельной областью исследования в теориимашинного обучения.


2. 2. МеханизмыМеханизмы, , основанныеоснованные нана кооперациикооперации

Самоорганизация достигается посредством локальных актоввзаимодействия агентов с целью кооперации

Adaptive Multi-agent system (AMAS-теория)Предполагается, что агенты обладают умениями, способностью ккоммуникациям, знаниями о некоторых других агентах (соседях) иимеют критерии для обнаружения ситуаций, в которых возникаютконфликты, разрешение которых требует специальных механизмовкооперации агентов (Non Cooperative Situation – NCS).

Эти ситуации делятся на три группы: 1) от внешней среды получена непонятная информация; 2) полученная информация не стимулирует агента на действия; 3) действие агента бесполезно для других агентов.

Все NCS должны быть определены заранее, а отвечающие имдействия должны быть предусмотрены на стадии проектированиясистемы.

(пример –система предсказания наводнений STAFF)


3. 3. МеханизмыМеханизмы, , основанныеоснованные нана использованиииспользованииградиентныхградиентных полейполей (1)(1)

Примеры градиентных полей в физике: гравитационные, электрические и др. В биологии прототипом является морфогенез, когда поведение организма, основанное на локальных взаимодействиях большого числа идентичнозапрограммированных клеток управляется химической субстанцией, характеристики которой зависят, например, от расстояния до источника, генерирующего ее, или градиента концентрации субстанции.В агентских системах, использующих этот механизм самоорганизации, аналогом поля и его градиента является некоторая структура данных, представляющая вычислительное (цифровое) поле градиента.

Градиентное поле характеризуется именем, необходимой контекстуальнойинформацией (например, местом нахождения в пространстве и числовымзначением силы поля в соответствующем месте), а также правиломраспространения поля, которое задает изменение силы поля в этомпространстве.



Поле инициируется некоторым источником, которым является либоместо в среде, где находятся агенты, либо иные сущности системы.

Ответственность за распространение поля может быть такжевозложена на агентов. В этом случае агенты обеспечиваютретрансляцию поля соседям, модифицируя его силу. Этот процессретрансляции поля повторяется до тех пор, пока сила поля не станетменьше некоторого порога, когда она полагается равной нулю.

. Таким способом в пространстве формируется некоторая форма поля, которая несет контекстную информацию, необходимую длякоординации.



В общем случае ключевыми понятиями этой модели являются [27]:1) вычислительное поле, представляющее контекст; оно

распространяется агентами или инфраструктурой, а агенты должныбыть в состоянии воспринимать это поле; Оно представляетсяраспределенной структурой данных с уникальнымидентификатором и числовым значением, зависящим от позиции, иправилом распространения по сети, определяющим, каким образомчисленное значение поля изменяется от узла к узлу

2) политика координации, которая позволяет агентам использоватьформу поля для координации своего движения (в общем случае, длякоординации своего поведения); Координация движения (динамикисистемы, в общем случае) выполняется формой поля и ееизменением.

3) координация, обусловленная спецификой приложения, котораяреализуется агентами в глобальном контексте. Для учетаспецифического контекста приложения используются специальныеполя, значения которых воспринимаются агентами.


4. 4. РыночныеРыночные механизмымеханизмы самоорганизациисамоорганизации (1)(1)

Рыночная модель механизма самоорганизации рассматриваетраспределение ограниченных ресурсов как способ самоорганизации вусловиях высокой динамики, когда агенту доступна лишь локальнаяинформация, а потому единственно возможным вариантом решенияглобальной задачи распределения ресурсов являетсядецентрализованная координация.Первой ключевой задачей в построении многоагентной моделиприложения в терминах самоорганизующегося рынка является выборпонятий покупателя и продавца (производителя), а разного родапредпочтения агентов и ограничения реальной задачи могут бытьвведены в модель алгоритмически путем выбора стратегии поведенияагентов в процессе торговли.

Второй ключевой задачей построения модели – сопоставление(мэтчинг) продавцов и покупателей, представляющих интерес другдля друга с точки зрения возможной сделки. Этот механизм долженбыть явно описан.


4. 4. РыночныеРыночные механизмымеханизмы самоорганизациисамоорганизации (2)(2)

Содержательно рыночная модель самоорганизации можетописываться как аукцион, в котором группы агентов ведутпереговоры с целью продажи/покупки дефицитных ресурсов.

Агенты взаимодействуют локально с помощью обмена сообщениями, которые содержат предложения, сделки, обязательства и платежи заресурсы. В модели предполагается, что в начальном состоянииагенты обладают определенной суммой денег, а каждый ресурс влюбой момент является предметом либо владения, либоиспользования некоторого агента (бесхозных ресурсов нет).

Некоторые агенты имеют потребность в каком-то количествеопределенных ресурсов (выступают в роли их потребителей илипокупателей) и готовы заплатить за них определенную цену впределах своего бюджета. Их цель – заплатить как можно меньше.

Другие агенты действуют как производители или поставщики, располагают определенными количествами некоторых ресурсов ихотят продать их за определенную цену. Их цель состоит в том, чтобы максимизировать свой доход.

ПВ-сети – тому один из примеров.


3. Биологические прототипы механизмов самоорганизациии примеры их использования

3. Биологические прототипы механизмов самоорганизациии примеры их использования


ИнтеллектИнтеллект колонииколонии муравьевмуравьев ((swarm Intelligenceswarm Intelligence--11))


Эта модель самоорганизации имеет 4 стадии развития:1. В начальный момент муравьи блуждают случайно в

окрестности муравейника в поисках пищи. 2. Если муравей находит источник пищи, то он маркирует

это место и обратный путь к муравейнику с помощьюхимической субстанции, называемой феромоном.

3. Другие муравьи привлекаются запахом феромона ивыбирают путь, помеченный им, с вероятностью,пропорциональной интенсивности запаха феромона нанем. Достигнув источника пищи, они оставляют в этомместе и на обратном пути к муравейнику дополнительнуюпорцию феромона, увеличивая таким способомвероятность выбора этого пути другими муравьями. Современем феромон испаряется.

4. Если источник пищи истощается, то муравьи, достигшиеего, уже не оставляют феромон в этом месте и наобратном пути к муравейнику. Через некоторое времяферомон, ассоциированный с данным источником пищи, испаряется, и путь к нему исчезает.


ИнтеллектИнтеллект колонииколонии муравьевмуравьев ((swarm Intelligenceswarm Intelligence--22))

Принципы “интеллекта роя” (swarm Intelligence) [Bonabeau,1999]

1. Множественность косвенных взаимодействий (через среду) индивидуумов

2. Положительная обратная связь (e.g., увеличение количества феромона, оставляемого насекомыми, в месте источника пищи и на обратном пути кмуравейнику)

3. Отрицательная обратная связь (обеспечивается испарением феромона)

4. Увеличение модификации поведения насекомых, пропорциональноеувеличению количества феромона в источнике пищи и на обратном пути кмуравейнику)

5. Отсутствие прямых коммуникаций между автономными сущностями, которые взаимодействую через изменения, которые они оставляют в среде.

Интеллект роя (swarm intelligence), хотя он очень прост, порождает большоеколичество конкретных механизмов самоорганизации, которые широкоиспользуются в многоагентных системах (например, в задачах маршрутизациив P2P и ad-hoc сетях и мн. других)


СамоорганизующаясяСамоорганизующаяся модельмодель планированияпланирования ввпроизводственныхпроизводственных ((ПППП) ) системахсистемах

В качестве механизма самоорганизации используется модель интеллекта роя.Основная идея управления ПП состоит в прогнозировании загрузки ресурсов накороткий период, и в оценке состояния исполнения заказов с поиском для нихлучшего продолжения на основании периодического обновления информации одоступных ресурсах в режиме реального времени.

Компоненты системыагент продукта –обладает знаниями о том, как продукт должен производиться и как

должно обеспечиваться качество его производства.агент заказа – он управляет физическим процессом производства продукта,

отслеживает состояние исполнения этого процесса и ответственен за логистикуобработки информации, связанной с производством продукта.

агент ресурса – он ставится в соответствие конкретному физическому ресурсу впроизводственной системе. Он содержит информацию о доступности ресурса и офункциях его использования и эту информацию он делает доступной для всехагентов окружения. Знания этого агента ограничены мониторингом собственногоресурса и управления им. С агентом связаны конкретные типы и экземплярыресурса и агент знает о них. Он обладает общедоступной памятью (доскойобъявлений), к которой могут иметь свободный доступ другие агенты, которыемогут помещать информацию на доску объявлений, читать ее и модифицировать


СамоорганизующаясяСамоорганизующаяся модельмодель планированияпланирования ввпроизводственныхпроизводственных ((ПППП) ) системахсистемах (2)(2)

Фаза изучения

Фаза распространения намеренияМеханизм улучшения решения: Цикл

взаимодействия агента заказа и агента ресурса

Для координации агенты используют модель косвенного взаимодействия. На доскахобъявлений агентов ресурсов они оставляют информацию, помеченную цифровымферомоном, и эта информация доступна другим агентам для чтения и модификации.При формирования своих решений о последовательности операций, связанных свыполнением заказа, агенты заказа используют механизмы координации двух типов: исследование состояния ресурсов и распространение намерений.



Механизм исследования ресурсов имеет целью поиск вариантов исполнениязаказа с привлечением конкретных ресурсов.

Агент заказа генерирует мобильного агента муравей – исследователь ипосылает его анализировать состояния ресурсов. Мобильный агент-исследователь определяет возможности исполнения заказа путем изученияего текущего состояния исполнения и посещения досок объявлений всехагентов ресурсов для сбора и обработки них информации. Все данные онзаписывает в свою память (e.g., имена ресурсов, периоды доступности, стоимость ресурса и др.), формирует решение той задачи, для которой онбыл создан, и возвращается к агенту заказа. Информация доставляетсяагенту заказа, после чего агент муравей–исследователь уничтожается.

Агент заказа выбирает наилучший варианта изготовления продукта, в которомуказывается последовательность шагов производства, привязка их ковремени и потребности в ресурсах с указанием количества и/или периодоввремени их использования и т.д.. Это решение называется намерениемагента заказа. После этого он доводит намерение до системы в целом спомощью механизма распространения намерений, выполняярезервирование нужных ресурсов в нужном количестве и в нужное время.



Для решения этой задачи агент заказа генерирует мобильного агента намеренийи поручает ему задачу резервирования ресурсов.

Агент намерений запрашивает и резервирует у агентов ресурсов выбранныересурсы в необходимые агенту заказа слоты времени.

Агент ресурса проверяет свой график использования ресурсов и фиксирует этуинформацию на своей доске объявлений. Но к этому моменту временисостояние ресурсов могло уже измениться, например, некоторые ресурсы могутоказаться занятыми, но могут появиться и новые ресурсы. Поэтому агентресурса обеспечивает агента намерений наиболее свежей информацией осостоянии ресурсов, о времени возможного начала их использования, времениожидания ресурсов и продолжительности исполнении операций.

Резервированные слоты использования ресурса снабжаются цифровымферомоном, который испаряется со временем, так что зарезервированныеранее ресурсы через некоторое время становятся вновь доступными длядругих заказов. Поэтому агент заказа, который все же намерен получитьзарезервированный ресурс, должен повторять резервацию с какой-топериодичностью.

Агенты ничего не знают друг о друге и не обязаны взаимодействовать длякоординации использования ресурсов. В системе нет специальных средствсинхронизации процессов использования ресурсов, кроме феромона.


СтроительствоСтроительство гнездагнезда

Идея самоорганизации при коллективном строительстве гнезда (например, термитника) при отсутствии централизованного управления со стороны"мастера" реализуется с помощью очень простых правил локальныхвзаимодействий в соответствии со следующей схемой [17]: индивиды создают небольшие комочки ("кирпичики"), обычно из мусора наповерхности земли и метят их феромоном; с ними они бродят случайно, однако предпочитают двигаться к местам сбольшей концентрацией феромона; на каждом шаге индивиды решают с помощью случайного механизма оставить

"кирпичик" в текущем положении или продолжать движение с ним; вероятность того, что они решают положить "кирпичик" в текущей позиции, возрастает с ростом интенсивности феромона.

Сначала "кирпичики" случайным образом разбрасываются индивидами поповерхности земли. Они привлекают других индивидов и увеличиваютвероятность того, что они тоже положат свои "кирпичики" в этом месте. При этомкаждый индивид стремится положить свой кирпичик в центре образующейсякучи. В результате формируемая куча растет больше вертикально, чемгоризонтально, и постепенно приобретает форму колонны, (весом в 5-10 т).


Морфогенез

Относится к классу механизмов, использующих градиентное поле. Во всехвариантах его реализации представители биологического вида используютградиент, формируемый специальной субстанцией, называемой морфогеном, которая используется каждой клеткой для определения своей позицииотносительно источника морфогена и направления на него.

Механизм реализуется клетками в процессе самоорганизации для полученияпозиционной информации, а также информации о направлении при развитииэмбриона. На одном конце эмбриона клетки испускают морфоген, которыйраспространяется по длине эмбриона с постепенным уменьшениемконцентрации, а потому значение концентрации может использоваться какисточник информации о расстоянии клетки от начальной позиции эмбриона. Например, по этой информации клетки определяют, находятся ли они в районеголовы, грудной клетки или в районе брюшной области эмбриона.

Процесс развития эмбриона управляется несколькими разными морфогенами, которые несут информацию о расстояниях от различных позиций до текущейпозиции клетки, воспринимающей концентрации этих морфогенов.

Информация о направлении получается путем оценки изменения концентрацииморфогена по различным направлениям


УправлениеУправление дорожнымдорожным трафикомтрафиком вв мегополисемегополисе (1)(1)

Особенности моделиконкретные автомобили - представлены их посредниками – программными

агентами автомобилей (АА–агентами), средства управления – светофоры - представлены их посредниками –

программными агентами светофоров (АС–агентами). Цель – совместное управление индивидуальным автомобилем, направленное

на избегание пробок, и светофорами, направленное на минимизациюпробок.

Число агентов в такой системе может исчисляться сотнями тысяч и дажемиллионами. Например, число основных перекрестков в Варшаве более чем64000, а число одновременно присутствующих на дорожной сетиавтомобилей исчисляется сотнями тысяч.

Существующие аналогичные решения – это (1) многоагентное управлениясветофорами и (2) многоагентное управление автомобилями. .Далеерассматривается модель, в которой обе эти модели рассматриваютсясовместно на основе взаимодействия АА-агентов и АС-агентов сиспользованием модели самоорганизации, когда управление автомобилямии светофорами реализуется в конкретном текущем контексте, которыйзадается множеством градиентных полей.


УправлениеУправление дорожнымдорожным трафикомтрафиком вв мегополисемегополисе (2)(2)

В качестве механизма самоорганизации используется модель вычислительныхполей

Все поля генерируются сетью АС-агентов, которые поддерживают ихраспространение и обновление. Эти поля задают модель дорожной сети икратчайшие расстояния между перекрестками, а также текущее состояниелокального трафика. АС-агенты кооперируются на основе механизмасамоорганизации при выборе продолжительностей включения красного изеленого светов.

Предполагается, что каждый автомобиль имеет вычислительное устройство, которое способно связываться и взаимодействовать с компьютернойсетью АС–агентов, встроенной в городскую инфраструктуру улиц иперекрестков.

АА-агенты воспринимают некоторые поля, генерируемые сетью АС–агентов, иконкретный АА-агент автоматически выбирает маршрут движения всоответствии с принятой им стратегией. Благодаря восприятию цифровыхполей АА–агенты могут получать очень полезную информацию о пробкахи очередях на перекрестках и на ее основе предлагать водителямальтернативные варианты движения.


УправлениеУправление дорожнымдорожным трафикомтрафиком вв мегополисемегополисе (3): (3): МоделиМодели полейполей

Поле расстояний генерируется каждым АC–агентом, и оно не изменяется вовремени. В узле , в котором установлен агент , генерируемое имполе имеет значение нуль, а в любом другом узле оно равноминимальному расстоянию (вдоль дорожной сети) до узла –источника поля. АА–агент может воспринимать поле расстояний всехисточников.

Поле трафика представляет интенсивность трафика в заданной точке карты. При этом оно равно числу автомобилей на полосе движения передсветофором, деленному на длину полосы между перекрестками. Значениеэтого поля в каждом узле является переменным, что отражает динамикутрафика.

iH iАСjH

)( jHD


УправлениеУправление дорожнымдорожным трафикомтрафиком вв мегополисемегополисе (4):(4):УправлениеУправление автомобилямиавтомобилями

Если автомобиль находится в районе узла и имеет целью узел , то оноценивает комбинированное поле как линейную комбинацию значенияполя расстояний, генерируемого узлом , и значения воспринятого имполя трафика :

= - , где – функция интенсивности цифрового поля. Первое слагаемое этой

формулы в конечном узле имеет минимальное значение, равное нулю. Этимполем осуществляется управление движением автомобиля в желаемуюточку.

Второе слагаемое, отражающее интенсивность трафика, стремится отклонитьавтомобиль от тех участков, где эта интенсивность велика, так что весовойкоэффициент определяет стратегию автомобиля. Если он мал, тоавтомобиль движется ближе к кратчайшему пути, не обращая внимания напробки. Иначе он будет выбирать более длинный, но менее загруженныйпуть

iH jH)( jHD

TRFCF )( jHD TRF 0

CF


УправлениеУправление дорожнымдорожным трафикомтрафиком вв мегополисемегополисе (5):(5):УправлениеУправление светофорамисветофорами

Локальное поле GF (Green Field) светофора задается как сумма числаавтомобилей в его очереди и числа автомобилей, ожидающих в очередях усветофоров ,…, , ,которые могут инициировать движение понаправлению к нему. Пусть –длины очередей у светофоров стеми же индексами. Тогда поле светофора задается следующим образом:

где – длина участка, регулируемого светофором . Коэффициентзадает важность учета условий движения по направлениям от соседнихсветофоров, которые управляют движением к светофору (обычно этосветофоры, непосредственно предшествующие светофору ). Иначе, этот коэффициент задает степень координации работы светофора ссоседними светофорами. Очевидно, что при координации нет

. Интенсивность поля может служить мерой предпочтения установкисветофора в режим зеленого цвета. Поэтому на каждом перекресткезеленым будет свет в направлении с наибольшим значение интенсивностиполя , а другие будут переключены на красный свет.

0TL

1TL nTLknnn ,...,, 10

),...()(2

2

1

1

0

00

k

k

ln

ln

ln

lnnGF

il iTL

0TL0TL

0)( 0nGF


An Example: Motion Coordination Case StudyAn Example: Motion Coordination Case Study

Objective:Supporting tourists in planning their movements across a large and unfamiliar museumand in coordinating such movements with other, unknown tourists.

ApplicationsScheduling attendance, helping to avoid crowds, letting a group of tourists meet at a location, search for guide, and even helping tourists find emergency exits.

Assumptions► Each tourist has a software agent running on a wireless handheld device, such as

a cellular phone, suggesting the tourist where to move according to the goal► Museum has an adequate computer network and infrastructure to spread multiple

digital gradient fields. Each network node is capable of communicating with each other and with the mobile devices located in its proximity via short-range wireless link.

► Embedded network topology mimics the topology of the museum plan, and devices have a localization mechanism (e.g., GPS-based)

► An agent is capable to retrieve and communicate with some services providing the museum map, discover which other tourists are currently populating the museum,

► etc. M. Mamei, F. Zambonelli, and L. Leonardi. Co-fields: A physically inspired approach to motion coordination. IEEE Pervasive Computing, 3(2), 2004


Examples of Motion Coordination Case StudyExamples of Motion Coordination Case Study--11

in

iquideCFguidsCF )()(

1

1. Guide searchLet the guides stay as far as possible from each other and their CFs increase when the distance from the guide increase. Jointly they generate a guide presence CF

M. Mamei, F. Zambonelli, and L. Leonardi. Co-fields: A physically inspired approach to motion coordination. IEEE Pervasive Computing, 3(2), 2004



in

iquideCFguidsCF )()(

1

2. Meeting serviceObjective: To help a group of tourists or museum guides dynamically meet with each other (other scenario emergency evacuation situations).Solution: If each member i of the group generates a presence-I field, then each tourist can evaluate its coordination field by taking the maximum presence field of all the other tourists:

and then following such coordination fields downhill. All the CF are different and dynamically changed , but nevertheless, all group members gradually approach the same point.

Case study description and Simulation results are borrowed from M. Mamei, F. Zambonelli, and L. Leonardi. Co-fields: A physically inspired approach to motion coordination. IEEE Pervasive Computing, 3(2), 2004



3. Path selection and avoiding crowds (main ideas)a) Let’s assume that each room in a museum generates a room field whose

value increases with the hop-distance from the generating room. An agent following a room field downhill will inevitably reach the source room.

b) To visit a specific set of rooms in the most efficient way, it simply has to follow the minimum value of combined coordination field of all the room fields. If an agent follows the coordination field downhill, it enters the closest room of its visit schedule.

c) To take into account crowd conditions, the infrastructure nodes could locally generate a crowd value to measure the amount of crowding in the museum rooms: the total number of local presence fields with value 1, normalized to the room’s dimensions to better represent how much a particular room is crowded.

M. Mamei, F. Zambonelli, and L. Leonardi. Co-fields: A physically inspired approach to motion coordination. IEEE Pervasive Computing, 3(2), 2004


4. Другие примеры приложений


STAFFSTAFF:: СамоорганизующаясяСамоорганизующаяся системасистемапредсказанияпредсказания наводненийнаводнений

Среда: Бассейн реки Garonne (Франция). Содержит несколько станций, выполняющих мониторинг уровня реки и управление процессомпредсказания наводнений

Агенты нижнего уровня: Каждому физическому сенсору, измеряющемувариации уровня реки, ставится в соответствие агент нижнего уровня.

Агенты макро – уровня: Интегрируют измерения, поступающие от агентовнижнего уровня и реализуют предсказание наводнения на основе само –организации с дискретностью 1 час

Самоорганизующийся процесс: Кооперативное рекурсивное обновлениепрогноза с использованием обучения с подкреплением

Экспериментальные результаты: Разработанная модель самоорганизации иреализующая ее систем предсказания наводнений корректно отражаетпрогноз уровня реки даже в том случае, когда имеется минимальный объемданных обучения, если эти данные, при этом, содержат ошибки ипропущенные значения, когда более или менее адекватная гидрологическаямодель дает большие ошибки (оказалось достаточным использованиеданных одной недели для корректного прогноза). Систем эффективноработает уже около 10 лет.


STAFFSTAFF:: СамоорганизующаясяСамоорганизующаяся системасистемапредсказанияпредсказания наводненийнаводнений

Двухуровневая архитектура системы STAFF

G.- P.Gorge, B.Edmonds, P.Glize. Making Self-Organizing Multi-agent System Work: Towards the Engineering of Emergent Multi-agent Systems. ftp://ftp.irit.fr/pub/IRIT/SMAC/DOCUMENTS/ PUBLIS/MSEASBookChap16_George.pdf

МАС, установленнаяна станции

«Агентчаса»


STAFF:STAFF: АлгоритмАлгоритм работыработы системысистемы предсказанияпредсказаниянаводненийнаводнений

Цель системы Staff : Предсказание наводнения в любой части бассейна реки наоснове измерений изменений уровня реки в соответствующих местах (сдискретностью в 1 час)

Каждому сенсору (в целом их около тысячи в районе каждой станции) поставленв соответствие агент нижнего уровня, цель которого снять текущуюинформацию с сенсора в момент времени t и предсказать изменение уровняреки в будущем, например, в момент времени t+3.

Агент макро – уровня (“Агент часа” ) собирает предсказания “своих” агентов иобрабатывает и с целью уточненного предсказания изменения уровня реки вбудущем. На каждой станции имеется 4 таких агента.

Модель предсказания:Пусть Si есть измерение i-го сенсора, i –вес, с которым это измерение подается

на вход агента макро – уровня, Δ - модуль изменения веса, которое можетбыть сделано за одну итерацию

Тогда прогноз изменения уровня реки, вычисляется агентом макро – уровня потакой формуле:

)()()( 10: 1 ki ikikforecastj tSttF

i


STAFF:STAFF: СамоорганизацияСамоорганизация вв системесистеме предсказанияпредсказаниянаводненийнаводнений

Самоорганизация состоит в уточнении весов ωi , используя кооперациюагентов макро – уровня. Эти агенты используют кооперацию для того, чтобыопределить моменты времени, когда необходимо запустить алгоритмобновления весов ωi .Существо кооперации состоит в том, чтобы скомбинировать величины измененияуровня реки, которые рассчитаны всеми четырьмя агентами макро – уровня, принимая во внимание обратную связь по значению ошибки его предсказания втекущий момент времени, полученной ранее, и инициировать процессобновления значений весов измерений сенсоров:

weightsupdatethenFtFtFif jkrealjk

forecastj |)()(|

Обновление весов выполняется по следующим правилам:

iikrealjk

forecastj thensignssamehavetFandtFif :)()(.2

ii

krealjk

forecastji

then

signsdifferenthavetFandtFif

:

])()([&0.1

iijkikforecastj

krealjk

forecastj

thenFtStFand

signssamehavetFandtFif

:|()(|

)()(.3

)

0.4 otherwise

)]()([ kпредскjk

истjii tFtFsign


СамоорганизующаясяСамоорганизующаяся МАСМАС длядля оптимизацииоптимизацииземлепользованияземлепользования ((распределенияраспределения ресурсовресурсов))

Ресурс: множество сельскохозяйственных угодий (участков) с их характеристиками(площадь, тип почвы, расстояния до ближайших селений, характеристики транспортнойинфраструктуры и др.).

Каждому экземпляру сельскохозяйственного участка поставлен в соответствие агент, обладающий знаниями о нем.

Агенты объединены в группы: Агенты каждой группы заинтересованы в “захвате” участководного о того же назначения (для использования под одну и ту же культуру). Каждаягруппа агентов имеет целью получить в свое распоряжение сельскохозяйственныеугодья не менее, чем заданной общей площади (с заданными свойствами почвы, средним значением минимальных расстояний до определенных селений и др. ).

Модель поведения агента: Агент группы борется с агентами других групп за обладаниеучастком с заданными свойствами, и если агент “побеждает”, то он вносит свой вклад вфункцию полезности “своей” группы агентов. Каждый участок обладает какой-то“привлекательностью” для агента и он стремится “занять” наиболее привлекательный”для него участок. Когда агент находит такой участок, и он еще свободен, то он“захватывает” его. Если же он уже “захвачен” другим агентом, то агент пытаетсявытеснить агента другой группы. Это ему удается в том случае, если он “сильнее”агента, занявшего участок ранее, а его “сила” определяется по простому правилу: онсильнее, если сильнее его группа в целом. В свою очередь, сила группы больше, еслиона в целом имеет меньший процент удовлетворения своей потребности в общейплощади сельскохозяйственных угодий.

Этот механизм самоорганизации адаптивен и динамически устойчив : Если в процессеработы алгоритма состав доступных участков изменяется или изменяются потребностигруппы агентов, то такой механизм обеспечивает сходимость к суб – оптимальномурешению (показано, что находит то же самое решение, что и эвристический алгоритмоптимизации на основе симуляции отжига).

Этот механизм реализует алгоритм типа any time.


5. Самоорганизация при управлении процессами в компьютерныхсетях


TT--ManMan протоколпротокол длядля управленияуправления топологиейтопологиейоверлейнойоверлейной сетисети

Рассмотрим задачу оптимизации топологии ad –hoc сети, используя некоторуюранжирующую функцию, значение которой пропорционально величинекоммуникационной нагрузки на сеть. Пусть каждый узел сети имеет ограниченноечисло соседей, а ранжирующая функция выбрана соответствующим образом.Значение этой функции вычисляется локально каждым узлом по отношению к своимсоседям, которые ранжированы в убывающей манере. Механизм самоорганизации рекурсивен. На каждом шаге каждый узел, используяGossip – протокол, запрашивает у своих соседей атрибуты “их соседей” , которыепозволяют ему вычислить значение ранжирующей функции для них. Далее, используя полученные данные, обновляет свой список соседей, выбирая те, которым отвечает ее наименьшие значения. Алгоритм быстро сходится к “хорошей”топологии. Он обладает адаптивностью и эффективно работает в сетях большойразмерности. Рассчитан на оптимизацию топологии ГРИД систем.

M. Jelasity and O. Babaoglu. T-man: Gossip-based overlay topology management. In LNAI 3910, 2006, 1-15.


Самоорганизация в оверлейной сети прикладныхагентов

Ma1Ma2

Ma3 Ma2

C.Bernon, V.Chevrier, V.Hilaire, P.Marrow. Applications of Self-Organising Multi-Agent Systems: An Initial Framework for Comparison. Informatica 30 (2006) 73–82.



Пусть в узлах сети установлено множество прикладных агентов {Ai} сархитектурой, ориентированной на сервисы. Каждый агент обладает какими – тосервисами, которые могут быть предоставлены другим агентам по их запросам. Всети имеются также агенты {Mak}, которые являются посредниками междувладельцами сервисов и потребителями сервисов (прикладные агенты могутиграть обе роли сразу). Каждый агент множества {Ai} зарегистрирован на одномили нескольких агентах – посредниках множества {Mak } . Агент Ma имеет полную информацию о сервисах агентов, зарегистрированных нанем. Если агент Ai нуждается в некотором сервисе, он шлет запрос “своему”посреднику Ma, который пытается сначала найти этот сервис у “своих” агентов, иесли это не удается, то пересылает запрос другим посредникам множества {Mak}. Затем агент Ma запрашивает агента Ai о качестве сервиса, полученного от агентаAj . Если он адекватен запросу, то агент Ma добавляет паре агентов < Ai, Aj > положительную метку, иначе – отрицательную метку.Когда пара < Ai, Aj > таких агентов получит определенное количество “+” меток, посредник Ma просит владельца агента Aj зарегистрировать последнего у себя ипредлагает за это “компенсацию”. Но владелец агента Aj ведет учет таких жеметок для своих агентов и и потому может согласиться или нет. После определенного периода работы прикладные агенты {Ai} группируютсяновым способом, чем в начальный момент, и эта группировка такова, что онаснижает нагрузку на коммуникационную компоненту сети.



Такая модель самоорганизации хорошо работает даже в том случае, когда множество прикладных агентов сети или ее узлов динамическименяется за счет ухода агентов из сети и появления новых агентов, засчет выхода узлов сети из строя, причем эффективность работыобеспечивается даже в случае, когда размерность сети огромна.


СамоконфигурацияСамоконфигурация оверлейнойоверлейной P2P P2P сетисетиприкладныхприкладных агентовагентов

P2P AP-1

P2P AP-2

P2P AP-3

P2P AP-4

P2P провайдеркоммуникаций



P2P провайдер

коммуникаций

Белые и желтые страницы агентскойплатформы обновляются автоматически

Агенты могут присоединяться ксети или покидать ее

Оверлейная (виртуальная) сеть прикладных P2P агентов использует самоорганизациюдля того, чтобы уменьшить накладные расходы коммуникационной компоненты(инфраструктуры) на обмен сообщениями между агентами сети прикладных агентов)В.И. Городецкий, О.В. Карсаев, В.В. Самойлов, Серебряков, С.В. Инструментальные средства для открытыхсетей агентов. Известия РАН. "Теория и Системы Управления", Москва: Наука,2008. №. 3, 106-124


Постановка задачи управления нагрузкой накомпьютеры ГРИД на основе самоорганизации

3. Узлы ГРИД могут свободно покидать систему иприсоединяться к ней в любое время, либо узлы могут бытьмобильными

4. ГРИД имеет ad-hoc архитектуру, и каждый узел можетпересылать свои заявки для выполнения соседям длябалансировки загрузки

5. Цель управления – обеспечить качество сервиса (QoS) обработки заявок настолько, насколько возможно (QoSопределяется средним временем ожидания заявок в очередикаждого узла) и обеспечить равномерную нагрузку на

1. Заявки поступают на узлы (компьютеры) ГРИДслучайно и добавляются в очереди узлов

2. Задачи могут иметь различную трудоемкость, компьютеры – различную производительность(мощность). Рассматривается единственныйресурс ГРИД – вычислительный.


Архитектура самоорганизующейся P2P МАС


Модель СО МАС является сейчас единственной моделью, предлагающей эффективное решение при разработке приложений, состоящих из большого числа автономных, в частности, мобильныхсущностей, имеющих собственные цели, обладающихограниченными знаниями о других сущностях, структуре системы вцелом и внешней среде. Следует отметить, что в настоящее времяимеются сотни разработок СО МАС, эффективно решающих оченьсложные задачи Они показывают, что модель СО МАС являетсяперспективной моделью, которая уже сейчас предлагает весьмаэффективное направления развития информационных технологий, специально ориентированное на реализацию распределенныхинтеллектуальных систем.

6. Заключение


7. Избранные публикации лаборатории ИС СПИИРАН в2008–2009, связанные с тематикой самоорганизации в

МАС


Избранные публикации лаборатории ИС СПИИРАН в 2008–2011, связанные с тематикой самоорганизации в МАС

Городецкий В.И., Бухвалов О.Л. Управление нагрузкой грид на основемногоагентной самоорганизации. Ч.1. Мехатроника, Автоматизация, Управление. № 3, 2011, С. 40–46.

В.И.Городецкий, О.Л. Бухвалов Управление нагрузкой ГРИД на основемногоагентной самоорганизации. Ч.2. //Мехатроника, Автоматизация, Управление. № 7, 2011, С. 20–25.

В.И.Городецкий. Самоорганизация и многоагентные системы. Ч. I.//Принята кпубликации в журнале Известия РАН. Теория и системы управления, №1, 2012.

В.И.Городецкий. Самоорганизация и многоагентные системы. Ч. II. //Принята кпубликации в журнале Известия РАН. Теория и системы управления, №2, 2012

В.И. Городецкий, О.В. Карсаев, В.В. Самойлов, Серебряков, С.В. Инструментальные средства для открытых сетей агентов. Известия РАН. "Теория и Системы Управления", Москва: Наука, 2008, №. 3, 106-124.

В.И.Городецкий, О.В.Карсаев, В.В.Самойлов, С.В Серебряков. Программнаяинфраструктура для поддержки концепции повсеместных вычислений вмногагентных P2P системах. Журнал "Информационные технологии ивычислительные системы" № 4, 2008, 51-56.


В.И.Городецкий, О.В.Карсаев, В.Г.Конюший В.В.Купин, В.В.Самойлов. Моделирование процессов управления воздушным движением на основемногоагентных технологий. Научный вестник МГТУ ГА, серия Навигация иУВД, декабрь 2008.

В.Городецкий, О.Карсаев, В.Самойлов, С.Серебряков. Многоагентные системы игрупповое управление. В журнале "Искусственный интеллект и принятиерешений, № 2, 2009.

V.Gorodetsky, O.Karsaev, V.Samoylov, S.Serebryakov. P2P Agent Networks. Springer “Lecture Notes in Artificial Intelligence”, vol. 5319, pp. 41-54, 2009.

V.Gorodetsky, O.Karsaev, V.Samoylov, S.Serebryakov (SPIIRAS), S.Balandin, S.Leppanen, M.Turunen (NOKIA). Virtual P2P Environment for Testing and Evaluation of Mobile P2P Agents Networks. The Second International Conference on Mobile Ubiquitous Computing, Systems, Services and Technologies (UBICOMM 2008), Valencia, Spain, IEEE Computer Society 422-429.

V.Gorodetskiy, O. Karsaev, V. Samoilov, S.Serebryakov. Interaction of Agents and Data Mining in Ubiquitous Environment. International Workshop on Agents and Data Mining Interactions (ADMI-2008). Sydney, Australia, December 9-12, 2008


Избранные публикации лаборатории ИС СПИИРАН в 2008–2009, связанные с тематикой самоорганизации в МАС

V.Gorodetskiy, O.Karsaev, V. Samoilov, V.Skormin. Multi-Agent Technology for Air Traffic Control and Incident Management in Airport Airspace. Proceedings of the International Workshop "Agents in Traffic and Transportation", Estoril, Portugal, IEEE Computer Press, pp.119-125, 2008

V.Gorodetsky, O.Karsaev, V.Samoylov, S.Serebryakov. Agent-based Distributed Decision Making in Dynamic P2P Environment. Intelligent Decision Technologies (IDT): An International Journal Volume 3, Number 1, 2009.

V.Gorodetsky, L.Cao and P.Mitkas. Agent Mining: The Synergy of Agent and Data Mining. International Journal "IEEE Intelligent Systems", May/June 2009, 64–72.

Ch.Moemeng, V.Gorodetsky, L.Cao. Agent-Based Distributed Data Mining: a Survey.Chapter in book L.Cao (Ed.) Data Mining and Multi–agent Integration, Springer, 2009.

V.Gorodetsky, L.Cao, J.Liu, G.Weiss, Ph. Yu (Eds.). Agents and Data Mining Interaction. Lecture Notes in Artificial Intelligence, vol. 5680, 2009.


СпасибоСпасибо!!

Вопросы?

Контактные данные:Городецкий В.И.

[email protected]://space.iias.spb.su/ai/gorodetsky

Self organization - ekaterinburg

Documents

Transcript of Self organization - ekaterinburg