Школа-семинар "Современные проблемы нейроинформатики"
Нейроинформатика - 2017
Вторник, 3 октября 11:00 – 13:00
Алексеевский зал
Председатель: МАКАРЕНКО Николай Григорьевич, д.ф.-м.н.
Федеральный научный центр Научно-исследовательский институт системных исследований РАН, Москва
Метод n-окрестностей и вычисление свободной энергии
Методы статистической физики находят применение не только в физике, но и в задачах комбинаторной оптимизации, в теории нейронных сетей и машинного обучения, в компьютерной обработке изображений. Одна из центральных проблем здесь – вычисление свободной энергии, поскольку через нее выражаются наблюдаемые макро-характеристики системы: намагниченность, теплоемкость, восприимчивость и т.д. Нами разрабатывается метод n-окрестностей для вычисления свободной энергии. Метод не зависит от специфики матрицы связи и позволяет включить в рассмотрение внешнее магнитное поле. Применение метода n-окрестностей к модели Изинга на D-мерной кубической решетке позволило получить простое аналитическое выражение для критических значений обратной температуры, которое хорошо описывает компьютерный эксперимент для целого ряда размерностей: D = 3, 4, 5, 6 и 7. В докладе кратко объясняется методология статфизического подхода и излагается метод n-окрестностей.
2. ТЕРЕХОВ С. А.
РАНИ, РАИИ
Тензорные декомпозиции многомерных данных в статистическом моделировании
Рассматривается проблема статистического обучения на основе многоразмерных (тензорных) данных с пропущенными значениями. Особое внимание уделяется построению моделей Пуассоновых наблюдений (целочисленных отстчетов), которые являются цензурированными. А именно, большие значения могут не наблюдаться вследствие ограничений, присущих либо самому исходному явлению, либо процессу измерений. Обсуждаются примеры применения тензорных декомпозиций в задачах управления логистическими процессами, задачах принятия оптимальных решений при оптимизации товарных и иных ресурсных запасов, а также в задачах разработки рекомендательных систем. Методы тензоных текомпозиций естественным образом обобщают традиционные подходы к обучению на основе таблиц данных "объект-свойство".
Среда, 4 октября 11:00 – 13:00
Алексеевский зал
Председатель: ТЕРЕХОВ Сергей Александрович, к.ф.-м.н.
Московский физико-технический институт (государственный университет)
Глубокое обучение. 10 лет спустя
Около 10 лет назад серия работ Дж. Хинтона, Й. Бенжио и Я. Лекуна с соавторами возродила интерес к нейронным сетям и заложила основы революции глубокого обучения, которая коренным образом изменила место машинного интеллекта на технологической карте мира. На смену двух- и трехслойным нейросетям пришли сети с сотнями слоев и с миллиардами настроечных параметров. Появились надежные методики их обучения, с использованием высоко-параллельных графических ускорителей, позволившие решить множество практических задач машинного интеллекта, которые до того не поддавались десятилетиями --- от машинного зрения до машинного перевода. Машинный интеллект за эти годы вышел из стен лабораторий в реальный мир. В смартфонах поселились умные агенты, а автомобили научились ездить без водителей. Быстрыми темпами развиваются роботы. Машинное обучение ставит перед собой все более сложные задачи. В этом обзоре мы рассмотрим основные методики глубокого обучения нейросетей в исторической ретроспективе.
4. ОСОСКОВ Г. А.1, ГОНЧАРОВ П.2, ЦИТРИНОВ А. В.2
1Объединенный институт ядерных исследований, Дубна, Московской обл.
2Гомельский государственный технический университет имени П.О. Сухого, Беларусь
Применение глубоких нейронных сетей для классификации изображений
Доклад посвящен демонстрации преимуществ нейросетей с глубоким обучением по сравнению с обычными нейронными сетями с одним скрытым слоем на сравнительном примере их применения для классификации изображений. Глубокая автоассоциативная нейронная сеть используется, как автономный автоэнкодер, для предварительного извлечения из входных данных наиболее информативных свойств, подлежащих последующей классификации сравниваемыми нейросетями. Основные усилия при применении глубоких нейросетей затрачиваются на крайне кропотливую работу по оптимизации их структуры и таких их компонент, как активационные функции, веса, так же как и по выбору алгоритма минимизации функции потерь, чтобы улучшить производительность и ускорить время обучения нейросетей. Было также показано, что глубокий автоэнкодер после специального обучения обладает замечательной способностью к шумоподавлению зашумленных изображениях. Кроме того, были также применены сверточные нейросети для решения весьма актуальной задачи генетики белков на примере классификации белков твердой пшеницы. Результаты проведенного сравнительного исследования показали безусловное преимущество глубоких нейросетей, так же как и шумоподавляю. способность глубоких автоэнкодеров. Для ускорения наших вычислениях были использованы возможности многопроцессорных графических карт GPU в их реализации на облачном сервисе.
Четверг, 5 октября 11:00 – 12:45
Алексеевский зал
Председатель: ТЮМЕНЦЕВ Юрий Владимирович, д.т.н.
Сибирский федеральный университет, Красноярск
Применение методов искусственного интеллекта и технологии нейронных сетей для разработки адаптивных численных методов глобальной оптимизации
Представлены варианты эффективных вычислительных методов для решения задач поиска глобального минимума целевой функции в виде "черного ящика" (black box optimization), которые основаны на методах искусственного интеллекта и технологии нейронных сетей. Рассматриваются модификации метода роя частиц (PSO) с повышенными адаптивными свойствами на основе введения в алгоритм поиска глобального минимума нейро-нечёткого управления для выбора составляющих движений частиц--агентов при усилении роевого интеллекта, а также модификации численных алгоритмов на основе нейросетевых аппроксимаций инверсных зависимостей. Приведены результаты вычислительных экспериментов поиска глобального минимума для ряда тестовых функций с двумя (для наглядности), 50, 100 и 500 переменными.
6. ШИБЗУХОВ З. М.
Московский педагогический государственный университет
Обучение робастных нейронных сетей
Лекция посвящена проблемам робастного машинного обучения параметрических моделей и нейронных сетей (НС) в~условиях выбросов. Обсуждаются аспекты проблемы робастного машинного обучения и метод итеративного перевзвешивания для поиска оптимальных весов регрессионных параметрических моделей и НС. Рассматриваются более совершенные робастные процедуры машинного обучения, основанные на~минимизации усредняющей агрегирующей функции от потерь и квадратов ошибок, в частности. Показывается, что в~этом случае возможно применение взвешенного метода обучения типа обратного распространения ошибки для обучения робастных НС на~основе применения усредняющих агрегирующих функций, которые в~определенном смысле аппроксимируют медиану и квантили.
Пятница, 6 октября 11:00 – 13:00
Алексеевский зал
Председатель: ДОЛЕНКО Сергей Анатольевич, к.ф.-м.н.
Московский авиационный институт (национальный исследовательский университет)
Нейросетевая идентификация характеристик нелинейных управляемых динамических систем
В процессе создания и эксплуатации летательных аппаратов различных видов значительное место занимает решение таких классов задач, как анализ поведения динамических систем, синтез алгоритмов управления для них, идентификация их неизвестных или неточно известных характеристик. Критически важная роль при решении этих задач принадлежит математическим и компьютерным моделям динамических систем. Рассматривается подход к формированию таких моделей, основанный на объединении теоретических знаний об объекте моделирования с методами и средствами нейросетевого моделирования.
8. ВАСИЛЬЕВ А. Н., ТАРХОВ Д. А.
Санкт-Петербургский политехнический университет Петра Великого
Унифицированный процесс построения математических моделей реальных объектов, основанный на приближённых нейросетевых решениях дифференциальных уравнений с учетом других разнородных данных
В лекции изложены основы разработанной авторами методологии построения приближённых нейросетевых решений дифференциальных уравнений (обыкновенных и в частных производных). Методология проиллюстрирована примерами задач: для составных областей (с различным типом уравнений в подобластях), переменной границей (вызванной фазовым переходом), подбираемой границей, с гетерогенной информацией, включающей дифференциальные уравнения, начальные и краевые условия, экспериментальные и другие данные. Показано, что эти разные задачи решаются единообразно с применением общих принципов. Дан новый подход к построению многослойных нейросетевых решений дифференциальных уравнений, позволяющий получить сколь угодно точные решения без трудоёмкой процедуры обучения.
Пятница, 6 октября 14:00 – 14:45
Алексеевский зал
Председатель: ДОЛЕНКО Сергей Анатольевич, к.ф.-м.н.
Главная (Пулковская) астрономическая обсерватория Российской академии наук, Санкт-Петербург
Как измерить облако точек?
В задачах распознавания образов часто приходится иметь дело с облаком точек. Такое дискретное множество может представлять собой вектора из пространства признаков, выборку точек с поверхности некоторого многообразия, диаграмму персистентности, как результат топологической фильтрации случайного поля, фазовые точки реконструкции динамической системы полученной из наблюдаемых временных рядов алгоритмом Такенса. Обучение данным в этих случаях не является легкой задачей. В общем случае облако не является ни векторным пространством ни многообразием. Необходимые процедуры, такие как способы измерения расстояний между двумя облаками и техника их усреднения в таком множестве отсутствуют. Его подходящим математическим образом служит пространство Александрова. Транспортные метрики типа расстояний Вассерштейна, вычислительно сложны. Переход к плотностям вероятности не облегчает задачу – приходится иметь дело с расстояниями, типа дивергенции Кульбака-Лейблера или Брегмана. В лекции рассказывается, как снабдить облако подходящим Гильбертовым пространством, с привычными и удобными способами получения мер близости и усреднения. Одним из красивых приемов является преобразование плотностей вероятности в точки единичной гиперсферы с римановой метрикой. Этот способ похож на переход от вероятностей к их амплитудам, волновым функция квантовой механики. Формализм демонстрируется на практических примерах с распознаванием текстур и диагностики случайных полей.
