Пленарное заседание
Нейроинформатика - 2021
Понедельник, 18 октября 11:00 – 13:00
Актовый зал
Председатель: ДУНИН-БАРКОВСКИЙ Виталий Львович, д.ф.-м.н.
London Institute for Mathematical Sciences, United Kingdom
Актуальные проблемы глубокого обучения
Бурное развитие в области искусственного интеллекта в последние годы связано с использованием глубоких нейронных сетей, в качестве основы. Глубокие нейросети, обучаемые при помощи стохастического градиентного спуска, обладают отличной сходимостью, поразительной способностью к генерализации, устойчивостью к изменению структуры сети и шуму во входных данных. Это позволило достигнуть впечатляющих успехов в решении задач обработки естественного языка, компьютерного зрения и обучения с подкреплением. Однако, не смотря на все эти достижение способности к обучению у систем, построенных на нейросетях, ещё очень далеки от тех, что демонстрируют человек и другие животные. В докладе будет дан обзор основных достижений современного глубокого обучения и проблем стоящих сегодня в данной области.
2. ОСЕЛЕДЕЦ И. В.
Сколковский институт науки и технологий
Современные технологии искусственного интеллекта: перспективы и проблемы
Технологии искусственного интеллекта в последние годы существенно продви-нулись с точки зрения раз-личных задач обработки изображений, текста, звука. В докладе мы проведем обзор последних интерес-ных работ в этой области (принципы "самообучения", новые архитектуры, новые датасеты и постановки задач), а также обсудим проблемы, которые только предстоит решить.
Понедельник, 18 октября 14:00 – 17:00
Актовый зал
Председатель: ДУНИН-БАРКОВСКИЙ Виталий Львович, д.ф.-м.н.
Huawei
Грандиозные языковые модели: от текста к речи
Развитие больших языко-вых моделей – одно из наи-более интересных явлений, происходящих в последние годы в области применения искусственных нейронных сетей к обработке естест-венного языка. В докладе будут рассмотрены дости-жения в анализе текстов за последний год, а также перенос подходов, разрабо-танных для текстов, на речевые данные. Также будет рассказано об исследованиях, ведущихся в московском исследова-тельском центре Хуавей: применение больших моде-лей к распознаванию речи и вопросно-ответным систе-мам, новые математические методы анализа моделей.
4. ДОЛЕНКО С. А.
НИИ ядерной физики им. Д.В. Скобельцына МГУ им. М.В. Ломоносова, Москва
Применение методов машинного обучения для решения многопараметрических обратных задач
Обратные задачи (ОЗ) – один из широко известных типов задач обработки дан-ных, возникающий при косвенных измерениях, когда возникает необходи-мость восстановления ин-тересующих исследователя параметров объекта по измеренным в эксперименте наблюдаемым величинам. К сожалению, ОЗ часто характеризуются суще-ственной нелинейностью, плохой обусловленностью или некорректностью, вы-сокой размерностью как по входу, так и по выходу, высоким уровнем шумов в данных. Все эти факторы дополнительно осложняют решение. В этой ситуации эффективным подходом к решению ОЗ оказывается использование методов машинного обучения (МО) (искусственные нейронные сети; методы, основанные на деревьях решений; метод группового учёта аргу-ментов; линейная регрессия в нелинейном базисе и дру-гие). В работе рассматри-ваются два основных под-хода к решению ОЗ мето-дами МО – от модели и от эксперимента, а также про-межуточный квазимодель-ный подход; обсуждаются области их применения, достоинства и недостатки. Рассматриваются также некоторые специальные приёмы, позволяющие эф-фективно бороться с нега-тивными свойствами ОЗ – понижение размерности входных данных; групповое и поэтапное определение параметров; добавление шума к данным в процессе обучения; комплек-сирование физических ме-тодов, комплексирование методов МО и комплекси-рование данных. Рассмот-рение ведется на примере ОЗ из области оптической спектроскопии и из области разведочной геофизики. Предметом обсуждения является методика аппрок-симационного решения ОЗ с помощью методов МО, с учётом специфики данных из конкретных предметных областей.
5. ОСИПОВ Е.
Lulea University of Technology, Sweden
Нейроны, символы, аналогии - векторно-символьный подход к созданию искусственного интеллекта
Векторно-символьные архитектуры (VSA) - это семейство коннекционистских вычислительных моделей. VSA, также известны как гиперразмерные вычисления, используются для представления концепций (букв, фонем, сложных структур данных) и их значений с использованием принципов распределенного представления данных. Термин "гиперразмерные вычисления" основан на наблюдении, что ключевые аспекты человеческой памяти, восприятия и познания могут быть объяснены математическими свойствами многомерных пространств (теория концентрации меры). Утверждается, что VSA обладают свойствами которые позволят сократить разрыв между символьным и нейросетевым подходом к созданию систем искусственного интеллекта. Особенный интерес представляет возможность использования VSA как алгоритмическую абстракцию для разработки новых систем искусственного интеллекта на нетрадиционных (нейроморфных) вычислительных архитектурах. В моем докладе я рассмотрю основные принципы векторно-символьных архитектур, их приложения а также некоторые аспекты использования VSA для вычислений на нейроморфных процессорах. Перед докладом рекомендуется ознакомиться с основными положениями VSA в статье P. Kanerva. Hyperdimensional computing: An introduction to computing in distributed representation with high-dimensional random vectors. Cognitive Computation, 1(2):139-159, 2009.
