Спикер: Ларионов Денис, начальник отдела искусственного интеллекта ЧУ «Цифрум» (Госкорпорация «Росатом»).
Тема: Нейроморфные системы искусственного интеллекта.
Видеопроект «Digital Rosatom: об искусственном интеллекте» просветительские тематические лекции.
Расшифровка видео
0:00
[музыка]
0:12
здравствуйте Добрый день уважаемые слушатели Меня зовут Денис Ларионов я представляю компанию цифрам лабораторию
0:18
искусственного интеллекта там мы занимаемся реализацией проектов с применением искусственного интеллекта
0:23
атомной отрасли И не только сегодня хотел рассказать об одном из перспективных исследований которые у нас
0:29
есть анироморфных системах искусственного интеллекта мой сегодняшний доклад будет состоять из трех частей в первой части мы поговорим
0:36
об определениях и об ограничениях классических подходов к решению задач
0:42
искусственного интеллекта а также дадим определение мира мощности во второй части я представлю классификацию на
0:49
основании которой вычислительная система можно относить или не относить классу нейроморфных это оригинальная
0:56
классификация предложенная нашей группой и в третьей части Я про по наиболее
1:01
известным популярным проектам в мире которые называют себя нераморфными и в
1:07
отношении каждого проекта буду обращать внимание на те самые нераморфные свойства которые мы обсудим во второй части так поехали начнем с базовых
1:16
понятий архитектура фон Неймана не секрет что подавляющее большинство окружающих нас компьютеров построены на
1:24
основе этой архитектуры основным тезисом является разделение вычислений и памяти вот на слайде
1:30
представлен пример схематичный того как выполняется
1:35
компьютерная программа сначала у нас есть машинный код он здесь показана зеленым этот машинный код загружается в
1:42
оперативную память компьютер включается и начинает работать машине данных машинный код загружается в один из
1:48
вычислителей где начинает выполняться инструкции этого машинного кода работа любой программы сводится к тому что мы
1:54
из памяти должны взять какие-то входные данные выполнить какие-то вычисления
1:59
между ними и положить в память обратно выходные данные вот уже даже здесь на этой схеме видно что поток данных по
2:06
шине связанный с передачей промежуточных данных вычислений он несоизмеримо больше
2:12
чем чтение данных входных данных из памяти и отправка туда выходных данных
2:18
известно что затраты энергии на одну операцию перемещения данных по шине могут быть в тысячи раз больше чем
2:25
затраты энергии на операцию вычисления внутри вычислительного ядра Ну Таким
2:30
образом мы видим что архитектура фонемана имеет ряд ограничений главный из которых это ограничение пропускной
2:38
способности шины данных и второе ограничение это разность скорости работы регистров процессора и оперативной
2:45
памяти это проблема называется проблема Lightning памяти или еще ее называют бутылочным горлышком
2:52
Давайте теперь посмотрим как на такой архитектуре можно выполнять
2:57
нейронные сети на данном слайде представлена схема персептрона это
3:03
Элементарная модель биологического нейрона которая лежит в основе можно сказать Что лежит в основе
3:09
подавляющего числа нейронных сетей эта модель сводится к тому что
3:15
на входе У нас есть Вектор сигналов мы должны умножить этот Вектор на другой
3:22
Вектор весов по сути посчитать взвешенную сумму применить к результату некую нелинейную функцию и получится
3:27
результат вот для того чтобы нам посчитать этот Нейрон на компьютере фон Неймана нам нужно столько раз из памяти
3:34
прочитать значение сигнала и веса Какова у нас размерность сигнала по сути Сколько синапсы у нейронов А это может
3:40
быть там 1010 тысяч и так далее Мы видим здесь не пропорционально большое число операций чтения из памяти по сравнению
3:48
ко всем математики которая реализуется Давайте посмотрим как там можно вычислить Нейрон на популярных
3:55
сегодня архитектурах но для начала рассмотрим CPU centralprotec Unit во-первых вычисления на CPU организованы
4:03
последовательно Что является основной недостатком при вычислении нейрона проблемы или ограничения архитектуры фон
4:10
Неймана во многом на CPU решаются за счет сложной системы кэшей
4:17
доходит до того что кэши занимают большую часть площади Чипа другой подход
4:24
к митигации проблем архитектуры фон Неймана это спекулятивные вычисления
4:29
предсказания ветвлений Но для вычисления нейронных сетей это не полезно поскольку мы имеем дело с детерминированные
4:35
вычислениями следующий подход Как можно посчитать эффективный нейроны это GPU
4:41
в GPU у нас вычислительные ядра объединяются в так называемые стриминг
4:48
мультипроцессор позволяя принимать на вход много потоков данных и обрабатывать это
4:55
множество потоков одним потоком инструкции таким образом обеспечивается параллелизм GPU другая особенность
5:01
которая благодаря которой GPU так эффективны это возможность быстрого
5:06
переключения контекста для этих стриминг мультипроцессоров между разными потоками
5:12
входными так называемыми варпами если в одном из потоков наблюдается какая-то
5:18
задержка то этот стриминг мультипроцессор может очень быстро сохранить контекст выполнения в
5:24
локальном регистре и переключиться на выполнение другого потока таким образом происходит сокрытие Lightning памяти
5:32
следующая архитектура популярная сегодня это типию это проприетарная архитектура
5:38
Гугла Она появилась в шестнадцатом году и в виде железок Они ее никому не продают продают только в виде облачных
5:44
сервисов особенность в том что вычисления представляются в виде так называемой
5:49
систолической матрицы теперь веса на которые нам нужно умножить сигнал считая
5:56
персидрон мы можем поместить непосредственно в ячейке этой матрицы избегая необходимости чтения их из
6:02
памяти у каждой такой ячейки есть вверх-вниз вправо-влево сверху условно
6:09
приходит сигнал X умножается на вес хранящийся в ячейке и пропускается вниз
6:15
слева приходит сумма складывается с результатом умножения идет направо и
6:20
таким нехитрым способом мы получаем возможность умножения вектора на матрицу за один такт Казалось бы все хорошо но
6:28
мы наблюдаем чудовищную неэффективность полученных таким образом решений на
6:34
данном графике видно что потребности в ресурсах для выполнения
6:39
глубоких нейронных сетей растут гораздо быстрее чем эти самые ресурсы появляются если даже допустить что закон муры
6:46
продолжает работать Мы у себя сделали небольшой подсчет относительно стоимости
6:51
обучения популярной сетки gpt-3 это такая большая языковая Модель которая умеет продолжать произвольный текст на
6:59
естественном языке Вот здесь приведена выкладка видно что одна итерация обучения этой сетки стоит 4,5 миллиона
7:05
долларов все конечно понимают что за один раз эти не учатся есть всегда много
7:10
ошибок и так далее Мы видим что обучение больших сетей которые в принципе решают
7:17
задачи не сложнее чем биологические системы под силу только нескольким
7:22
компаниям во всем мире Как же так получилось что изначально придумывая модель нейроны Идя по пути
7:29
мимикрирования мозга фон Неймана розенба вдохновлялись устройством биологических систем Мы создали такие решения которые
7:36
столь чудовищно неэффективны для того чтобы самый лучший системе компьютерного зрения для того чтобы распознавать собак
7:44
от кошек нужно на три порядка больше энергии чем человеческому мозгу на поверхности лежит идея о том чтобы как
7:51
это уже делали отцы-основатели снова обратиться идеями мигрирования мозга и
7:57
попытаться позаимствовать из биологии какие-то еще подходы которые могут помочь преодолеть барьеры с которыми мы
8:04
столкнулись вычислительных системах Вот давайте посмотрим на мозг чем же он
8:09
особенный чем он отличается от того что мы наблюдаем в современных вычислительных системах во-первых мозг
8:15
работает с временными рядами все что мы видим слышим чувствуем Это не картинки
8:21
не связанные друг с другом а это коррелированные во времени данные во-вторых биологические системы они не
8:27
программируются они обучаются и развиваются в-третьих как правило биологических биологических системах
8:33
один Нейрон является одним физическим объектом В то время как когда мы
8:38
моделируем нейронные сети на компьютерах мы как правило одним ядром моделируем сразу огромное количество нейронов очень
8:45
быстро переключаясь между ними осуществляя переключения контекста и наконец самый главный тезис у нас нет
8:52
разделения вычислений и памяти как это мы наблюдаем в архитектуре фон Неймана в мозге нет какого-то такого пространства
8:58
Где бы сохранялась информация Откуда бы она читалась память как будто бы размазана по состоянию связи и
9:06
вычислительных узлов или нейронов в этой сети перехожу ко второй части нашего доклада Давайте теперь поговорим о
9:14
свойствах реально существующих вычислительных систем по которым можно охарактеризовать
9:19
нераморфные системы вот я сначала их перечислю а потом попробую на каждом из
9:25
них остановиться чуть подробнее во-первых это нейронные сети во-вторых это параллелизм асинхронность импульсный
9:31
характер информации локальное обучение разреженность потоков данных аналоговость и вычисление в памяти
9:38
бронированные сети мы подробно Останавливаться не будем скажу лишь что это свойство в целом обеспечивает
9:44
возможность обучения на данных и это про идеи коннективизма Давайте поговорим про
9:50
параллелизм асинхронность от известно что существует такой законным далом который ограничивает
9:57
степень параллелизма системы Если в ней присутствует синхронизация Например если
10:03
у нас есть программа один процент инструкции который эта инструкция синхронизации тогда если мы эту
10:10
программу выполнен на тысячи параллельных вычислителей или на миллионе мы все равно не сможем ускорить больше чем сто раз поскольку Этот один
10:17
процент инструкция у нас никуда не денется так вот биологических системах в частности в мозге ничего такого не
10:23
наблюдается не существует явных процессов синхронизации всех нейронов и
10:29
проблемы ограничения закон Вы кажется что нет Ну а пример синхронизации в
10:36
классических сетях например Мы все знаем что сети у нас состоят из слоев и мы должны гарантировать что нейроны одного
10:43
слоя должны закончить выполняться до того как нейроны следующего слоя начнут выполняться Вот это в пример
10:48
синхронизации при вычислении классических нейронных сетей следующее свойство это импульсный характер
10:54
передачи информации в мозге сигналы передаются не видите чисел как
10:59
реализованную математической модели персидрона А в виде коротких импульсов
11:04
которые как правило не имеют непродолжительности не амплитуды а лишь выражают факт наличия или отсутствие
11:11
чего-нибудь такая схема по умолчанию очень помеха защищена поскольку если у
11:17
нас есть ряд с дискретными событиями то какой бы сумма на него не накладывали его всегда очень легко отделить от этих
11:23
событий такая схема передачи сигналов также очень легко аппаратно реализуемо и
11:29
вот существует такая популярная математическая модель которая позволяет описывать такой способ передачи сигналов
11:36
называется импульсные нейронные сети я об этом совсем кратко расскажу что происходит в импульсных сетях мы
11:43
выкидываем стандартную модель розенбата и заменяем ее другой моделью нейрона
11:48
причем выпущенных сетях моделей существует много самое сложное модель эта модель хочкин акция она очень
11:55
биолога реалистично за неё была получена Нобелевская премия но она вычислительно сложна описывается четырьмя
12:02
дифференциальными уравнениями и не используется для больших сетках есть
12:07
компромиссная модель жукевича она описывается уже двумя дифференциальными уравнениями но она все
12:14
равно не проста А есть уже часто применяющиеся модели называется Лики integrade in Fine бывает еще и вариация
12:22
с адаптивным порогом которое собственно применяется в большей части проектов
12:29
Ну как базовая модель нейронов о чем она Вот на слайде слева представлена модель
12:35
классического нейрона а справа импульсного вот если слева у нас на вход поступают сигналы эти сигналы умножаются
12:43
на веса складываются и потом к этому всему применяется какая-то нелинейная
12:49
функция то вместо этого в импульсном нейроне У нас нейродинамика у нейрона есть состояние
12:54
некий так называемый мембранный потенциал нейрона если ничего не
12:59
происходит то этот мембранный потенциал по экспоненте утекает к своему нормальному значению поэтому нейроны
13:06
называется Нейрон с утечкой Если же в Нейрон поступают спайки от других
13:13
нейронов то этот мембранный потенциал начинает подскакивать и утекать нормальному значению если этих спайков
13:19
приходит критическое количество за единицу времени Так что этот потенциал превышает какое-то значение то Нейрон
13:28
сам генерирует и все и Казалось бы такая простая модель позволяет
13:33
реализовывать довольно сложные вычисления следует отметить что такая
13:39
модель нейрона лучше всего работает не на стандартном аппаратном обеспечении
13:45
таким как CPU GPU А на специализированном программном
13:50
обеспечении о котором я в третьей части расскажу еще одна особенность этой модели в том что в неё явным образом
13:56
введено время в классической модели для того чтобы передать информацию о том что что-то очень большое или маленькое У нас
14:03
есть числа они могут быть большие или маленькие в импульсных нейронов мы можем зафиксировать время между приходами
14:09
спайков и оно опять же будет либо большим либо маленьким по сути это является еще одним способом
14:14
выразить эту информацию но еще отмечу что работая с импульсными сетями Мы из
14:21
коробки получаем асинхронность следующее свойство на котором я хотел бы подробно остановиться это локальное обучение
14:29
известно что классические нейронные сети используют
14:35
такой подход он называется метод обратного распространения ошибки к обучению он сводится к тому что сигнал
14:43
поступающий в сеть проходит по сети сначала в одну сторону потом существует
14:48
механизм который вычисляет успешность решения сетью задачи этот сигнал запускается все эти в обратном
14:54
направлении за время прохождения по которому веса связи сети корректируются таким
14:59
образом чтобы повысить успешность решения сетью задачи в биологии это бы означало что между нейронами существует
15:05
какой-то второй канал связи мы знаем что аксоны у нас проводят сигнал только в одну сторону и за исключением
15:11
рекурентных связей не существует такого процесса во времени когда бы Нейрон который получил сигнал отправил
15:18
этот сигнал назад для того чтобы скорректировать веса очевидным мозге работают какие-то другие механизмы
15:25
обучения не такие как мы применяем нейронным сетям вот один из популярных
15:30
подходов начало этого подхода положило следователь Дональд Хэп он сформулировал
15:36
принцип по-английски он звучит так нейронс zfide toget нейроны которые спайкуют по времени
15:43
близко друг другу связь между ними усиливается и вот на основе такого принципа был спроектирован ряд
15:50
алгоритмов локального обучения которые по сути описывают возможность изменения
15:55
состояния связей между нейронами только на основании информации от
16:01
предшествующего сигнала нейрона и последующего прессин оптического нейрона
16:06
и после синоптического нейрона тут интересным следствием реализации локального
16:12
обучения например потенциально решается возможность решения проблемы катастрофического
16:18
забывания мы знаем что этой проблеме подвержены современной классические сети
16:23
речь о том что одна нейронная сеть не способна выучить Сразу две задачи мы
16:29
учим все эти решать одну задачу и как бы она успешно выучивается ее решать но
16:35
потом если мы начинаем учить второй задачи то знание первой задачи разрушаются поскольку метод обратного
16:41
распространения ошибки приводит к изменению весов всех нейронов А вот метод локального обучения он как будто
16:47
бы дает возможность оставлять знания в сети обеспечивая непрерывность обучения также
16:53
как собственно это делают биологические организмы следующая важное свойство которым нужно
16:59
рассказать это разреженность потоков данных биологических системах одновременно активность проявляют как
17:06
правило только 10 процентов нейронов в то время как классические нейронные сети при инференсе задействуют все нейроны
17:13
Почему так есть На мой взгляд три
17:18
причины этому первая из них это существование так называемой временной разреженности
17:24
проще всего это пояснить на компьютерном зрении в естественном зрении все что мы
17:29
видим в момент времени T + 1 очень сильно Похоже на то что мы видели в момент времени T и это означает что нет
17:37
надобности доносить до глаза информацию о каждом пикселе изображения мы можем
17:43
доносить только то что изменилось и собственно этом принципе как раз так работает наше зрение биологическое и
17:50
существует такая комплементарная технология Dynamic Visual сенсорс дивее с камеры которые снимают ровно Таким
17:56
образом у них нет понятия FPS вместо этого есть события изменения
18:03
освещенности каждого пикселя в каждый момент времени такие камеры способны снимают с частотой 10 минут шестой
18:10
секунды что как минимум на три порядка больше чем самые лучшие классические
18:16
камеры Однако особенность Допустим мы смотрим на статическую картинку которая
18:21
не меняется мы видим черный фон такие камеры редактируют только движение прелесть в том что такие камеры в
18:29
качестве выходного потока информации генерируют события и это является
18:35
естественным сигналом для нейроморфных систем таким образом исключается этап
18:40
перекодировки сигналов цифровую форму и обратно то есть вот эти dvs камеры Они служат могут служить естественными
18:47
сенсоры для нейроморфных систем другой ответ на вопрос почему у нас мозги так мало задействуется это наличие так
18:54
называемой пространственный разреженности речь о том что каждый Нейрон имеет некий
19:02
пороговый потенциал до достижения которого он молчит даже если его пинают
19:07
в классических сетях это аналог релактивации Когда у нас если Нейрон
19:13
недостаточно нагружен то его результат 0 если достаточно то такой как нейрону но
19:19
в случае классических сетей даже если у нас результат 0 мы тянули все равно начинаем перемножать на GPU А вот в
19:25
соответственно биологических системах если Нейрон не испускает Спайк то он
19:31
тратит только очень незначительное количество энергии и третий ответ на вопрос почему у нас так мало нейронов
19:38
задействовано так называемая структурная разреженность в мозге не обнаружено так
19:44
называемых полносвязанных сетей у нас примерно 87 миллиардов нейронов но среднее количество связей у каждого
19:50
нейрона это 5000 но может быть 10 тысяч Это говорит о том что большую роль
19:56
играет топология сети может быть даже большую чем непосредственно сами связи Это топология и стройная очень
20:02
избирательная эффективная не случайно следующее свойство о котором важно
20:08
рассказать это аналоговость в мозге нет никаких цифровых контуров
20:14
известно что вычислительная или когнитив инструкция выполняется с помощью так называемых
20:20
аналоговых вычислений вот здесь есть две идеи о которых я хотел бы отдельно рассказать первая идея это моделирование
20:28
так называемого мембранного потенциала нейрона Я чуть ранее рассказывал когда
20:33
рассказывал об обычных сетях что это такое так вот исследователям пришла в голову идея о том что вот этот литий
20:40
integrade and Fine niron который описывается неким дифференциальным уравнением может быть заменен простейший
20:46
элементарной цепи состоящей из резистора и конденсатора динамика напряжения такой цепи
20:52
описывается ровно такими же дифференциальными уравнениями как динамика мембранного потенциала в лифтирование и тогда мы можем взять
20:59
таких контуров много собрать из них нейронную сеть настроить в ней параметры
21:04
конденсаторы сопротивления и запустить она будет решать какую-то задачу вот такой подход используется в одном из
21:11
проектов называется brainskills я чуть позже о нем упомянул вторая интересная идея связанная с аналоговыми
21:17
вычислениями это реализация так называемых синоптических операций в аналоговом режиме идея следующая Мы
21:24
можем взять так называемый кроссбар это такая сеть у этого кроссбара есть входы и
21:31
выходы на входы мы можем подавать токи величина которых будет равна значению
21:38
сигналов задачи умножения вектора на веса для вычисления взвешенной суммы
21:44
тогда мы можем сконфигурировать сопротивление
21:49
значениями Весов и тогда по закону Ома умножая ток на сопротивление мы будем
21:54
получать напряжение А дальше мы можем такие цепи объединить в параллельную цепи по закону киргов мы это все сложим
22:02
Таким образом у нас получается аналоговое устройство на вход которого мы подаем токи значение которых равны
22:08
сигналу конфигурируем сопротивление так чтобы они были равны весам а потом просто читаем в конце напряжения и бац
22:15
это есть результат вычисления маг операции такой подход широко применяется и здесь
22:23
еще отдельно Следует упомянуть мавритивные вычисления которые в общем как раз позволяет очень
22:31
эффективно применить этот подход последнее свойство которым как мы считаем характеризуется нейроморфные
22:37
системы так называемые вычисления в памяти идея состоит в том что вместо
22:42
того чтобы гонять потоки данных из памяти процессоры абсолютно мы можем
22:48
реализовать непосредственно в памяти Элементарные вычислители и тогда от процессора в память будет поступать
22:54
только набор управляющих команд Ну например Умножь 2 числа и положи результат в третью ячейку памяти такой
23:01
подход повсеместно применяется но к сожалению такая память чересчур Дорогая
23:06
что в общем-то ограничивает коммерческое применение проектов созданных по такому
23:12
принципу Мы закончили рассмотрение нейроморфных свойств Теперь давайте перейдем к третьей части и рассмотрим
23:20
популярные нераморфные проекты Первый из них это спиннер спиннер представляет из
23:25
себя массивно параллельный огромный компьютер состоящий из огромного числа Арм процессоров на этих сам процессорах
23:32
реализован минимально достаточный набор инструкций для того чтобы на такой системе эффективно выполнялись
23:38
импульсные нейронные сети вот так этот компьютер выглядит у нас
23:43
есть ядра они соединяются на платах оплаты
23:48
объединяются в стойки и получается такая Огромная вычислительная система зачем все это нужно например
23:55
в нейробиологии есть такой бенчмарк моделирование кортикальной колонки мозга
24:00
Известно что для того чтобы моделировать один квадратный миллиметр кортикальной
24:06
колонки в реальном времени ни на одной архитектуре пока такого сделать не удалось лучший результат на GPU это в
24:12
два раза медленнее чем реальное время А вот с помощью спинкера за счет его асинхронности в реальном времени этот
24:19
бенчмарк выполнить удалось Но что классно благодаря асинхронной модели вычислений
24:26
ничего не мешает при тех же при линейном росте затрат моделировать уже не один
24:34
миллиметр А 100 миллиметров никакая другая вычислительная система такое уже не
24:40
могла бы замахнуться собственно это как раз то преимущество которое мы получаем
24:45
от асинхронной вычислений мы можем простым наращиванием дополнительных вычислителей
24:50
увеличивать сложные системы следующий проект о котором я хотел бы рассказать это IBM turnerse он появился в
24:57
тринадцатом Ну или даже в четырнадцатом году появился он по заказу военных собственность этого проекта в том что
25:04
это первый промышленный не фон неймановский тип на нем по сравнению с другими проектами самое большое
25:10
количество нейроядер один тип способен моделировать 1 миллион нейронов 256
25:15
миллионов синусов но этот чип довольно ограничен во-первых на нем не
25:21
поддерживается обучение Это означает что для того чтобы на нем выполнить какую-то нейронную сеть нейронную сеть сначала
25:27
нужно обучить на GPU кластере а потом какой-то специальный процедуры переноса
25:33
перенести веса в конфигурацию этого типа для того чтобы в режиме применения он уже работал
25:39
во-вторых значительным ограничением является то что одного нейрона всего 256
25:44
связей и вес связи может принимать только одно значение такая система в общем-то не
25:51
позволяет реализовать на типе хоть какое-то обучение Однако
25:57
на с этим чипом продемонстрирован ряд интересных примеров вот в частности
26:03
насилие В 17 году была продемонстрирована Первая в мире событийная система зрения Я чуть ранее
26:09
рассказывала девиз камерах код мы видим как раз пример сопряжение такой камеры с
26:16
нейроморфным чипом Beam True North и полученная система которая с приемлемым
26:21
качеством 96 5 процентов за десятую секунду предъявления жеста успешно его
26:27
распознает тратя при этом всего 18 ватт другой пример в следующем же году это же
26:32
команда реализовала систему позволяющую видеть глубину уже использовались две
26:38
девиз камеры 8 типов True norse они оказали что могут определять глубину
26:45
даже быстро к двигущегося объекта такого как вращающийся вентилятор Ну и наверное
26:51
самое известное достижение объем ценорс собственно видимо то ради чего она создавался это системы
26:59
детекции и классификации множества объектов в больших видеопотоках на
27:05
данном слайде представлена работа в которой с помощью самого совершенного компьютера IBM в котором больше всего
27:12
этих чипов была создана система которая может в большом потоке информации
27:18
детектировать объекты их классифицировать разумно применять такие вещи в дронах например следующий
27:24
интересный проект это проект компании Intel лоэхи особенность Чипа в том что
27:29
исследователи сделали архитектуру такой что в ней
27:36
возможно работать пластичным обучением если в трунорсе у нас на вес одного
27:43
синапса отводился один бит собственно 9 бит на вес еще 8 на
27:50
синаптическую задержку еще шесть на произвольную переменную которую мы можем просто придумать на основе логихи
27:56
создана множество вычислительных систем этот чип разрабатывается в отличие от
28:03
остальных в международном консорциуме rnc что в общем-то обеспечивает
28:08
большое количество примеров с этим чипом вот один пример интересный это
28:14
распознавание жестов на эти устройстве с обучением особенность в том что устройство способно без обращения к
28:23
серверу или к облаку выучить новый жест и далее его распознавать в этом решении
28:30
правда применяются не методы локального обучения некое подобие обратного распространения
28:37
ошибки но адаптированного для спайковых сетей другой интересный пример на лохи
28:43
это система работающая с несколькими модальностями данных вот на слайде
28:49
представлено решение это такой робот который обладает камерой и тактильным
28:55
сенсором задача взять бутылочку и определить сколько в ней налито воды бутылочка непрозрачная
29:01
поэтому зрение недостаточно вот получено решение собственно У нас есть два
29:06
субботийных сенсора сигналы от них заводится на нейроморфный процессор и система решает задачу классификации Ну и
29:13
последний пример на лохи пожалуй тоже очень известный это распознавание
29:19
запахов особенность решения в том что здесь как раз используется уже локальные методы обучения и в частности система
29:26
демонстрирует способность One Shot Learning то есть обучение новому паттерну с одного примера Что является
29:33
очень сложной задачей для классических решений вот так как лоихи разрабатывается в
29:40
международном консорциуме то становится возможным проанализировать и сравнить между собой
29:46
большое число работы посмотреть в каких задачах этот чип демонстрирует преимущество в каких нет Вот есть такой
29:54
анализ делать видно что лояхи демонстрирует превосходство над другими подходами В задачах где мы имеем дело с
30:01
последовательностями данных с коррелированными во времени Ну как правило это то что относится к
30:06
рекурентным сетям там где мы имеем дело с классификацией фреймов картинок лохи
30:12
показывает себя не так эффективно в прошлом году у лохи появилось второе
30:17
поколение логихи 2 пока еще немного примеров Но кое-что об этом чипе уже
30:23
известно во-первых в нем исследователей реализовали так называемую обобщенную событийную модель коммуникации
30:30
спайкам теперь позволено иметь значение вплоть до 32 это некий Уход от
30:37
регулирование мозга но исследователям инженером показалось что
30:43
это эффективная учлительная модель для решения прикладных задач еще в логике из
30:48
интересного во вторую версию добавили функцию так называемого 3D мультичип скеллинга когда мы получили способность
30:56
объединять множество чипов не в 2D пространстве в 2D межсети как раньше в
31:01
3D пространстве обеспечивает тем самым минимальный маршрут коммуникации между чипами еще отмечу что вместе слои 2
31:09
Intel Представила фреймворк называется лава это
31:15
фреймворк предлагающий некую иную парадигму вычислений она не такая уж
31:20
новая но не используется сейчас
31:25
для вычисления нейронных сетей собственно все влага это процесс Нейрон
31:31
процесс событийный сенсор процесс нейронная сеть процесс есть входы-выходы и вот в
31:38
терминах таких абстракций комбинируется вычислительная система которая уже решает конкретную задачу следующий
31:45
проект который я хотел бы рассмотреть это брейнский ЛС мы его уже упоминали когда говорили об аналоговости это есть
31:52
главная особенность этого проекта вычисления мембранного потенциала нейронов реализована с помощью
31:58
аналоговых вычислений с помощью электрических схем состоящих из резистора и конденсатора следует
32:03
отметить что при этом синаптические операции все равно
32:08
реализованы в цифровом домене то есть этот чип содержит цифровую шину данных и
32:14
аналоговое вычисления используются лишь Частично на основе брендский ЛС был создан по крайней мере на 19 год самое
32:21
большое аналоговый усилитель в мире который также используется также как и спиннекер для моделирования разных
32:27
биологических структур мозга украинский ЛС в двадцатом году появилось второе поколение И в нем исследователи добавили
32:35
на Чип возможность обучения но добавили ее за счет комбинирования на одном чипе
32:41
как цифровых процессоров так и аналоговых вычислителей таким образом это получился гибридный чип но зато Он
32:49
позволяет выполнять Как примитивы из классических сетей так и спайковых
32:55
позиционируется как вычислитель для Edge устройств одна интересная особенность относительно этого типа исследователями
33:03
предложено некая концепция называемая структурная пластичность Вот на этом
33:08
чипе во время жизни нейронной сети возможно некоторые связи между нейронами убивать а некоторые рождать по сути это
33:16
дает возможность управления самой топологии сети и теперь дело за исследователями Как правильно изобрести
33:22
такие алгоритмы которые бы утилизировали эту возможность для решения каких-то задач так подводим промежуточный итог мы
33:29
рассмотрели несколько проектов и вот на данном слайде они расположены по степени
33:35
их биологического реализма это просто большой массивный компьютер состоящий из Большого числа процессоров
33:41
но позволяющий выполнять асинхронные вычисления IBM Pro
33:47
North здесь мы уже имеем дело с мемори вычислениями или не Memory вычислениями в into лойхе Мы работаем с обучением на
33:55
типе А в Брянске ЛС вообще замахиваемся на аналоговые вычисления едем дальше следующий интересный чип Это китайский
34:02
тиранчик его особенность в том что исследователям удалось предложить
34:08
платформу одинаково хорошо подходящее как для выполнения классических нейронных сетей
34:15
так и импульсных сетей причем Это реализовано не на уровне комбинации
34:22
разных слоев А на более низком уровне вот втянке в частности Идет работа с
34:28
такими примитивыми как сома дендрит Аксон синапс это дает возможность создавать гибридные сети не
34:37
просто в терминах блоков А в терминах нейронов то есть мы можем сделать Нейрон
34:42
который на вход будет принимать числа на выход отдавать спайки по заявлению исследователей издержки на
34:48
универсальность составили всего 3 процента по площади типа на слайде приведен пример как раз такой гибридной
34:56
сети где мы спайковую сеть без больших потерь по энергоэффективности добавили в
35:03
последний слой несколько свёрток там где нам нужно повысить точность и получили огромный прирост в экирусе Ну в общем-то
35:10
не потеряв в энергии натяжике продемонстрировано решение управление велосипедом собственно всего
35:18
лишь на одном чипе следователи реализовали систему которая в реальном времени видит слышит объезжает
35:25
препятствия соблюдает баланс всячески планирует свой маршрут если бы
35:34
мы попытались такое решение повторить на каких-то классических решениях то
35:40
наша система выглядела бы гораздо сложнее она была бы обвешена большим количеством батареек вычислительных
35:46
модулей и прочего оборудования следующий чип по которым я хотел бы рассказать это
35:52
Нейрон Flow nerflow это не название Чипа это название архитектуры обработки
35:59
высокоскорелированных потоков данных во главу угла ставится свойства разреженности потоков данных
36:07
исследователями спроектировано на текущий момент два типа грайвана Грей
36:12
VIP VIP Это Visual inference processor который как раз позволяют выполнять
36:20
на этих типах не поддерживается обучение но исследователями предложено
36:26
вычислительная модель она называется спарнет в которую возможно конвертировать уже обучены сверточные
36:33
полносвязанные сети таким образом с помощью этого в инференсе энергоэффективно можно решать задачи
36:39
классификации детекции и сегментации вот на данном слайде приведено несколько примеров решения этих задач следующий
36:47
интересный чип это австралийские акида примечателен тем что это Первый
36:52
Коммерческий чип который стало возможно купить на рынке он появился в двадцатом году
36:58
позиционируется он также как эвенбейст процессор для Edge вычислений совместим
37:04
с тензор Flow и его фишкой является по
37:09
крайней мере по заявлениям маркетологов поддержка инкрементов ваншоты incontinuous Learning пару слов о том
37:15
как это реализовано на типе мы должны создать свёрточную сеть последний слой
37:20
последний полносвязанный слой который реализовать особенным образом и тогда
37:26
помещая эту структуру конфигурацию типа с помощью их проприетарного алгоритма
37:33
система получает возможность Попробуйте запоминать фичи последнего
37:39
слоя и присваивать их каким-то классом Это не совсем честное обучение но это
37:46
пример некоторого инженерного ухищрения которое позволяет решить практическую
37:52
задачу ну с качественными параметрами в принципе достаточными для применения некоторых
37:59
процессах вот пару примеров Как это работает мы взяли сеть Мобайл Нет
38:04
обучили она ему начинает и поместили на тип показываем значит сеть
38:11
обученные научные эти умеют распознавать объекты реального мира Вот мы и показываем фигурку слона и говорим это
38:18
слон потом мы наводим эту штуку на фотографию другого слона и хопа Она
38:24
говорит это слон и она научилась определять его с первого раза другой Пример например мы можем сделать такую
38:30
такое устройство типа Яндекс Алисы голосовая колонка мы говорим Привет Привет
38:36
вниз и хоп она запомнила выучила голос и дальше она ко мне обращается по имени
38:42
При этом она ничего не передала на в облако или куда-то на сервер и выполнила
38:49
свою когнитивную функцию прямо на устройстве то есть Заодно решилась проблема конфиденциальности данных
38:56
следующий проект интересно это дайнов Dynamic нейроморфика синхронность процессор это проект цюрикского
39:03
университета который известен своими исследованиями в области нейробиологии с помощью этого типа исследователи
39:10
проводит эксперименты полезные для нейробиологов изучают разные процессы в мозге и вот в
39:17
частности чипы дайнов се ту и dynapsell они нужны для эмуляции разных
39:23
биологических структур причем второй из чипов содержит в себе четверть
39:30
нейронов которые обладают пластичностью Но вот третий чип дайнов CNN это уже
39:35
коммерческий тип заточенный под выполнение свёрточных сетей Он позволяет только
39:41
инференс у него есть некоторые ограничения к тому какого рода сети
39:46
можно на нем реализовывать он активно применяется в сопряжении с камерами собственно основная особенность этих
39:54
чипов это так называемая гибридная модель коммуникации между ядрами в
40:01
которой чип умеет сам выбирать правильный баланс между Point Point
40:06
коммуникации и бродкаст коммуникации то есть сам определять инвесторы где
40:12
общаются все со всеми и кластеры где общение один существует
40:18
фреймворк сайнабс пайтор совместимые с помощью которого можно в конфигурацию
40:24
Чипа дайнепси ИНН закачивать сверточные сети но как я уже
40:30
сказал Существует очень жесткие ограничения на параметры этих сетей еще один Тип который мы добавили в наш обзор
40:37
в последнюю очередь это мифик он использует аналоговое вычисления в памяти
40:43
собственно этот тип не позволяет выполнять импульсные сети но мы все равно его добавили потому что в нем
40:50
по-прежнему используются другие интересные подходы во-первых это вычисления это аналоговые вычисления где
40:58
собственно роль сопротивлений роль весов росбаре о котором я рассказывал играет
41:04
специальная флеш-память и это использование архитектуры
41:10
от других проектов выгодно отличается тем что следователи прямо с коробки
41:16
предлагают возможность работы с популярными архитектурами нейронных сетей такие как йол резнет и так далее
41:24
последний чип о котором я хотел бы сегодня упомянуть это Алтай это наша российская разработка компания мотив
41:31
нейроморфные технологии на данный момент выпущено
41:36
тестовая или первая партия этих чипов проведены эксперименты
41:45
продемонстрировано эффективность их применения в ряде прикладных задач собственно команды большие планы в
41:51
частности реализации поддержки обучения на чипе собственно мы подходим к концу на данном слайде вы видите таблицу в
42:00
которой собраны сравнительные характеристики всех рассмотренных в нашем докладе проектов подробнее с этими
42:09
характеристиками можно ознакомиться в нашей статье ссылка на которую была в самом начале и в завершении доклада
42:16
выводы которые мы сделали по итогу наши аналитической работы во-первых первый
42:22
вывод состоит в том что почти все рассмотренные нами проекты реализованы на базе на базе цифровой логики
42:28
аналоговой схемы менее гибкие и страдают от проблемы нестабильности вычислений и
42:33
сложности отладки второе Наблюдение это то что мы видим тренд переходы к модели
42:39
вычислений в которой события могут иметь величину так называемые Great Spikes это
42:44
уход от мимикрирования мозга но с помощью такого подхода Например можно достигнуть гибридизации в части
42:52
выполнения Как импульсных так и классических сетей и собственно это еще один тренд который мы видим в многих
42:59
проектах одновременно поддержка как классических так импульсных сетей например
43:05
тианжинский ЛС и так далее следующий тренд это то что многие
43:10
проекты полагаются на разреженность акцию активации нейронов во времени Это
43:15
позволяет не только экономить энергию но и снижает требования к пропускной способности шины и наконец последний
43:22
вывод это то что к сожалению модели нейронов алгоритмы обучения топологии
43:28
сетей еще не детерминированный большой открытый
43:34
вопрос каковы они должны быть для решения каких задач поэтому многие проекты предлагают
43:41
чересчур богатые возможности по конфигурации отладке решений платы за
43:47
это является их низкая эффективность то есть слишком большой расходование транзисторов на один Нейрон когда
43:54
научное сообщество определиться в том какие модели сетей нейронов подходит для
44:01
таких задач будет возможно делать менее гибкие чипы Но более эффективные с точки
44:08
зрения решения целевой задачи на этом У меня все спасибо за внимание