Полное видео https://www.youtube.com/watch?v=Kbk9BiPhm7o&ab_channel=LexFridman
БИОГРАФИЯ ГОСТЯ:
Илон Маск — генеральный директор Neuralink, SpaceX, Tesla, xAI и технический директор X. Донджин Сео — операционный директор и президент Neuralink. Мэтью Макдугалл — главный нейрохирург в Neuralink. Блисс Чепмен — ведущий разработчик программного обеспечения для нейрокомпьютерного интерфейса в Neuralink. Нолан Арбо — первый человек с микрочипом Neuralink в мозге.
Расшифровка видео
0:03
можешь рассказать Что необходимо для
0:05
отличной команды инженеров в кластере в
0:08
мемфисе я увидел невероятное стремление
0:11
к упрощению процесса пониманию процесса
0:14
постоянному его улучшению
0:22
интегрирования
0:25
Ну Легко сказать упрощать но сделать это
0:29
очень трудно
0:33
У меня есть очень простой алгоритм перво
0:35
принципов который я использую как мантру
0:39
Сначала ставлю под сомнение требования
0:41
делаю их менее
0:43
глупыми требования всегда до некоторый
0:46
степени глупые стоит начать с сокращения
0:49
требований независимо от того насколько
0:51
умён человек который дал вам эти
0:53
требования он до некоторой степени глуб
0:56
начинать нужно с этого Потому что в
0:58
противном случае луде ответ на
1:00
неправильный вопрос Старайтесь избегать
1:03
ошибочных вопросов Вот что
1:06
значит ставить требования под
1:08
сомнение второй
1:11
шаг попытаться избавиться от процессов
1:15
этапов или
1:16
деталей звучит
1:21
очевидно Но люди часто об этом
1:24
забывают если нет необходимости вернуть
1:26
хотя бы 10% из того что вы убрали значит
1:30
недостаточно несколько нелогично но в
1:33
большинстве случаев люди чувствуют будто
1:36
добились успеха
1:38
если не нужно ничего
1:41
возвращать Но на самом деле это не так
1:44
они были слишком консервативные и
1:45
оставили то чего там не должно было
1:49
быть и только третий
1:51
шаг попытаться оптимизировать или
1:57
упростить опять же этот не очевидно но
2:01
Сколько раз я делал такие
2:04
ошибки больше чем можно представить Вот
2:07
почему у меня такая
2:09
мантра Более того я говорю что самая
2:12
распространённая ошибка умных инженеров
2:14
оптимизировать то что не должно
2:16
существовать
2:18
Ага значит как ты говоришь ты проходишь
2:21
через алгоритм и по сути смотришь на
2:23
задачу подходишь к кластеру оцениваешь
2:26
процесс и спрашиваешь Можно ли это
2:29
убрать
2:30
Да сначала Попробуйте избавиться от
2:33
процесса это не так просто на самом
2:38
деле обычно людям некомфортно от того
2:41
что как минимум часть из того что они
2:42
убрали Нужно вернуть
2:46
обратно возвращаясь к лимбической
2:48
системе которая может нас подвести мы
2:51
склонны помнить неприятные ощущения от
2:53
тех
2:54
случаев когда мы убрали что-то что потом
2:58
оказалось нужным
3:02
люди помнят тот случай трёхлетней
3:04
давности когда они что-то забыли
3:06
добавить и у них были
3:09
проблемы в итоге они начинают
3:11
перестраховаться слишком много добавляют
3:13
и всё усложняют на самом деле нужно
3:16
сказать слушайте мы намеренно уберём
3:18
больше чем
3:20
нужно как минимум одну из десяти вещей
3:23
мы потом
3:26
вернём я видел как ты предлагаешь что-то
3:29
убрать
3:30
и можно заметить боль в
3:32
глазах О да абсолютно всем от этого
3:35
немного больно Конечно я заранее говорю
3:39
им Да часть из того что мы уберём мы
3:40
вернём обратно это немного потрясает
3:44
людей но в этом есть смысл если ты
3:47
настолько консервативен
3:50
что никогда не возвращаешь ничего
3:52
обратно Значит у тебя явно много
3:55
лишнего нужно перестраховаться
4:00
чес инстинкта один из многих которые
4:03
вводят нас в заблуждение
4:06
Да есть ещё четвёртый шаг всё можно
4:12
ускорить насколько бы быстро ты что-либо
4:15
не делал это можно сделать ещё быстрее
4:18
но не стоит ускорять процессы пока ты не
4:20
попытался их убрать и оптимизировать
4:22
ускорять что-то чего не должно
4:24
существовать абсурдно а пятый шаг
4:27
автоматизация
4:30
Я много раз возвращался назад после того
4:32
как что-то автоматизировал ускорил
4:35
упростил а потом
4:37
убрал мне надоело это
4:39
делать поэтому у меня есть эта мантра из
4:42
очень эффективного
4:48
пятиступенчатой процесс реально больно
4:50
да как будто ты да очень типа Ого я
4:54
действительно потратил много усилий
4:56
впустую то что ты сделал с кластером в
4:58
мемфисе невероятно и это всего за
5:01
несколько недель Ну он ещё не работает
5:05
Так что шампанское открывать
5:09
рано на самом деле у меня через
5:11
несколько часов будет созвон команды из
5:14
мемфиса потому что у нас есть проблемы с
5:16
колебаниями
5:21
мощности
5:23
Ага когда проводишь
5:27
синхронное обучение когда компьютеры
5:31
обучаются и это обучение
5:33
синхронизировано на уровне
5:35
миллисекунд это похоже на
5:39
оркестр Этот оркестр может переходить от
5:43
громко к тихо за доли секунды и
5:47
тогда система сходит с
5:50
ума электрические системы не ожидают
5:53
увидеть огромные скачки в
5:56
10
5:58
20м в
6:00
секунду это одна из главных вещей с
6:03
которой нужно разобраться охлаждение
6:05
питание и по дальше по программной
6:08
цепочке организация распределённых
6:10
вычислений всё такое всё должно работать
6:13
да сегодняшняя проблема экстремальный
6:16
джитер мощности джитер мощности Да
6:19
звучит красиво ладно И ты сидел до позна
6:24
как часто это делаешь На прошлой неделе
6:27
да на прошлой неделе
6:29
в прошлый
6:31
понедельник мы наконец запустили
6:34
обучение Странно Но около 4:20
6:38
утра чистое совпадение да но может в
6:41
4:22 Ага снова шутки от Вселенной именно
6:45
она такое любит мог бы ты рассказать о
6:48
том что ты делал когда я был в
6:51
мемфисе ты обсудил все этап работы чтобы
6:54
убедиться что ты сам их понимаешь Илье
7:01
чтобы каждый осознавал если что-то
7:03
нелепо или неэффективно можешь
7:06
рассказать об этом да смотри всё Что
7:09
делают люди на передовой я стараюсь хотя
7:11
бы несколько раз сделать сам например
7:14
подключение оптоволоконных кабелей
7:17
диагностика неисправного соединения
7:20
кабели как правило – это ограничивающий
7:22
фактор для больших кластеров там столько
7:27
кабелей в целостной системе Где
7:29
используется удалённый прямой доступ к
7:32
памяти всё работает как
7:34
один огромный
7:38
мозг Это соединение
7:41
типа каждый с
7:45
каждым любой GPU может общаться с любым
7:48
из 100000
7:50
GPU схема кабелей
7:53
бешеная выглядит довольно Круто как
7:56
человеческий мозг но ВТА
7:59
люди могут увидеть похоже на мозг Да в
8:03
человеческом мозге тоже огромная часть
8:06
мозговой ткани – это
8:09
кабели серое вещество – это
8:11
вычислительная часть а белое вещество –
8:13
это кабели значительная часть мозга –
8:16
это кабели когда мы ходили по центру
8:19
суперкомпьютеров казалось будто мы
8:21
внутри мозга который Однажды создаст
8:25
сверхразум ную сверхразум ную систему