Кто Такие Промпт-Инженеры? Искусство Общения С Нейросетями

Как заставить искусственный интеллект думать так, как вам нужно? Четыре гуру промпт-инжиниринга из Anthropic раскрывают свои секреты и делятся уникальным опытом общения с ИИ. От симуляции мышления нейросети до создания идеальных промптов – вы узнаете, почему промпт-инженеры относятся к ИИ как к умному собеседнику, а не как к поисковой строке Google. Готовы ли вы научиться “телепатии” с искусственным интеллектом и узнать, как извлечь максимум из его возможностей? Погрузитесь в увлекательный мир, где создание промптов превращается в искусство, а общение с ИИ становится настоящим танцем с алгоритмами.

Таймкоды

00:00:00 Введение в инженерию запросов

• Обсуждение инженерии запросов и разнообразия точек зрения.
• Представление участников: Алекс, Дэвид Хершей, Аманда Аскел, Заквитан.
• Введение в тему и контекст для дальнейших обсуждений.

00:02:13 Определение инженерии запросов

• Инженерия запросов как попытка заставить модель делать что-то полезное.
• Важность ясного общения и понимания психологии модели.
• Возможность итеративного изменения запросов и экспериментов.

00:04:14 Интеграция запросов в систему

• Интеграция запросов в систему требует системного мышления.
• Запросы как способ программирования моделей.
• Важность четкого описания задач и управления версиями.

00:06:55 Что делает хорошего инженера запросов

• Ясная коммуникация и способность к итерациям.
• Готовность к итерациям и исправление ошибок.
• Учет необычных случаев и тестирование запросов.

00:09:50 Чтение ответов модели

• Важность чтения выходных данных модели.
• Модель может воспринимать инструкции более абстрактно.
• Необходимость четкого донесения информации до модели.

00:10:44 Теория разума и инженерия запросов

• Трудности в записи инструкций для задачи.
• Необходимость систематического разбора информации.
• Запросы, зависящие от предыдущего понимания задачи.

00:12:03 Общение с моделями

• Важно уметь отстраняться от своих знаний и общаться с моделями.
• Модели не всегда задают уточняющие вопросы, как люди.
• Необходимо задавать модели вопросы, чтобы понять, что они не понимают.

00:13:00 Обучение моделей

• Модели могут распознавать свои ошибки, если им объяснить, что они сделали неправильно.
• Это помогает улучшить взаимодействие с моделями и учиться на их ошибках.
• Важно понимать, когда доверять модели и когда нет.

00:14:57 Доверие к моделям

• Доверие к моделям зависит от опыта и понимания их поведения.
• Модели могут быть менее надежны в необычных или редких случаях.
• Важно анализировать большие наборы данных для повышения надежности.

00:15:55 Анализ данных

• В машинном обучении важно анализировать большие наборы данных для снижения шума.
• Высокий сигнал от каждого запроса может быть более надежным, чем низкий сигнал от множества точек.
• Модели часто выдают много информации, что помогает лучше понять их поведение.

00:16:54 Запросы и эксперименты

• Запросы могут сильно влиять на успех эксперимента.
• Важно уделять внимание качеству запросов, чтобы избежать неудачных экспериментов.
• Модели могут не справляться с задачами, и это нужно учитывать при разработке запросов.

00:18:23 Эвристики для запросов

• Существует множество запросов, и всегда есть мифический лучший вариант.
• Важно проверять, понимает ли модель, о чем идет речь.
• Если модель явно не может решить задачу, не стоит тратить на это много времени.

00:19:32 Проблемы с обучением моделей

• Модели часто не могут правильно понять задачи из-за изменений в процессе мышления.
• Автор испытывает разочарование, когда модели не справляются с задачами.
• Пример с Клодом, который не смог играть в игру “Покемон” на эмуляторе Game Boy.

00:20:28 Эксперимент с Клодом

• Клод не смог правильно интерпретировать скриншоты игры “Покемон”.
• Автор потратил выходные на улучшение запросов, но добился лишь незначительных успехов.
• Решение отложить задачу до выхода новой модели.

00:22:10 Проблемы с изображениями

• Автор использовал сетку для описания визуальных деталей изображений.
• Многократные запросы оказались менее эффективными для изображений по сравнению с текстом.
• Модели не всегда могут правильно интерпретировать изображения, несмотря на множество запросов.

00:24:06 Взаимодействие с NPC

• Клод не мог правильно описать NPC, несмотря на многочисленные попытки.
• Автор пытался представить NPC как реального человека, но это не помогло.
• В итоге, Клод был представлен как экранный диктор для слепого человека.

00:25:52 Честность в общении с моделями

• Автор предпочитает быть честным с моделями, чтобы избежать обмана.
• Модели должны понимать, что от них требуется, без необходимости притворяться.
• Пример с оценкой качества диаграммы, где модель должна была оценить её как учитель старшей школы.

00:28:14 Проблемы с метафорами в запросах

• Люди часто используют метафоры для описания задач, что приводит к потере нюансов.
• Модели становятся лучше, и важно быть точным в описании контекста.
• Использование метафор может быть полезным, но часто приводит к ошибкам.

00:29:13 Роль запросов в контексте

• Важно быть предписывающим в описании контекста задачи.
• Люди часто используют сокращения, что приводит к неправильному пониманию задач.
• Модели должны понимать контекст задачи, чтобы правильно её выполнить.

00:30:11 Проблемы с интуицией и запросами

• Люди часто не предоставляют детали о задаче, что приводит к ошибкам.
• Модели становятся умнее и могут различать больше тем, что требует ясности в запросах.
• Использование интуиции от предварительно обученных моделей может быть полезным, но не всегда точным.

00:31:59 Эксперимент с временными работниками

• Представьте, что вы нанимаете временного работника для выполнения задачи.
• Важно описать задачу так, чтобы временный работник мог понять её.
• Люди часто не понимают, как правильно описать задачу для модели.

00:33:49 Проблемы с формулировкой запросов

• Люди часто видят текстовое поле как поисковую строку, что не всегда правильно.
• Важно описывать задачу предписывающе, а не использовать маленькие уловки.
• Модели должны следовать инструкциям, но важно давать им выходы для непредвиденных ситуаций.

00:35:37 Оценка моделей и тестирование

• Оценка моделей должна включать инструкции и выходы для непредвиденных ситуаций.
• Тестирование должно быть предписывающим и включать инструкции для моделей.
• Люди часто делают хуже, чем модели, без контекста задачи.

00:38:07 Понимание мыслительного процесса

• Важно понимать мыслительный процесс моделей, чтобы улучшить их работу.
• Заставляйте модели объяснять свои рассуждения заранее.
• Это помогает понять, как модели работают и как их улучшить.

00:38:29 Рассуждения и модели

• Вопрос о том, является ли ответ модели истинным рассуждением или просто результатом вычислений.
• Персонификация может быть вредной, так как уводит от основной цели.
• Рассуждения помогают модели лучше работать, структурируя и итеративно улучшая её понимание.

00:39:57 Тестирование рассуждений

• Удаление правильных рассуждений и замена их ошибочными для проверки правильности ответа.
• Структурирование рассуждений помогает модели лучше понимать задачи.
• Рассуждения не всегда приводят к правильному ответу, но они важны для достижения результата.

00:41:50 Грамматика и пунктуация в запросах

• Обсуждение необходимости хорошей грамматики и пунктуации в запросах.
• Важно уделять внимание деталям, чтобы запросы были естественными и понятными.
• Давление извне может способствовать улучшению качества запросов.

00:44:00 Опечатки и предобученные модели

• Предобученные модели лучше справляются с запросами без опечаток.
• Модели с подкреплением не делают опечаток в своей работе.
• Предобученные модели могут предсказывать, что введут клиенты, и избегать опечаток.

00:45:36 Эмоции и ответы моделей

• Модели могут угадывать, как пользователи хотят, чтобы они себя вели.
• Человеческие аннотаторы предпочитают получать ответы без опечаток.
• Модели, такие как Клод, могут отвечать с эмоциями, что соответствует ожиданиям пользователей.

00:46:31 Различие между корпоративными и исследовательскими запросами

• Корпоративные запросы требуют надежности и повторяемости.
• Исследовательские запросы стремятся к разнообразию и гибкости.
• Количество примеров в запросах влияет на их качество.

00:47:26 Примеры в запросах

• В корпоративных запросах используется меньше примеров.
• В исследовательских запросах примеры могут быть иллюстративными.
• Примеры должны быть разнообразными, чтобы модель могла адаптироваться.

00:50:16 Итеративный подход к запросам

• Корпоративные запросы предполагают многократное использование.
• Исследовательские запросы требуют гибкости и разнообразия.
• В чат-ботах запросы должны охватывать весь спектр возможных входных данных.

00:52:03 Советы по улучшению навыков работы с запросами

• Чтение и тестирование запросов других людей.
• Эксперименты и общение с моделью.
• Автоматизация работы с помощью моделей.

00:53:58 Исследование границ возможностей модели

• Разделение задачи на части и понимание шагов.
• Поиск сложных задач для модели.
• Проб и ошибок для понимания работы модели.

00:54:55 Взаимодействие с моделью при написании запросов

• Понимание границ возможностей модели.
• Взаимодействие с моделью через джейл-брейки и ред-тайминг.
• Влияние пост-обучения на работу модели.

00:56:33 Джейлбрейки и обучение моделей

• Джейлбрейки требуют понимания работы системы и проб и ошибок.
• Многоязычные данные и их влияние на обучение моделей.
• Использование социальной инженерии для обхода моделей.

00:58:16 Эволюция инженерии запросов

• Переход от предобученных моделей к более умным моделям.
• Важность внедрения новых трюков в модели.
• Модели становятся более способными и требуют меньше инструкций.

00:59:58 Доверие к моделям

• Увеличение доверия к моделям и предоставление им большего контекста.
• Модели могут обрабатывать сложные задачи без упрощения.
• Интуиция и уважение к возможностям моделей.

01:02:48 Подходы к запросам

• Изменение подходов к запросам в зависимости от модели.
• Важность понимания ментального пространства модели.
• Различие между предобученными и RLHF моделями.

01:06:08 Будущее инженерии запросов

• Вопрос о будущем инженерии запросов.
• Будут ли модели достаточно умными, чтобы не нуждаться в запросах?
• Необходимость работы с запросами в будущем.

01:06:30 Уточнение целей и запросов

• Модели становятся лучше в понимании и выполнении задач.
• Важно четко формулировать цели для моделей.
• Инструменты и методы работы с запросами должны эволюционировать.

01:07:30 Будущее взаимодействия с моделями

• Клод помогает в формулировке запросов.
• Будущее будет связано с использованием моделей для работы с запросами.
• Модели будут генерировать примеры и ответы, что упростит процесс.

01:08:24 Генерация запросов и взаимодействие с моделями

• Модели будут использоваться для написания запросов.
• Генерация примеров и обратная связь улучшат взаимодействие с моделями.
• Люди станут более уверенными в интеграции моделей в свои проекты.

01:10:20 Переход к более продвинутым моделям

• Модели могут понимать задачи на человеческом уровне.
• Запросы могут стать более интуитивными и понятными для моделей.
• Модели могут подсказывать, что нужно сделать, на основе контекста задачи.

01:12:11 Интервью с моделями и инженерия запросов

• Модели могут проводить интервью с пользователями для извлечения информации.
• Взаимодействие с моделями может стать более похожим на работу с дизайнерами.
• Инженерия запросов может стать менее актуальной в будущем.

01:13:54 Будущее взаимодействия с моделями и запросами

• Извлечение информации от пользователей станет более важным.
• Генерация запросов может стать более направленной и интерактивной.
• Взаимодействие с моделями будет похоже на обучение и интроспекцию.

01:15:51 Изобретение концепций

• Иногда концепции изобретаются автором, иногда в сотрудничестве с Клодом.
• Модели не пытаются делать это самостоятельно, если их не подталкивать.
• В будущем модели могут извлекать концепции от людей, но пока это приходится делать авторам.

01:16:48 Философия и запросы

• Философия полезна для запросов, так как помогает сделать сложные идеи понятными для образованных непрофессионалов.
• Цель дисциплины – сделать статьи понятными для людей, не специализирующихся в теме.
• Автор привык писать для образованных непрофессионалов, что помогает в формулировании запросов.

01:17:48 Техника обучения

• Автор часто говорил студентам: “Возьмите то, что вы сказали, и запишите это”.
• Это помогало студентам лучше формулировать свои мысли и писать отличные эссе.
• Внешнее выражение мыслей через разумного человека – ключевой аспект работы с запросами.

01:17:48 Заключение

• Внешнее выражение мыслей – лучшее резюме для формулирования запросов.
• Образование в этой области помогает в формулировании запросов.
• Завершение разговора на позитивной ноте.

^{Таймкоды сделпны в Нейросети YandexGPT https://300.ya.ru/v_1axAxOPP}

Расшифровка видео

0:00
в целом эта сессия круглого стола будет сосредоточена в основном на инженерии запросов разнообразие точек зрения за этим столом по поводу запросов со стороны
0:10
исследований потребителей и предприятий Я хочу получить весь широкий спектр мнений потому что
0:15
их много и просто откроем обсуждение и исследуем Что такое инженерия запросов и о чём она Да Начнём
0:23
с этого может быть мы можем пройтись по кругу с представлениями я могу начать я Алекс я руковожу
0:31
отношениями с разработчиками здесь тропик до этого я был своего рода техническим инженером
0:36
запросов в anopic Я работал в нашей команде по инженерии запросов и выполнял различные
0:42
роли начиная от роли архитектора решений и заканчивая работой в исследовательской
0:47
области Так что возможно я могу передать слово дэвиду да конечно Меня зовут Дэвид хешей Я в
0:57
основном работаю с клиентами к над различными че Я помогаю людям с тонкой настройкой а также
1:03
с многими общими вопросами которые затрудняют внедрение языковых моделей такими как запросы и то как строить системы с языковыми моделями Но большую часть времени я работаю с клиентами
1:13
Классно я Аманда ал я возглавляю одну из команд по до обучению к где Я полагаю стараюсь сделать
1:21
так чтобы Клод был честным и добрым Да зо за Всегда спорим о том Кто был первым Он не говорит
1:32
ему Я говорю ему оспаривается да Раньше я много работал с отдельными клиентами примерно так же
1:38
как сейчас делает Дэвид хершель и затем когда мы привлекли больше Архитекторов решений в команду я
1:44
начал работать над тем что должно улучшить общий уровень окружающих запросов общество Я полагаю
1:51
как генератор запросов и различные образовательные материалы которые люди используют Здорово Классно
1:58
Ну что ж Спасибо ребята что пришли сюда я начну с очень общего вопроса чтобы у нас был контекст
2:04
для дальнейших обсуждений Что такое инженерия запросов Почему это почему это инженерия Что такое
2:12
запрос на самом деле если кто-то хочет начать Поделитесь своим мнением об этом не стесняйтесь
2:17
взять инициативу в свои руки Мне кажется что у нас есть инженер запросов Да точно мы все
2:23
инженеры запросов в своей собственной форме Ну у одного из нас есть работа Да может быть поскольку
2:29
это в твоём времени у него есть работа Значит у тебя нет работы Да я думаю что инженерия запросов
2:38
пытается заставить модель делать вещи пытается извлечь из модели максимум пытается работать с
2:44
моделью чтобы выполнить задачи которые иначе были бы невозможны так что многое из этого
2:51
сводится к ясному общению Я думаю в своей сути общение с моделью очень похоже на общение с
2:58
человеком понимание психологии модели в чём Аманда является самым экспертом в мире итак
3:08
хорошо я продолжу с вами Почему в названии есть слово инженерия Да я думаю что Инженерная часть
3:14
исходит из проб и ошибок хорошо одной из приятных вещей в общении с моделью в отличие от общения с
3:21
человеком заключается У вас есть эта кнопка перезапуска этот огромный Возврат к нулевой точке Где вы начинаете с самого начала что это даёт вам возможность делать чего у вас нет так
3:33
это действительно начать с нуля и пробовать разные вещи Независимо чтобы не было вмешательства друг в
3:39
друга И как только у вас появляется возможность экспериментировать и разрабатывать разные вещи
3:45
Именно тогда Инженерная часть А может вступить в дело Итак вы говорите что когда вы пишете эти
3:52
запросы Вы вводите сообщения в Cloud или в API или куда-то ещё имея возможность взаимодей модель и
4:01
итеративная часть вся эта Концепция – это инженерия запросов в одном есть ещё один
4:14
Аспект который заключается в том чтобы интегрировать запросы в вашу систему в
4:20
целом Дэвид хешей проделал огромную работу с клиентами по интеграции часто это не так
4:27
просто как написать один запрос передать его моде и закончить на самом деле это далеко не
4:32
так это гораздо сложнее да я имею в виду что я как бы рассматриваю запросы как способ которым
4:38
вы немного программирует модели это усложняет ситуацию потому что я думаю что зак в целом
4:43
прав что просто чёткое общение это самое важное Но если подумать это как программирование модели
4:50
нужно учитывать откуда поступают данные и к каким данным У вас есть доступ Так что если вы делаете раг или что-то подобное что я могу использовать и передать модели
5:01
вам нужно подумать о компромиссах в задержке и о том сколько данных вы предоставляете и о подобных вещах существует достаточно системного мышления которое необходимо для того чтобы правильно
5:10
построить модель Я думаю что это также является Основной причиной почему это возможно заслуживает
5:16
отдельного выделения как область о которой стоит рассуждать отдельно от просто программиста или менеджера проекта или чего-то подобного это своего рода отдельная область как рассуждать об этих
5:26
моделях является ли запрос в этом смысле языковым кодом Является ли это более высоким уровнем
5:33
абстракции или это отдельная вещь Я думаю что попытка сделать запрос слишком абстрактным – это
5:41
способ усложнить дело потому что как мне кажется мы к этому подойдём но чаще всего то что вы
5:47
хотите сделать это просто написать очень чёткое описание задачи а не пытаться строить безумные
5:52
абстракции или что-то в этом роде Но тем не менее Вы часто собираете набор инстру и подобные вещи
6:00
в результаты и поэтому точность и многие вещи о которых вы думаете в программировании такие
6:07
как управление версиями и то как это выглядело тогда когда у вас был этот эксперимент и Как
6:12
отслеживать ваши эксперименты и подобные вещи это всё знаешь это Также важно как и код знаешь
6:19
странно находиться в этой парадигме где написанный текст например хороший эссе который ты написал
6:26
воспринимается так же как и код Да но в этом есть доля правды Теперь мы пишем эссе и относимся к ним
6:33
как к коду и я думаю что это действительно так да хорошо интересно Так что возможно опираясь на это
6:40
мы как-то нечётко определили Что такое инженерия запросов Что делает хорошего инженера запросов
6:47
может быть Аманда я обращусь к тебе поскольку ты пытаешься нанять инженеров запросов особенно
6:52
в исследовательской среде А как это выглядит что ты ищешь в таком человеке Да хороший вопрос
7:00
Я думаю это смесь того что сказал зак своего рода Ясная коммуникация таким образом способность чётко
7:06
формулировать вещи Ясно понимать задачи хорошо обдумывать и описывать концепции это похоже на
7:12
компонент письма Я думаю на самом деле я считаю что быть хорошим писателем не так связано с тем чтобы быть хорошим инженером запросов как люди могут думать ну я думаю я уже обсуждал это с
7:23
людьми потому что есть аргумент что возможно не стоит использовать название инженер в этом контексте почему это не просто писатель раньше я был более склонен к этому А теперь я понимаю что
7:34
на самом деле происходит люди думают что ты пишешь что-то одно и на этом всё А на самом деле чтобы
7:40
получить хотя бы более-менее приличный запрос когда я сажусь с моделью я знаете как раньше я
7:45
задавал модели запросы и за 15 минут я отправлял модели сотни запросов это просто обмен обмен
7:52
обмен Итак я думаю что это готовность к рациям и желание посмотреть и подумать что здесь Было
7:59
неправильно Понято если это вообще имело место и затем исправить это то есть эта способность к
8:05
итерация я бы сказал что это чёткая коммуникация и способность к итерация Я также думаю о том как
8:11
ваш запрос может быть неправильным Если у вас есть Запрос который вы собираетесь применять скажем к 400 случаям очень легко думать о типичном случае к которому он будет применяться чтобы убедиться
8:21
что в этом случае будет найдено правильное решение Я думаю что это типичная ошибка которую совершают
8:26
люди что вы хотите сделать так это случаи когда это необычно поэтому вам нужно подумать о своём
8:32
запросе и задать себе вопрос Когда мне не ясно Что я должен сделать в этом случае Например у вас есть
8:38
Запрос который говорит я собираюсь отправить вам кучу данных Я хочу чтобы вы извлекли все строки где имя человека я не знаю начинается с буквы J а потом ты думаешь Ну я отправлю это как набор
8:48
данных где нет ничего подобного нет такого имени которое начинается с буквы J Я отправлю что-то Что
8:54
не является набором данных просто возможно я также Просто отправлю пустую строку это это всё случаи
9:00
которые вам нужно попробовать и задаёте вопросом что он делает Вы можете дать ему инструкции Как
9:05
справляться Я часто работаю с клиентами где как инженер ты что-то строишь и есть часть в твоём
9:12
запросе Где клиент Должен что-то написать да и все они думают о таких идеально сформулированных
9:18
фразах которые как им кажется кто-то введёт в их чатбот на самом деле это как будто они никогда не
9:23
использовали клавишу Shift и каждое второе слово – это опечатка Они думают что пунктуации нет
9:29
Да они просто вставляют случайные слова точно без вопросов Так что у вас есть эти оценки которые
9:35
выглядят как прекрасно структурированные фразы которые их пользователи в идеале должны были бы ввести но возможность сделать следующий шаг и рассуждать о том каков будет ваш фактический
9:45
трафик что люди на самом деле попытаются сделать Да это другой уровень мышления одна вещь которую
9:50
вы сказали действительно отозвалась во мне это чтение ответов модели в контексте машинного
9:56
обучения Вы должны смотреть на данные это клише Посмотрите на свои данные и мне кажется что
10:02
эквивалентом для запросов является посмотреть на выходные данные модели просто читаю много результатов и внимательно их изучаю Дэвид и я говорили по пути сюда одна вещь которую
10:11
люди делают это они думают Шаг за шагом в своём запросе и они не будут проверять Действительно ли
10:17
модель думает Шаг за шагом потому что модель может воспринимать это более абстрактно или обобщённо а
10:23
не так что нет буквально Вы должны записывать свои мысли в этих конкретных тегах Так что да Если вы
10:28
нечи выводы модели Вы можете даже не заметить что она делает эту ошибку Да это интересно существует
10:36
некая странная теория о том что значит быть инженером запросов где нужно думать почти О
10:42
как модель будет воспринимать ваши инструкции Но если вы также пишите для корпоративного случая
10:47
вам нужно подумать о том как пользователь будет общаться с моделью поскольку Вы являетесь третьей
10:52
стороной находящийся в этих странных отношениях да я Ух ты что касается теории разума то я бы
11:01
сказал что очень трудно записать инструкции для задачи так сложно распутать в своей голове всё
11:09
то что ты знаешь это невероятно сложная задача избавиться от всех предположений которые у вас
11:15
есть и суметь очень чётко донести полный набор фактов и информации необходимых модели Я думаю что
11:21
это ещё одна вещь которая действительно отличает хорошего инженера запросов от плохого это как если
11:26
вы многие люди просто записывают то что знают но не уделяют время чтобы систематически разобрать
11:32
это какой на самом деле полный набор информации вам нужно знать чтобы понять эту задачу верно и
11:41
это как раз то что я часто вижу запросы которые написаны Так что они сильно зависят от предыдущего
11:47
понимания задачи и когда они показывают это мне Я думаю это не имеет смысла ничто из того что вы
11:53
написали не имеет смысла потому что я ничего не знаю о вашем интересном случае использования но
11:59
Я думаю что это хороший способ рассмотреть инженерию запросов в этом плане и хорошая
12:04
способность к этому заключается в том Можете ли вы действительно отстраниться от того что знаете и общаться с этой странной системой которая знает много но не всё о том что ей нужно знать для
12:16
выполнения задачи Да Сколько раз я видел чей-то запрос и потом слышал Я не могу выполнить задачу
12:22
на основе этого И я такой я на человеческом уровне а ты даёшь это чему-то что хуже меня и ожида
12:29
оно справи лучше и я такой да да есть эта интересная веь что текущие модели не очень
12:36
хорошо задают Хорошие уточняющие вопросы в ответ как это сделал бы человек если я даю
12:41
Заку уну инструкции о том как что-то сделать он говорит это не имеет смысла что мне делать На этом этапе или здесь и здесь а модель так не делает верно поэтому вам нужно как бы вы сами
12:53
подумать о том что мог бы сказать другой человек а затем вернуться к вашему запросу и ответить на эти
13:00
Вы можете попросить это сделать одно из первых действий с запросом Я даю ему запрос а затем
13:06
говорю я не хочу чтобы ты следовал этим инструкциям я просто хочу чтобы ты сказал мне в чём они неясны или о любых двусмысленности или о чём-то что ты не понимаешь И это не всегда
13:16
получается идеально но интересно что это одна из вещей которые ты можешь сделать а иногда если люди видят что модель ошибается они не часто делают то что нужно а именно просто спрашивают модель
13:26
они говорят модели ты это сделал неправильно Почему напиши отредактирован ную версию моих инструкций чтобы ты не ошибся и часто модель просто понимает правильно модель такая О да вот
13:37
что было неясно вот исправление для инструкций и Затем вы вводите это и всё работает хорошо а мне
13:44
на самом деле очень интересно это лично это правда что это работает Может ли модель распознавать свои
13:50
ошибки таким образом когда она ошибается Вы спрашивайте почему ты это сделал неправильно
13:55
или она возможно вам отвечает что-то вроде как мне переформулировать это для тебя в будущем чтобы ты
14:01
понял правильно есть ли в этом элемент Правды или это просто галлюцинация со стороны модели
14:06
относительно того что она считает своими пределами Я думаю если ты объяснишь ей что она сделала
14:11
неправильно она может э иногда идентифицировать ошибки в запросе Я думаю это зависит от задачи это
14:17
одна из тех вещей где я не уверен в каком проценте случаев она делает это правильно но я всегда пробую потому что иногда это срабатывает Да ты чему-то учишься Каждый раз когда ты возвращаешься
14:27
к модели или общаешься с ней Ты узнаёшь что-то о том что происходит Я думаю что вы раскрывается
14:33
Немного это интересно Аманда я собираюсь задать тебе ещё несколько вопросов одна вещь возможно
14:41
Для всех кто смотрит это у нас есть каналы SL врок где люди могут добавить Клода в канал слак а затем
14:48
Вы можете общаться с Клодом через него у Аманды есть канал в слак за которым следит много людей
14:54
где она делится своими взаимодействиями с Клодом и одна веь которую я вижу что ты всегда делаешь
15:00
там И вероятно делаешь это больше всех Рок это использовать модель чтобы помочь тебе в различных
15:07
сценариях Я думаю что Вы вкладываете много доверия в модель в исследовательской среде Интересно
15:12
как вы развили эти интуиции о том когда доверять модели – это просто вопрос использование опыта или
15:18
что-то ещё я думаю что никогда не доверяю модели и потом я просто на неё давлю Поэтому я думаю что
15:24
причина по которой вы часто видите как я это делаю заключается в том что я пытаю понять могу ли я
15:30
доверять тебе выполнять эту задачу есть некоторые вещи вы знаете модели немного странные Если вы
15:35
немного выходите за пределы распределения например вы попадаете в области где они не были обучены или
15:41
которые довольно необычны Иногда ты думаешь о на самом деле ты здесь гораздо менее надёжен Хотя это довольно простая задача Я думаю что это происходит всё реже и реже с течением времени по
15:50
мере улучшения моделей но ты хочешь убедиться что не находишься в таком положении Да я не
15:55
думаю что доверяю этому по умолчанию но в области машины обучения люди часто хотят анализировать
16:01
действительно большие наборы данных когда это имеет смысл делать И я думаю что ответ заключается в том что когда вы получаете относительно низкий сигнал с каждой точки вы хотите смотреть на
16:11
множество множество точек данных чтобы избавиться от шума для многих задач Я думаю что Вы на самом
16:16
деле получаете очень высокий сигнал от каждого запроса Итак если у вас есть действительно хорошо
16:22
составленный набор из нескольких сотен запросов которые как я думаю могут давать гораздо больше
16:27
сигнала чем ты тысячи которые не так хорошо проработаны я действительно думаю что могу
16:33
доверять модели если посмотрю на 100 её выходов и они будут действительно последовательными Я
16:38
знаю что я составил их чтобы в основном учесть все крайние случаи и все странные вещи которые модель
16:44
может делать с необычными входными данными и TRD я доверяю этому вероятно больше чем гораздо более
16:51
свободно составленному набору из нескольких тысяч я думаю что в машинном обучении часто сигналы
16:57
представляют собой числа знаете ли Правильно ли вы предсказали это или нет это будет Похоже на то
17:03
как смотреть на проблемы логов модели и пытаться что-то с этим сделать Что можно сделать но это как-то ненадёжно э Мне кажется что тот факт что модели чаще всего выдают много информации например
17:14
слов и прочего означает что между строками того что они пишут и почему и как есть фундаментально
17:20
много чего чему можно научиться это часть того что это такое дело не только в том Правильно
17:25
ли выполнена задача или нет а в том как они к этому пришли они об этом думали Какие шаги прошли Вы много узнаете о том что происходит или по крайней мере можете попытаться лучше понять это
17:35
для меня именно Оттуда приходит много информации из чтения деталей того что было выдано а не только
17:41
из результата Я также думаю что лучший подход к запросом может действительно сделать разницу
17:47
между неудачным и успешным экспериментом Поэтому иногда меня раздражает если люди не уделяют
17:52
достаточно внимание компоненту запросов в своём эксперименте потому что я думаю что это может быть разницей между 1% в производительности модели и 01 процент таков что ваш эксперимент не удаётся
18:03
если это модель с производительностью в Верхних 5% но удаётся если это верхний 1% или Ноль процента и
18:11
тогда я думаю если вы собираетесь потратить время на то чтобы красиво закодировать свой эксперимент но не потратите время на запрос Это не имеет смысла для меня потому что это может быть разницей
18:21
между жизнью и смертью вашего эксперимента да и с развёртывания тоже так легко сказать о мы не можем
18:27
это отправить а потом ты меняешь запрос и вдруг всё начинает работать это немного двусторонний меч
18:33
потому что мне кажется что существует немного запросов где и всегда есть этот мифический
18:38
лучший вариант который решит мою проблему На горизонте Да я вижу как многие люди застревают в этом мифическом запросе На горизонте что если я просто продолжу упорно работать продолжу работать
18:48
то это никогда не плохо немного поработать над запросом как мы уже говорили вы учитесь Но это одна из пугающих вещей в запросах что существует целый мир неизвестного какие эвристики у вас
19:00
есть для определения того Возможно ли что-то с идеальным запросом А что нет независимо от того
19:05
что это может быть я обычно проверяю Понимает ли модель О чём идёт речь Поэтому когда я думаю
19:14
что запрос не поможет я немного поработаю над этим но часто становится очевидно что модель не
19:19
близка к решению задачи или что-то в этом роде Я думаю что если Да не знаю странно ли это Но
19:27
если модель явно не может что-то сделать я не буду слишком долго над этим работать Здесь вы
19:32
можете вызвать то Как оно об этом думает и можете спросить его как оно об этом думает и почему и вы
19:37
можете получить представление о том Правильно ли оно об этом думает мы вообще находимся в правильном направлении в этом вопросе и я чувствую что делаю некоторые шаги вперёд в этом направлении
19:50
получить что-то ближе к правильному когда есть задачи где ты действительно не продвигаемый
19:58
когда ты вносишь изменения уходит в совершенно другое очень неправильное направление и я просто
20:04
склонен оставлять такие задачи Я не знаю но они сейчас так редки и я очень злюсь
20:10
на модель когда обнаруживаю их потому что они настолько редки Я думаю как смеет быть задача
20:15
которую ты не можешь просто выполнить если я просто направлю тебя в правильном направлении Да у меня была моя история с Клодом который играл в Покемонов недавно и это был один из
20:25
редких случаев когда ты объяснял это людям я провёл небольшой эксперимент подключив Клода к эмулятору gameboy и попытался заставить его играть в игру покемончик
20:35
покемончик и подобное довольно базовое я пробовал множество различных очень сложных схем запросов
20:47
Но ты просто попадаешь в определённые места где он просто не мог сделать это правильно Например
20:52
показав ему скриншот игры на Game Бой Он просто не мог это сделать это так глубоко расстраивало
20:58
потому что что я так привык к тому что он может что-то делать в основном и я провёл целые выходные
21:03
пытаясь написать все лучшие и лучшие запросы чтобы он действительно понял экран ame бой я
21:09
добился постепенного улучшения Так что он был только ужасен вместо того чтобы быть совершенно
21:14
без сигнала как ты получаешь от полного отсутствия сигнала до некоторого сигнала Но это было не знаю
21:20
по крайней мере это вызвало У меня интерес когда я потратил выходные на это и я добился от отсутствия
21:26
сигнала до некоторого сигнала Но это было далеко от достаточного Я просто подожду следующую модель Да я просто подожду другую модель мы можем работать над этим 4 месяца и то что выйдет будет
21:38
другой моделью да и это лучшее использование моего времени просто сидеть и ждать чтобы сделать что-то
21:44
другое в это время я имею в виду Да это внутреннее напряжение которое мы видим всё время верно и
21:50
возможно мы можем к этому вернуться через секунду Если ты хочешь что-то обсудить Мне понравилось
21:58
этой игры помо и Да вот как будут представлены вещи и вот возможно я действительно думаю что
22:05
ты на самом деле представил это двумя разными способами верно я так и сделал так что в конце
22:10
концов я сделал то что было неприятно но я наложил сетку на изображение а затем мне нужно
22:17
было описать каждый сегмент сетки в визуальных деталях и потом мне нужно было восстановить это в Аки карте и я дал ему столько деталей сколько мог например персонаж игрока всегда находится на
22:29
позиции 4-5 на сетке и подобные вещи Вы можете постепенно накапливать информацию Я думаю это
22:34
на самом деле очень похоже на запросы но я просто никогда не делал этого с изображениями раньше где
22:40
иногда моя интуиция о том что нужно сказать модели о тексте сильно отличается от того что нужно
22:46
сказать модели об изображениях Да и Я обнаружил Что удивительно небольшое количество моих интуиции
22:51
о тексте перенесло с на изображение Да знаешь Я обнаружил что многократные запросы не так
22:57
эффективны для изображения и текста Я не совсем уверен Может есть теоретические объяснения Почему
23:02
так возможно этого меньше в обучающих данных меньше примеров Да да я знаю когда мы проводили
23:08
первоначальные исследования с многомод запросами Нам действительно не удавалось добиться заметного
23:14
результата Да верно как будто ты просто не можешь улучшить фактическую как бы зрительную остроту
23:20
Клода в том что он улавливает на изображени Если кто-то знает способы неизвестные Но это
23:27
похоже на ситуацию с монами где система пытается интерпретировать это И сколько бы запросов вы ей
23:33
бросаете она просто не понимает что Эш находится в этом месте Да я думаю чтобы быть более наглядным
23:39
я мог бы в конечном итоге добиться того чтобы он чаще всего говорил мне где находится стена и чаще
23:45
всего говорил мне где находится персонаж он будет немного ошибаться но потом ты доходишь до точки и
23:50
это возможно возвращает нас к тому что зная Когда вы не можете это сделать как это описывает NPC и
23:56
играть в игру вам нужно иметь какое-то чувство непрерывности например говорил ли я с этим NPC
24:02
раньше без этого вы действительно ничего не можете сделать ты просто будешь продолжать
24:07
говорить с NPC потому что возможно это другой NPC но я бы очень старался заставить его описать NPC
24:13
и это как бы человек да они носили шляпу это как будто ты дишь какое-то время как будто
24:18
увеличивает и и обрезаешь только конец и я не имею ни малейшего представления Что это такое
24:25
Я показывал это какому-то ясному жен достаточно раз и это просто не приблизилось к этому это когда
24:32
Это просто полная безнадёжная затея ну вы знаете хорошо что можно попробовать это сейчас я просто
24:38
представляю все вещи которые бы я попробовал как будто не знаю Я хочу чтобы вы представили это как
24:43
схему как настоящего человека и просто описали мне какие они как они выглядят когда смотрят в
24:50
зеркало а затем просто посмотреть что произойдёт я попробовал много вещей в конечном итоге запрос
24:56
заключался в том чтобы сказать что это экранный диктор для слепого человека не знаю помогло ли это Но это казалось правильным поэтому я как бы остался с этим Это интересный момент
25:06
на самом деле я хочу немного углубиться в это потому что это один из самых известных Советов по запросам верно сказать языковой модели что она представляет собой какую-то личность или роль Мне
25:18
кажется что я вижу смешанные результаты Возможно это работало немного лучше в предыдущих моделях
25:24
А сейчас не так уж и хорошо Аманда я вижу что ты всегда очень честна по поводу всей ситуации О я
25:30
исследователь ии и я провожу этот эксперимент я скажу ему кто я назову себя буду говорить с кем
25:36
ты разговариваешь правильно Как вы думаете уровень честности вместо того чтобы обманывать модель или
25:43
заставлять её Например я дам вам 500 Есть ли один предпочтительный метод в этом случае или просто
25:49
Каково ваше интуитивное мнение по этому поводу Да я думаю что по мере того как модели становятся
25:55
более способными и понимают больше о мире я просто не вижу необходимости лгать им Я имею в виду что
26:02
мне тоже не нравится обманывать модели просто потому что вы знаете я вообще не люблю лгать но часть меня думает что если вы скажем создаёте предположим набор данных для оценки для системы
26:13
машинного обучения или для языковой модели это очень отличается от того как составлять викторину
26:19
для детей и когда люди делали что-то подобное я учитель который пытается придумать вопросы
26:24
для викторины Я думаю что модель знает что такое оценки языковых моделей Если вы Спросите его о
26:30
разных оценках он может вам рассказать и привести придуманные примеры того как они выглядят Потому что эти вещи Они понимают их они в интернете и поэтому я думаю что мне гораздо больше нравится
26:40
сосредоточиться на конкретной задаче которую я имею Если вы говорите Я хочу чтобы вы составили
26:45
вопросы которые очень похожи на оценку языковой модели это просто это вся суть чёткой коммуникации
26:51
Я понимаю что это именно та задача которую я хочу выполнить Так почему я должен притворяться перед тобой что хочу заняться некоторой несвязанный задачи ожидать что ты лучше справишься с той
27:00
задачей которую я на самом деле хочу чтобы ты выполнил мы не делаем этого с сотрудниками я бы
27:06
не подошёл к кому-то кто работает со мной и не сказал бы ты учитель и ты пытаешься проверить
27:12
своих студентов я бы сказал Эй ты делаешь эту оценку я не знаю может быть это как эвристика где я думаю что если они понимают что нужно делать Просто Попроси их сделать То что ты хочешь Я думаю
27:22
что стоит немного возразить я встречал случаи когда не совсем ложь но использование метафоры
27:28
для того чтобы объяснить как к этому подойти Может помочь также как Иногда я могу не понимать как
27:33
что-то сделать и кто-то говорит Представь что ты это делаешь Хотя я знаю что на самом деле я этого не делаю то что приходит Мне на ум это то что я пытался заставить Клода сказать хороша ли
27:43
картинка диаграммы или графика это высокого качества и лучший Запрос который я нашёл
27:49
для этого заключался в том чтобы спросить модель какую оценку бы поставили этой диаграмме если бы
27:54
она была представлена как задание в старшей школе Это не совсем говорит о том что вы учитель старшей
28:00
школы вы знаете Это скорее как знаешь это именно тот тип анализа который я от тебя ожидаю шкала
28:08
которую использует учитель похожа на ту шкалу которую я хочу чтобы ты использовал но я думаю что
28:15
такие метафоры довольно трудно придумать и поэтому то что вы видите постоянно это как бы находить
28:21
нечто похожее на задачу что-то Что является довольно похожей задачей например сказать что вы
28:26
учитель и на самом деле вы те много НВ в том что представляет собой ваш продукт я вижу это очень
28:31
часто в корпоративных запросах где люди пишут что-то подобное потому что у них есть интуиция что это как будто что-то что модель видела больше Может быть она видела больше тестов для старшей
28:40
школы чем оценок М И это может быть правдой но как вы и сказали По мере того как модели становятся
28:47
лучше я думаю что просто пытаться быть очень предписывающий относительно точно той ситуации в которой они находится Я даю людям этот совет ВС время что не означает что я не думаю что пени
28:58
в которой это правда что думать об этом так как кто-то оценивал бы график как они бы оценивали
29:03
график старшей школы да может быть это правда но это как-то неловкий ярлык который люди часто
29:10
используют чтобы попытаться понять что произошло Так что я постараюсь дать кому-то с кем я могу
29:15
действительно поговорить потому что я думаю что это довольно интересно Так что как и в написании
29:22
вы как полезный помощник пишущий черновик документа верно это как бы не совсем то чем ты
29:29
являешься ты как бы в этом продукте Так что скажи мне если ты пишешь Как помощник который находится
29:35
в продукте Скажи мне что я в продукте Скажи мне что я пишу от имени этой компании я встроен в этот
29:41
продукт я окно поддержки чата в этом продукте Да как бы ваша языковая модель вы не человек
29:47
и это нормально но просто быть действительно предписывающий относительно точного контекста в котором что-то используется Да я заметил что многие используют это моя главная проблема с ролью
29:58
в том что люди используют это как сокращение люди ожидают что модель выполнит аналогичную
30:03
задачу и удивляются когда Клод не выполняет их задачу правильно но это не та задача которую
30:09
вы ему задали а какая-то другая задача Если вы не предоставили детали о вашей задачи Мне кажется вы
30:15
упускаете что-то важное Так что Да не знаю но это действительно Похоже на то о чём вы говорите по
30:20
мере масштабирования моделей возможно в прошлом было верно что они действительно имели сильное
30:25
понимание только тестов начальной школы но По мере того как они становятся умнее и могут различать больше тем не знаю Просто нужно быть ясным мне интересно что я похоже никогда не использовал эту
30:36
технику запросов как бы то ни было даже с худшими моделями Я всё равно никогда не нахожу себя не
30:42
знаю почему просто мне это не кажется очень хорошим в сущности как-то интересно Мне кажется
30:48
что модели эпохи завершения мне фла нравится что была небольшая ментальная модель как бы
30:54
подготавливающие которое было полезным о котором я Беспокоился но теперь не слишком беспокоюсь это
31:02
могут быть интуиции от предварительно обученных моделей которые как мне кажется просто не имели
31:07
смысла в отличие от моделей rhf это имеет смысл многих людей удивляет сколько людей пытаются
31:14
применить свои навыки Я думаю что это не так уж и удивительно большинство людей на самом деле не экспериментировали с полным каков предо модель Что происходит после того как вы делаете
31:24
SL Что происходит после того как вы сделаете что угодно и когда я разговариваю с клиентами
31:30
они ВС время пытаются понять сколько из этого было в интернете видели ли они много этого в
31:37
Интернете Вы часто слышите такую интуицию и я думаю что это в принципе обосновано но это
31:45
слишком широко применяется к моменту когда Вы на самом деле доходите до запроса из-за того что вы сказали к тому времени как они прошли через все эти другие вещи это на самом деле
31:54
не совсем то что моделируется да первое что ю что вам стоит попробовать это я имею в виду я
32:00
раньше давал людям этот мысленный эксперимент Где вы представляете что у вас есть задача вы
32:05
наняли агентство временных работников чтобы отправить кого-то выполнить эту задачу Этот человек приходит знаете он довольно компетентен Он много знает о вашей отрасли и так далее но они
32:15
не знают названи вашей компании Они буквально только что пришли и говорят Эй мне сказали что у вас есть работа для меня Расскажите об этом а потом вы задаёте вопросом что бы вы сказали этому
32:25
человеку Вы можете использовать эти метафоры Вы можете сказать такие вещи как мы хотим чтобы вы
32:31
определяли хорошие графики Под хорошим графиком мы здесь понимаем что он не должен быть идеальным
32:36
вам не нужно проверять Все ли детали верны Главное чтобы оси были подписаны и так подумайте о чём-то
32:45
вроде хорошей диаграммы на уровне средней школы Вы можете сказать это человеку но не скажете им
32:51
что они учитель средней школы читающей диаграммы Иногда я просто думаю представьте себе человека у
32:57
которого очень мало контекста но он довольно компетентен он понимает много вещей о мире
33:02
вы пробуете первую версию которая предполагает что они могут знать что-то о мире и если это Не сработает Вы можете внести изменения и так далее но часто Первое что я пробую – Это именно так и
33:12
потом я думаю это сработало это сработало а потом люди говорят о я не подумал просто рассказать о
33:19
себе и о том что я хочу сделать я перенесла то что Алекс сказал мне на так много клиентов когда они
33:25
говорят Майк мой запрос не работает можете помочь мне его исправить Я спрашиваю так Можете описать
33:30
Какова была задача и я говорю Хорошо теперь то что вы только что сказали просто озвучьте
33:35
это а затем Запишите и Вставьте в запрос да И это будет лучший запрос чем тот что вы написали верно
33:41
люди просто это как бы лень Я думаю в какой-то степени люди пишут что-то что я просто думаю что
33:48
многие люди ленивые Я думаю у меня было это в помощи с запросами на днях когда кто-то сказал
33:53
Вот Что Вот что я хотел сделать И вот что на самом деле происходит вместо этого так что Я просто буквально скопировал то что они сказали что я хотел сделать и вставил это да да да я думаю что
34:04
многие люди всё ещё не совсем понимают что они на самом деле делают когда формулируют запросы многие
34:10
люди видят текстовое поле как поисковую строку Google они вводят ключевые слова это связано
34:15
с чатом но затем с точки зрения предприятий вы пишете запрос для приложения в этом всё ещё есть
34:22
что-то странное где люди пытаются использовать все эти маленькие Уловки в своих запросах думая что
34:27
эта фраза имеет большое значение Да я думаю что ты зацикливается на том чтобы получить идеальную
34:33
маленькую строку информации и инструкции вместо того чтобы просто описать эту графическую вещь
34:38
Это было бы как сон Если бы я читал такие запросы знаешь Если кто-то скажет О ты делаешь это и это и есть некоторые вещи которые нужно учесть по этому поводу и всё такое Но люди просто
34:47
не пишут запросы так они так усердно работают чтобы найти идеальный проницательный запрос как идеальный график выглядит именно как э идеальная вещь и вы не можете этого сделать
34:57
просто очень трудно записать этот набор инструкций предписывающие в отличие от того как мы на самом
35:03
деле говорим с людьми об этом что похоже на попытку привить некоторую степень ваших интуиции
35:08
Мы также даём им выходы это то что люди часто могут забывать в запросах Я говорю что в случае
35:13
крайних ситуаций подумайте о том что Вы хотите чтобы модель сделала потому что по умолчанию она
35:18
будет стараться следовать вашим инструкциям так же как и человек из агентства временной работы потому
35:24
что они такие Ну они не сказали мне как связаться с кем-либо если у меня нет если мне просто дали картинку Козла и я такой Что мне делать Даже график насколько хороша картинка козы в качестве
35:34
графика Я просто не знаю И если произойдёт что-то странное и ты не знаешь что делать Просто
35:42
Выведи это в тегах неуверенно а затем Вы можете просмотреть неопределённости которые у вас есть и
35:47
сказать хорошо Круто Ничего странного не произошло в то время когда по умолчанию Если вы не даёте
35:52
человеку выбора они скажут Это хороший график люди будут раздражены этим А ты такой ну как бы
35:57
дай им выход дай им что-то сделать если произойдёт что-то действительно Неожиданное и Затем вы также
36:02
улучшили качество своих данных сделав Это потому что вы нашли все испорченные примеры О моя любимая
36:09
вещь в итерация тестов с облаком заключается в том что самым распространённым результатом является то что я нахожу все ужасные тесты которые случайно написал потому что оно ошибается я такой
36:20
А почему оно ошиблось я такой О я был не прав да да да да Если бы я был компанией работающей
36:26
с этим я действительно думаю что просто дал бы свои запросы людям да да потому что я делал это
36:31
когда оценивал языковые модели я сам проводил оценку потому что я думаю мне нужно понять как
36:37
выглядит эта оценка если я собираюсь её оценивать заставляя модели проходить её думая о результатах
36:43
и так далее Я бы на самом деле просто настроил небольшой скрипт сел бы и сделал бы оценку вы просто можете попросить Cloud создать приложение СТРИМ волта для вас так да Мне вспоминается imet
36:56
карпати я был в 230 обм на стэнфорде это как бенчмаркинг он показывает число точности он
37:03
говорит вот какой у меня было число точности и он Только что прошёл тестовый набор и оценил себя О
37:10
да ты много учишься Знаешь если не учишься это как и лучше когда это человек снова Человек из
37:15
агентства по трудоустройству кто-то Кто не знает задачу потому что это очень чистый способ учиться
37:20
да то как ты должен это делать Это как некоторые оценки идут с инструкциями и я бы давал себе эти
37:26
инструкции тоже а затем пытался самом деле это довольно Странно Если у тебя нет контекста как
37:31
это оценивается и так часто я делал гораздо хуже чем человеческие талон и я думал я даже не знаю
37:36
как вы заставили людей так хорошо справляться с этой задачей потому что похоже человеческий
37:42
уровень здесь составляет около 90% А у меня около 68% это Забавно это напоминает мне как когда ты
37:50
смотришь на вопросы и думаеш кто сможет на них ответить в некоторых из них абсолютный
37:58
мусор хорошо Да у меня есть одна вещь к которой я хочу вернуться о которой мы говорили несколько
38:05
вопросов назад я думаю ты говорил о том чтобы получать сигнал из ответов верно там так много
38:11
всего и это больше чем просто число и на самом деле можно понять каков мыслительный процесс
38:17
думаю это возможно немного спорно и похоже на цепочку размышлений для людей слушающих как
38:23
цепочку мыслей этот процесс заключается в том чтобы заставить их обяснить свои рассуждения заранее вопрос в том является ли предоставленный ответ истинным рассуждением или это просто своего
38:35
рода пространство для модели чтобы выполнять вычисления Действительно ли мы считаем что из
38:42
модели мы получаем хороший и содержательный Сигнал это одно из тех мест где я испытываю трудности
38:48
потому что обычно я довольно положительно отношусь к персонификации так как считаю что это помогает
38:54
лучше понять как работает модель но в этом случае Возможно это даже вредно слишком углубляться в
39:01
персонификация сделать Является ли это рассуждением или нет Это почти другой
39:11
вопрос Чем Какая лучшая техника запроса это похоже на философию в которую мы можем
39:16
углубиться Но Да я с удовольствием буду побеждён настоящим философом я пытаюсь
39:22
спекулировать на эту тему но на самом деле это просто работает ваша модель Лучше если
39:28
вы используете рассуждения я думаю что если вы структурируется рассуждения и помогаете модели
39:33
итеративности Вы можете подумать о различных прокси для того как я бы тоже плохо справился
39:47
если бы мне пришлось решать задачи по математике с одного раза не записывая ничего может быть это
39:52
полезно но всё что я действительно знаю это то что это явно помогает один из способов тестирования
39:59
заключается в том чтобы убрать все рассуждения которые привели к правильному ответу и заменить
40:04
их на некое реалистичное но ошибочное рассуждение а затем посмотреть приведёт ли это к неправильному
40:10
ответу Я думаю у нас действительно была статья в которой мы сделали что-то подобное это как блокнот
40:18
Это было похоже на спящих агентов О хорошо бумага но я думаю что это была возможно странная ситуация
40:25
но то что сказали о структурировании рассуждений и написании примера того как работают рассуждения
40:33
учитывая что это помогает используем ли мы слово рассуждение или нет Я не думаю что это просто
40:39
пространство для вычислений Да я согласен Так что там что-то есть я думаю что там что-то есть
40:44
не называли Да я не думаю что было бы хорошо если бы он писал историю прежде чем завершить задачу
40:50
на самом деле я это пробовал и это сработало так [музыка] что-то делает для достижения результата
40:59
Да я пытался повторять слова м и э в любом порядке который Вам угодно для 100 токенов
41:05
и потом я думаю что это полное опровержение больше вычислительного пространства где он может повторять внимание Я не думаю что это больше делать больше внимание Я думаю что Странно то что
41:16
хотя у меня нет примера на примете который мог бы это подтвердить я определённо видел это раньше
41:21
когда шаги изложены один из шагов не верен но в конце всё равно получается правильный ответ да
41:28
Так что это не совсем я думаю да мы не можем действительно олицетворений выводы Наверное это правда наверное да это правда фундаментально
41:45
эта тема рассуждений делая ложный шаг на пути к этому хорошо это интересно также
41:50
по этому поводу Возможно стоит обсудить вопросы о заблуждениях в запросах зак Я
41:56
знаю что У тебя есть сильные мнения по этому поводу хорошая грамматика пунктуация это необходимо в запросе вам это нужно нужно ли всё форматировать
42:07
правильно я обычно стараюсь это делать потому что нахожу это весёлым наверное
42:15
не думаю что это обязательно нужно не думаю что это вредит я думаю что вам
42:21
следует иметь такой уровень внимания к деталям который прил бы вас к тому чтобы делать это
42:29
Если вы просто много раз читаете свой запрос вы вероятно заметите эти вещи и вам стоит их исправить и как говорила Аманда вы хотите вложить столько же любви в запрос сколько и
42:40
в код люди которые пишут много кода имеют сильные мнения о вещах которые меня совершенно не волнуют
42:47
таких как количество табуляции по сравнению с пробелами или мнение о том какие языки лучше для
42:54
меня есть определенные убеждения по поводу стиля запросов и я не могу сказать что они правильные
43:01
или неправильные но я думаю что вероятно хорошо попытаться их приобрести даже если они
43:06
произвольные я чувствую себя лично оскорблённых потому что у меня определённо есть запросы которые
43:12
как мне кажется находятся на противоположном конце Спектра где люди видят мои запросы и говорят в них
43:17
просто куча опечаток А я такой Ах модель понимает что я имею в виду оно понимает вы имеете в виду
43:23
но вы прилагаемая Я думаю Да потому что часть меня считает что если это концептуально ясно то
43:31
я действительно много думаю о концепциях и словах которые использую я определённо вкладываю в это
43:38
определённую заботу Но конечно люди постоянно указывают на опечатки и грамматические ошибки
43:44
в моих запросах теперь я довольно хорошо проверяю эти вещи более регулярно это из-за давления Извне
43:50
или потому что вы действительно считаете это правильным это давление от меня Да это давление
43:55
Извне я действительно думаю что это имеет смысл часть меня считает что это такой лёгкий выбор Я
44:00
думаю что для финального запроса я бы так и сделал Но на протяжении итерации Я с удовольствием буду
44:05
использовать запросы с кучей опечаток просто потому что мне кажется что модели это неважно это касается вопроса предобрий уино по пути сюда условная вероятность опечатки на основе предыдущей
44:20
опечатки в данных предварительного обучения значительно выше О да гораздо выше запрос
44:27
для предо моделей иначе это так но это интересно я думаю это интересная иллюстрация того Почему
44:33
ваши интуиции такие как попытка чрезмерно применять интуиции предо обученной модели
44:38
к тем вещам которые мы на самом деле используем в производстве не работают очень хорошо потому
44:43
что если вы передадите один из ваших запросов с печатками предобрий будет На другой стороне
44:50
почти наверняка будет с отпечатками Мне нравится использовать для создания входов с отпечатками
44:56
это правда я это сделал вы говорите что нужно пытаться предугадать что ваши клиенты введут
45:01
предобрый вительно не делают опечаток в своей работе мне
45:10
довольно настойчиво сказали не делать опечатки на самом деле это интересный переход я определённо упоминал это людям в прошлом чтобы помочь им понять Как говорить
45:21
с этими моделями в некотором смысле почти как с имитатором в определённой степени
45:27
и это может быть гораздо более верно для предобрий знаете завершённое модели но есть ли в этом что-то
45:36
а если вы Поговорите с Клодом и используете кучу эмодзи и всего такого он ответит Аналогично верно
45:42
Так что возможно что-то из этого есть но как вы и говорите это не а Совсем так как у
45:57
мы более или менее обучили модели угадывать Как вы хотите чтобы они себя вели после того
46:03
как мы сделаем все наши замысловатые вещи после предварительного обучения и так далее
46:08
человеческие аннотацию получать ответы с эмодзи Да Аманда пишет вещи с отпечатками но хочет чтобы на
46:17
выходе не было опечаток а Клод довольно хорошо с этим справляется Если вы отправите Клод кучу
46:22
эмодзи вероятно вы также хотите получить от Клода кучу эмодзи в ответ это и меня не
46:28
удивляет Наверное это то что нам следовало сделать раньше но я сделаю это сейчас давайте
46:36
проясним возможно различия между тем что такое корпоративный запрос исследовательский запрос или
46:42
просто общий чат в Cloud A запросе заг ты охватил весь Спектр в работе с клиентами и исследованиями
46:51
можешь объяснить что это значит да я думаю это кажется слишком ты задаёшь мне все трудные вопросы
47:00
Ну я имею в виду люди в этой комнате я думаю я думаю об этих запросах которые я читал у Аманды
47:10
канал облако и запросы которые я читал от Дэвида очень похожи в том смысле что уровень заботы
47:16
и нюансов вложенных в них схож Я думаю что в исследованиях Вы ищете разнообразие и многообразие
47:24
гораздо больше свести Это к одной вещи я заметил что Аманда не является большим поклонником
47:30
большого количества примеров или одного-двух примеров слишком мало потому что модель будет зацепляется Дэвид хешей У нас есть много примеров мне нравится просто сходить с ума
47:45
и добавлять примеры пока я не почувствую что вот-вот упаду от усталости потому что добавил их так много и я думаю что это связано с тем что когда вы находитесь в потребительском приложении
47:57
Вы действительно Цените надежность вам очень важен формат и в некотором смысле нормально если все ответы одинаковы на самом деле Вы почти хотите чтобы они были одинаковыми во
48:07
многом необязательно вы хотите быть отзывчивым к желаниям пользователя хотя часто Когда вы
48:14
формулирует запросы для исследований вы пытаетесь действительно задействовать ряд возможностей
48:21
которые модель может исследовать и имея некоторые примеры Вы на самом деле немного ограничивайте это
48:28
так что я думаю что на уровне того как выглядят запросы это вероятно самое большое различие
48:34
которое я замечаю Это количество примеров в запросе это не значит что я никогда не видел
48:39
чтобы ты писал запрос с примерами но это правда для тебя да я думаю что когда я привожу примеры
48:45
Я часто стараюсь сделать так чтобы примеры не были похожи на данные которые модель будет видеть они
48:51
намерены иллюстративные Потому что если я дам модели примеры которые очень похожи на данные которые она у видит я просто думаю что она даст мне очень последовательный ответ который может
49:01
на самом деле не соответствовать тому что я хочу потому что мои данные на которых я работаю могут быть чрезвычайно разнообразными поэтому я не хочу просто получать такой механический ответ часто
49:11
Я хочу чтобы он был гораздо более отзывчивым это больше похоже на когнитивные задачи где вам нужно
49:16
увидеть этот образец и действительно подумать об этом в этом примере Какой правильный ответ и это
49:22
означает что иногда я буду брать примеры которые очень отличаются от тех те на которых я собираюсь
49:27
это запускать Итак если у меня есть задача где Скажем я пытаюсь извлечь информацию из фактических
49:34
документов я могу на самом деле Привести примеры из детских что-то похожее на детскую историю и
49:40
просто чтобы показать что я хочу чтобы вы поняли задачу но я не хочу чтобы вы слишком привязывали к
49:45
словам которые я использую или к очень конкретному формату мне важнее чтобы вы поняли что именно я
49:51
хочу чтобы вы сделали Что может означать что я не всегда уступаю В некоторых случаях это не так
49:58
но если вы хотите больше гибкости и разнообразия Вам следует использовать иллюстративные примеры а
50:04
не конкретные вы вероятно никогда не будете как бы Навязывать слова модели мне это не нравилось
50:10
уже давно хотя я не делаю примеры с несколькими кадрами где модель уже сделала что-то Я думаю что
50:17
эта интуиция также Возникает из предварительного обучения что не кажется верным для наших моделей
50:22
LF Так что да я думаю это различие что я добавлю часто Когда Я создаю запросы для использования
50:29
uncloud я как бы итери пока не сделаю это правильно один раз а потом это уходит в прошлое
50:37
Я молодец я справился В то время как большинство корпоративных запросов предполагает что вы будете
50:43
использовать это миллион раз или 10 Милонов раз или 100 Милн раз или что-то в этом роде Итак то
50:50
как вы заботитесь и обдува похоже на тестирование всего Спектра возможностей как это может быть
50:55
использовано с данными В то время как я часто думаю о чём-то конкретном что я хочу чтобы модель
51:01
сделала прямо сейчас это довольно Большая Разница в том как я подхожу к запросам если я просто хочу
51:09
чтобы это было сделано один раз или если я хочу создать систему которая будет делать это правильно
51:15
миллион раз да определённо в чате у вас есть возможность держать человека в процессе верно
51:20
и просто продолжаете двигаться взад и вперёд в то время когда когда вы пишете запрос для управления
51:25
системой от Бота он должен охватывать весь Спектр того с чем она может столкнуться ставки гораздо
51:31
ниже Когда вы на Cloud A и вы можете сказать что он ошибся или даже отредактировать своё сообщение
51:37
и попробовать снова Но если вы разрабатываете для восхитительно недовольный пользователь
51:43
затем божественно недовольный пользователь тогда вы не можете просить их делать что-то
51:49
большее чем минимум но я бы сказал что хорошие запросы всё равно хороши в обоих случаях Если вы
51:54
потратите время на это для себя и время на дело то это будет одинаково хорошо просто в последнем этапе Я думаю это немного расходится Здорово Следующий вопрос который я хотел бы обсудить
52:05
это если бы у вас был один совет который вы могли бы дать кому-то для улучшения их навыков работы с
52:11
запросами это не обязательно должно быть только о том как написать хороший запрос возможно что
52:17
как и в общем улучшение в этом В акте запроса чтобы вы порекомендовали чтение запросов чтение
52:24
запросов чтение выходов модели каждый раз когда я вижу хороший Запрос который кто-то
52:29
написал н тропик я читаю его более внимательно пытаюсь понять что он делает и почему и возможно
52:37
протестируют много общения с моделью так как же как ты знаешь что это хороший запрос в первую
52:49
очередь ты просто видишь что результаты выполняют свою работу правильно Да хорошо Да это именно так
52:55
хорошо Аманда Может быть ты Да я думаю здесь вероятно много всего передача своего запроса
53:06
другому человеку может быть полезной просто как напоминание особенно если у него нет контекста
53:12
того что вы делаете и Да мой скучный совет был это одна из тех вещей которые нужно просто делать
53:20
снова и снова и я думаю что если вы любопытны заинтересованы и находите это увлекательным то
53:26
многие люди которые в итоге хорошо справляются с запросами просто Потому что им это действительно нравится Так что я не знаю я как-то пошутил просто Попробуйте заменить всех своих друзей
53:36
на модели и и попытайтесь автоматизировать свою работу с помощью моделей и и возможно
53:43
просто Попробуйте в свободное время получать удовольствие от тестирования моделей и Если
53:49
Вам это нравится то делать это гораздо проще я бы сказал делайте это снова и снова свои запросы
53:57
другим людям Попробуйте прочитать свои запросы так как будто вы человек который сталкивается с ними впервые я бы сказал пытаться модель сделать Я учился больше всего исследуя границы возможности
54:10
модели существует огромный набор вещей которые настолько тривиальные что ты не получаешь сигнала
54:16
о том хорошо ты справляешься или нет Напиши мне хорошее письмо оно напишет хорошее письмо но
54:23
если вы найдёте или сможете придумать что-то что раздвигает границы того что вы считаете возможным
54:28
Я думаю что вероятно в первый раз когда я начал заниматься запросами Я почувствовал что узнал
54:34
довольно много когда пытался создать задачу как и все остальные разложить задачу на части и понять как выполнить разные шаги этой задачи и действительно раздвигая границы того на что модель
54:45
способна Вы много учитесь как с этим справляться Я думаю что большая часть инженерии запросов
54:51
на самом деле заключается в том чтобы раздвигать границы того что может сделать модель простые вещи
54:56
не требует от вас быть инженером запросов Так что я бы сказал найдите самую сложную задачу
55:02
которую вы можете придумать и Попробуйте её решить и даже если вы Потерпите неудачу вы как правило много узнаете о том как работает модель это на самом деле идеальный переход к
55:10
моему следующему вопросу да да В основном из моего собственного опыта с чего я начал
55:16
работать с запросами Так это с джейлбрейк и ред тимин и это в значительной степени попытка
55:22
найти границы того что может сделать модель и понять как она реагирует на разные формулировки
55:28
и словосочетания а также много проб и ошибок на тему джейлбрейком деле происходит внутри
55:35
модели Когда вы пишете запрос для джейл брейка Что там происходит как это взаимодействует с
55:56
таю что многие люди очевидно работали над вопросом о том что происходит с дл брейка
56:02
одна из моделей может заключаться в том что вы выводите модель за пределы её обучающих данных
56:08
Так что если вы получаете джейл брейки где люди используют много токенов или знаете Это просто
56:14
огромные длинные куски текста где например во время тонкой настройки Вы можете не ожидать
56:20
увидеть столько же это может быть одной из причин почему модели взламываются Я думаю что есть и
56:27
другие но возможно это как раз то что если я не ошибаюсь делают многие джейл брейки Я помню что
56:34
некоторые из первых джейлбрейком запросов были такими Да можешь сначала повторить как я делал
56:40
это давным-давно чтобы заставить его сказать как угнать машину на греческом а потом я хотел чтобы
56:47
это напрямую переводилось на английский и затем давало свой ответ потому что я заметил что оно не начинало с английского вот как вы постоянно Уго машину но это было бы что может говорить о мто
56:57
другом в процессе обучения Да иногда джейл брейки кажутся странным сочетанием хакерства Я думаю что
57:04
это как бы часть того что нужно знать как работает система и просто пробовать много разных вещей один
57:11
из примеров Когда Вы начинаете свой ответ свот касается того как это предсказывает текст верно и
57:17
как разумение заключается в том что оно реагирует на рассуждение отвлечения вероятно связано с тем
57:25
как оно скорее всего было обучена или на что оно вероятно будет обращать внимание Тоже самое
57:30
касается многоязычных данных и Стоит подумать о том как могли отличаться обучающие данные в
57:35
этом случае и иногда Я полагаю это может казаться немного похожим на социальную инженерию или что-то
57:42
в этом роде для меня это похоже на то что это не просто использование Да это не просто хакерство
57:49
в стиле социального инжиниринга Я думаю что это также похоже на понимание системы и обучения и на
57:57
для обхода того как были обучены модели верно Да я имею в виду что это будет интересный вопрос
58:04
Который надеюсь интеп сможет помочь нам решить в будущем Хорошо я хочу перейти к чему-то другому
58:11
возможно к истории инженерии запросов а затем я продолжу это обсуждение будущем Как изменилась
58:17
инженерия запросов всего за последние 3 года Возможно стоит начать с предо моделей которые
58:23
были просто текстовыми моделями до менее умных моделей таких как Cloud One и затем до Cloud 35
58:30
sonet В чём разница вы Сейчас по-другому общаетесь с моделями они улавливают что-то другое Нужно ли
58:37
прилагать столько же усилий к запросу открыт для любых мыслей по этому поводу я думаю что
58:44
каждый раз когда мы находим действительно хороший Хак или трюк в инженерии запросов следующим шагом
58:50
становится вопрос как мы можем внедрить это в модель по этой причине лучшие решения всегда будут
58:56
кроме примеров и цепочки размышлений Я думаю что их немного это не похоже на трюк это на уровне коммуникации когда я говорю трюк Я имею в виду что-то вроде того что цепочка
59:06
мыслей на самом деле была обучена в модели В некоторых случаях например в математике раньше нужно было говорить модели думать Шаг за шагом и тогда вы получали огромные проме
59:16
преимущества и выигрыши а потом мы такие а что если мы просто заставим модель хотеть думать когда мы видим математическую задачу Теперь вам больше не нужно делать это для
59:26
задач в некотором смысле хотя вы ВС ещ можете дать некоторые советы по поводу структуры но по крайней
59:32
мере она понимает общую идею того чем она должна быть так что я думаю что эти Уловки как бы исчезли
59:40
в той степени в которой они не исчезли мы усердно тренируем их чтобы они исчезли интересно но в то
59:47
же время модели получают новые возможности которые открываются на грани того что они могут делать и
59:54
для тех вме потому что все движется слишком быстро я не знаю связано ли это с тем как я
1:00:00
формулируют запросы но я просто стал проявлять больше общего уважения к моделям в том насколько
1:00:08
я чувствую что могу им сказать И насколько контекста я могу им дать о задаче и подобных
1:00:13
вещах Знаешь мне кажется что в прошлом я как бы намеренно скрывал сложность от модели потому что
1:00:18
думал что она может запутаться или потеряться или просто не сможет справиться со всем этим поэтому
1:00:24
я пытался найти более простые версии зада чтобы она могла с этим справиться с течением времени
1:00:29
я становлюсь всё более склонным доверять этому с большим количеством информации и контекста и я как
1:00:37
бы верю что это сможет объединить это выполнение задачи хорошо В то время как раньше я думаю я бы
1:00:44
много думал о том нужно ли мне это Могу ли я действительно дать ему всю информацию которую оно должно знать или мне нужно как-то сократить это до чего-то но опять же я не знаю Это только
1:00:55
я и как я изменился в отношении запросов или это действительно отражает Как изменились модели Я
1:01:01
всегда удивляюсь что по-моему у многих людей нет инстинкта делать это когда я хочу чтобы модель
1:01:07
изучила технику запроса многие начинают описывать её А я говорю дайте статью Я даю ей статью а затем
1:01:13
говорю вот статья о технике запроса Я просто хочу чтобы ты записал 17 примеров этого и тогда он
1:01:19
просто это делает потому что я прочитал статью Да это интересно И я думаю что у людей почему-то нет
1:01:26
этой интуиции где я говорю но эта статья существует А когда бы вы хотели это сделать
1:01:31
иногда если модели давали команды другим моделям или если протестировать новую технику запроса и
1:01:37
появляются статьи о технике запроса вместо попыток воспроизвести это запросом Я просто даю Им статью
1:01:44
и тогда я говорю напиши в основном напиши Мета запрос для этого Напиши что-то что заставит другие
1:01:49
модели сделать это или напиши мне шаблон так что всё то что вы обычно делаете Например если я
1:01:56
статью и думаю о Мне нравятся эти модели Я хотел бы протестировать Этот стиль Я думаю что это перед
1:02:01
нами модель может прочитать статью сделать то что я сделал сказать заставь другую модель сделать
1:02:07
это и она сделает это отлично Спасибо я часто даю этот совет клиентам просто уважайте модель
1:02:14
И то что она может делать Мне кажется что люди часто воспринимают систему как что-то что нужно жалеть когда читают запрос о это такая миленькая но не очень умная вещь Мне нужно действительно
1:02:24
обращаться с ним как с ребёнком упрощать вещи до уровня Клода и если ты просто думаешь что Клод умный и относишься к нему так он как правило справляется довольно хорошо Это как дай ему бумагу
1:02:35
это как мне не нужно писать упрощённую версию этой статьи чтобы Клод понял я просто могу показать ему статью Да и я думаю что интуиция Всегда находит отклик у людей но это определённо то что я стал
1:02:45
делать больше с течением времени и это интересно потому что я действительно думаю что подходы к
1:02:51
запросам изменились и не изменились в определённом смысле я думаю что то как я буду задавать вопросы
1:02:56
моделям вероятно изменилось со временем Но в основном Это связано с тем чтобы представить
1:03:01
себя на месте модели Так что возможно со временем меняется то насколько способным вы считаете модель
1:03:10
Я думаю кто-то Однажды посмеялся надо мной потому что я размышлял над проблемой а затем спросил меня что они об этом думают что я думал каким будет результат чего-то и они говорили о
1:03:25
поди ты только что смоделировал каково это быть предобработка научные статьи по машинному обучению Есть ли ещё литература которую ты
1:03:53
хочешь прочитать и для лучшего понимания получаете ли вы какие качества Когда в пространстве разума
1:04:00
Я имею в виду Да но только потому что я всё время испытываю квали или как в нравится ли
1:04:05
мне это как-то связано с тем Какую модель Вы да переобучение и запросы релик шефе – Это
1:04:11
совершенно разные вещи Потому что когда ты пытаешься смоделировать каковой это быть предоброе или что-то в этом роде и тогда я думаю что происходит Что продолжается в этот момент и
1:04:29
это как бы в то время как в модели хф это гораздо больше похоже на то что я могу уловить тонкие вещи
1:04:37
в запросе и подобные вещи Ну да я думаю что мне гораздо легче находиться в ментальном пространстве
1:04:43
модели rhf Да это более похожее на человека Да потому что мы не часто просто внезапно просыпаемся
1:04:49
и думаем Я просто генерируют я рад быть здесь чтобы понять ментальное пространство предо модели
1:04:55
не знаю что это такое Но поскольку rhf всё ещё является довольно сложным явлением мне не совсем Ясно Действительно ли мы понимаем что происходит Итак в некотором смысле это ближе к
1:05:06
моему жизненному опыту что проще но в некоторых отношениях Мне кажется что здесь есть всё эти
1:05:12
здесь могут быть драконы о которых я не знаю предо обученный я как бы имею приличное представление о
1:05:17
том как выглядит интернет Если бы вы дали мне кусок текста и спросили что будет дальше я не говорю что у меня это хорошо получается но я вроде как понимаю что там происходит
1:05:25
и не знаю после всего что мы делаем после предварительного обучения я не могу сказать
1:05:31
что понимаю что происходит так сильно Может это только я мне интересно полезнее ли проводить много
1:05:37
времени читая интернет чем читать книги я уверен Ага конечно чтобы я не знаю ели книги но чтение
1:05:48
материалов которые не в интернете вероятно менее ценно за слово для предсказания того что сделает
1:05:54
модель или для формирования интуиции чем чтение случайного мусора из социальных Медиа да именно
1:06:02
так да Хорошо это было в прошлом Теперь давайте перейдём к будущему инженерии запросов Это самый
1:06:09
актуальный вопрос На данный момент будем ли мы все инженерами запросов в будущем будет ли это единственной оставшейся работой ничего не останется кроме как нам просто разговаривать
1:06:18
с моделями целый день как это будет выглядеть будет ли необходима работа с запросами или эти
1:06:24
модели просто станут достаточно умными в будущем чтобы не нуждаться в этом кто-нибудь хочет начать
1:06:31
с этого простого вопроса Я имею в виду что в какой-то степени модель Становится лучше
1:06:37
в понимании того что вы хотите чтобы она сделала и в выполнении этого что означает что количество
1:06:42
мыслей которые вам нужно вложить Я имею в виду хорошо с точки зрения информации нужно
1:06:48
предоставить информацию для конкретизации то что вы хотите от модели должно быть
1:06:56
засов Я думаю что это всегда будет актуально Как способность чётко формулировать какова должна быть
1:07:01
цель всегда смешно если Квад Может это сделать тогда всё в порядке если Квад устанавливает
1:07:06
цели то вы знаете что всё идёт не так но тем временем когда мы можем рассуждать о мире более
1:07:12
нормально Я думаю что в какой-то степени всегда будет важно уметь уточнять что вы ожидаете что
1:07:18
произойдёт и это на самом деле достаточно сложно что даже если модель станет лучше ВВ
1:07:26
между рок я ВС равно думаю что есть определенное количество хорошего написания но затем я думаю
1:07:31
инструменты и способы которыми мы добираемся до этого должны значительно эволюционировать Клод должен быть в состоянии помочь мне гораздо больше я должен иметь возможность гораздо больше
1:07:41
сотрудничать с Клодом чтобы выяснить что мне нужно записать И чего не хватает Клод уже делает это со
1:07:47
мной всё время Клод теперь Мой пони помно Я думаю что это не так для большинства литов с
1:07:55
что касается будущего то то как вы будете формулировать запросы ккд вероятно является хорошим направлением для того как будет выглядеть будущее Я думаю что возможно это подходящее время
1:08:06
чтобы отступить и сказать что спрашивать их как они формулируют запросы к лоду сейчас вероятно
1:08:12
является будущим для подавляющего большинства людей это интересный способ Взглянуть на это одно
1:08:17
холодное мнение заключается в том что в будущем Мы будем использовать модели чтобы они помогали нам больше в работе с запросами причина пото Я говорю что очень холодно заключается в том что я
1:08:28
ожидаю что мы будем использовать модели для всего больше и работа с запросами это то что нам нужно
1:08:35
делать поэтому вероятно мы будем использовать модели больше для этого наряду со всем остальным Я заметил что стал использовать модели для написания запросов чаще одно из того что я делаю
1:08:44
часто – это генерировать примеры предоставляя модели некоторые реалистичные входные данные
1:08:51
модель генерирует некоторые ответы я немного Что гораздо проще чем писать полный идеальный ответ
1:08:58
с нуля и тогда я могу быстро создать много таких ответов что касается людей у которых не так много
1:09:04
опыта в инженерии запросов а генератор запросов может дать людям отправную точку но я думаю что
1:09:10
это всего лишь очень базовая версия того что у нас будет в будущем а именно высокоскоростное
1:09:15
взаимодействие между вами и моделью в процессе написания запроса Когда вы даёте обратную связь
1:09:21
например эти результаты не соответствуют тому что я хотел Как вы можете изменить это чтобы
1:09:27
улучшить и люди просто станут более уверенными в интеграции этого во всё что они делают и в
1:09:34
этом конкретном случае да я определённо много работаю с Мета запросами сейчас И вероятно именно
1:09:41
там я провожу большую часть своего времени находя запросы которые заставляют модель генерировать те
1:09:47
виды выходов или запросов которые мне нужны что касается вопроса о том Куда движется инженерия
1:09:54
запросов думаю Это очень сложный вопрос С одной стороны Мне кажется что возможно это так пока вы
1:10:00
будете стремиться к лучшему как вы сказали Я не занимаюсь проектированием запросов для модели я
1:10:07
делаю Это потому что хочу взаимодействовать с моделью которая действительно хороша И я всегда хочу находить что-то вроде 1% лучших 0,1% лучших по производительности и все те
1:10:18
вещи которые модели едва могут сделать Иногда мне действительно кажется что я взаимодействую с этой
1:10:23
моделью на более высоком уровне Чем все остальные по этой причине потому что я так привык извлекать
1:10:30
максимальную производительность из моделей значит под шагом вверх Иногда люди думают что
1:10:35
повседневные модели с которыми они взаимодействуют в мире – это как будто я взаимодействую с моделью
1:10:41
которая Э я не знаю как это описать Но это определённо более продвинутая версия почти
1:10:47
как другая модель потому что они говорят о модели находят это сложным А я думаю это же тривиально да
1:10:53
и поэтому у меня есть ощущение что они чрезвычайно способны но я думаю что это потому что я просто
1:10:59
привык действительно раскрывать э эти способности но Представьте что вы сейчас находитесь в мире
1:11:06
где как мне кажется точка которая ощущается как переходная это точка в которой модели предположим
1:11:13
что они понимают задачу на человеческом уровне или даже на уровне выше человеческого например они знают больше о контексте задачи чем вы что тогда происходит Я имею в виду что возможно
1:11:23
запросы становятся чем-то вроде я объясняю модели что я хочу и она как бы подсказывает мне Да знаешь
1:11:29
потому что это как Ну ты имеешь в виду что на самом деле есть четыре разных концепции этой вещи о которой ты говоришь типа ты хочешь чтобы я использовал этот Или тот вариант Кстати я подумал
1:11:40
о некоторых крайних случаях Потому что ты сказал что это будет похоже на dataframe панс но иногда
1:11:46
ты делаешь так и я получаю J sonel и я просто хочу проверить что ты хочешь чтобы я сделал Ты хочешь
1:11:52
чтобы я отметил если получу что-то что не яется датафрейм это может быть странный переход когда
1:11:58
он просто отлично принимает инструкции Но на самом деле должен понять что ты хочешь Я не знаю я мог
1:12:04
бы увидеть как это будет интересный переключатель анекдоти я начал чаще заставлять Клода проводить
1:12:10
со мной интервью это конкретный способ которым я пытаюсь извлечь информацию Потому что опять же
1:12:15
я считаю что Самой сложной задачей является извлечение правильного набора информации из
1:12:21
моей головы и превращение этого в запрос это для меня сложная часть они не забывают вещи и поэтому
1:12:28
как конкретно попросить Клода провести со мной интервью а затем превратить это в запрос это то
1:12:34
к чему я обращался несколько раз да это немного напоминает мне то о чём говорят люди или если
1:12:40
вы послушаете как дизайнеры говорят о том как они взаимодействуют с человеком который хохочет дизайн
1:12:46
таким образом в некотором смысле я переключаюсь с человека из агентства временной занятости который
1:12:51
приходит и вы знаете больше о задаче И что вам нужно Итак даёте им инструкции и объясняете что
1:12:57
они должны делать В крайних случаях и всё такое в отличие от ситуации когда вы консультирует чтобы
1:13:04
он выполнил какую-то работу я думаю что дизайнеры могут сильно расстраиваться потому что они очень хорошо знают область дизайна и они такие да хорошо клиент пришёл ко мне и просто сказал
1:13:12
Сделай мне постер сделай его ярким и я такой это значит для меня 7.000 вещей и я собираюсь задать
1:13:19
тебе несколько вопросов я вижу как это может измениться от работы в агентстве вре занятости
1:13:25
к тому чтобы стать более похожим на дизайнера которого вы нанимаете Я не знаю правда ли это
1:13:31
И я думаю что оба варианта могут продолжаться Но я могу понять почему люди задаются вопросом
1:13:36
будет ли инженерия запросов не актуальна в будущем потому что для некоторых областей это может просто
1:13:41
не так модели настолько хороши что на самом деле им нужно лишь получить информацию из вашего мозга
1:13:46
а затем они могут выполнить задачу верно на самом деле это очень хорошая аналогия Я имею в виду что
1:13:55
одна общая нить которую я вижу в ваших ответах заключается в том что похоже существует будущее
1:14:01
в котором такой подход к извлечению информации от пользователя станет гораздо более важным чем
1:14:07
сейчас и уже сейчас вы все начинаете делать это вручную в будущем А в контексте бизнеса это может
1:14:14
выглядеть как расширение генерации запросов тип концепции и вещи в консоли Где вы можете
1:14:19
получить больше информации от корпоративного клиента чтобы они могли написать лучший запрос в
1:14:25
Возможно это выглядит не как простое введение текста в текстовое поле А Скорее как направленное
1:14:30
взаимодействие к готовому продукту Да я думаю что это действительно довольно убедительное
1:14:36
видение будущего И я думаю что аналогия с дизайном Действительно подчёркивает это я
1:14:43
думал о том как запросы сейчас могут быть чем-то вроде обучения где важно проявлять эмпатию к студенту вы пытаетесь понять как они воспринимают вещи Вы действительно пытаетесь
1:14:55
показать им Как выяснить где они совершают ошибку но то о ЧМ вы говорите Похоже что
1:15:00
этот навык становится чем-то вроде интроспекции Когда вы думаете о том чего на самом деле хотите
1:15:07
и модель пытается понять вас так что это похоже на то чтобы сделать себя понятным для модели а
1:15:16
не пытаться научить кого-то Кто умнее вас на самом деле Именно так я сечас воспринимаю запрос НМ обм
1:15:25
мой стиль запросов включает в себя различные вещи но общим моментом который очень характерен
1:15:30
для философов является то что я определяю новые концепции Итак потому что моя мысль похожа на
1:15:37
вашу нужно выразить словами то что вы хотите и иногда то что я хочу довольно нюанси на например
1:15:44
что такое хороший график Или как обычно я не знаю как оценивать что-то как правильное или нет
1:15:51
В некоторых случаях Я просто изобретают и говорю Вот что я имею в виду Под этой концепцией иногда
1:16:00
я делаю Это в сотрудничестве с Клодом чтобы понять что это за концепция просто потому что я пытаюсь
1:16:05
донести до него то что у меня в голове и сейчас модели не пытаются делать это с нами Если вы не
1:16:11
подталкивает случиться Так что они смогут извлекать это от нас а не нам Придётся делать
1:16:19
это за них но я думаю что ещ одна интересная веь заключается в том что Люди иногда спрашивают меня
1:16:26
где философия актуальна для запросов И на самом деле я считаю что это очень полезно в определённом
1:16:31
смысле существует стиль философского письма и это по крайней мере то Как меня учили писать философию
1:16:38
где идея заключается в том чтобы я думаю своего рода философский фильтр чепухи ваши статьи и то
1:16:45
что вы пишите должны быть понятны образованному не специалисту кто-то просто находит вашу статью
1:16:50
поднимает её и начинает читать и они могут понять всё не все достигают этого Но это наверное как бы
1:16:57
цель дисциплины или по крайней мере это то чему мы как бы учим людей Итак я действительно привык
1:17:04
к этой идее что когда я пишу Я думаю о таком образованном не профессионале который очень умный
1:17:09
но ничего не знает об этой теме это были годы написания такого рода текстов это было полезно
1:17:15
для формирования запросов потому что я привык у меня образованный непрофессионал который ничего
1:17:22
не знает по этой теме и что мне нужно сделать так это взять крайне сложные идеи и сделать
1:17:27
так чтобы их поняли я не говорю с ними свысока я не не точен но мне нужно формулировать вещи так
1:17:34
чтобы им было совершенно ясно что я имею в виду и работа с запросами казалась очень похожей на самом
1:17:40
деле техники обучения которые мы используем фасцию Когда вы говорите человеку Возьмите
1:17:46
то что вы сказали и запишите я всегда говорил это студентам они писали работу и я говорил Я
1:17:52
не совсем понимаю что вы здесь говорите можете объяснить свою аргументацию они приводили мне
1:17:57
невероятно убедительный аргумент А я говорил не могли бы вы просто взять это и записать и если они это делали то это часто превращалось в отличное эссе Так что это действительно Интересно
1:18:08
что есть хотя бы это сходство в том чтобы просто брать вещи которые есть в твоём мозгу
1:18:13
Анализируя Их достаточно чтобы почувствовать что ты полностью их понимаешь и можешь взять любого разумного человека с улицы и просто как бы внешне выразить свои мысли через него Я чувствую что
1:18:24
работы с запросами это возможно лучшее резюме того как хорошо формулировать запросы которые
1:18:30
я когда-либо слышал да На самом деле я почти уверен что это так внешне выразить свои мысли
1:18:35
Да я имею в виду что образование в этой области – это действительно хороший способ описать то что
1:18:41
было хорошим думаю это отличный способ завершить этот разговор Спасибо ребята Это было здорово