*https://www.youtube.com/watch?v=byGvBG8exuc
**https://300.ya.ru/summary
пересказ видео
Распространение Markdown в системах ИИ
- Markdown часто используется в системах искусственного интеллекта для баз знаний и документации.
- Это общепринятый формат данных, существовавший до появления ИИ.
Преимущества Markdown
- Markdown — простой текстовый файл с разметкой, не требующий специальных инструментов.
- Файлы можно открывать в любом текстовом редакторе, что делает их универсальными.
- Модели ИИ могут легко взаимодействовать с Markdown файлами, так как это стандартизированный текст.
Экономия токенов
- Markdown использует минимальный набор элементов, что экономит токены.
- Это снижает затраты на поддержку файлов по сравнению с другими форматами, такими как DocX или PDF.
Структурированность и читабельность
- Markdown позволяет структурировать информацию с помощью заголовков и других элементов.
- Это упрощает разбивку текста на куски и делает его более понятным для роботов.
Стандартизация и поддержка
- Markdown стал де-факто стандартом для многих современных инструментов, таких как GitHub и GitLab.
- В Data Science и искусственном интеллекте Markdown также является стандартом для работы с технической документацией и другими данными.
Transcript
0:00
Если вы работали системами
0:01
искусственного интеллекта, как-то их
0:03
настраивали, строили какие-то
0:05
раксистемы, возможно, вы встречались,
0:07
что в таких системах очень часто в
0:10
качестве базы знаний, в качестве для
0:11
документации и так далее используется
0:14
такой специа используется формат
0:16
Markdown. Этот специальный формат файла,
0:18
он не обязательно будет использоваться
0:20
для каких-то рак систем, там,
0:22
искусственного интеллекта и так далее.
0:23
Это общепринятый формат данных, который
0:26
существовал ещё до появления
0:29
искусственного интеллекта. Ну, в этом
0:30
видео мы с вами подробнее остановимся на
0:32
вопросе, почему этот формат получил
0:34
такое распространение именно для систем
0:37
искусственного интеллекта, почему его
0:39
можно удобно использовать для разработки
0:42
таких систем. Ну, первое, на чём
0:43
хотелось остановиться — это то, что
0:45
Markдаун — это структура без усложнений.
0:48
Markдаун — это простой текстовый файл,
0:50
а, который содержит определённый формат
0:52
разметки, и он позволяет нам
0:54
структурировать информацию без сложного
0:57
форматирования необходимости специальных
0:59
инструментов. То есть вы можете
1:00
открывать вот этот Markдаун файл в любом
1:03
текстовом редакторе. Пусть будет обычный
1:06
блокнот Windows, либо какая-то другая
1:08
другой текстовый редактор. Но если в
1:11
этом текстовом редакторе есть какие-то
1:13
плагины, которые позволяют
1:15
форматированно отобразить этот вид, то
1:17
это будет смотреться более красиво. Если
1:20
же этого нет, всё равно этот текст будет
1:22
читаться и будет понятен, что в нём
1:25
написано, даже без каких-то там сложных
1:28
инструментов. Соответственно, MarkDуфайл
1:30
это универсальные файлы, которые, так
1:32
как они обычные текстовые файлы, мы
1:34
можем открывать их в любой программе,
1:36
там Obsidian, VS-код, Win-то другие
1:39
редакторы и IDE системы, которые вы
1:41
используете. Неважно, где вы будете
1:44
открывать, работать со своим проектом.
1:46
Везде это будет всё работать,
1:47
открываться и взаимодействовать.
1:51
Соответственно, любая модель
1:52
искусственного интеллекта, который вы
1:54
будете применять, она спокойно сможет
1:56
повзаимодействовать с этим файлом,
1:58
каким-то образом вытащить оттуда нужную
2:01
информацию, потому что это обычный
2:02
текст. Причём текст стандартизированный.
2:05
Зная, что это мардауформат, она сможет
2:08
модель искусственного интеллекта сможет
2:10
построить специальные конструкции,
2:12
которые вытащат нужные фрагменты текста
2:14
из этого файла. Markdownфаile — это
2:17
достаточно минималистичный файл, который
2:19
использует строгий минимальный набор
2:22
элементов, чтобы сохранить фокус на
2:24
сути. Благодаря этому мы получаем
2:27
значительную экономию на токенах, потому
2:29
что у нас нет такой лишней разметки, как
2:32
это, например, есть в Jon формате, либо
2:35
в XML-формате, где мы там очень подробно
2:39
всё можем расписывать и объяснять, что
2:42
где, в какой структуре находится. Здесь
2:44
же у нас всё достаточно просто. Освоить
2:47
разметку Markдаун можно там буквально за
2:50
пару часов понять, как это всё работает,
2:52
как это всё строить, и любой человек это
2:55
в этом может разобраться.
2:56
Соответственно, текст у нас остаётся
2:57
читабельным, меньше символов, и модель
3:01
искусственного интеллекта тратит меньше
3:03
токенов. Вы тратите меньше денег на
3:05
поддержку такого файла. Если вы
3:07
попробуете, например, хранить
3:09
документацию в том же Doc X, Word-файле
3:12
либо PDF, там будет огромное количество
3:15
много шума, скрытый код разметки. Читать
3:17
такие файлы будет для модели
3:19
искусственного интеллекта достаточно
3:21
сложно. Про экономию токенов мы с вами
3:24
поговорили, что такой текст, он нам
3:27
экономит токен, значительно экономит нам
3:29
токены. Даже вот та же самая
3:30
HTML-разметка либо Richтек. Как вы
3:33
видите, он значите содержит значительно
3:35
больше символов, которые нужно будут
3:37
обрабатывать модели искусственного
3:39
интеллекта. Благодаря вот этой
3:41
структурированной разметке, разметке
3:43
заголовков и так далее, роботы, они
3:46
понимают иерархию, позволяет вам более
3:49
точно делать разбивку начанки, если вы
3:52
будете использовать рак системы. То есть
3:55
текст таким образом значительно проще
3:57
разбить на куски, зная структуру этого
4:00
документа и если ваш источник
4:03
придерживается этой структуры. По сути,
4:05
Markdown файл сейчас стал де-факто
4:08
стандартом для большинства современных
4:10
инструментов и с ним умеют работать из
4:13
коробки таких сервисов, как GitHub,
4:15
GitLab, база знаний, возможно, с
4:18
которыми вы работали, это Naidion и так
4:21
далее. И и в Data Science, в Data
4:24
Science, и в искусственном интеллекте
4:26
это, по сути, стало тоже стандартом.
4:28
Таки такой формат данных для того, чтобы
4:32
эффективно работать с Redmi файлами,
4:34
технической документацией, ну, и
4:36
какими-то другими данными. Вот такие
4:39
причины, почему стоит применять Markdown
4:41
файлы, если вы работаете
4:44
с моделями искусственного интеллекта и
4:46
строите какие-то раксистемы.