- 20.09.2026
- 13.10.2026
- подкасты
Тридцать седьмой выпуск второго сезона подкаста "Капитанский мостик" про искусственный интеллект, будущее и все такое. Ведущие подкаста — Валентин Малых и Дмитрий Колодезев. В гостях — Валентин Мамедов.
Площадки
- Youtube
- RuTube
- VK Video
- Дзен
- Звук
- Аудио
- Канал для вопросов в mattermost ODS.AI
- Как попасть в чат ODS.AI
Содержание
- 00:00:00 введение
- 00:01:11 вышел Qwen 3.8-Omni-Flash
- 00:08:20 Трамп отменил гардрейлы
- 00:14:04 Huawei стоит TPU-кластера
- 00:19:53 харнес требует токенов
- 00:30:32 ещё про Huawei
- 00:37:54 Claude делает Claude
- 00:44:52 рекурсивное самоулучшение
- 00:58:04 GLM самоулучшается
- 01:07:17 агенты изобрели язык
- 01:16:46 мозг мухи для всего
Валентин Малых 0:00
С прежнего всем привет! Всем привет! С вами, как всегда, Валентин Малых и Дмитрий Колодезев. У нас сегодня в гостях Валентин Мамедов. Из важных сообщений у нас закрылся приём докладов на Санкт-Петербургский Data Fest, но это не значит, что у него не надо приходить. Пожалуйста, регистрируйтесь и приходите. Регистрация открыта, и всех будем рады видеть. Мой курс начался, и сюда ещё вполне можно успеть. Всё только-только началось, так что не переживайте, если что.
Дмитрий Колодезев 0:37
Мне написало несколько человек про то, зачем нужен курс, и я решил его запускать, только сейчас немножко обдумываю.
Валентин Малых 0:44
Ага, то есть, ну вот, видите, если Вселенная о чем-то попросить, она даже может чем-то ответить, как известно.
Валентин Мамедов 0:52
Мы просим вселенную, чтобы при тренинге гатятов всегда сходился и в целом пока сходят.
Валентин Малых 0:57
Ну, сейчас всегда я верю, я не уверен, что так возможно, но пусть ходится чаще, чем расходится.
Дмитрий Колодезев 1:05
Господи, ижистина, не беси, если ты хочешь, как там была молитва агностика. Да-да-да.
Валентин Малых 1:13
Видео-чат мы обсуждали на прошлой неделе. В общем, большие молодцы, что сделали. Ещё раз скажу, но у нас жизнь не останавливается. Вот вышел Qwen 3.8 Omni Flash. Я, честно говоря, видимо, проглядел с какого он размера, но подозреваю, что он размер примерно с DeepSeek V3 Flash, который 400 с чем-то. Ну вот, но и он выглядит достаточно интересно.
Валентин Мамедов 1:39
Ребята из Qwen, как всегда, задают ну вот какое-то направление, да, в котором очень интересно развиваться. И вот они одни из первых, кто в целом. Начали делать и выкладывать в открытый доступ маленькие мощные модели. И как будто бы сейчас тренд больше идет к тому, что ну большие модели как бы интересные, но для каких-то вот этих вот долей процентов, да, процентов пунктов небольших. Но в целом, как будто бы бестселлер у них это Qwen 3.5, а там 33B. Которая MoE, и люди, когда вышла 27B, немножко расстроились на эту тему. И вот как раз таки я думаю, что модель хорошая, но как всегда, немножко под бенчмарки. То есть она... И у них есть тенденция доливать много синтетических данных для того, чтобы получше выглядеть на лидербордах. Но модели с журналы неплохие.
Дмитрий Колодезев 2:31
Слушай, ну мне кажется, что под benchmark сейчас только мёртвые не учатся. Поэтому это можно понять и простить. Вот, но вот интересно, что он ориентируется в мультимодальных агентах. Вот, то есть, почему это интересно? Потому что на самом деле в большинстве случаев агент — это же такая текстовая вещь, то есть мы даём ему инструменты. А так-то, в общем, он текст парсит. Вот, а у него написано Omnisense Agent Delivery, то есть агент, который не нуждается в инструментах для того, чтобы понять, что происходит на картинке. Это интересный момент.
Валентин Малых 3:15
Ну, сейчас это большая тенденция, что модельки стали нативно понимать, что такое на картинках. Ну, и у DeepSeek есть, и у GLM-ки, а уж у GPT и Claude это уже несколько лет, как есть. Так что, ну ладно, несколько лет я, может, утрирую, да, но год-то точно. В наше время год за три.
Валентин Мамедов 3:38
DeepSeek, кстати, ранее говорили, что они не очень хотят идти в мультимодальность, потому что больше они верят в текст. И, соответственно, мультимодальность, как же кажется, вот они говорили, не приведёт их к AGI. И вот было интересно, что они потом выпустили модель, соответственно, как раз таки 4.1 Flash. Так что это, мне кажется, интересный шифт. То есть, видимо, они передумали, что-то произошло внутри.
Валентин Малых 4:03
Я думаю, что это требование рынка. Знаешь, то есть, если люди ждут от тебя модели, которые умеют понимать картинки нативно, ты, даже если ты думаешь, что AGI в другой стороне, ты всё равно её сделаешь, чтобы, ну, люди просто от тебя не уходили, мне кажется, так.
Валентин Мамедов 4:17
Но оно как будто сильно замедляет, то есть в целом разработку. Те же Gemini, мне кажется, вот в целом одни из первых, кто, ну прямо, то есть у них очень сильное мультимодальное направление исторически было, и они же первые выпустили вот модель, по-моему, на миллион контекста, который там видео понимает. Там вот все тогда ещё поражались этим способностям, и кажется, это сейчас их в том числе сильно замедляет, потому что нужно больше людей менеджировать между собой. Это же всё ещё должно дойти до претрейна, то есть здесь это не... Заканчивается тем, что это просто посттрейн, то есть это всё нужно на претрейне. Это работа с гораздо большим объёмом информации, то есть текст, его как бы много. Но если сравнивать с количеством картинок или видео, которые ты должен посмотреть для обучения, это прям задача чуть другого, даже инженерного уровня.
Дмитрий Колодезев 5:02
У меня опыт работы с GLM-53 и GLM-53 Flash. Да, GLM-53 Flash немножко потупее, но не нуждается в тулзак для чтения картинок. И для некоторых сценариев это прямо решает. То есть вместо того, чтобы лезть в MCP и спрашивать, что там на картинке нарисовано, она прямо понимает, это очень удобно.
Валентин Малых 5:23
Да, полностью согласен. То есть, мне кажется, это вопрос именно даже сценария в каком-то смысле, как то есть, если людям так удобно.
Дмитрий Колодезев 5:32
Ну вот, смотри, вот допустим, если нам стоит задача описать короткое видео, просто описать, да, то есть что там происходит. Если мы работаем с текстовой моделью, то нам нужно ставить OSCAR, раскадровку OSCAR и вот это вот всё. И на самом деле не факт, что оно поймёт, что происходит. Вот и насколько я понимаю, тут вы оба гораздо больше меня в этом понимаете, что мультимодальность можно, наверное, перекрутить двумя радикально разными способами. То есть, первое — это Мультимодальность как такая разновидность текста, ну то есть, когда мы реально картинки и видео преобразуем в некие токены. А второе — это совсем-совсем мультимодальность, когда оно равноправное. У него есть такие же эмбеддинги свои, оно там не притворяется текстом, а оно вот через свой эмбеддинг идёт. Как-то там и так.
Валентин Малых 6:38
Мне кажется, что сейчас только один способ, что мы в любом случае это как бы картинку не в один токен закладывать, да, а в некоторое количество токенов, потому что все модели у нас всё равно работают с токенами. Может быть, сейчас Валентин что-то другое скажет, но вот у меня в голове такое было.
Валентин Мамедов 6:55
Ну вот, как будто раньше, и Qwen в том числе так делали, что есть какой-то текстовый чекпоинт. Они его берут, там, ну, где-то вот две трети обучения, и начинают его. Миксовать, то есть прикручивает рядом какой-то уже обученный энкодер для картинок и, соответственно, постепенно его проучивает, он там связывается. И это получается некоторая экономия, потому что не всё время учим, но при этом какое-то понимание мы достигаем. Понятное дело, что здесь есть ограничения в количестве компьютеров, которые мы туда кладём, и на самом деле на качество всё равно это как-то влияет. И поэтому сейчас набирает популярность мультимодальный притрейн — это когда мы сразу учим. Рандомно инициализированный encoder или там есть подходы, когда мы вообще от этих encoders подходим. Да, то есть, там Google не так давно выпустил модельку, в которой нет encoders. В прямом, то есть у них как бы это как-то зашито. И соответственно, это приводит к как раз таки кейсу, который рассказывал, что гораздо сложнее делать, потому что требует как бы у тебя одно право на ошибку. Ты не можешь сделать там, сделать баг и быть прощённым, так сказать, как можно сделать в первом подходе.
Валентин Малых 8:14
Ну, что тут скажешь? Пожелаем удачи всем исследователям мультимодальности, наверное, так. Извините, я не мог обойтись без политоты в этом выпуске, потому что это слишком прекрасно, чтобы просто пройти мимо. Сильный и умный с высоким IQ президент, видимо, США, говорит, что единственный guardrail, который нужен AI, это он. Я, в общем, даже дальше читать не буду. Здесь и так, по-моему, всё слишком прекрасно, чтобы это обсуждать. Слушай, а может быть, он и прав. С этого угла я не рассматривал, ну, не, шучу, конечно. На самом деле, в его словах, как ни странно, есть глубокий смысл в том виде, что если предположить, что давайте мы будем решать правильно или неправильно постфактум, да, то есть, как это принято, вот. В англосаксонских странах, где есть понятие прецедента, да, то есть вот что-то случилось плохое, мы решили, что это плохое, и после этого больше так не делаем. Да, то есть, если мы предполагаем, что вот тот, кто решает плохо это или хорошо, вот ровно один человек, то всё остальное можно вообще не трогать, и это может быть сильно действительно облегчит задачу обучения. Ну, потому что не надо делать всяких вот этих вот самых guardrails. То есть, в этом на самом деле смысл-то есть.
Дмитрий Колодезев 9:39
Слушай, есть доклад одной организации, которая нежелательна в этой стране, поэтому я не буду её называть. Но эта организация тут прорабатывала стратегию Соединенных Штатов, что делать-то. И там разбиралось, какие вообще, говоря, как устроены угрозы, и что следует предпринимать и когда. И там разбирались варианты, что делать, типа, всех запретить, там попробовать всех перегнать, попробовать всех передавить, да. Попробовать всех нагнуть, например, ну разные варианты. И они говорят, что вот любое действие, оно с одной стороны экономит тебе силы, то есть чем раньше ты начнёшь действовать, тем больше ты достигнешь. С другой стороны, оно ограничивает твои выборы, а информации нет, то есть что будет происходить, никто не понимает. Они говорят, что вот сейчас. Правильная тактика для Соединенных Штатов — это, опять же говорю, нежелательная в нашей стране организация, такую ересь несет. Но несет она следующую речь, что нужно наращивать возможности, которые позволяют сделать больше выборов, то есть нужно оставлять себе как можно больше открытых дверей и у каждой двери ставить по гири. Чтобы если мы в эту дверь побежим, то у нас было бы с собой что-нибудь тяжёлое. Вот, то есть надо смотреть в оба, но не надо ничего пока запрещать. Надо готовиться ответить быстро. И если возвращаться к прецедентному праву, почему оно плохое на самом-то деле? Тем, что что-то случается, и спустя много-много лет по этому поводу принимается какой-нибудь легистилийшн, который, опять же, с задержкой вступает. В роль. Но это всё предполагает, что по-прежнему законотворчество, нормотворчество будет очень медленное в эпоху. А я и не буду успевать, поэтому надо запретить что-нибудь пораньше, чтобы мы успели провести это через следующее заседание, допустим, Конгресса. Ну, вот так. Вот, но вполне возможно, что второе предположение тоже неверно, что то, что нормотворчество останется таким медленным, может быть, и не факт.
Валентин Малых 11:51
Ну, слушай, у нас принято жаловаться на слишком быстрое нормотворчество в нашей стране, но, может быть, и что-то в этом плане сделать, например, поможет с поиском противоречий в рамках этих самых норм.
Дмитрий Колодезев 12:07
Вот, ну и по поводу замедления американцами тренировок моделей, есть такой мем, где Си Цзиньпин говорит, одобряю. Вот действительно стоит, да. Поэтому, может, она прав.
Валентин Мамедов 12:20
Не знаю, что сказать. Я буду рад, если они замедляют эту разработку модели.
Валентин Малых 12:24
В общем, да, я согласен, все дружно порадоваться.
Валентин Мамедов 12:27
И есть интересная мысль, что это из-за того, что как бы надо оправдывать инвестиции огромные. И есть некоторый потолок, к которому мы подходим, и поэтому начинается некоторый, ну, информационный, как, прогрев. Да-да, я хотел сказать слово, ну да, вот информационный прогрев на тему того, что мы просто замедлимся сейчас, вы типа не переживайте, чтобы у нас резкая не сдулась.
Дмитрий Колодезев 12:54
Всё равно будем замедляться. Да, давайте мы скажем, что это мы специально. Вот, есть ещё одна похожая теория на эту же тему. Поскольку сейчас Конгресс и законодатели вообще-то пытаются что-нибудь придумать, чтобы этот самый яй как-нибудь ограничить, они люди пожилые и от яй далёкие. Сейчас они ничего запретят с плеча. Давайте мы проявим инициативу, может быть, эти запреты сможем писать мы, а не они.
Валентин Малых 13:24
Ну вот, тоже такой вариант есть. Про запреты на самом деле довольно сложно разговаривать, потому что сейчас про запреты больше именно говорят, а не делают. Это как раз хорошо, что не делают. Да, то есть в этом смысле неповоротливость бюрократической машины играет на руку, но в какой-то момент они же что-то сделать могут. Вот это вот самое интересное.
Дмитрий Колодезев 13:45
Ну, посмотрим. Я думаю, что через целые эпохи вперёд, то есть через месяца три, мы всё поймём.
Валентин Малых 13:53
Ну да, так, к двадцать седьмому году, когда уже мы перейдём в следующие тысячелетия, я думал, мы как раз всё узнаем. Ладненько, я предлагаю двигаться на другую сторону Тихого океана. И у нас с другой стороны Тихого океана. Находится Китай и компания Huawei, которая, если кто-то забыл, переводится как «великое достижение». Так вот, это самое великое достижение, они действительно интересные штуки рассказывают. Они говорят, что они поставили уже какое-то приличное количество так называемых суперподов. Это объединенные между собой, по-моему, тысяча сразу карточек. Ascend, и они, соответственно, говорят, что собираются их ещё тысячами ставить дальше, пока не закроют внутренний спрос, но это они собираются сделать, я так понимаю, в течение нескольких лет. Обещают ещё. Представить новые версии вот этих вот Ascend 960, 970, Ascend 980, по-моему, и говорят, что дальше будет только лучше и больше, развивается с ускорением всякое такое. Это всё правда, не берусь сказать, но то, что они очень много вливают. Инвестиций именно в создании инфраструктуры вокруг карточек — это точно. И это, на самом деле, на мой взгляд, самое важное, потому что сами по себе карточки, они не особо, ну как бы, нужны. Ну то есть, если у тебя есть в руках карточка, ты пока её не вставишь в сервер, она никакой пользы не приносит. А вот тут как раз они вот эту часть стали. Активно производить, да, то есть стали появляться уже полноценные сервера, в которые можно вставить полностью независимое железо, имеется в виду независимое, оно не зависит и от материнских плат и от всего, то есть полностью независимый стэк купил-поставил, и оно как-то работает. Там другой вопрос, что он, наверное, не так эффективно, как в случае NVIDIA, но тем не менее.
Дмитрий Колодезев 15:53
Мне, знаешь, что интересно показалось, что цифра 500 триллионов токенов ежедневно, да, потребляется в Китае. А триллион — это очень расплывчатое понятие в наше время, то есть, в том смысле, что он может на три порядка различаться, что называют триллионом, но если они... Триллионом называют 10 в 12 степени, да? И, в общем-то, неплохой инженер, недолбанутый на всю голову, потребляет, допустим, в день 50 миллионов токенов, да? То есть. Нет, ну, так остороженная такая, ну, нормальный инженер, но не который живёт полностью, вот целыми днями запускается до агентов, да. Вот, то есть такой, ну, для обывателя, скажем, это довольно большой расход. Для инженера не очень большой, для обывателя — да. И получается, что у нас там есть 500 триллионов, да, то есть. 5 на 10 в 14. Вот тогда, как по моему же расчёту, 5 на 10 в 7, это довольно-таки неплохой аналог продвинутого пользователя. То есть можно прикинуть количество продвинутых пользователей в Китае. Он довольно большое получается. Да, да нет, почему тысячи? Миллионов, миллионов, миллионов, понимаешь? То есть получается, что там сотни миллионов продвинутых пользователей LLM, такие, которые прямо серьёзно и плотно его загружают.
Валентин Мамедов 17:30
А может, мы считаются просто компанией какие-то вопросы, которые отправляют и так далее. Почему тут именно юзер-поток мы считаем? Но в компании же тоже люди работают. Нет, ну в смысле я могу допустить, там не знаю, разметку чего-нибудь, и соответственно, это будет сильно больше, чем 50 миллионов.
Дмитрий Колодезев 17:46
Много таких людей в нашей стране.
Валентин Мамедов 17:52
Я думаю, что на самом деле, если как-то вот анализировать, ну, это массив данных или логи читать, то оно может, ну, значительно-значительно больше. То есть, 50 миллионов надо потребляться, ну, буквально за 10 минут.
Дмитрий Колодезев 18:06
Ну да, может быть. Вот, но в любом случае, получается, что Китай достаточно плотно уже всё это дело использует, прям серьёзно плотно. Интересно, кстати, посмотреть на дневной расход по странам, скажем, на OpenRouter или каком-то.
Валентин Малых 18:20
Они, по-моему, такое делали, но у меня нет под рукой такого графика. В целом интересно. Но тут надо понимать, что OpenRouter в Китае будет необъективен, ну, по понятную причину. То есть OpenRouter даст неплохую статистику по там западным странам, ну, там по Японии какой-нибудь, да, но они... Но точно не по Китаю, ну и даже не по России, по понятным причинам. Но тем не менее оценка в то, что несколько миллионов, может быть, не десятков, но хотя бы несколько миллионов активных пользователей, я вполне себе верю. Это вполне по мне нормальная оценка.
Валентин Мамедов 18:54
У меня даже мама использует нейросеть, а это, ну, как бы серьёзно, я считаю.
Валентин Малых 18:59
Она уже агентов использует или пока только после дебюки?
Валентин Мамедов 19:04
Ну, не с чат же пить, а вот с кипишатом, а поддерживает. Отечественного производителя, молодец. Да, и сын.
Валентин Малых 19:11
Вот, ну, я, кстати, тоже поддерживаю отечественного производителя, только не вас, к счастью или к сожалению, а у нас есть, соответственно, конечно, к сожалению. Вот, у нас есть GLM, которая внутри развернутая, да, и я, в основном, гоняю теперь её. И там у меня цифры, конечно, гораздо больше, чем 50 миллионов, получается. Но в зависимости от того, как бы, чем я, в принципе, занимаюсь в этот день. Если только white coding, то там много может быть.
Дмитрий Колодезев 19:37
Ну что ж, тут, конечно, я в компании неудачной оказался. Вот если мериться использованием токенов, что поделаешь.
Валентин Мамедов 19:45
Ну, я за годом собрал pretrained dataset, я скажу так, то есть у меня примерно такое, ха-ха, такое подшли.
Валентин Малых 19:50
Ладно, зато у меня песни хорошие. Да-да-да, глаза красивые. Следующую новость ты скинул, и она, по-моему, супер прикольная. Я зачитался даже тем, что тут коллеги нашли. Хотя я не совсем понял то, что они пытаются сказать, но если основное, что harness как таковой по их подсчетам, он вообще говоря стоит определённого количества токенов, да, то есть он накладывает сверху на модель какой-то свой, то что они называют налог, да, то есть они. Есть какие-то накладные расходы на работу самого harness, и получается, что даже, в общем-то, простой harness, тут есть красивая картинка. Простой harness может показывать достаточно похожие результаты на сложный harness. Ну вот сложный harness — это Claude Code, а простой harness — это Вот у них это как Py или Pi, я не знаю, как они правильно называются. И, соответственно, получается, что harness это то направление, которое тоже, видимо, будет как-то ещё развиваться. Да, то есть harness ещё недоразвиты. Ну, тут правда, надо сделать оговорку, что у нас сейчас всё доживается довольно быстро. Может быть, они довольно быстро разовьются и все перейдут на следующую большую штуку. Но, в общем, кажется, что гонка на harnessах может быть и не случится, потому что не очень понятно, зачем тебе сложно, если тебе достаточно буквально три кнопки, условно говоря.
Дмитрий Колодезев 21:24
Слушай, вот тут я радикально не согласен. Я про это написал тоже у нас в «Mattermost», что конечно, конечно. Какой-нибудь Claude очень нерационально использует harness, а не очень нерационально использует токен. Я прямо уверен, что Py использует его действительно эффективнее. И у меня был эксперимент, например, я использовал более простые harness, и они решали задачи быстрее, чем Claude Code. Вот, но тут мы вспомним, что у нас вот это бенчмарки, где у нас в три раза дешевле получалось, в четыре раза дешевле на 75%. Решать через простой harness, который содержал только re-dryd, grep и bash, допустим, да. То есть, ты только такой минимальный harness делаешь, и он всё зарешивает. Вот, но это зарешивание, во-первых, короткой задачи, а во-вторых, без участия человека. Вот тогда, как мы кодовы в кодовых агентах, человек у нас, безусловно, есть. И вот теперь представим себе сравнение с автомобилями. Мы берём раму, ставим туда двигатель, да, ставим туда колёса, и на самом-то деле, скажем. Какой-нибудь 200-ваттный 200 лошадиных сил мы можем сделать машину весом, ну помимо двигателя она будет вести килограмм 50-70, реально. Она будет ездить просто вот со страшной силой. Ну, только человека на него сажать нельзя, вот, потому что ему там будет сидеть неудобно и до первого поворота. Вот, и опять же, если вспомнить, на заре вот этих кодовых harnessов рассказы про то, а она мне удалила домашний каталог, да, а она мне удалила то, а давно ли последний раз вы такое слышали от кого-нибудь живого человека, знакомого, да, то есть они перестали удалять домашние каталоги, ха-ха. Люди, людям удобно за ними работать, приятно. И вот это вот та самая кожаная обивка, которая, вообще говоря, не обязательно в промышленных изделиях, которые работают без участия человека. То есть, до тех пор, пока у нас в Harness есть оператор, мы оптимизируем не только количество токенов, которое ушло на решение задачи, но и удобство этого оператора, то, что он был доволен, то, что он не перегружался ментально, то, что удобные вещи у него были в удобном месте, и вот так, что его контекст удобно прогружался с самого оператора. Вот, поэтому Тут вопрос такой, что тот же самый Claude, например, Claude Code, это же продукт, ориентированный на разработчика. А вовсе не на автономного агента, который решает задачки. Вот, а что тут на самом деле имеет значение, так это то, что скорее всего, те же самые Anthropic учили Клода не на Claude Code программировать, а на каком-то своём. В внутреннем harnessе, ну вот потому что, во-первых, так удобнее, во-вторых, непонятно зачем, и именно поэтому он не под Claude Code оптимизирован. Вот о чем они говорят. Вот и вот тут интересно, на самом деле, у вас же у обоих на хозяйстве есть кодовые агенты, да? И вот вы же их когда учите, вы же тоже их поди-преди-каучите не в IDE, а в каком-нибудь упрощённом harness, в котором можно гонять тесты. Ну, и Anthropic делают то же самое, как бы, но вряд ли они с другой планеты в этом смысле, то есть. И получается, что какие-то, ну вот это как в беге, например, да, ты хорошо бегаешь на той дистанции, на которой тренируешься. То есть, если ты хочешь хорошо бежать пять километров, бегай пять километров на тренировке, не выпендривайся. Вот, и тут тоже, то есть существует какой-то идеальный harness, в котором они учили, который может быть не такой красивый, вот, на который производительный и хороший, ну вот.
Валентин Мамедов 25:23
Они как будто учатся всё-таки на разных harness'ах, то есть один невозможно туда подставить, иначе он просто генерализации какой-то не достигнет, поэтому там в целом их лежит целая-целая куча. Возможно, это интересный эффект либо самого бенчмарка, либо того, что из-за этого разнообразия у них вес основного harness'а, так сказать, немножко размылся, и модели просто оптимизировались по что-то другое.
Дмитрий Колодезев 25:50
Ну вот, например, в Claude Code Qwen работает плохо, а GLM работает хорошо, хотя Qwen на самом деле очень умный. И в своём Qwen Code он работает отлично.
Валентин Малых 26:03
Слушай, мы GLM, они в явной форме под Claude Code оптимизированы, поэтому они там работают хорошо. А тут тот вопрос, который я ещё хотел, так сказать, подсветить, да, мне кажется, мы его как-то обошли стороной, что вот конкретно здесь коллеги сравнивают. Довольно умные модели, да, то есть не все большие. Там Llama, хоть она и маленькая, она всё равно очень большая. Там Kimiko-3 тоже на триллионы параметров. И получается, что с харнесом простым, да, хорошо работают умные модели. А вот если бы посмотреть Простым harnessом какой-нибудь более простой Claude, да, там, о, пардон, не Claude, а Qwen, да, Qwen, допустим, 3.6 27B, который сейчас довольно сильно популярен, ну или там 3.8 27B, тоже популярный. Насколько они хороши в этом harness? То есть сейчас по интернету ходят всякие картинки по поводу, ну не картинки, а там новости, вида, что вот там я попросил Qwen написать мне что-нибудь, и за трое суток он мне написал. Да, то есть в каких harness гоняют? Вот что вопрос.
Дмитрий Колодезев 27:17
Ну, смотри, чем тупее сотрудник, тем жестче должен быть регламент, вот и всё.
Валентин Малых 27:22
Ну так как бы да, ты прав, но это значит, что нам более сложный harness нужен или более простой, вот что.
Дмитрий Колодезев 27:30
Это значит, что по мере естественного усложнения моделей, роль harness в теории должна падать. Но тут возникает то самое расслоение, что есть фронтирные модели, которые хороши, но дороги. Есть нефронтирная модель, отстающая open-source, отстающая от них на четыре месяца. И вот эту разницу в четыре месяца частично можно дотащить harness.
Валентин Малых 28:00
Угу, посмотрим. На самом деле, вот очень интересные наблюдения. Мне непонятно, как к практике прикладывать, но я тут могу своей этой самой историей поделиться. Я тут, по примеру нашего общего знакомого, пересел на KiloCode. Как-то он меня соблазнил, и KiloCode выглядит прям прикольно. То есть, прям делает то, что мне нужно, и делает то, что мне не нужно.
Дмитрий Колодезев 28:24
Мне стыдно, я тут Codex гоняю.
Валентин Мамедов 28:28
Поддерживаю. Я разочарован, что он настолько сильно сжигает токены в режиме Goal и так далее. Если есть подписка, то она просто тает на глазах, а если что-то идёт в режиме Goal. Поэтому у меня это обычно работает так, что Fable запускает Codex агентов на GPT-6, и это работает нормально и гораздо дольше. Вот одно из таких ключевых вещей, потому что /goal в Claude Code хороший, в Codex очень плохой, потому что он постоянно, то есть он не может поставиться на паузу и проснуться от какого-то event. И вот это тоже важная часть, на самом деле. То есть для user это да, но если это всё сделано только под user и всё-таки не оптимизировано под деньги, я думаю, что user просто уйдёт от такого продукта.
Дмитрий Колодезев 29:17
У меня, слушая с Astra-6, следующая история, она пишет ревью на проект, написанное Fable, оставляет ему отчет, типа, поди и исправь. Вот, а потом приходит Opus и всё это дело исправляет со словами. О, клево! То есть, умная модель делает ошибки, ещё более умная модель их потом находит. Модель потупее идёт и дёшево исправляет весь этот хлам.
Валентин Мамедов 29:42
А в целом, GPT-6 как будто больше фронтендера какой-то получается, ну вот у меня, по крайней мере, а Fable как-то лучше держит курс, что надо сделать, а Astra, она очень много может потратить на тестирование или вообще на решение какой-то, ну то есть не зациклиться в прямом как бы смысле, а вот просто застрять.
Дмитрий Колодезев 30:02
Ну вот в этом случае как раз она у меня хорошо работает, потому что цель простая. Есть уже документация, есть уже код, есть решение, оно работает. Просто сделай ему ревью, найди, что можно улучшить. Ну то есть посмотри по сторонам. Вот и оно. Пошло туда-сюда, вот именно вот эта вот её способность зациклиться, она тут далеко от этого не уйдёшь. То есть, код уже написан, править его нельзя, можно только предлагать. Вот и хорошо, но правда сжигает подписку тоже так-то.
Валентин Мамедов 30:31
Да, оно такое. Я вот, кстати, хотел по Huawei Ascend чипам докинуть то, что, ну кажется, на них же всё-таки пока ничего особо не тренируют, то есть те DeepSeek, они вроде как инфра на Huawei Ascend чипах, но тренировку пока планирует на NVIDIA. Ну.
Валентин Малых 30:48
Ну да, это вроде все так говорят. Насколько я понимаю, сейчас основная история у Huawei именно в том, чтобы дотащить инфраструктуру обучения. То есть инфраструктуру inference они уже объективно дотащили, да, то есть несколько крупных компаний, включая RIP-SIC, ими пользуются, но инфраструктура обучения пока еще не настолько хороша, чтобы ее...
Дмитрий Колодезев 31:12
Слушай, а по-моему, ZTEI, говорили, что они последние GLM на Huawei тренировали.
Валентин Малых 31:20
Они, о них аккуратно написано, что на каких-то китайских чипах, на каких они совершенно точно не говорили, да, то есть они обходят этот вопрос стороной, то есть в другом месте они пишут, что да, инференс у нас на Huawei, а на чем они делают обучение, они как-то молчат, не знаю.
Валентин Мамедов 31:39
Интересно, скоро будет, что вот модели, которые там релизятся, open-source, то есть, ну, по сути, под ним будут дизайнить чипы китайские, и под ним, как бы, всё тренироваться. И open-source, то, что будет выпускаться, оно будет очень оптимально, на самом деле, работать, вероятно, на этом. В NVIDIA-ских картах, ну если они совсем с архитектурами начнут мудрить, и тогда это как бы такой нативный толчок будет в сторону того, чтобы мы покупали прям консумерские, Huawei видеокарты для того, чтобы им верить что-то. Тоже интересно будет, кстати, проприетарный этот гей-гейт такой.
Дмитрий Колодезев 32:13
Говорят, GLM Image училась на 100% на AutoHuawei, Scent Atlas 800.
Валентин Малых 32:20
Ну, ничего себе. Ну, я тут продолжу тему, что да, действительно, всё идёт к тому, что будет разделение инфраструктур. Да, будет и NVIDIA инфраструктура, и будет Huawei, наверное. Ну и там, на самом деле, ещё полно в Китае других производителей, да и в США они тоже есть, но в основном там NVIDIA, конечно. В общем, так и будет. Я просто готов ставить на это.
Дмитрий Колодезев 32:43
Слушай, вот тут смотри, какая история. А когда у нас... Ну, есть NVIDIA, под нее есть CUDA, под нее есть PyTorch и так далее, и тому подобное. Все здорово, у нас все поддерживается. Но китайцы приходят и пишут свои, грубо говоря, слои под PyTorch, чтобы ты в PyTorch мог все это вызывать. Худо ли бедно, оно работает, да? И вот теперь посмотрим на год вперёд. Китайцы выпускают какую-то свою модель, которая оптимизирована под, допустим, Ascend, да, и неудобно работает под другими фреймворками, допустим, да, или неудобно работает на NVIDIA. В мире есть LLM-ки, которые очень хорошо пишут код. LLM-ки пишут фреймворки и начинают ее, блядь, хорошо инференсить на NVIDIA. То есть я не вижу тут защищаемого рубежа.
Валентин Малых 33:40
Слушай, мне кажется, что тут есть всё-таки некоторая история. Надо вспомнить мою прошлую жизнь. Да, я же когда-то очень давно разрабатывал процессоры, и я тебе могу сказать следующее, что в зависимости от архитектуры процессора у него есть быстрые и медленные операции. Ну, то есть, условно говоря, ты можешь быстро складывать, но медленно вычитать. Это не так, на самом деле, но для простоты. Соответственно. Ты можешь писать код так, чтобы всегда были только сложения и вообще не было вычитаний. А в случае наших нейросетей ты можешь оптимизировать отдельные матричные операции, да, и получается, что у тебя нейросеть будет в основном использовать эти операции. То есть тебе надо будет переделывать саму нейросеть для того, чтобы она эффективно работала на другой архитектуре железа.
Дмитрий Колодезев 34:35
Слушай, но сейчас вот при текущем уровне технологии LLM успешно пишут CUDA ядра, так? Да, конечно. Вот, а предположим, что для любого матричного преобразования перекошенного в одну сторону, скажем, блочного умножения или какого-либо еще, да, вот есть эквивалентная ему операция над матрицами, которая оптимизирована на другом. И кто, как Нилл Эмс, может ее найти. То есть, ну, в принципе, как бы, если они тут решают доказывают отсутствие решения у Navier-Stokes, почему бы им не построить такой вот? гомоморфизм на этих самых реализациях. То есть, ты в следующий раз предупреждай, когда такое говоришь в эфире-то.
Валентин Мамедов 35:24
Вообще, как будто идеи динамического компьютера сейчас очень сильно, ну, они давно как бы начались, но в целом это требует некоторого пересмотра того, как это происходит, то есть. MoE, когда появилась, это же по сути вот, ну, некоторый динамический компьютер, отчасти если мы просто эксперты что-то там сделаем, говорят, что loop-модели, да, это AST, соответственно, тоже динамический компьютер, то есть мы можем вызывать модель ещё раз или не вызывать. Также можно сделать, ну там, в каких-то ещё направлениях. Если посмотреть на Attention, они тоже становятся спорными. Архитектура меняется в сторону того, что появляется некоторое отдельное хранилище, которое вообще на цепь можно как бы хранить и к нему обращаться, да иногда. И я думаю, что это просто будет сходиться к тому, что если хочется как компании эффективно инферить топовый DeepSeek, то это как бы будет требовать некоторого входного партийного билета на покупку той железяки, которая будет это делать очень хорошо.
Дмитрий Колодезев 36:20
Смотри, вот допустим, есть у нас Cerebras, но мы не знаем. И они с точки зрения видеокарт вообще инопланетяне, да, то есть они не являются вот этими параллельными. Векторными компьютерами, которыми являются NVIDIA компьютеры и так далее и тому подобное. То есть, они просто другой архитектуры животное. И тем не менее, на них перетаскивают модельки. То есть, у Cerebras есть, соответственно, компилятор, который перетаскивает модельки в Cerebras. То есть. Это, в принципе, возможно. Поэтому вот я и говорю, что я верю в то, что хорошие инженеры при достаточном количестве денег и железа смогут построить преобразователь одной модельки в другое железо. Ну, потому что с Cerebras это происходит, и как бы, ну ничего, всем нравится.
Валентин Малых 37:13
Не, ну, я думаю, что тут как всегда, если... Есть же вот люди, энтузиасты, которые смогли CUDA на AMD запустить, да, это возможно. Я уверен, что так будет работать. Вопрос в накладных расходах. То есть я согласен с Валентином в том плане, что скорее всего, топовую производительность от DFC можно будет получить только на каких-то правильных китайских чипах. Я думаю, что к этому реально всё придёт. Другой вопрос, что это не значит, что на NVIDIA его нельзя будет гонять, просто он будет, ну, чуть-чуть менее, ну, там процентов, типа на 10-20, менее быстрый, и всё.
Валентин Мамедов 37:48
Да, но это всё равно миллиарды. В декабре увидим. Да-да-да, увидимся в декабре, как говорится. Следующая новость у нас про
Валентин Малых 37:59
Автономных агентов, мы тут уже начали про них говорить, но, соответственно, Claude сейчас на 26% выполняет работу R&D внутри Anthropic. Тут отдельный сложный вопрос, как они считают эти 26%, но само по себе заявления интересны. Ну, во-первых, мы все знаем, что у них скоро IPO, поэтому понятно, что такого рода заявления неизбежны, но кажется, что Они нашли способ автоматизировать какие-то базовые задачи, да, то есть те задачи, которые не требуют какого-то супервижена, ну, условно говоря, там, вместо того чтобы теперь кодовому агенту говорить. Что напиши вот здесь, замени сложение на умножение. Ты говоришь, ну вот подумай, вот здесь укладут какие-то эти самые что-то на что-то поменять, и он ушёл там 350 вариантов проверять. И если вот это считать двадцати шести процентами, то в такой я готов победить.
Валентин Мамедов 38:57
Я верю, ну то есть, она правда начала так работать. В плане того, что ты можешь что-то сказать, и действительно накидает сам вариантов, придёт их проверять. Тут самое главное — построить этот луп, чтобы он качественно работал. То есть, я там, не знаю, open-source репозитории. По типу, потому что читал, накидаю какую-нибудь статью, которая мне интересна, и он действительно её может реализовать, проверить. Ну, главное, дать ему какой-то вот сетап, да, на котором он это будет делать, и чтобы он был стозначим, да, ещё желательно. И да, то есть в целом с каким-то Controlly, вот Operator как раз таки, а Fable справляется, а Astra вот как раз таки она циклится и начинает решать, как будто вообще параллельную задачу, которую она сама придумала. Вот в таких конкретных сценариях.
Валентин Малых 39:45
Да-да, так вот я об этом и говорю, что, видимо, есть какой-то набор кейсов, когда не требуется видение человека, но, может быть, имеется в виду, что людей осталось буквально столько же, да, но просто теперь. Вместо того, что ты задаешь 50 промтов, ты задаешь один промт, и он пятидесяти разными способами проверяется. То есть, количество работы R&D-шной стало больше при условии того, что количество внимания человека осталось тем же. Я думаю, вот так вот.
Валентин Мамедов 40:17
Устроено. А как будто большую часть рутины в R&D работе всё равно ты тратишь на постановку эксперимента в плане, ну просто там не знаю, а как эксперименту найдёт, не идёт, может, там нода какая-то выпала или нет. Или какой-то анализ провести, то есть ты банально можешь сфиксировать, то есть посмотри вот таким-то образом на вот эти вот графики и сделай вывод. То есть тебе не нужно, то есть мы аутсорсим некоторым образом внимание, которое критически важно в R&D работе, и как будто за счёт этого ты можешь всё со временем всё больше и больше доверять тому, что вот эта штука, она классно аутсорсит твоё внимание, и за счёт этого просто больше делать, экспериментировать. Понятное дело, это валидирует, а валидировать как-то нужно, но.
Валентин Малых 40:56
Так мне кажется, основное внимание сейчас как раз уделяется именно валидации. Да, то есть вот RLVR окружение — это то, на что все сейчас и смотрят, и куда все идут. Да, я конкретно, вот как я, как пользователь.
Валентин Мамедов 41:09
Чтобы мне валидировать тот слог, который мне нагенерила модель, и это, соответственно, креативно, как будто бы здесь включается. То есть, как тебе организовать работу так, чтобы ты валидировал, не слишком взрываясь в то, что всё действительно хорошо, и это будет показывать твою эффективность.
Дмитрий Колодезев 41:25
Да я вот задумчиво читаю эту статью и пытаюсь понять, решена ли тут проблема раздувания агентами работы. Ну то есть, например, если мы возьмём и начнём мерить количество переложенных кирпичей, то люди могут переложить там, скажем, 2000 кирпичей в день. А агент с места на место бессмысленно может переложить, допустим, 50 тысяч. Но нас это, допустим, не приблизит к цели, потому что он их будет кидать куда попало, поднимать и заново ставить. Вот, то есть, на самом деле, тут есть проблема, как с той секретаршей, что Я, говорит, печатаю тысячи символов в минуту, но такая фигня получается. Вот в том смысле, что мы не можем только долю работы оценивать. То есть при оценке того, как в организации работает, например, насколько хорошо в ней работает. Я и агенты в разработке, мы оцениваем time-to-market в первую очередь, а не процент строк кода, который написали агенты. Потому что процент строк кода, который написали агенты, это самосбывающееся пророчество. Чем больше эти агенты, тем больше строк кода они написали. Вот. А time-to-market — это то, что ты на самом деле реально хочешь.
Валентин Малых 42:38
Зарешать вот и вот так. Вот мне кажется, да, я честно скажу, я прочитал только по диагонали, поэтому я мог упустить, но я не Ну, видел здесь оценки именно того, что у них стало с Time to Market.
Дмитрий Колодезев 42:52
Непонятно, видишь, у них что-то такое тайм, что у них такой это маркет, но опять же. Вот, допустим, у GLM, опять же, если я ничего не путаю, GLM рассказывали, что у них GLM 3.5 Flash спокойно кластер кубов разворачивает, и никто не жужжит. В смысле, что она у них там девопсит все их, вот эти вот, типа на 100 тысяч узлов, что ли, они там у них или на 10 тысяч узлов, в общем, в любом случае. Оно справляется, то есть раскатывать кубы на 10 тысяч узлов — это время и сил.
Валентин Малых 43:29
Не, ну то, что оно умеет, это прекрасно. На самом деле, я не первый раз слышал, в смысле, как сказать, я уже от живых людей начал слышать, что действительно, devops-работу оно умеет выполнять, и вроде как это действительно вполне себе можно использовать.
Валентин Мамедов 43:44
Мне кажется, агенты ещё классно смотрят на какие-то. В блоге, то есть, когда очень много метрик от раны снимается, и это как бы очень удобный анализ происходит, то есть, поищи аномалии или что-то в этом духе. Не идеально, то есть, что-то пропускает, но в целом он как будто чувствует, что примерно ты туда положил, особенно если ты дашь ещё описание, что там лежит, и ну действительно, находит интересные паттерны, на которые нужно обратить внимание, индикаторы, там, по крайней мере, вот в обучениях, вот и это делает там, не знаю,
Дмитрий Колодезев 44:16
В конторе внедрение LMK шло, ну как ты, каждому её продаёшь, да. Вот один наш общий знакомый, Валя, с которым мы в одной комнате сидели, он на самом деле. Начал её использовать как раз после того, как он типа, а скину-ка я туда все логи. Скинул логи, оно нашло, да. И вот тут он, да, это вещь, то есть кот, он писать, я сам умел, это лично. Вот в логах ковыряться было лень. И так пошло, и это было, так сказать, продающей фичей. Вот поэтому, да.
Валентин Мамедов 44:47
Ну, у меня такая же история, угу. У меня магистерская диссертация была про дающиеся чай.
Валентин Малых 44:52
Ха-ха-ха. Это вот отчасти про то, что мы уже начали говорить, это сейчас большая история. Значит, разгоняется слух, что Google смогла приблизиться к recursive self-improvement, то есть. Рекурсивное самоулучшение. Известно, что Google на это, в общем, давно ставит. Ну и тут вот в лучших традициях конспирологии большими буковками нашли, что recursive self-improvement вроде как. Стал лучше. Ну, понятно, что это какой-то бред, но, в общем, это не страшно. Тут я предлагаю сразу переключиться на то, что, я думаю, все ждали и не могли дождаться. Есть такой замечательный человек, он даже в Москву как-то приезжал, зовут его Юрген Шмидтхубер, обладатель самой классной кепки в нашей области с 1987 года. Он, соответственно, придумал весь ML и Deep Learning еще в том самом 1987 году, если кто-то не знал, на всякий случай, там рассказываю, да и вот. У Шмидтхубера есть интересная особенность, что как только возникает новая большая фигня, а точнее, только возникает, возникает, он сразу пишет, что я это придумал вот в том-то году. И обычно это где-то в районе конца прошлого тысячелетия, даже не совсем конца. И вот здесь можно посмотреть. Список статей, которые он про это написал. И соответственно, тут единственное, что можно сказать, сама идея self-improvement, ну, выглядит как не супер что-то. Такое, что невозможно, в общем-то, придумать. Да, ну то есть, как бы, математическая рекурсия, я думаю, знакома всем студентам первого курса, уж как минимум, да, если не школьникам. Соответственно, придумать, что у тебя нейросеть будет улучшать саму себя, ну, вроде тоже не Бином Ньютона. И в этом смысле Шмидхубер-то прав, да, что, в общем. Придумать-то придумали и до них. Вопрос, мне кажется, в другом, что сейчас мы реально наблюдаем, что, допустим, тот же харнас модели уже вроде как могут немножко переписывать под себя. По-моему, вот у нас будет новость ещё про ZTEI на эту тему, и у нас тут получается, что Self-improvement в каком-то смысле уже существует, а вот в каком смысле он ещё не существует, я не очень понимаю. Да, то есть, вот какое новое качество люди такое ждут от DeepMind, что не придумал Шмидт Хубер, давайте так скажем.
Дмитрий Колодезев 47:26
Когда в 2012 году или в 2011 году Эндрю Нг рассказывал свой первый курс по машинному обучению на Coursera, он говорит, что такое машинное обучение, никто не договорился. И я предлагаю считать машинное обучение это алгоритм, который работает тем лучше, чем больше данных мы в него запихаем. Вот, у меня сразу же возникло возражение, что живой аспирант вполне попадает под это определение. Ну, как он же, не искусственный, не интеллект, не машинные обучения. Да, вот, а у меня... Есть альтернативное представление о том, что такое машинное обучение. Есть, как сформулировал, по заказу Новосибирского матцентра вслух, так сказать, за завтраком. Это автоматическое построение удобной нам проекции признакового пространства. Всё. Автоматическое построение удобной нам проекции признакового пространства.
Валентин Малых 48:37
И вот, да, в...
Дмитрий Колодезев 48:40
Вот, а просто когда мы, допустим, строим какой-нибудь катбуст или что-то ещё, мы на самом деле строим преобразование. Из признакового пространства исходного в какую-то штуку, где мы потом можем сказать, вот оно в R1, мы преобразуем, сказать вот это больше, вот это меньше, вот эти котики, это собачки, да. И весь ML, он про это. То есть мы строим какую-то проектор в удобную нам проекцию. А что такое удобное, мы, собственно, определяем наши целевые функции, неважно. Вот, так вот, если посмотреть вот так вот на машинное обучение, то self-improvement там, ну что такое? Ну, нет там self-improvement никакого. То есть, вот у тебя как был проектор, так проектор и остался, да. Вот, то есть, вот как у тебя был критерий удобности, так он у тебя удобный и остался.
Валентин Мамедов 49:34
Я могу, наверное, тут какую-то свою точку зрения высказать, то есть для меня в целом. Ну, LLM, по крайней мере, разработка — это некоторый такой треугольник, где есть. Некоторые профайлер, тебе надо придумать, как понять, что что-то идёт не так, и вообще понять, есть ли что-то такое, что идёт не так. Тебе нужно это дальше проанализировать, то есть куча логов, и принять какое-то решение, чтобы какую-то из проблем устранить. И это замыкается, соответственно, и как будто бы, когда у тебя есть ручки каждому такому инструменту, зависит как бы от сложности проблем, которые эта штука умеет решать. И зачастую, если мы говорим там про условные архитектуры, там есть проблемы, которые понятно примерно как решаются. На самом деле, если понять, что у тебя есть эта проблема, как бы ты так ни звучала. И вот если эта штука умеет дописывать сама для себя профайлеры и делать, наверное, новые профайлеры, по которым она будет видеть новые проблемы, и их как бы учиться анализировать и далее исправлять, вот это как будто очень круто.
Валентин Малых 50:37
Это вопрос, на самом деле, того, а вот эти новые профайлеры, она их сама с нуля делает или не с нуля, или мы как-то ей подсказываем? Вот это вот вопрос, который Для меня самый открытый, да, то есть вот эти новые проверки. Ну, вот просто из практических соображений, да, без деталей, но тем не менее, мы в какой-то момент обнаружили, что наша модель, которая вот стала лучше по всем параметрам, она стала лучше по всем параметрам. А вот какой-то параметр, который мы не учили, у неё сломался. И мы потратили определённое время на то, чтобы вот этот параметр починить. Да, то есть для того, чтобы, собственно, новая модель, которая... Неплохая по показателям, она бы ещё была и хорошей в целом. Да, и кажется, что вот поиск вот таких вот новых штук, которые сломались, это то, что мы, наверное, ожидаем от self-improvement. Я вот не понимаю, оно уже существует или это пока разговоры, или мы вообще про другое разговариваем.
Валентин Мамедов 51:35
Ну, как будто много профайлеров, ну, в целом и проблем, можно некоторые комбинации идей просто создать или докрутить какую-то существующую идею. Возможно, есть две параллельные статьи, которые, если объединить, то получится что-то интересное, то есть там та же. Интерпретация того, что внутри модели происходит, тоже активная очень область, и как будто бы ей много топовые лабы занимались, да, как раз таки для того, чтобы понимать, что же там внутри происходит. Или если мы говорим про, там, такой вопрос, как там, даже банальный датасет собрать. Здесь как будто бы есть много вещей, которые можно уже скомпоновать. И как бы ты получил что-то новое, но на самом деле это просто из готовых кубиков собирается. И это, мне кажется, уже круто. То есть, если мы ждём какие-то новые архитектуры или что-то в этом духе, то, наверное, это другая задачка. Но в целом, дебагать ML, если посадить какую-то модельку, я думаю, что она способна уже это делать.
Валентин Малых 52:36
Ну, то, что ты говоришь, на самом деле, это про то, что взять уже из готовой статьи идеи, да, их реализовать и посмотреть, и вот это всё. Я думаю, что это про как раз автоматизацию рутинной работы, да. Кажется, что рутинную работу вполне себе она и в ресёрче существует, её действительно много делают. Если мы говорим именно про такое, то тут я согласен, действительно, такое есть, что там поищи, каким еще способом люди смотрят на вот эту проблему. Значит, поискали, реализовали, посмотрели, может, что-то нашли, но они не нашли. И, соответственно, в этом смысле, да, я согласен, что improvement существует, но насколько он self в этом смысле.
Дмитрий Колодезев 53:16
Смотри, вот у нас в любом случае есть какие-то входные данные, да, вот и self-improvement, ну, допустим, с данными ничего не делает, да. Вот у нас есть какая-то конкретная цель, которую мы поставили, и с этой целью он тоже, наверное, ничего не делает, да. Вот, self-improvement получается, это мы. Добавляем какую-то дополнительную степень свободы, которую мы от инструмента не ожидали. Вот и тогда это получается горизонт. В том смысле, что как только мы начинаем ожидать эту степень свободы от инструмента, вот это уже не self-improvement. А просто нормальное свойство нашего инструмента. То есть, например, если у нас LLM-ка спроектировала для себя ASIC, и он на ней же считается, это ведь self-improvement, да? Ну, наверное. Да, ну то есть сейчас это вполне достижимо, да? Правильно? Вот. И как-то... Да-да-да, и я просто к тому, что что мы считаем self-improvement в данном случае, это вопрос. Как в своё время искусственного интеллекта, искусственный интеллект — это то, чего у нас не было в своё время. Ну, до появления чат-джпт всегда было принято считать, что искусственный интеллект — это то, чего мы ещё не сделали. Типа, ну вот распознавание речи — это, конечно, ещё не искусственный интеллект. Вот когда он начнёт говорить, да, вот начала говорить, ну вот оно, когда картинки начнёт голосом описывать, начала картинки голосом описывать, и всё это ещё не искусственный интеллект до тех пор, пока чат-бот не сделали. Вот, и тут-то, конечно.
Валентин Малых 54:49
Ну, не знаю, тут, в общем, у меня лично пока нет понимания того, что это такое. Ну, помнишь, у нас разговор был с тобой год назад, я тогда не вынимал, что такое агенты. С тех пор я понял, что такое агенты, но всё-таки год прошёл.
Дмитрий Колодезев 55:03
Давай подвесим этот вопрос. Я думаю, что он тоже решится, потому что мне тоже интересно.
Валентин Мамедов 55:08
Я думаю, что если дать задачу лучше, не знаю, механизм внимания. Оно будет хорошо справляться, если дать задачу лучше сам себя. Он пойдёт потюнить тебе в ADK какой-нибудь, и он тоже станет лучше. А если говорить «придумай новую архитектуру, чтобы ты стал лучше», ну вот условно, как-нибудь так, это, наверное, тот вопрос, на который я думаю, попозже всё-таки начнём отвечать. И всё-таки на этот вопрос, когда люди отвечают, они же тоже не просто так придумывают новую архитектуру какую-то, они откуда-то вдохновляются. И зависит просто от точек вдохновения, то есть идеи же не просто так появляются. Они как-то вот сжимаются условно, то есть, когда вот твоя насмотренность, и ты ещё посмотрел там на аналитику. Поэтому в этом плане, как я вот ранее говорил, у LEMO есть классное свойство — быть внимательными, если хорошо на это получить. Как будто бы это достижимая штука, вполне не знаю.
Валентин Малых 56:01
Ну, тут прям просится упоминание TRIZ. Да, то есть, есть прекрасная штука под названием теория решения изобретательских задач от Генриха Сауловича Альтшуллера и его продолжители. И кажется, что описанные там приёмы вполне можно заставить делать его уломки. Но это всё, собственно, на прошлой неделе я, по-моему, имел дискуссию с Владом Блащаповым, да, по поводу... Вот это несвадимого пенролского остатка в научной работе. Сложный вопрос, не могу сказать. То есть, кажется, что да, конечно, у нас есть очень много вещей, как мы можем вдохновиться. Да, там посмотрел на ложку, придумал новую архитектуру и модели, или ещё что-нибудь такое, но... Если здесь что-то, вот в этом смотрении на ложку, что машина сделать не может, вот я не берусь сказать, это какой-то философский вопрос на текущий момент. Может быть, мы получим в ответ скорости.
Валентин Мамедов 56:57
Мне кажется, вот есть условно какой-нибудь DeepSeek, и DeepSeek всегда как будто ставит перед собой задачу решить какую-то LM-проблему глобально. То есть, вот они такие, я хочу, чтобы модели были дешевле. Вот как можем к этому поступить? У нас есть работа с механизмом внимания, который они постоянно улучшают. У нас есть работа с тем, что мы уже сделали масштабирование, ну изначально, как бы. Вот со скаллами его. Давайте мы будем как-то дальше думать в сторону динамического компьютера, сделаем какое-то хранилище отдельное. То есть они решают в целом более-менее понятные идеи, которые они составили из-за, ну, в смысле, понятные проблемы. А вот идеи, как это решать, как будто бы LLM может очень много всего накидать и немножко шума, да, какого-то туда добавить. Наверное, вот креативность как раз таки это можно описать, и нормально будет.
Валентин Малых 57:47
Ну, в общем, подытаживая дискуссию, у нас пока нет ответа на том, что такое креативность, да, и не знаю, когда мы его получим. Но вот я говорю на примере с агентами, за год примерно я разобрался, может быть, и с креативностью разберёмся, кто знает. Следующая новость у нас, собственно, от упоминающихся сегодня ZTEI. Они там про тот же самый recursive self-improvement говорят, да, но здесь. Из интересного, то что они говорят, что вот наша модель сама себя улучшает. То есть, вот ровно то, о чем мы говорили, что они говорят, вот. Дали модельке исходный checkpoint, давай ты себе что-нибудь придумай. Да, точно, она там checkpointing себе покрутила, да, там всякие кернелы покрутила, какие-то контексты переделала себе attention и всякое такое. Вот вместе там до трёх раз себя. Улучшило и основная их история это как раз в том, что они. Построили вот такую себе инфраструктуру. Да, вот есть специальный infra-agent, который занимается, собственно, тем, что отслеживает верификацию и всё на свете. И важно здесь, на мой взгляд, то, что здесь прямо на схеме присутствует инженер. Да, то есть вот то, о чём Валентин говорит, что у нас есть инженер, который ставит цели. Ставит границы и делает ревью. То есть они, вот что мне в этом смысле в них нравится, они не говорят, что у нас полностью автономные агенты, они говорят, что мы. Под надзором человека пытаемся улучшить, так сказать, работу человека. Да, то есть у нас человек просто становится более производителен за счёт того, что мы используем довольно много железа. Вот, ну и, собственно, дальше они всё это описывают. То есть ZTEI, на самом деле, тут была новость, я не включил, но она. На самом деле, больше про деньги, чем про машинное обучение. То есть, ZTEI тут получили 5 миллиардов инвестиций как раз на улучшение своего self-improvement. Так что я думаю, что ничего не придумает. И вот описанный способ, что... Инженер что-то задал, какие-то ограничения, какие-то задачи, и время от времени смотрит, что происходит, а модельки сами ходят и комбинируют готовые подходы. Я думаю, что вполне в себе рабочие, и мы увидим ещё некоторые ускорения развития.
Валентин Мамедов 1:00:15
Мне кажется, это типичный рабочий день разработчика, если честно. То есть, как-то поставить, по сути, это же, ну то есть, это некоторый завод программистов. У тебя есть проект-менеджер, он спрашивает, какие у нас сейчас есть более. Несёт профили другому senior developer, он смотрит, где мы сейчас стоим. И в целом, если это называется RSI, то это действительно, отчасти, рутинная же работа. А смотреть на эти профили и выделять какие-то вещи, я не уверен, насколько много. Именно таких новых он идей туда принёс, но как будто бы узнать там про все секретные флаги, как-то пообнимать, да, под текущую нагрузку, чтобы это всё лучше работало, подтюнить кернелы, там, не знаю, подобрать Triton autoconfig для того, чтобы он их, ну там, прогрел. То есть это всё та работа, которую мне кажется, люди в целом рады себя отчасти скинуть и просто смотреть.
Дмитрий Колодезев 1:01:08
Да, да, полностью согласен. Слушай, вот я, наверное, менее продвинутый пользователь LLM-ок, чем Валентин и Валентин. Потому что я их использую не для обучения других LLM-ок, а просто как инструмент. И сейчас я торгую насмотренностью с ними. То есть она чего-нибудь делает и встаёт в тупик или что-нибудь делает не так. Я говорю, слушай, давай ещё попробуем. Это буквально так. Она пробует, пробует, джужжит. Я говорю, а вот этого ты учла, ой, не учла, и получилось. Вот, то есть фактически сейчас я с ними веду себя даже не как team lead с разработчиками, а как заведующий лабораторией с аспирантами. Вот, то есть у меня насмотренности больше, поэтому я вкидываю насмотренность, и больше от меня ничего не надо. Вот, и вот тут есть вопрос, откуда у человека должна браться эта насмотренность.
Валентин Мамедов 1:02:11
Ну, как будто у нас просто больше вот этих вот датчиков, так сказать, которые стоят, и мы собираем больше профилей, чтобы, я не знаю, ну то есть, условно, больше информации мы видим, усваиваем, которые сейчас мы не можем запихать, наверное, туда, и, возможно, это нам как-то даёт какой-то Больше насмотренности или мозг у нас так работает, что мы можем запоминать какие-то крайние вещи. Да, то есть у нас есть этот механизм забывания и даже некоторое подмешивание рандомного, то есть наши воспоминания недалеко-далеко неточные. Есть какая-то компрессия этого всего, как будто бы насмотренность. Мы можем даже иногда выдумывать какую-то, как будто так поместно.
Дмитрий Колодезев 1:02:50
Вот по моему опыту, что именно выдумывать LLM сейчас могут лучше меня. Но какие-то маленькие кусочки, знаешь, в пазл вставлять, всё равно ещё пока я достаточно хорош, чтобы сказать им, а вот здесь посмотри налево, типа, посмотри под правой ногой, что у тебя там лежит, да. Вот, но понятно, откуда я это знаю, да, то есть я столько лет ковыряюсь в программном обеспечении. Откуда, во-первых, это должен знать молодой разработчик, который не ковырялся столько лет? А во-вторых, откуда это буду знать я, когда паровоз уедет на следующую станцию? Ну, то есть, разработка же развивается, а я тут сижу заблаб. Со мной будет, как с большинством заблабов, я потеряю, собственно говоря, ощущение реальности, то есть, что реально происходит там в коде и так далее. То есть, как вот это вот должно быть встроено? То есть, сейчас у меня насмотренности пока хватает на агентов. Как её набирать, где её брать?
Валентин Малых 1:03:52
Слушай, мне кажется, что мы просто проживём с тобой совместно все вот эти вот истории. То есть я тоже не понимаю, как угнаться за паровозом современности, потому что я вот уже чувствую, что некоторые вещи я уже начинаю не чувствовать, да, то есть я их не настолько хорошо понимаю как на кончике пара.
Дмитрий Колодезев 1:04:13
В 1931 году я понял, что я как-то от паровоза подостал или в 20-м. И я пошёл и выучился на Google Cloud Architect. Вот, то есть я прошёл Google Cloud Professional Exam, это 200 часов обучения было. Вот, я сдал экзамен, и у меня вправился мозг, я понял, как на тот момент мир устроен. Вот, потом, а следующий раз, это через два года, я понял, что я чего-то недопонимаю в жизни. И я собрал и прочитал курс по ML System Design просто чтобы навести порядок у себя и вокруг себя. Вот и стал опять понимать в жизни. То есть получается, что я, грубо говоря, иду на охоту, набираю там разных шняжечек, и потом с ними живу. То есть периодически получается, надо ходить в поход в рукопашную без всяких этих самых, то есть как-то идти, возможно, с агентами, но как-то так, чтобы не только агенты это делали. Вот, ну вот так.
Валентин Малых 1:05:21
Ну вот как это сделать, я пока не очень понимаю, да, то есть как загрузить опыт взаимодействия.
Дмитрий Колодезев 1:05:29
Ну вот смотри, какой-нибудь военачальник в древности ходил в поход, он же не обязательно убивал врага сам, да, но он смотрел, как устроены дороги. Как тут надо кормить солдат, например, в таких условиях, что противник использует, как противник думает и так далее, и тому подобное. То есть можно делать высокоровневые вещи, просто очень-очень много думать, что происходит. И тогда, наверное, какая-то насмотренность прорастает, рефлексировать.
Валентин Мамедов 1:05:58
Мне кажется, что агенты — это в целом классный инструмент для валидации того, что в том числе делают люди. То есть ты можешь под себя более удобный инструментарий подобрать, быстрее научиться. То есть если ранее, к примеру, аналитику ты должен был получать, не знаю, там из каких-то новостей, что-то такое, сейчас ты можешь сам. Её получить, то есть просто задав интересующий тебя вопрос. И также сейчас, чтобы понимать, что агент, к примеру, делает, я вижу выгодным вайбить некоторые платформы для себя, то есть чтобы тебе было комфортно валидировать, как это всё устроено и что именно он делает. И вот возможно, в этом есть некоторый ключ, чтобы ты не Смотрел всё-всё-всё-всё, что он делает, а как бы строил для себя систему, имея достаточный уровень понимания, как это работает, но не совсем понимая уже технические тонкости. Ну вот вопрос, надо ли их уже понимать, да, то есть в этом, наверное.
Валентин Малых 1:06:53
Технические тонкости — это действительно то, над чем нужно абстрагироваться, но как без вот этого базового, без этой базы делать суммаризацию, да, как без этой базы получать насмотренность, я вот не очень понимаю. Научимся, узнаем через три месяца. Ну да, давайте проживём три месяца. У нас будут совершенно новые впечатления в всём происходящем. Новость следующая, что ИИ придумал свой язык. Ну, тут это всё, как всегда, история про учёных и журналистов. Если кратко пересказывать, в чём идея, то есть такие граждане, которые Emergent AI, по-моему, они называются. Это такой стартап. И они дали интервью The Guardian, в котором они рассказали, что проанализировали то, как агенты взаимодействуют между собой. И попробовали их об этом поспрашивать, как они взаимодействуют, и получили, соответственно, какое-то количество материала для анализа. Анализ они провели такой, что оказалось, что у агентов выработался свой сленг, причём он достаточно глубоко свой, то есть. Человек со стороны, в принципе, человек, потому что мы все со стороны, его не особо понимают просто потому что. Как бы, агенты занимаются довольно специфической историей, например, разрабатывают других агентов, да. То есть люди сейчас руками агентов разрабатывают меньше, и коды пишут меньше, а агенты как раз руками, насколько это возможно, так сказать. Это и делают, и после этого они обнаруживают, авторы, что возникает какой-то сложный жаргон, который уже внешнему наблюдателю не подвластен. Здесь я хочу сказать довольно простую и, на мой взгляд, понятную вещь, что я ещё у себя в канале сказал, что лингвисты заметили, что если у нас есть группа людей, говорящих на одном языке. И мы эту группу куда-нибудь переселим. Она, соответственно, потеряя связь с другими группами, говорящими о том же языке, через какое-то время свой язык, если не утратит, то их язык разовьется немножко в другую сторону. Ну, самый банальный пример. Это, не знаю, например, староверы, которые в Бразилии живут. Да, то есть, есть русские люди, которые уехали там ещё сто лет назад из страны, они продолжают говорить по-русски, но у них русский язык уже не такой, как у нас, он не их своеобразный. И он требует некоторой адаптации. Вот здесь то же самое, только происходящее там буквально за пару дней, а не за сто лет.
Дмитрий Колодезев 1:09:40
Слушай, ну мне кажется, ученые просто первый раз увидели кодового агента, потому что я в консоли вижу вот это постоянно. То есть я просто, пока ты говорил, я открыл свою одну из последних сессий, и вот там такая фраза сразу «Переполненный кандидатами prompt, размывает улики, Zira сам ударил теперь по LLM слою». Вот, то есть, ну, в принципе, полное примерно соответствие тому примеру, который ты вот привёл. Там она объяснила соцсинтезы, димерш, пылесосная память равны клапану. То есть, ну вот, вот такого рода вещи я в клоде вижу постоянно в GLM. Вот, ну и что, ну да, это он ещё не слышал, как фронтендеры между собой разговаривают.
Валентин Мамедов 1:10:25
Мне кажется, это просто repetition penalty какой-нибудь. Ну, то есть, вот длина рассуждения, loss, и вероятно, они его накинули на вызов субагентов, а какой-нибудь loss на то, чтобы текст был понятным при вызове субагента, они убрали, ну потому что он не нужен. И из-за этого контекст как бы сжимается для того, чтобы токены резонинг экономить. И при этом, как бы, агент же понимает, что не вызывает другого агента. И вот, соответственно, таким образом у них просто происходит штраф на экономию токенов. Я вижу это так.
Дмитрий Колодезев 1:10:59
Я думаю, что это multilingual training заставляет их выучивать концепции не в пространстве, в неязыковом, надоязыковом пространстве, и конкретная проекция в тот или иной язык, она вот так странно выглядит.
Валентин Мамедов 1:11:16
Мне кажется, есть такой эффект, что tokenizer, к примеру, да, вот какой-нибудь, он же может быть гораздо эффективнее на английском языке. И так как тренировка происходит на то, чтобы всё-таки мы штрафовали длину. Размышления у нас моделька учится, ну, чаще переключаться на язык, который выгоднее ей в плане использования токенов, потенциально, не знаю. И, соответственно, из-за этого она больше уходит в английский язык, какая-то англицизмы постоянно происходит, хотя иногда она на китайском отвечает.
Валентин Малых 1:11:47
Ну, я бы тут две копеечки вставил, что когда вот Валентин сказал по поводу того, что у них штраф на использование токенов. Дело в том, что в живой природе, вот прямо в нашей реальности, такой штраф реально существует, он называется лень. И вот эта самая лень, она заставляет слова укорачиваться, да, то есть слова становятся короче. Ну, я думаю, что многие наблюдали это хотя бы на... Не знаю, в школьном сленге, да, там, если вместо Математика, там математика, не помню, как сокращалась, физкультура сокращалась, как физра и всякое такое. Да, то есть слова сокращаются, и какие-то устойчивые понятия сокращаются до одного короткого слова. И в этом смысле я считаю, что у агентов просто происходит естественная эволюция. То есть она, ну как бы, эволюция, она же не привязана к биологии. Да, эволюция может быть чего угодно. В данном случае, вот эволюция агентов точно так же происходит. Это считается self-improvement? Хороший вопрос. Это хороший вопрос. Я считаю, что тут у нас не self-improvement. Но так как я не понимаю, что такое self-improvement, то я не могу этого доказать. Может быть, это он. То есть мы с вами, собственно, находимся.
Валентин Мамедов 1:13:02
Мы же не говорили модели, что она должна использовать свой язык. Она сама это решила, она сама улучшилась.
Валентин Малых 1:13:07
Но улучшилась ли она? То есть, где улучшение? Что стало лучше от этого? Кто ставил критерии? Кто принес критерии?
Валентин Мамедов 1:13:15
Это был loss на длину.
Валентин Малых 1:13:19
Ну, слушай, это же как бы какая-то очень косвенная история, что в лостном длине «loss on thinking», ну, где мы его? Стало это реально эффективнее, то есть как это сравнить вообще? То есть вот тут у нас возникает вопрос, действительно ли здесь их размышление стало короче от того, что они стали спорить CSNK? Ну, проводя аналогию с людьми, видимо, да, но как это проверить, я что-то не очень представляю.
Валентин Мамедов 1:13:45
Да, как будто можно просто посмотреть, то есть у нас всё равно в процессе же тренировки. reasoning ответа склонен расти постоянно, да, то есть на самом деле. И поэтому, когда мы Делаем такой штраф, то есть если мы его не делаем, у нас просто очень-очень долгий test-time compute. А если мы это штраф даём, то, соответственно, мы это можем как-то регулировать. И, соответственно, у нас сейчас все гибридные модельки, то есть у которых можно это всё размышление двигать. И, соответственно, мы хотим, например, на medium. Иметь наименьший отрыв от экстра-хай, условно. И поэтому, чтобы это произошло, нам нужно как-то лучше компрессию, да, вот этого всего сделать. То есть. Появляется там, не знаю, latent reasoning. То есть вообще у нас reasoning происходит без, ну, какой-то генерации слов. То есть зачем агенту во время размышления генерировать какие-то слова, на самом деле? То есть он должен как-то выбирать, он должен как-то фиксировать. Зачем? В моем bidding как будто бы гораздо приятнее должно быть внутри себя. И в этом плане... Как будто бы как раз вот такой вот особый язык действительно это лень порождает нас сокращать слова, чтобы мы просто меньше объясняли, и как будто бы вот сленг выучивается. Я не уверен, что это лосс на вину свинкинга, но почему-то могу допустить, что из-за него в том числе к такому эффекту можем прийти. Но это очень интересно, это как бы действительно.
Дмитрий Колодезев 1:15:11
Я вспомнил, знаешь что, что сербский язык, он же сильно разошёлся с... Старославянским, да, с церковнославянским. После того, как они убрали лоз на орфографию и грамматику, пишется как слышится. То есть у них была реформа языка, которую, кстати, в православной стране провел юниатский священник со словами «Давайте уберем эти глупые правила, как мы говорим, так и надо писать». Вот, и сербский за какие-нибудь два века эволюционировал так удивительно, что иногда кажется, что это просто анекдот, при всём моем уважении на самом деле к сербской культуре и сербам, ну, надписи читать.
Валентин Малых 1:15:58
Без улыбки многие невозможны. Слушай, мы жалко французы до этого не додумались. У меня вот ещё мысль возникла. На самом деле.
Валентин Мамедов 1:16:06
Есть же тоже такой тренд, что тренируется большая модель, а потом дистиллируется, ну, такую более маленькую, да, чтобы она была быстрее в inference и так далее, потому что inference — это большой объём. И на самом деле одно из основных отличий большой модели и маленькой — это, ну, мультияз как раз-таки возможность. Из-за того, что мы модельку уменьшаем, ей как бы тяжелее оставаться условно в одном русле, да, по одному и тому же языку, потому что у неё, как бы, она не настолько умная для того, чтобы держаться, да, условно, как большая модель. И возможно, из-за этого начинаются какие-то проскакивания по языкам у неё, потому что способности к мультияз'у просто ниже, чем начальное учитель.
Валентин Малых 1:16:49
У нас сегодня будет вместо одной завершающей новости две завершающие новости, потому что они слишком хорошие, чтобы я их мог выбрать. Значит, все, наверное, в курсе, но кто не в курсе, сейчас узнает, что какое-то время назад Был отсканирован полностью мозг мухи дрозофилы самца, там примерно 166 тысяч нейронов. Этот мозг есть в открытом доступе, его можно взять и с ним что-то делать. Вот как только он появился в открытом доступе. Открылся портал просто в неведомое. Значит, как картинка здесь, так сказать, как бы это сказать, художественная, а на самом деле что происходит? Кто-то подключил этот мозг мухи торговать криптой. И на удивление, мозг мухи в целом даже неплохо торгует, то есть он там меньше 0,1%, ну, меньше 0,1% потерял, это же буквально Буквально прекрасно. То есть я считаю, что у нас мозг мухи дрозофилы и, в общем-то, торгует достаточно, скажем, хорошо. Он торгует много лучше многих людей, у которых, вообще говоря, 100 миллиардов нейронов в голове. Как так, почему так получилось, я отказываюсь понимать. Но это не всё интересное, что есть на сегодня. Есть более классная история, она совершенно замечательная. Какой-то, я так понимаю, японский студент, но я могу соврать, поправьте меня, пожалуйста. Он, соответственно, взял тот же самый мозг мухи. И посадил его прямо в квадрокоптер. Ну, точнее, конечно, не посадил, он электрический. Он связал одно с другим, и мозг мухи научился управлять квадрокоптером, хотя казалось бы, откуда у мозга мухи вообще в целом представление о том, что такое квадрокоптер. Но оказалось, что достаточно там четырёх сигналов и какой-то картинки, которую... Он считывает, и всё, он уже летает. Ну то есть, здесь ещё хотя бы понять можно, потому что муха, она как бы тоже летает. Но тем не менее, выглядит очень прикольно.
Валентин Мамедов 1:18:49
Я когда-то размышлял, почему мы не можем тренировать модель, которая понимает, условно, язык каких-то животных. Да, то есть, вот есть кошки, да, вот они говорят, есть, ну, дельфины. И вот, условно, у нас же, ну, на самом деле, мы же можем составить некоторое переводчик, как будто бы, языка животных, ну, на наш язык. И я буду ждать вот такую штуку. Ну, у китайцев есть такой стартап.
Валентин Малых 1:19:14
Он уже продает такую железяку, не знаю, сколько она работает, но точно продает.
Валентин Мамедов 1:19:18
Я думаю, что потенциально это может работать прямо хорошо почему-то, я не знаю. То есть самое сложное — это связать, конечно, но возможно, через такие штуки это получится.
Дмитрий Колодезев 1:19:27
Ни одна кошка ведь ещё не пожаловалась, что её неправильно перевели, поэтому работает правильно, я думаю. Ну, конечно. Вот, ну, вообще, наверное, матрица так и выглядит, когда тебя, Саша, это заставляют управлять квадрокоптерами, играть в Doom, программировать. А я видел новость про то, что муха может раскатывать кубы. Вот кластер Kubernetes, кстати. А это я ещё не видел, неплохо. Да, есть уже муха дрозофила.
Валентин Малых 1:19:57
Это что-то совершенно прекрасное, то есть за пределами моего понимания, честно скажу.
Валентин Мамедов 1:20:02
А там, по-моему, это как-то хакают, так что подключают её к какой-то LLM. И на самом деле, LLM там кучу всего умеет, а ну, то есть, как будто бы там не всё прям так интересно.
Валентин Малых 1:20:14
Половина фейки — это же то, очевидно, кому?
Дмитрий Колодезев 1:20:17
Ну, это знаешь, как это, как маутбук. Это социальная сеть для агентов, которую на самом деле фактически долго агентов промптили, чтобы они что-нибудь написали. То есть авторы — живые люди, а агенты — просто клавиатуры в данном случае. Ну, тем не менее, ну прикольно же. На самом деле, муха летает в квадрокоптер.
Валентин Малых 1:20:40
Ну, тут относительно маутбук, ну, потом же мы сейчас пронаблюдали, как возникновение реального маутбук, когда у агентов появилась реальная цель, которую нужно выполнить совместно, они такие нашли способ между собой общаться с помощью каких-то там вики. Я забыл ещё.
Дмитрий Колодезев 1:20:54
Один наш знакомый сказал, хорошо, очень. Смотрите, что происходит. Вот, агентам на самом деле понравилась imageboard, молдбук существует, и они не стали им пользоваться.
Валентин Малых 1:21:08
Неплохо, действительно неплохо. Ладно, я думаю, что на этой позитивной ноте можно завершать. Всем большое спасибо, что нас слушали, смотрели. Подписывайтесь, пожалуйста, на всех площадках, где вы нас найдёте. Мы есть на ВК в YouTube, есть на подкастных площадках. Спасибо Валентину, что пришёл, было суперинтересно пообщаться. Ну и, наверное, пока-пока. На Датафест приходите. Обязательно.