- 15.11.2026
- 15.11.2026
- подкасты
Сорок пятый выпуск второго сезона подкаста "Капитанский мостик" про искусственный интеллект, будущее и все такое. Ведущие подкаста — Валентин Малых и Дмитрий Колодезев.
Площадки
- Youtube
- RuTube
- VK Video
- Дзен
- Звук
- Apple Podcasts
- Аудио
- Канал для вопросов в mattermost ODS.AI
- Как попасть в чат ODS.AI
Содержание
- 00:00:00 введение
- 00:00:46 Microsoft лежит
- 00:06:40 NVIDIA и китайские модели
- 00:12:51 Дженсен Хуанг и китайская модель
- 00:18:37 корейская LLM
- 00:25:56 улучшенный k-means
- 00:29:42 ChatGPT и бизнес
- 00:38:05 интернет для агентов
- 00:41:36 майнинговые GPU для народа
- 00:48:12 Microsoft и закладки
- 00:52:04 Linux на агентах
- 00:57:18 GPT2 на ассемблере
- 01:01:19 агентская поденщина
- 01:04:10 Microsoft и ваши GPU
Валентин Малых 0:02
Всем добрый день. С вами, как всегда, Валентин Малых и Дмитрий Колодезев. Мы приветствуем вас на новом выпуске подкаста Капитанский мостик. Из новостей мы уже потихонечку начинаем готовиться к Новому году и думать про дата-ёлку, но пока только морально, пока ещё, насколько я понимаю, ничего не объявили.
Дмитрий Колодезев 0:23
Я в Белграде, если кому интересно, пишите, встретимся. Вот, у нас будет в Reliable ML 19 декабря мы финальную дату определили, будет митап по causal inference, аплифтам и так далее и тому подобное.
Валентин Малых 0:40
О, класс.
Дмитрий Колодезев 0:41
Он будет онлайн.
Валентин Малых 0:43
А. Вот. И ладно, пусть будет онлайн. Для нас это новость последнего часа, мы записываемся вечером в пятницу, а для наших слушателей, наверное, это уже какая-то седая старина, но тем не менее, значит, Microsoft говорит, что они почти побороли точнее, почти начали побороть глобальный сбой в сети, который от которого пострадали и Anthropic, и ещё куча других компаний, помимо самого Microsoft. Майкрософтовское облако, соответственно, довольно сильно активно лежит. Я даже стесняюсь спросить, в чём там проблема. Коллеги высказывают предположение, что это всё вайбкодинг виноват. Я даже не знаю.
Дмитрий Колодезев 1:31
Слушайте это а каскадная перегрузка, то есть, грубо говоря, лёг один сервер, его трафик перераспределили на другой, он тоже лёг под трафиком, теперь трафик их двух перераспределили на другой, и каскады были и до того, как появился вайбкодинг. Дело-то житейское.
Валентин Малых 1:50
Угу.
Дмитрий Колодезев 1:51
И то, что они случились у Microsoft я думаю, что тут дело не в вайбкодинге даже, а дело в том, что последнее время же, по-моему, лэйоффы какие-то были именно в в эксплуатации и так далее. Все, кто а не стоят, не держатся руками за AI показатели и трансформацию, все они, значит, рискуют идти на мороз. Вот, а самые незаметные люди - это отдел эксплуатации обычно. Вот. Возможно, что это сыграло. И вот тут интересно даже не конкретно эта авария, а дело житейское. Интересно, что а сейчас всякого рода агенты кодовые, они рисуют удивительной сложности и иногда бессмысленности архитектуру, но именно живые люди должны спросить, а что будет при перегрузке, да, а где у нас мы тут поставим circuit breaker и так далее и тому подобное. Что мы будем делать? Вот при авариях такого типа, на самом-то деле, а спасает исключительно беспощадность. Мы говорим: "Хорошо, вот этот регион пользователей потерян, они будут сидеть без связи, мы ничего с этим делать не будем, а остальных будет всё работать". Как как только ты пытаешься спасти всех ресурсами, на которых на всех не хватает у тебя лягут все. Вот, собственно, что у Microsoft и получилось. И а где-то должен быть злой дед, который вот эти вот вещи требует в систему встроить. И а при том, что Claude, например, или Astra, они красивые или кодекс красивые схемы рисуют, распределённая архитектура, там всё такое DevOps. При этом они вот этих вот вещей туда не вставляют. Или вставляют их как-то бестолково, то есть бессмысленно.
Валентин Малых 3:38
Потому что это неэтично.
Дмитрий Колодезев 3:39
Да нет, не потому, что это неэтично, а потому же, почему их не вставляют медлы, потому что их ещё лицом об стол не била. Она учится на на среднем по доступном коде, а он а он просто про это не думает средний разработчик. Как раз людей, которые про это думают, мало, и они все работают в крупном IT. И я думаю, что просто в обучающей выборке нормальные решения такие менее представлены, чем фигак-фигак в production. И если
Валентин Малых 4:09
Ты думаешь, что Microsoft просто этих самых как бы это сказать, сеньоров поувольняла, потому что слишком дорогие, у нас тут миддлы с вайбкодом справятся, то вот это хотел сказать?
Дмитрий Колодезев 4:21
Нет, я хотел сказать, что вот сейчас у нас произойдёт следующее. Это не про Microsoft вообще, это про ближайшее будущее, что сейчас Claude не умеет в такие вещи в дизайн нормальных систем отказоустойчивых. Он придумает локальное решение, которое не видит систему целиком, но вот после таких падений неизбежно люди озадачатся и напихают туда это. Вот, появится повод. Потому что я смотрел на дизайн, который делает а LLM-ки, он почти он красивый, хороший архитектура, но реально вот в ней нет таких вот ответов на простые вопросы: что мы будем делать, когда у нас дата-центра не станет, на самом деле. Вот, или что будем делать, если у нас трафик вырастет в 10 раз, например. Любой интернет-магазин, который стоит своих погремушек, он об этом думает. Почему-то вот LLM-ки это не делают. Вот сейчас мы будем это видеть. Я вот к чему.
Валентин Малых 5:13
Это позитивный прогноз, на самом деле. Мм, посмотрим. Я думаю, что действительно это будет в том смысле, что без этого нельзя, да, то есть LLM-ки будут накапливать опыт. Другой вопрос, что было бы хорошо, если бы они не на нас его накапливали, но это уж,
Дмитрий Колодезев 5:31
Любое улучшение в IT случается после большого большой боли. Боль - двигатель прогресса. Факт. И
Валентин Малых 5:40
Слушай, ну это не только в IT, мне кажется.
Дмитрий Колодезев 5:41
Не только в IT, да, но мы в IT живём. И ещё относительно того, что оно будет внедряться сейчас, я думаю, что для большинства, а, сейчас же у опять же, у проектов, которые делаются на с помощью LLM-агентов, у них нет естественного ограничения размера. Обычно нам, чтобы иметь проект в миллион строк, эти миллион строк надо руками напечатать, да, или хотя бы скопипастить. Он его фигачит спокойно вот сотнями тысяч строк в день и ничего его не останавливает. И в какой-то момент проект становится по-настоящему страшным и необозримым, да? И вот тут сложность, которую обычный проект догнал бы за полгода-год, а на вайбкоженный проект может догнать за месяц. Перец и лечь. Вот так.
Валентин Малых 6:32
Да, ну мы, видимо, это и наблюдаем.
Дмитрий Колодезев 6:35
Мы находимся в системе.
Валентин Малых 6:37
Да, да, да, как как в этих популярных мемах в интернете. Следующая история, тоже новость последнего часа что мм, фронтирные китайские модели обучались на топовых американских видеокартах. Это было понятно и без вот этой статьи, да, что они действительно учатся на топовых китайских видеокартах, потому что по рынку ходят слухи, как китайцы их покупают имеется в виду, они считают даже не по не в штуках, а прямо в железнодорожными вагонами. Вот. И в этом плане у них всё получается. Сейчас просто появилось некоторое подтверждение. Честно говоря, не успел вчитаться, поэтому не могу сказать за счёт чего, за счёт какого-то анализа. Мм, было установлено, что у нас все топовые китайские модели и Kimi, и DeepSeek и кстати, GLM-ку почему-то не проверили, не знаю почему. Они, соответственно, обучались на американских ускорителях, что, наверное, более-менее, повторюсь, очевидно. То, что менее очевидно, да, это то, что любой анализ, он даже если мы говорим про анализ ДНК он некоторая статистическая штука, да, то есть если допустим, вы с вашим близким родственником, например, там братом или сестрой, сдадите генетический тест, то он с вероятностью 99, по-моему, процентов покажет, что вы родственники, но есть 1% того, что он покажет, что вы не родственники, хотя вы вполне себе ну, наверняка по другим данным родственники, и это может быть даже не ошибка у вас, а ошибка в тесте. Тест он обладает некоторой фиксированной точностью. Какая точность здесь честно говоря, непонятно.
Дмитрий Колодезев 8:37
Слушай, я прочитал доклад, так сказать, статью. Идея какая, что они не доказали, что они учились на этих моделях, они статистически показали, не доказали, а показали, что а веса инициализировались на этих GPU. Грубо говоря, они использовали особенности генератора случайных чисел и количество тредов, в которых оно будет генерироваться на этих GPU, и говорят: "Ну, у китайцев нет железа, которое способно таким образом инициализировать веса". Они вполне могли потом тюниться на Ascend-ах, они могли делать RLCF на Huawei-евских акселераторах, но первоначальную инициализацию делали на GB200.
Валентин Малых 9:31
Угу, угу.
Дмитрий Колодезев 9:32
И а там получается, что да, казалось бы, ничего такого, но откуда они взяли эти GB200, да? Вот, если они запрещены к поставке. И а получается, что они их вроде бы как-нибудь притащили. Но с другой стороны, есть же схема, когда берётся президент какой-нибудь крупной американской компании, у него есть любовница китайская шпионка, которая возит в Сингапур в дата-центры карты, ставит там, они считают, то есть формально они на территорию Китая не попадают. Я вообще не понимаю, в чём тут как бы проблема, да? В Сингапуре стоят открыто совершенно дата-центры, совершенно открыто гоняют китайские модели. Вот, я вот использую GLM и Kimi, они оба сервятся из Сингапура. Вот, как бы
Валентин Малых 10:20
Угу.
Дмитрий Колодезев 10:21
Вот, поэтому в чём, собственно, вопрос, да? Да, в чём, собственно, вопрос? Я, например, не сомневался, что на на текущем уровне NVIDIA чипы используются при при трейне, да? Используются. Проблема-то в том, китайцы сами не отрицают, что у них пока не хватает возможности всё обучить. Мне показалось интересным другое, что, а, вот эти вот вещи, такие как отпечатки инициализации в весах, а достаточно не не несложным анализом вытаскиваются. Вот это прикольно.
Валентин Малых 10:57
Да, это необычно. Я вчитаюсь и, наверное, что-нибудь про это напишу, потому что пока мне не ясно, в чём там сыр-бор.
Дмитрий Колодезев 11:06
Там, на самом деле иллюстрации, и просто они говорят, что вот есть 2.000 тредов, и каждый из них повторяет один и тот же цикл инициализации замкнутый. Поэтому у нас появляются, грубо говоря, диагональные узоры в матрице.
Валентин Малых 11:23
В Attention они тоже диагональные. Он изначально диагональный.
Дмитрий Колодезев 11:27
Они выделили ключевые точки и говорят: "Смотрите, вот у нас есть вот эта ключевая точка, типа старт последовательности, да? И он должен, если это действительно случайная последовательность, вот этого конкретного псевдослучайная последовательность, вот этого конкретного генератора, вот столько тредов, то она должна раз столько совпадать, и она раз столько совпадает. В 99% случаев, или в 100%. В общем. Как бы если она совпадает в 100% случаев, то плохо. Если в 6% случаев скорее всего, это просто случайность.
Валентин Малых 12:04
Угу. Какой-то шум. Да.
Дмитрий Колодезев 12:06
Да. Знаешь, ещё в этой новости, я когда читал их документацию, а вот этот их рассказ. Они, там написано, что сеть могла быть инициализирована так на NVIDIA-вских GPU или соответствующем AMD-шном GPU, поставки которых также запрещены. И вот это первый раз, когда я прочитал, что поставки AMD-шных тоже запрещены.
Валентин Малых 12:31
Не, это же известный факт. Это действительно запрещены. Другой вопрос, что их там и так-то не поставляли, да, там сколько их? 3 копейки.
Дмитрий Колодезев 12:39
4-5% рынка, да.
Валентин Малых 12:42
Угу. Не знаешь, там, это было бы что запрещать, как бы, да?
Дмитрий Колодезев 12:47
7 лет горох не родил, голоду не было.
Валентин Малых 12:50
Да, да, да, да, да. Пожалуй, самая наболевшая тема прошедшей недели, я думаю, тут никто спорить не будет, это история с Дженсоном Хуангом. Тут по сети ходит мемчик про то, что Дженсон, когда мы говорили про китайские модели, мы не это имели в виду. Но это всё немножко про другое, да, что на мой взгляд, вот если высказывать моё мнение про происходящие события, то я думаю, что дело не в том, что Дженсон Хуанг там имел какие-то отношения с какими-то женщинами. Кстати, мы это не осуждаем. В смысле, мы мы осуждаем то, что он там, может быть, не очень хороший семьянин, но отношения с женщинами - это хорошо. Соответственно мы тут скорее должны смотреть на другое. На мой взгляд Дженсон так легко и охотно согласился уйти с поста просто для того, чтобы спасти компанию. Вот у меня такая гипотеза. Сейчас ты можешь со мной поспоришь, но мне кажется, идея в том, что всем очевиден пузырь на рынке искусственного интеллекта. Мы ещё полгода назад или больше обсуждали вот эти вот картинки, кто кому там сколько перезанял и NVIDIA там, в общем-то, один из основных участников вот этого вот круговой поруки. И, на мой взгляд, у неё есть какой-то такой большой айсберг, невидимый нам каких-то токсичных обязательств, который может привести компанию к краху. И моё предположение заключается в том, что Дженсон Хуанг решил вызвать огонь на себя и таким образом отвести его от компании. Вот у меня вот такая вот мысль.
Дмитрий Колодезев 13:31
Я думаю, на самом деле, что это последствия всё-таки выборов, когда в Штатах немножко власть поменялась, и тех, кто был тесно связан с предыдущей с текущей администрацией, теперь их можно, например, потрошить. И, соответственно, взялись потрошить. Возможно, что ну, там много денег в это дело замешано, что если сейчас посмотреть, там протесты пошли против строительства дата-центров, и тут же вдруг внезапно выяснилась супружеская измена товарища Хуанга. Наверняка, кому надо, про неё и раньше знали. Поэтому я думаю, что это элемент большой игры, где одни люди политически давят на других, просто отстреливая каких-нибудь их ключевых фигур. Неважно, неважно, на самом деле, чего мы сейчас конкретно хотим добиться, мы хотим создать вам достаточно боли, чтобы вы, а, стали с нами сотрудничать. И
Валентин Малых 15:32
Почему тогда Дженсон так скоропостижно со всем согласился и уволился?
Дмитрий Колодезев 15:39
Дело в том, что если бьют по нему, то есть компанию, да, то он всё равно не отобьётся, понимаешь? И более крутых бы людей съели, если Трамп проиграл выборы в Конгресс, да то и, скажем, Хуанга съедят. Но он, кроме всего прочего, крупнейший акционер NVIDIA, и вся компания набита его, ну совет директоров набит его друзьями и так далее, партнёрами. Поэтому я думаю, что действительно он говорит: "Ну, типа, вот давайте вопрос меня вынесем за скобки. К чему теперь докопаетесь?" Я думаю, докопаются ещё к чему-нибудь. Если это действительно был наезд не не лично на Хуанга, а на всю вот эту вот, а, новую экономику, то есть по ней ударить, то сейчас всплывёт вот это вот циркулярное финансирование, что-нибудь ещё вот так. Постараются сделать максимально больно, чтобы с теми, кто организовывает это, как, нельзя было не договариваться. Я вот так думаю. Есть, конечно, ещё два тут анекдота. Первый не вернётся ли Хуанг назад так же, как вернулся тут недавно Альтман, да? Такое же тоже может быть.
Валентин Малых 16:54
Угу. Кстати, это вполне возможно, да, там же, по-моему, в дня три уложилась трагедия с Альтманом.
Дмитрий Колодезев 17:00
Да, а
Валентин Малых 17:01
Главное, чтобы не шеф-фарс.
Дмитрий Колодезев 17:02
Вторая - это, помнишь очень часто бравировали тем, что между TSMC и NVIDIA вообще никаких договоров нет, всё делается просто по договорённости между ними и Хуангом. Вот они приехали, пиво попили, договорились. Это просто вслух говорилось.
Валентин Малых 17:19
Угу.
Дмитрий Колодезев 17:21
И получается очень интересная ситуация, что если давить на ключевых людей, им придётся договариваться с TSMC. Я не думаю, что TSMC прямо сразу же бросит, а, делать чипы для NVIDIA, а для кого их, товарищи, делать, да? В общем, ситуация такая довольно мутная.
Валентин Малых 17:39
Угу.
Дмитрий Колодезев 17:41
Поэтому я я бы делал посмотреть. Молодец тут, конечно, Илон Маск, который сказал: "Давайте я найму Хуанга".
Валентин Малых 17:49
У него денег не хватит, да.
Дмитрий Колодезев 17:51
Нет, ну просто, видишь, чувство чувство времени, чувство момента у человека прекрасно.
Валентин Малых 17:56
Не, он как пиарщик, вот реально, у человека талант без дураков. Его талант в плане инженера вызывает определённые вопросы, но как пиарщик, он просто, не знаю, тут тут никаких сомнений быть не может, на мой взгляд.
Дмитрий Колодезев 18:13
Да так. Я, на самом деле, желаю товарищу Хуангу всяческих успехов.
Валентин Малых 18:18
Не, безусловно, да, то есть конечно, изменять жене не очень хорошо, но мне кажется, что здесь его просто стрелочником сделали, а это, в общем, неуважение к такому хорошему заслуженному человеку, который 30 лет жизни положил на то, чтобы привести нас в ту точку пространства времени, где мы сейчас.
Дмитрий Колодезев 18:37
Угу.
Валентин Малых 18:40
Вот, следующая новость, она интересна лично для меня, потому что я как-то полностью пропустил, что у нас Корея тоже обладает своей базовой моделью, своей большой фундаментальной моделью, как сейчас принято говорить, да. Она называется ExaONE. И во-первых, прикольно. Помнишь, я забыл, в каком-то из мостиков мы обсуждали, что есть пять стран, у кого есть базовые модели, да, то есть Китай, США понятно, про Россию мы знаем. Вот одна из них Корея, у нас осталось узнать только ещё одну. Забыл, вроде мы уже про это говорили. Видимо видимо, это вскроется со временем. В общем, бог с ним. Тут собственно, сама новость в том, что LG компания, она выпустила вот эту вот K-ExaONE 2.5, который вроде как по качеству очень похож на GLM 5.3 и на DeepSeek 4.1. Насколько это реально так, сложно сказать, я пока его не пробовал, но думаю, что рано или поздно мы это всё увидим и посмотрим. Как-то так. Тут надо сказать одну маленькую детальку, обычно все забывают, но в Корее там есть штук пять, наверное, компаний, которые называются чеболи которые соответственно обладают полным профилем вообще всего. Может быть, не всего-всего на свете, да, но LG, он не только холодильники выпускает, но и занимается высокопроизводительными вычислениями, вот, и, как мы видим, и тоже. Равно как и Samsung равно как и Hyundai, вот все эти компании, они так или иначе всё равно все задействованы.
Дмитрий Колодезев 20:23
Слушай, ну тут прикольно, что она доступна бесплатно по АПИ. Достаточно зарегистрироваться, получить ключ и бесплатно её использовать. С девятого числа она уже доступна. Можно пробовать.
Валентин Малых 20:34
Угу. Надо сказать, что Kimi тоже так делали и Xiaomi свою модельку, забыл, как она уж называется. Не помнишь, Mi Mi чего-то там. В общем, неважно. Xiaomi тоже свою модельку бесплатно изначально выкатывала, чтобы просто набрать каких-то пользователей, чтобы люди её хотя бы попробовали. И потом, соответственно, уже вводить монетизацию. Как-то так.
Дмитрий Колодезев 20:56
В общем есть такая штука, как какую модель используют для агентов, то есть на халяву, например, можно было попробовать её.
Валентин Малых 21:06
Кстати, да, вполне себе интересно.
Дмитрий Колодезев 21:08
Угу.
Валентин Малых 21:09
Если она как 5.3, то это почему бы и нет.
Дмитрий Колодезев 21:12
Надо посмотреть. Ты знаешь, вот для личного использования, вот в кодинге и так далее, очень трудно уже сравнивать модели, потому что они не делают глупых ошибок. Например, вот я пользуюсь Kimi уже 2 недели, да, например, или сколько, когда я там они за рубли стали. И, в принципе, она ещё ни разу не сделала глупости. Я, кстати, ни разу не упёрся в пределы триснового плана, хотя он не самый дорогой. Всё, что я у неё попросил, она сделала с качеством больше, чем я ожидал. И я всё жду, когда же она затупит, я наконец смогу её сравнить с чем-то, потому что до тех пор, пока она делает ничего не затупив, не сравнить её ни с чем.
Валентин Малых 21:55
Очевидно. Слушай, ну вот у меня я пользуюсь в основном двумя моделями из трёх источников. Отдельный вопрос, почему, ну неважно. И это GLM 5.3 и Opus 5.5. Угу. И вот я вижу, что Opus он прямо реально лучше, это прямо заметно, заметно сильнее. И я жду, когда обновится GLM-ка, чтобы посмотреть, как новая версия GLM-ки будет по сравнению с этой. Но отличия есть, его просто может быть, не так легко сформулировать. Мне кажется, часть отличия всё-таки связано с харнесом. Может быть, харнес Claude всё-таки несколько лучше, чем Z-Code. Хотя надо отдать должное, что определённые фичи в Z-Code мне нравятся больше, чем в Claude, просто они удобнее. Так что здесь качество вот задач, которые я ставлю, я вижу, что у Claude лучше, но, может быть, это дело именно в харнесе.
Дмитрий Колодезев 22:56
Я столкнулся с тем, что Kimi решает простые задачи менее многословно, менее сложно, то есть более простыми способами, работающими.
Валентин Малых 23:07
Угу.
Дмитрий Колодезев 23:08
Вот, то есть Kimi у меня на компьютере стоит. Opus у меня тоже пользуюсь. Кстати, Fable 5.2 сильно лучше Opus 5.5. И так получилось, что он сейчас, если у тебя соответствующая подписка, он практически бесплатный, потому что с ним дали сброс всего Fable. Грубо говоря, всё, что съел Fable, мы вам на счёт вернём, если нажмёте кнопку сброс. Там такая вещь.
Валентин Малых 23:32
Угу. Прикольно.
Дмитрий Колодезев 23:33
Вот, что привело к тому,
Валентин Малых 23:34
Я видел, что предлагали, но сам пока не пользовался.
Дмитрий Колодезев 23:36
Да, что привело меня к тому, что я просто сейчас какие-то вещи, которые не кода, не написания кода, чуть более сложные, просто перерубил на Fable 5.2 и жду, когда же он у меня кончится. Kimi мне понравился, что он лаконично отвечал мне, по делу, писал хорошие, хорошие документашки писал, тесты нормальные делал, преобразовывал репозиторий, то есть, ну там видишь, вот такая типа из одного места в другое перекинуть, вот в этот репозиторий добавить вот этот вот эту библиотеку, там исправить конфликты зависимости, что-то ещё там. Вот, то есть сказал, что сделай, и всё, что я им делал, он делал с первого раза, так как надо. Простые задачи, в общем. Короче, он он мне пока нравится, но почему-то пользуюсь я Opus-ом. Всё равно и GLM-ом.
Валентин Малых 24:25
Мне кажется, это реально дело в харнесе, то есть вот Claude очень хороший харнес. Он действительно очень очень удобный именно в плане структурирования задач. Вот ему ставишь задачу, и он умеет её побить на такие кусочки, чтобы она стала более удобоваримой и проверит больше вариантов, лучше всё это сделает. Мне именно Claude в этом плане всё равно нравится больше. Да, GLM-ка хорошая, и определённые фичи там планирование она делает удобнее именно визуально, но всё равно это не совсем то же самое.
Дмитрий Колодезев 25:02
Мы до последнего времени использовали GLM как раз с Claude-ом.
Валентин Малых 25:07
Угу.
Дмитрий Колодезев 25:08
Вот, то есть Claude-код, в смысле с Claude-кодом. Но там возникла проблема в свежем Claude-коде с авторежимом, то есть он разошёлся протокол. Теперь Gateway Z.ai несовместим с последними версиями Claude-кода. В общем, пока решили, откатившись на более старую, ещё пока не поняли, что делать. Вот через недельку вернусь в контору, обсудим, решим. Вот, то есть вот такая история. Мы действительно сидим на Claude-коде на GLM.
Валентин Малых 25:39
Да, я тоже так делал, но в какой-то момент я перешёл на Z-Code. Он, в принципе, неплох, вполне себе. Хотя я думаю, что они доработают свою проксю. У них они в этом плане большие молодцы, они, думаю, допилят, и будет всё это работать заново. Да. Так, ну следующая история это про e-means штука, которая лучше, чем k-means типа в 10 раз быстрее. Тут надо сделать некоторое отступление. Заключается оно в том, что я за свою бытность в области ML-я видел не один может быть, даже уже десяток модификаций k-means-а, и ни одной модификации, которая была бы лучше, чем k-means. K-means всё равно простой, как лапоть, и он, соответственно, в этом смысле наиболее хороший инструмент для конкретно своей задачи, когда нам нужно что-то быстренько по кучкам раскидать. Но, с другой стороны вот эти вот граждане, они работают в той же террористической организации, в которой, в которой выпустила в своё время Faiss, и они, собственно, с Faiss-ом сравниваются, и у них даже получается, что они его делают лучше, чем Faiss в смысле, получают результаты лучше, чем Faiss. И это весьма интересно. Я пока ещё не успел погрузиться в в вот эту вот историю, но выглядит прикольно.
Дмитрий Колодезев 27:11
Я посмотрел особенность k-means-а в чём, что она работает в евклидовом пространстве, и по большому счёту в больших размерностях она не должна работать. Он должен работать странно, да? В пространстве больших размерностей. У нас тут как раз e-means показывает для больших размерностей. Вот они в примере это 10 в 10 B, то есть там 1024 размерности и больше. Когда уже у нас проклятие размерности во всю есть. И, может быть, поэтому у них так хорошо и получается. На маленьком признаковом пространстве у них, скорее всего такого большого выигрыша бы и не было.
Валентин Малых 27:57
С другой стороны, кто в наше время с маленьким признаковым пространством работает? Сейчас в основном все же работают с
Дмитрий Колодезев 28:02
Да.
Валентин Малых 28:03
Большими векторами.
Дмитрий Колодезев 28:04
Да, и вот это действительно назрело. Я просто к тому, что сам k-means, наверное, не сильно получится ускорить, он как, ну вот, EM-алгоритм, да EM-алгоритм, что ты тут ещё изменишь. Но когда у нас странно устроено пространство, то есть когда у нас все веса примерно, все расстояния примерно одинаковые между точками, это, собственно, свойство пространства размерности. У нас k-means-у трудно. И вот они, скорее всего это исправление k-means-а, адаптация k-means-а к более высокой размерности. Я тоже не очень не успел прочитать, я просто вот так краем глаза пробежал. Они используют там отжиг при эпохах. И вот похоже, что вся история как раз про то, что вот у нас большие размерности, мы в них быстрее будем сходиться. Вот, они действительно быстрее сходятся.
Валентин Малых 28:56
Угу, угу.
Дмитрий Колодезев 28:57
Клёво, на самом деле, что сейчас пошли улучшения каких-то базовых алгоритмов, на которые никто не смотрел.
Валентин Малых 29:03
Слушай, ну я не согласен, что сейчас ещё, по-моему, год назад я выкладывал улучшение по алгоритму перемножения матриц, найденное как раз с помощью ИИшки. Базовые алгоритмы, действительно, до них не доходило рук, просто потому что и так много всего вокруг хорошего, интересного. Тут, когда ИИ может перебирать сотни и тысячи вариантов ты можешь его натравить на какие-то базовые проблемы и попробовать попробовать их решить заново.
Дмитрий Колодезев 29:36
Да.
Валентин Малых 29:37
В общем, сколько нам открытий чудных готовит просвещения век.
Дмитрий Колодезев 29:41
Угу. Что тут скажешь?
Валентин Малых 29:45
Следующая история - это про OpenAI. И они, соответственно, предлагают, как бы это правильно выразиться по аналогии с какими-нибудь социальными сетями вы можете завести свою страничку бизнеса, да, в социальной сети например, ВКонтакте. Понятно, что есть и другие, но вот это какой-то понятный пример. Может быть даже за вас заведут эту страничку, и вы можете прийти и сказать, что а вот это вот моё. Дайте мне управление этой страницей. В некоторых соцсетях так работает, я про ВКонтакте не скажу, но в некоторых работает именно так. И соответственно, чат GPT дозрел до того, чтобы делать примерно то же самое, то есть чтобы переложить так сказать, ответственность поддержания актуальности данных в некоторой базе которую собирает чат GPT с поискового робота чат GPT, на владельца этого бизнеса делается это для того, чтобы, как бы владельцам было выгоднее делать агентную оптимизацию или как она сейчас называется, Generative AI Optimization, GAO, да, что-то такое. Вот это вот вот вот эту вот историю. Я считаю, что шаг в каком-то смысле неизбежный, но насколько эффективный не могу сказать. Тут новость не попала к нам в выпуск, но я её просто словами проговорю, что эффективность размещения рекламы в чат GPT оказалась там, типа, в шесть раз ниже, чем в Google. На каждый вложенный доллар получается только полдоллара прибыли. Видимо, они хотят решить эту ситуацию, ну вот хотя бы таким образом. Пока я не берусь сказать будет ли это успешно, но, в общем, вот история вот такая.
Дмитрий Колодезев 31:38
Это действительно подтверждение своего бизнеса. Сейчас он работает только для бизнеса, у которого есть веб-сайт и который расположен в Штатах, ну и плюс там соответствует критериям некоторым. Там не обязательно что-нибудь продавать с этой странички, там ты сможешь обновлять информацию о себе, и а там же ты можешь смотреть инсайты. Что такое инсайты, мне пока непонятно, но, вероятно, частота вызовов и так далее и тому подобное. Ты получишь информацию о том, как твой бренд в чат GPT ищут. Привет всем SEO-агентствам, которые сейчас эту информацию пытаются каким-то образом получить. Такая вот история.
Валентин Малых 31:52
Угу. Я думаю, что дело хорошее и чат GPT становится сама по себе рекламной площадкой, как в своё время стал Telegram. Так вот чат GPT становится рекламной площадкой. У них же какое-то очень большое количество пользователей ежедневных, я забыл уже сколько, но что-то около 100 млн. Действительно очень большое количество людей, которым теоретически можно что-то рекламировать.
Дмитрий Колодезев 32:46
Я думаю, на самом деле, что вот это сравнение эффективности рекламы в Гугле и чат GPT - это немножко сравнение яблок с грушами. У Гугла отличная система профилирования клиентов. Вот, куча собранной поисковой информации, которой они пользуются. И хорошо отработанная технология, как раз показать рекламу. У чат GPT есть только ну, грубо говоря, память о пользователе. Очень может быть, что наша память о пользователе гораздо менее верна, чем наше поведение. Мы покупаем туалетную бумагу, но редко обсуждаем её с чат GPT, например, да?
Валентин Малых 32:56
Угу. Угу. Да.
Дмитрий Колодезев 33:28
И надо смотреть для для покупательской оценки нам важно не то, что человек говорит про себя, а то, что он делает. И у Гугла, может быть, информации и побольше пока. Я думаю, что догонят.
Валентин Малых 33:44
Я думаю, что в этом смысле вот эта вот Google AI Studio как раз обладает очень богатым контекстом, и если они смогут его грамотно использовать, а я думаю, они смогут, там очень много хороших инженеров, то Google AI Studio может быть действительно прямо хорошим конкурентом чат GPT, именно потому, что он позволяет предугадать, что вот ты, дорогой друг, давно туалетную бумагу не покупал, купи по-хорошему.
Дмитрий Колодезев 34:15
Мне кажется, что инженеры Гугла слишком умничают. У них совершенно прекрасное решение, то есть это, например, я пробовал записывать подкаст, создавать подкасты с помощью гугловских моделек, да, и с помощью антропиковских моделей. Гугловские модельки подкасты делают гораздо лучше. Вот берёшь какую-нибудь техдокументацию, тебе нужно её в дороге прослушать, да, и говоришь: "Сделай мне подкаст про эту документацию". Едешь, слушаешь, например, да? У Гугла получается отлично, у Антропика фигово, при том, что у Антропика модели лучше. Но у у Гугла сама сама по себе технология какая-то очень хорошая, но у них всё несколько заумно, понимаешь? Простая домохозяйка должна ещё поискать, где этот подкаст сделать. Сценарии использования они отрабатывают хуже. У них хорошие технологии, рекламные технологии отличные. Вот, а вот сами по себе сценарии использования у этой новой волны AI, что у чат GPT, что у Антропиков, они веселее. У чат GPT вообще отличные. Эти dots, например, они летят же сейчас. Все, кто пользуется, очень радуются.
Валентин Малых 34:33
Угу. Угу. Даже не знаю, что это. Не стыдно.
Дмитрий Колодезев 35:28
dots, представь себе, что чат GPT сделала тебе агента, не какой-нибудь OpenClaw, а настоящий правильный американский dots, который ты ставишь на телефон и говоришь: "Купи мне авиабилеты, забронируй мне билет туда, вот проверь кафешку рядом с гостиницей, вот, закажи цветы для девочки и найди вот это лекарство в аптеке". Они всё это делают и с тобой обсуждают по голосу, имеют контакт с твоими письмами, говорят: "Слушай, тут тебе Вася написал, просит презентацию прислать". Вот всё, что OpenClaw обещал и не решил, dots сделает. И он входит в стандартную подписку.
Валентин Малых 36:04
Угу. Угу, прикольно. Можно только порадоваться за dots.
Дмитрий Колодезев 36:11
Да, ты понимаешь, вот я, причём смотрю, и я у меня же есть свой агент, да, я понимаю, что я его до dots, до уровня не дотащу. По разным причинам главное, что я их хочу как раз, чтобы он вёл себя предсказуемо, да? Вот, но сейчас вот пока я сижу за пределами всякого рода ограничений, я думаю, что вот на dots я куда-то попробую поиграться с ними хорошенечко. Посмотреть сценарии, поотрабатывать.
Валентин Малых 36:38
Да, это интересно.
Дмитрий Колодезев 36:40
Есть, кстати, аналог dots у Kimi, входит тоже в стандартную подписку. Но он тупенький. Они там Kimi Claw. У Z.ai есть Claw, а есть аналог похожий с твоего ассистента, по-моему, у Антропиков тоже, но я им не пользовался. dots прямо вот всё очень хвалят. Это такая скрепка на стероидах.
Валентин Малых 36:48
Понятно. Угу. Это вот, да, то, что то, что многим не хватало. У Антропика они пытались ввести дуэт, в смысле, дуэт какого-то персонажа, который будет тебе выполнять твои поручения, параллельно с тобой взаимодействовать. Кажется, это вот похоже на dots, если я правильно понимаю.
Дмитрий Колодезев 37:22
Скажем, твой личный секретарь. Вот, они его запустили 29 сентября. Вот, и в ноябре они туда включили вот эти вот GPT 61 модели в dots. И он прямо тебе всё это работает.
Валентин Малых 37:25
Да, давно. Прикольно. Посмотрим, чем ответят разные другие компании.
Дмитрий Колодезев 37:45
Я жду, когда Z.ai запустят свои dots.
Валентин Малых 37:48
Да, я думаю, что они над этим усиленно трудятся. Все же уже изнемогли, когда они выпустят свою новую новую модельку. Уже по по все сроки вышли. Посмотрим, когда уже. Может быть, сразу с вместе с dots запустят.
Дмитрий Колодезев 38:04
Может быть, да.
Валентин Малых 38:08
Следующая новость, она отчасти про это же, да? Значит, у нас есть издание Time, довольно популярное, это журнал, насколько я помню. И она выпустила свою версию сайта специально для агентов, для показывается собственно, то, что реклама специальная для агентов, да, то есть не для людей, а только для агентов. Тут всё это связывается с этой вот концепцией мёртвого веба, что якобы в вебе никого живого не останется. На мой взгляд, это какой-то неправильный термин, потому что агентный веб - это вполне себе очень живое место, там очень много всего происходит, оно просто вам непонятно, да, то есть вам людям, которые соответственно люди, а не агенты. И на мой взгляд, агентная оптимизация то есть показывание рекламы для агентов - это то, что сейчас фактически неизбежно, да, то есть если вы зарабатывали на рекламе на людях раньше, то теперь вы будете зарабатывать на рекламе на агентах. По-другому сейчас, мне кажется, не никакая другая рекламная компания не выживет. Я имею в виду, которая работает в интернете.
Дмитрий Колодезев 39:20
Думаю, да. И интересно тут, на самом деле, что они показывают рекламу агентам и наверняка будут показываться вот эти вот Dark Pattern. То же самое, когда начала показываться реклама людям, а очень быстро рекламодатели сообразили, что специальным образом сформулированное утверждение в рекламе, они людей немножко обманывают. И вроде бы как в суд тебе не потащишь за этот обман. Вот, но на поведение влияет. Я думаю, что сейчас активно идут эксперименты Dark Pattern'ов с агентами.
Валентин Малых 39:52
Да, конечно.
Дмитрий Колодезев 39:53
Вот, и вот интересно, на самом деле, всё это дело посмотреть. Я, наверное, себе настрою просто скрипт в браузере, чтобы он переключал меня в режим Clo, Clo Cloда или чат GPT, и я видел сайты так, как видят они. Есть подозрение, что много интересного можно увидеть.
Валентин Малых 40:10
Да, я думаю, что оно будет выглядеть совсем не так для для тебя, как для агентов. Ты всё-таки читаешь немножко по-другому, но я думаю, что отсутствие классической рекламы - это уже неплохо. Другой вопрос, что там будет не реклама не классическая.
Дмитрий Колодезев 40:26
Тут, знаешь, тут как некоторые люди, которых мы, конечно, осуждаем, используют VPN и заходят на какой-нибудь сайт, а им там показывают рекламу на голландском, например, да.
Валентин Малых 40:35
Угу.
Дмитрий Колодезев 40:36
И это даже смешно, потому что ты не понимаешь к чему тебя конкретно призывают.
Валентин Малых 40:39
Не склоняют.
Дмитрий Колодезев 40:40
Призывают, а картинки красивые.
Валентин Малых 40:42
Я бы, прости, вставил 2 копеечки, не к ни к чему тебя призывают, а к чему тебя склоняют. Это Голландия, там надо быть осторожным.
Дмитрий Колодезев 40:49
Да. Вот так бывает. Я думаю, что видеть рекламу на ботов, то есть, что там могут рекламировать ботом? Машинное масло, свежие гайки, да? Быстрый инференс.
Валентин Малых 41:04
Да. Посмотрим. На самом деле, действительно интересно события развиваются. Я думаю, то, что это всё довольно быстро устаканится, потому что да, как бы научатся работать с агентами, чтобы агенты ходили и собирали нужную информацию. Я вот здесь не вижу никакой, честно говоря, специфической проблемы, потому что рынок очевидно есть, он только растёт. Рынок человеческих поисков сужается, поэтому довольно очевидно, что деньги перетекут сюда. Вот, вот и всё.
Дмитрий Колодезев 41:35
Согласен.
Валентин Малых 41:39
Мне не совсем понятна вот эта новость. Я, может быть, сам по себе текст не понял, или мне знаний языка не хватило, или что. Но, в общем, суть в следующем, что есть такая штука, как GPU для майнинга. Они там, может быть, не GPU называются, ну и бог с ним, это неважно. У них вроде как есть 8 ГБ памяти. Но если специальным образом что-то там подшаманить с вольтажом, да, что-то где-то какие-то цепи перемкнуть, то эта штука начинает работать, как будто это А100 с 80 ГБ памяти. Дальше идёт объяснение, которое я, вот, повторюсь, не очень понял. Но суть там вроде в том, что физически это всё на плате есть. Я не понимаю, почему так, потому что память очень дорогая, и ставить лишние там 70 ГБ памяти на машину, которая точно не будет использоваться, я не понимаю зачем. Может, может быть, я что-то не понял, поэтому я вот очень осторожно сейчас говорю. И вроде как вот этот глюк позволяет задействовать все ресурсы этой карты, да, то есть откуда-то возникает новая память, и появляются вычислительные блоки в процессоре. Если вычислительные блоки в процессоре, я готов поверить, что просто они берут и какие-нибудь бракованные чипы, которые потенциально могут работать, или даже хорошие чипы, которых слишком много, что в наше время выглядит почти невероятно, но тем не менее, они их специальным образом микропрограммируют. Кто не знал, во всех современных чипах есть микропрограмма, которая уже, собственно, и преобразует входные входные инструкции уже к внутренней программе чипа. Так вот, вот эта микропрограмма, может быть, запрещает использовать часть ресурсов. В это я готов поверить, потому что всегда проще сделать один вид изделия, чем два вида изделия. Но откуда берётся лишние 70 ГБ памяти, я отказываюсь понимать. Может, ты что-то понял, расскажешь мне?
Дмитрий Колодезев 43:48
Слушай, я сначала, когда увидел, я глазам своим не поверил. Вот, а потом я полез искать. Действительно, во-первых, это карты с восьмью гигами, действительно они продаются. На них действительно больше памяти, чем указано, и она просто залочена. Говоря о том, что память дорогая, вспомни, какая это карта. Это А100, это очень старая карта.
Валентин Малых 44:14
Угу.
Дмитрий Колодезев 44:15
И память тогда была сильно дешевле, чем GPU. Это были блаженные времена дешёвой видео дешёвой памяти.
Валентин Малых 44:22
Угу.
Дмитрий Колодезев 44:23
И поэтому они действительно там есть. Из того, что я посмотрел, я, на самом деле, поискал эти карты по барахолкам, цены на них выросли вот сразу.
Валентин Малых 44:33
Понятно.
Дмитрий Колодезев 44:34
Вот, причём они стоят так уже освежающе. Мне непонятно, кому нужна А100 по цене 590. Такая история. И там несколько вещей. Во-первых, конечно, они снимают программное ограничение, но ещё там какие-то вещи грубо говоря, залоченные аппаратно, то есть их надо отпаивать. И вот тут одна девочка молодец, она написала программу для микроконтроллера, который подавая последовательность импульсов эти штуки переинициализации пропускает, то есть она их не прочитывает при старте. Как будто, как будто этого резистора сюда не впаян. Вот и всё. Того же самого результата можно было достичь паяльником. И это, кстати, наводит ну, может быть, это объяснение того, что периодически из Китая приходили какие-то странные карты с 80 гигами памяти.
Валентин Малых 45:38
Угу.
Дмитрий Колодезев 45:39
Вот, и по смешным достаточно ценам. Может, это они и были. Просто, может быть, кто-то раньше додумался, что их можно распаивать. В вот этой статье есть ссылка на первоначальную статью, в которой выяснили год назад, что эти карты и А100 - это одна и та же кремниевая штука, то есть одна и та же железяка.
Валентин Малых 46:00
Угу.
Дмитрий Колодезев 46:01
Это уже просто логичное продолжение. Вообще, за последнее время было куча интересных анлоков, то есть для 3090, например, для 4090, для 4080 карточки здорово ускоряли FP16, например, на них и так далее. Мы мы себе на сервера поставили, всё стало хорошо. Просто ускорилось и без всяких помощников.
Валентин Малых 46:24
Угу. Это просто как бы такой стандартный трюк корпоративный, да, что покупайте более свежие версии для лучшей производительности. Но сейчас с ИИ-агентами оказалось, что можно, в общем-то, пересобрать драйвера, делать, чтобы они работали так, как тебе нужно, да, и какие-то вещи, которые раньше чисто маркетингово были запрещены, да, их стало можно, собственно, выключить. Наоборот, включить.
Дмитрий Колодезев 46:55
По-моему, у Hewlett-Packard были серверы когда-то раньше, когда ты покупаешь сервер, и в нём активен один процессор, да? Ты оплачиваешь, тебе включают удалённо восемь процессоров.
Валентин Малых 47:05
Не, это не только у Hewlett-Packard было, это и у Oracle такое было, по-моему, и Sun даже пытался перед своей безвременной кончиной тоже такие вещи внедрять. Oracle точно было, и это, в общем, было всем понятно, да, что вот как бы способ монетизации чисто маркетинговый, да, что вот мы вам продаём полноценный чип по цене меньше, заплатите нам побольше, и чип станет прямо совсем полноценным. Сейчас такие штуки просто перестанут работать. В какой-то люди, которые успели по дешёвке купить хорошие чипы, и теперь смогут их разлочить и спокойно их эксплуатировать. Но я думаю, что это очень ограниченный эффект будет иметь, то есть мало что поменяет.
Дмитрий Колодезев 47:57
Да, технически это интересная история, но я бы не советовал бежать и покупать А100 карточки, зачем они вам?
Валентин Малых 48:04
Да, они уже 100 лет как устарели. Это уже сейчас не настолько важно. Сейчас другого вида карточки всех интересуют. Тут недавно была новость про то, что в модель можно встроить произвольную какую-то историю, вот этот вот самый Qwen Pytorch, да, то есть можно туда в модель встроить какие-то куски прямо алгоритмические, которые модель, в принципе, не способна никак отключить. Вот Microsoft выпустила статью про то, что они могут детектировать нейроны, которые специальным образом выключены, но включатся при какой-то специальным образом сформированной активации. Да, то есть это такой спящий агент внутри LLM. Я думаю, то, что эти агенты внутри LLM были, было очевидно плюс-минус всем, кто хотя бы немножечко занимался кибербезопасностью. Но сейчас это стало уже такой прямо совсем общим местом, да, то есть сейчас все понимают, что эта штука существует. И поэтому все стали про это писать, да, чтобы не упустить свой приоритет. Вот я как-то так думаю.
Дмитрий Колодезев 49:17
Слушай, вот в статье, я её прочитал немножко не так, не написано, что они их могут детектировать. Написано, написано, что достаточно изменить 10 нейронов для того, чтобы в нейронке появился payload. И после этого вы её фиг отдетектируете, а payload может быть активирован, например, какой-нибудь датой. Например, в день X, например, скажем, 14 ноября 2026 года нейронка начнёт работать по-другому, там да?
Валентин Малых 49:48
Угу, угу.
Дмитрий Колодезев 49:49
Детектировать они говорят, что evaluation она проходит, нигде ты их не увидишь 10 нейронов. Действительно, в таком массиве весов 10 нейронов найти та же самая иголка в стоге сена.
Валентин Малых 49:59
Угу. Да, это прямо пугает в каком-то смысле, да, что кибербезопасность сейчас очевидно стала во-первых, у неё появились то, что называется новые поверхности, да, то есть LLM тоже поверхность атаки, и её надо тоже защищать. Во-вторых, то, что есть только начали копать.
Дмитрий Колодезев 50:25
Угу. И тут история-то какая? Огромное количество весов сейчас лежит на Hugging Face, типа модель со снятыми защитами, модель с улучшенным пониманием корейского, модель с убранными китайскими ограничениями, например, там, вот эти вот истории, да?
Валентин Малых 50:44
Угу, угу.
Дмитрий Колодезев 50:45
И какая-то часть из них наверняка уже содержит закладки.
Валентин Малых 50:50
Да. Это прямо наверняка. Была же эта история, никак не связанная с AI, что подменяли, а, по-моему, в Node.js какой-то модуль, который был полностью легитимен одно время, а потом стал не совсем легитимен. И там как какое-то количество данных из-за этого утекло. Это не дело не в Node.js, а в том, что есть очень много точек отказа, да, очень много точек, которые можно атаковать, и это за этим всем важно следить, к сожалению.
Дмитрий Колодезев 51:20
Да ладно, тут Министерство обороны одной страны часть своих доменов тут продолбало, на которой была почта привязана. Это было с месяца полтора назад была история или два. Вот, товарищ зарегистрировал просто эти домены на себя и поставил mail forwarding шутки ради. И ему пошла информация с военных баз, ещё то ещё.
Валентин Малых 51:38
Слушай. Знаешь он пошутил, а кто-то посмеялся, я бы так сказал.
Дмитрий Колодезев 51:44
Угу.
Валентин Малых 51:45
Я надеюсь, что у этого товарища всё хорошо, потому что там можно как бы попасть на людей, которые совсем шуток не понимают, и это это может быть чревато.
Дмитрий Колодезев 51:55
Это да, шутить осторожно. Вдумчиво.
Валентин Малых 51:57
Да, да, да. С Министерством обороны всегда очень осторожно шутить, это лучше вообще так не делать. Следующая история мне показалась достаточно интересной. Есть такой, скажем так, разработчик Линуксов который в своё время прославился Линуксом Cyanogen. Я уже забыл, что там в нём было особенного. Я помню, что такой дистрибутив был. Но интересно другое, что они решили пойти а, Cyanogen - это альтернативный Android, точно, точно, точно. Соответственно, здесь они пошли через что? Они сказали, что давайте мы сделаем Linux, который уже внутри сразу будут вшиты AI-агенты, которые для вас всё что-то будут делать. На мой взгляд, это очень правильный шаг в правильном направлении, то есть классические большие операционные системы на это пойти не могут, потому что у них очень большая инсталляционная база. Там Windows на это до этого ещё долго не созреет. Вот взять открытый Linux и сфарганить что-то такое, почему нет? Интегрировать, а, AI-агента прямо внутрь для того, чтобы у него было больше возможностей, чем просто CLI взаимодействие, да, то есть кажется, что это действительно интересная интересная концепция, и я думаю, что она в целом себя оправдывает.
Дмитрий Колодезев 53:22
У нас сейчас уже, не знаю, вот как у тебя конкретно, да, ты, наверное, на Маке работаешь. Google Chrome под винду и под Linux, по-моему, он скачивает четырёхгиговую модельку, если ты специально переключатель не отключил. И использует у тебя. Вот, для локального инференса. И понятно, что у нас будет типа ад из нескольких параллельно скачанных моделек. Каждое приложение скачает себе по модельке, и у нас получается такая вот большая куча. Это надо с этим либо бороться, либо возглавить. И вот они, они решили возглавить.
Валентин Малых 54:00
Правильно сделали, потому что надо просто строить теперь архитектуру так, что как бы, как было раньше, да, что у нас есть Kernel Space и User Space, да, что Kernel Space предоставляет сервисы для User Space. Вот у нас теперь в Kernel Space есть соответствующий дополнительный сервис в виде AI-агента, который может использовать любое приложение. Вот мне кажется, вот к этому всё идёт.
Дмитрий Колодезев 54:24
Да, то есть так же, как мы привыкли к тому, что у нас в квартире, у нас в квартире есть горячая вода и горячие батареи канализация, также в операционной системе у нас есть откуда-то взятая LLM. Нам не надо подключать каждую библиотеку своим ключом, мы внутри приложения просто говорим: "Так, мне дефолтную LLM, пожалуйста, у меня есть что ей сказать".
Валентин Малых 54:43
Да, да, да. Тут, знаешь нельзя не вспомнить, я уже сегодня про Sun упоминал, а, у Sun была, был очень хороший такой маркетинговый лозунг, но он на мой взгляд, глубоко философский. Они говорили, что Network is a computer, то есть сеть - это компьютер. В том смысле, что компьютер - это фактически способ все ресурсы сети получить в удобном виде. Вот сейчас у нас получается, что компьютер - это прежде всего AI-агент, который умеет работать с ресурсами там сети, вашего компьютера, не вашего компьютера, всё равно это как бы другая концепция, да, то есть у нас в базе становится уже не операционная система, а в базе становится AI-агент. Я думаю, что мы это действительно увидим достаточно скоро. Если Linux - это уже сейчас есть, то в каком-нибудь там следующем релизе MacOS, мы вполне увидим где-нибудь Siri, который будет чем чем-нибудь там полезным заниматься. Мм, уже сейчас в MacOS есть какое-то количество встроенных библиотек для Computer Vision, да, там всякие OCRы, вот это вот всё. Я их даже довольно активно использую в своей работе, как ни странно. Вот. Так что ждём, мне кажется, что это уже очень близко.
Дмитрий Колодезев 56:02
Да, согласен. На самом деле, вот есть же куча сервисов, которые предоставляются всей системе. Например, распознавание голоса, озвучка, да, вот периодически. Вот сетевые какие-то сервисы. Просто появляется ещё один сервис, а, ещё один набор слоёв сервисов - это LLMки.
Валентин Малых 56:23
Да. Сейчас насколько я знаю, Windows пытался перевести всех на подписку, на свою операционную систему. Я не знаю, получилось у них или нет, потому что я Windows как-то, я давно заметил, практически не пользуюсь. И история у нас получается в том, что, вообще говоря мы можем просто получить то, что компьютер работает по по подписке, да, вот у нас есть подписка, у неё есть сервис AI-агента, который вот работает с вашим компьютером как часть системы. Без подписки часть системы не работает. Такие дела.
Дмитрий Колодезев 57:02
Да.
Валентин Малых 57:03
В общем, я думаю, что мы это увидим уже буквально в следующем году, осталось-то до следующего года полтора месяца. Кстати, да, сегодня же пятница тринадцатое по поводу, мы тут как раз по поводу всяких интересных штук рассуждаем. Это всё всё связано. Да, ну вы-то смотрите нас, когда уже воскресенье само собой. Тут какой-то гражданин упоролся и написал под армовский ассемблер, Arm 64 написал GPT-2. Он написал это вручную, поэтому я считаю, что он упоролся, потому что я реально не понимаю, зачем так делать, но важно, что, по крайней мере, он так заявляет. И он приводит сравнение может быть, не очень удачное, я сейчас поясню почему, а, что PyTorch на GPU у него, соответственно, получается, мм, 40 токенов в секунду. GPT 2S - это вот этот вот их ассемблерный модуль собранный на армовском процессоре собственно, он на Appleовом ноутбуке это запускает, он выдаёт до до 100 токенов в секунду, 90-100. Причём в один тред. И это, на самом деле, очень прикольно. Показывает нам, насколько много, на самом деле, можно выиграть, если мы говорим про всякие вот эти промежуточные слои. Да, то есть у нас есть слой там железа после слоя железа у нас идёт слой драйверов, после слоя драйверов у нас идёт слой библиотек, после слоя библиотек у нас идёт слой давай сразу скажем, прикладного ПО, хотя там ещё несколько слоёв есть. И каждый слой отъедает свой кусочек, да, берёт свой налог. И это, на самом деле, прикольно, мм, увидеть, что если мы отказываемся от части слоёв, то у нас получается очень сильно всё ускорить. Понятно, что вот эта штука - это скорее какой-то выброс, да, то есть мало кто будет руками переписывать какие-то очень древние модели. Отдельный вопрос, зачем это делать. Но кажется, что с помощью AI-агентов взять какой-нибудь Qwen переписать так, чтобы он лучше работал на ассемблере, почему и нет? Кажется, что вообще идея-то хорошая.
Дмитрий Колодезев 59:25
Слушай, ну я сильно сомневаюсь, что он всё-таки написан руками. Во-первых, там
Валентин Малых 59:28
Да, я бы сказал, что он преувеличивает.
Дмитрий Колодезев 59:30
В сайте в списке контрибьюторов два человека и Клод указаны, да?
Валентин Малых 59:35
Угу.
Дмитрий Колодезев 59:36
Во-вторых, я посмотрел на activity, activity 2 дня шла. Вот за 2 дня как бы такой объём ассемблерного текста не пишется.
Валентин Малых 59:46
Я согласен, да.
Дмитрий Колодезев 59:48
И если посмотреть на коммиты, то есть, собственно, тут было пять коммитов 1 ноября и четыре коммита 8 ноября. В общем,
Валентин Малых 59:56
Угу, угу.
Дмитрий Колодезев 59:57
Не верю. Но вообще, а, как раз это иллюстрация того факта, что многие вещи, в которые мы верили, к которым привыкли, они теперь не работают. Раньше переписать на ассемблере - это было круто, упороться. Теперь какая разница? Попросил Клода, он переписал на ассемблере.
Валентин Малых 1:00:16
Угу.
Дмитрий Колодезев 1:00:18
Всё всё за ваши деньги.
Валентин Малых 1:00:19
Угу. Любой каприз, да.
Дмитрий Колодезев 1:00:22
Да.
Валентин Малых 1:00:23
Мне кажется, это, знаешь, это в ту сторону, что мы с тобой обсуждали по поводу создания железок под определённые модели. Можно пока обойтись тем, что писать просто переписывать модели с вот этих вот форматов типа ONNX на просто прямой ассемблер и за счёт этого выигрывать. Тут важный аспект, который хотел сказать. Дело в том, что тут сравнивается PyTorch на CPU, кстати, я говорил, к GPU, я оговорился, а, на CPU. И важно то, что они использовали Transformers Generate, а Generate он тормозной, как не знаю что. Вот здесь вот сравнение не совсем корректное в смысле, корректное, но тут понимать надо, что Generate никто никогда в жизни не генерирует. Если бы он сравнился с VLLM, вот это было бы интересно.
Дмитрий Колодезев 1:01:18
Согласен.
Валентин Малых 1:01:21
Следующая новость у нас про Remote Labor Index. Remote Labor, то бишь, удалённая работа. Имеется в виду, какой процент удалённой работы может могут сделать современные модели. Там отдельный вопрос, как они это оценивают, но сейчас получается, что вот этот вот индекс, он составляет 41%, да, то есть и он довольно быстро растёт.
Дмитрий Колодезев 1:01:48
Вот у нас главная картинка этой статьи, что процент работы удалёнщиков, которые может выполнить модель, он, а, каждые 3 месяца, он удваивается. И получаем такую экспоненту, мы все знаем, чем экспонента кончается, она кончается насыщением, но пока не насытилась. И самый большой рывок, на самом деле, обусловлен переходом от Opus 5.5 к Fable 5.2, поэтому вообще это не не факт, что это всё именно так есть. Потому что до этого посмотри тут как раз типичная S-образная кривая, которую я так люблю. Угу. Угу. Угу. Угу. Я посмотрел, год назад было первоначальное исследование, и тогда у них, а, LLM-ки зарешивали 2,5% задач. Теперь 41,3. Задачи вида: вот вам дан аудиофайл, нарисуйте по этому аудиофайлу к нему картинки рекламные. Или вот вам даны фотографии схема наушников, сделайте модельки, в которых было бы видно, какие у них клёвые там удобные губочки, какая у них заменяемая батарея и всё такое прочее. Вот вам, пожалуйста, план, сделайте рендеринг по нему, сделайте 3D-модели рендеринг. Угу. Угу. Угу. К каждой задаче приложен результат выполнения человеком, это примерно то, что люди на каком-нибудь Upwork-е, а, делают и ожидают. Поэтому оценка оценка честная, но она достаточно узкой теме. Это удалёнщики, которые делают корот короткую такую цифровую подёнщину.
Валентин Малых 1:03:33
Угу, угу. Я боюсь, наши слушатели вообще не слышали слово подёнщина, это слово из XIX века, не переживайте, мы мы с Димой поняли, о чём разговариваем. Вот. Что тут скажешь? Мне кажется, что оно где-то насытится, и причём, хмм, у меня впечатление, что оно насытится довольно скоро там, имеется в виду, что ещё максимум один прыжок. Посмотрим.
Дмитрий Колодезев 1:03:55
На самом деле, некоторое количество тупой работы можно делать с помощью LLM, и оно очень большое.
Валентин Малых 1:04:01
Да, да, и это, на самом деле, прекрасно. Я считаю, что то, что люди не делают тупую работу, это хорошо, потому что люди могут делать умную работу. Замечательно. Последнюю новость выпуска я решил сделать вот эту, потому что, на мой взгляд, это относится в каком-то смысле к категории приколов. На прошлой неделе мы, по-моему, это не обсудили, но люди довольно долго кринжевали с того, что Сэм Альтман сказал, что вам в ваших этих домашних ПК вообще память не нужна, вы её используете на 5%, отдайте её мне. На народ долго кринжевал с этого, и Альтману это ещё, мне кажется, долго припоминать будут. Тут Microsoft решил обыграть Альтмана и сделать следующее, что, а давайте мы простаивающие видеокарты заиспользуем, да, пусть у нас будут соответственно, какие-то какой-то способ, что вот у нас стоит игровой ПК, никому не нужный, да, пока в него никто не играет, давайте он нам не просто будет воду кипятить, а он нам будет ещё и какие-нибудь задачки по обучению решать. Это всё идёт в таком концепте, который называется Distributed Computing, это довольно давно существующая штука. Я думаю, многие слушатели помнят сети At Home. Я тут заходил к ним на сайт сегодня, и они до сих пор живы, они умерли в двадцатом году, потом в каком-то году возобновились, сейчас вроде ещё живы. В общем, суть не в этом, а суть в том, что распределённый компьютинг - это штука хорошая и полезная. Можно ли сделать её эффективной - отдельный вопрос, но тут вопрос в том, что мы считаем эффективностью, да, то есть, если у вас действительно ресурсы ни зачем не нужны, а их можно использовать, это, наверное, хорошо. Но меня смущает, что эти люди пытаются дотянуться своими грязными лапами к моему компьютеру, который я, в общем, никому не хотел отдавать. Я думаю, не меня одного это смущает, и хотя там где-то пишут, что они собираются давать за это деньги я не очень понимаю, во-первых как, во-вторых, кому, и, в-третьих почему я должен, собственно, интересоваться их деньгами, если я не для этого покупал это железо.
Дмитрий Колодезев 1:05:16
Во-первых Microsoft уже делала подобные вещи. Если помнишь, они так распространяли апдейты Windows. Если если ты специальным образом галочку не снял, то твой компьютер служил узлом, через который Microsoft раздавала свои апдейты. Твой компьютер скачивал свежее обновление винды и затем другим компьютерам он сервел, как будто вы, а, у вас такая вот, скажем, а, торрент. Причём тебя тебя никто не спрашивал, тебя использовали. Ты мог, на самом деле, отключить это, но об этом надо было знать, и заметно это было именно по нагрузке на компьютер, когда он не используется, то есть ты такой думаешь, он не используется, а он как начал использоваться, и чтобы тебе, а, вернуть контроль над своим компьютером, тебе надо было подождать, пока он угомонится. И если у тебя, не дай бог, интернет считался по мегабайтам выходило тоже неудобно. Так вот тогда они никому ничего не платили, почему они будут платить сейчас? Это первое. Второе, а, дата подачи заявления на патент 30 апреля 2025 года, то есть полтора года назад. Угу. Угу. Угу. Угу. И как бы предполагать, что они полтора года ждали чтобы патент опубликовали и потом начать начать это всё дело использовать, наивно, да? Это не связанные процессы. Я думаю, что они патентуют и используют. Вполне возможно, на самом деле, что эта вещь уже есть. Кто знает? Может быть, и нет.
Валентин Малых 1:07:47
Проверьте свои виндоусы.
Дмитрий Колодезев 1:07:48
Да, проверьте свои виндоусы. Вот я, как я уже говорил, Google тут недавно поймали на том, что он, а, четырёхгиговую сетку Gemini раскладывает каждому пользователю браузера. Как бы, может быть, вы тоже тоже, может быть, не для этого жёсткий диск покупали.
Валентин Малых 1:08:03
Не, в целом, да. Я согласен. Смущает то, что это делается молча, да, то есть, что всё это запихивается без как бы явного согласия от пользователя. Понятно, что даже при явном согласии многие не читают соглашения, которые их просят подписать. Но всё-таки, всё-таки хотелось бы какой-то, не знаю, диалога со стороны производителя, да.
Дмитрий Колодезев 1:08:29
Ты помнишь прекрасный фильм, где это, говорит, не мой зуб, это не твой зуб, это его зуб. Так вот, это не твой компьютер, это не мой компьютер.
Валентин Малых 1:08:39
Да.
Дмитрий Колодезев 1:08:41
Это его компьютер.
Валентин Малых 1:08:43
Да, да. Это, это действительно очень, очень такой, знаешь, пророческие слова, я бы сказал, да, их можно много к чему применить.
Дмитрий Колодезев 1:08:51
Фильм, кстати, не бойся, я с тобой, фильм прекрасный.
Валентин Малых 1:08:53
Да, да, да, фильм замечательный, можно порекомендовать. Наверное, будем заканчивать. Всем спасибо что нас слушаете, подписывайтесь, где нас видите, слышите. У нас есть YouTube, у нас есть ВК видео, у нас есть подкастные площадки. И обязательно присылайте новости в Mattermost приходите, у нас там всякое интересное.
Дмитрий Колодезев 1:09:17
До встречи.
Валентин Малых 1:09:18
Да. Пока-пока. Счастливо.