Дмитрий Колодезев

Анализирую данные. Консультирую и учу.

Капитанский мостик 2-27


Двадцать седьмой выпуск второго сезона подкаста "Капитанский мостик" про искусственный интеллект, будущее и все такое. Ведущие подкаста — Валентин Малых и Дмитрий Колодезев

Площадки
Содержание
  • 00:00:00 введение
  • 00:00:40 китайские модели запретят
  • 00:06:39 будут российские модели
  • 00:14:49 экономят на токенах
  • 00:21:51 вышла GPT-Live
  • 00:30:18 вышел Grok 4.5
  • 00:33:27 вышла Muse Spark 1.1
  • 00:37:33 вышел Hy3 от Tencent
  • 00:45:02 вышел GigaChat 3.5
  • 00:47:57 Claude следит за тобой
  • 00:50:22 майнеры пошли в ИИ
  • 00:55:03 Anthropic нашёл память
  • 01:00:48 Китай и публикации
  • 01:07:37 ИТМО и Selectel
  • 01:12:12 Sakana Translate
  • 01:16:50 робот сбежал от ДТП
Новости этой недели

Валентин Малых 0:00
Всем привет! С вами, как всегда, Валентин Малых и Дмитрий Колодезев. Наш очередной выпуск Капитанского мостика. Кажется, ничего более значительного, чем предстоящий Новосибирский DataFest в октябре. У нас пока еще ничего нет, так что не забывайте подаваться и приходите к нам в Mattermost, пишите, присылайте новости.

Дмитрий Колодезев 0:30
Форма регистрации, наверное, на следующей неделе для участников откроется. Ну, поехали!

Валентин Малых 0:43
Я бы хотел начать сегодня с этой новости о том, что Как передает агентство Reuters, тут важная, конечно, оговорка, что агентство Reuters может передавать всё, что ему нравится, поэтому источников мы не знаем, и здесь всё надо делить на два, как минимум. Но в целом звучит так, что Пекин, ну, имеется в виду правительство Китайской Народной Республики, думает о том, чтобы Обеспечить ограничение доступа к своим моделям из-за рубежа. Вот, и на мой взгляд, это крупнейшая новость этой недели, потому что началось всё, как мы помним, две, по-моему, недели назад, когда... Правительство США ограничило доступ к модели OpenAI, потом вроде как разрешило. Сейчас доступ вроде бы сохраняется, но, как говорится, осадочек остался. И теперь Доступ к моделям осуществляется строго с одобрением администрации. Ну, вот Пекин, похоже, в этом плане думает последовать примеру за океанских коллег. И, на мой взгляд, это вполне себе даже разумно, потому что, ну, как мы видим, они довольно сильно конкурируют, а раз конкурируют, то им надо как-то как-то обеспечивать вот эту вот конкуренцию.

Дмитрий Колодезев 2:09
Было уже опровержение, что Рейтер, в общем, соврал, но с другой стороны. Скорее всего, такие разговоры были. То есть, это логично просто, это вытекает из логики момента. И даже если мне прямо сейчас не говорили, они будут скоро говорить об этом. И вообще, в моделях сейчас. Везде всплывающий айсберг, то есть, допустим, какие-нибудь кодовые агенты, они были недостаточно хороши, недостаточно хороши, все плевались, а потом... Все ими стали пользоваться, какой-нибудь. Модельки для анализа защищенности были недостаточно хороши, недостаточно хороши. В том, раз появляются Fable и Mythos, которые взламывают Пентагон, и всё у него хорошо, да, и FreeBSD. Вот и вот тут похожий момент в два этапа проходил с китайскими моделями. То есть сначала появился DeepSeek, и за рубежом вообще, за рубежом Китая, вообще заметили, что вообще-то говоря, в Китае есть модели, достойные того, чтобы на них смотреть. Вот, а DeepSeek уже вышла четвёртая версия, поэтому как бы там есть на что посмотреть. И он дёшев, в отличие от остальных моделей, он на самом деле дёшев и хороший. Вот, GLM, которая на уровне, ну, кто говорит Opus 4.8, кто говорит Opus 4.7, но никто его не сравнивает с более тупыми моделями, то есть, ну, реально. И вот эти вот подвиги по кибербезопасности китайских моделей тоже. Получается, что айсберг китайских моделей всплыл. Вот и теперь с ним придется жить. А еще, я вот это раньше не был, но в последнее время мне что в Opus, что в Fable, допустим, все время лезут китайские иероглифы посреди английского текста, хотя я по-китайски с ней не общаюсь. И это все наводит на мысль, что датасеты китайские тоже играют важную роль уже в обучении модели.

Валентин Малых 4:16
Я бы даже тут немножко в другую сторону пошёл. А сами по себе, может быть, датасеты. И не настолько важны. Ну, то есть, я думаю, что датасеты китайские, они все, которые можно было использовать и своровать, уже своровали. А вот самое важное — это дистилляция. Да, то, в чём обвиняют китайцев, мне так кажется. Я, конечно, свечку не держал, но у меня вот ощущение, что... Заокеанские коллеги вполне себе китайские модели тоже дистиллируют, потому что хорошие качественные траектории — это вообще говоря, ну, навес золота. Ну, я, может, немножко утрирую. Понятно, что они сильно дешевле, чем золото, но тем не менее. Эти самые траектории — это очень важная штука для того, чтобы получать всё более и более хорошие модели, а взять их можно, ну, по большому счёту, только в Китае, я имею в виду, для американских моделей. Как-то так.

Дмитрий Колодезев 5:13
Ну, это похоже на правду, да. Поэтому для меня-то главный вопрос по какую сторону этих железных занавесов останемся мы? То есть не хотелось бы остаться снаружи обоих.

Валентин Малых 5:28
Ну, тут как сказать, шансы есть, давай так скажем. Я вот по-другому тут не готов как-то сформулировать. Ну, у нас сегодня ещё будет повод это обсудить.

Дмитрий Колодезев 5:42
Сказать, что надежда умирает последней, что даже те, кому отрежут оба железных занавесов. Желтый и полосатый. Вот, всё равно на прошлые же и позапрошлые недели были совершенно прекрасные результаты по ансамблированию более слабых моделей и по доработке специфичных маленьких моделей. Там тоже айсберг всплывает. Вот, поэтому вполне возможно, что айсберг маленьких моделей тоже всплывёт, и он всплывёт за пределами железных занавесов.

Валентин Малых 6:18
Ну, это есть большой шанс. На самом деле, тут отдельный вопрос. Откуда будут браться вот эти маленькие модели? Да, то есть, если будет ограничен доступ, предположительно, то китайцы свои модели тоже перестанут давать на оружие, как кажется. Ну, посмотрим. Давай тогда дальше двигаться как раз по поводу этих самых железных занавесов. Тут вышел, наверное, совсем хорошее слово. Был принят в первом чтении закон по ОИИ. Мы в прошлом подкасте его упоминали, но здесь, наверное, чуть более подробно важный аспект. И важный аспект, на мой взгляд, заключается в том, что есть два типа больших фундаментальных моделей. Это суверенная и национальная. Я про них ещё тогда говорил, что я их путаю. Вот здесь вот чётко напишено, что суверенная — это модель, которая разрабатывается. Полностью контролируемо, да, то есть это все этапы разработки должны быть на территории РФ. Датасетов до конечных фонтюнов, то есть всё полностью, все промежуточные этапы. А национальная модель — это когда мы можем взять опенсорс и на его основе что-то подпилить напильником. Что именно подпилить напильником? Прежде всего, это тут даже где-то внизу есть про то, чтобы Соответственно, проверять на духовно-нравственные ценности. Сейчас это такая большая история про то, чтобы, соответственно, модели были в рамках этих духовно-нравственных ценностей. Ну, то есть, не говорили о том, что нам не нравится, и наоборот, говорили и о том, что нам нравится. И кажется, что это достаточно неплохо отсекает. Всякие внешние модели. Тут вопрос только в том, что если ты говоришь, что они закроются от нас, то тут получается, что наше государство закрывается от внешних поставщиков. Но тут надо сделать оговорку, что этот закон применим исключительно для так называемой «критической инфраструктуры». Ну, там для каких-то госучреждений, если по-простому. На самом деле, критическая инструктура гораздо шире, но нам сейчас это не суть важна. То есть, не имеется в виду, что там всех заставят пользоваться GigaChat, да, то есть, имеется в виду, что госорганы будут должны им пользоваться. Не обязательно только им, но пока у нас под понятие суверенны только он подпадает. И вот это, мне кажется, надо подчеркнуть, потому что про это много домыслов ходит.

Дмитрий Колодезев 9:15
Слушай, ну, во-первых, закон приняли уже не в первом чтении, во втором, в третьем уже. Этот закон принят. Он принят. Вот, просто с того момента, как вышла новость, его на заседании приняли в первом, втором чтении. А дальше есть Много технологий опубликованных статей добавления закладок в нейросети. И если у нас, допустим, работают правительства, если у нас работают органы обеспечения правопорядка, если у нас работает медицина или наука. То можно интересные закладки туда строить. Вспомним эту историю со Stuxnet. Закладка сработала там, где вообще никто не ожидал. Поэтому озабоченность государства вообще понятна. Государство, кстати, давно этим озабочено. Еще было до ковида, пытались. Институт системы информатики прорабатывал Stuxnet. Безопасный именно, чтобы его можно было использовать. Вот я вижу, для нас риск не очень большой, то есть те, кто поставляет в ГОСах. Что-то у IT самые большие деньги в банках и в госах. Вот поэтому, да, GigaChat, не так он, кстати, и плохо в своих каких-то этих, в своей отрасли, то есть для работы с документами, например.

Валентин Малых 10:58
Так что да, тут просто ещё раз хотел подчеркнуть, что никто не планирует заставлять пользоваться только GigaChat, а я имею в виду обычных людей. Да, то есть, если вы пользовались там Алисой какой-нибудь, то вы можете продолжить ей спокойно пользоваться, даже несмотря на то, что она на кве не сделана, никто вас не осудит.

Дмитрий Колодезев 11:19
Алиса получается национальная модель, а GigaChat — суверенная. И с одной стороны, это никого не коснётся, с другой стороны, это коснётся тех, кто берёт деньги у родины, а у родины через вторые или третьи руки берёт деньги почти весь IT. Поэтому на самом деле влияние будет достаточно большое.

Валентин Малых 11:44
Ну, оно просто будет обосредованным, да, то есть, скажем так, люди на улице про него узнают совсем не сразу. Я вот, например, понятия не имею, на чем сделан робот Макс на госуслугах, но при этом он прямо неплохо работает. То есть, он реально обычно может подсказать, если я что-то от него хочу, он достаточно быстро понимает. Это прямо здорово!

Дмитрий Колодезев 12:06
Слушай, мне иногда кажется, что он на регулярках работает. Ну, говорят, что вот работают на базе двух российских генеративных нейросетей. Вот, то есть мы возьмём все российские генеративные нейросети и, в общем, два от них отсчитаем.

Валентин Малых 12:30
Ну, собственно, получим достаточно понятную конфигурацию из двух пальцев.

Дмитрий Колодезев 12:35
Ну да, да, то есть оба два пальца. Поэтому я думаю, что тут тоже загадок особенных нет, что используется.

Валентин Малых 12:43
Но тем не менее, на мой взгляд, он реально неплох. То, что он работает на регулярках, я лично считаю достоинством, потому что регулярки как раз обеспечивают качество, как правило.

Дмитрий Колодезев 12:54
Я клевещу на него про регулярки, но просто иногда кажется, что, ну знаешь, общаешься с нейросетью, и кажется, что она тупит. Да, на самом деле, конечно, не нейросеть тупит, а ты тупишь, потому что если ты ключом в замочную скважину не попадаешь, то замочная скважина тут ни при чем.

Валентин Малых 13:10
Ну, тут относительно, на самом деле, да, то есть я бы тут хотел привести сравнение немножко из другой области. Все знают о том, что существует. Два вида бильярда, я думаю. Ну как, ладно, не все, но вот сейчас все узнали, да, что существует два вида бильярда, один русский, другой американский. И у русского Соотношение диаметра шара и ширины лузы, оно, скажем так, гораздо более сложное. Да, то есть шар почти точно соответствует ширине лузы, а в американском бильярде шар гораздо меньше, чем ширина лузы. И в этом смысле считается, что в американку играть проще, потому что тебе надо меньше стараться попадать в вузу. Но это не значит, что американка менее интересная игра, там просто играет немножко по-другому, с более сложными правилами. Да, а в русский бильярд правил попроще. Вот и всё.

Дмитрий Колодезев 14:09
Биллиард, кстати, я вот этого не знал. Я не биллиардный совершенно человек, но...

Валентин Малых 14:17
Кто-то по неосторожности зайдёт в какое-нибудь злачное место. Во время моей юности были бильярдные столы. Вот они бывают двух типов, да, с широкими лузами, с узкими широкими. Это для американского бильярда. Он отличается тем, что у него шары цветные, а у русского бильярда все шары одинаковые и белые. Ну, это так, мелочи жизни. Это я всё к чему, что... На самом деле, да, хорошо бы, чтобы модель тебя понимала, но и само собой, с твоей стороны тоже нужны какие-то усилия. Раз мы не покидаем тему. Использование моделей и их ансамблей. И сейчас пошел такой тренд, который назвали модел-максинг. Раньше был токен-максинг, когда все пытались токенами, соответственно, все закидать. А сейчас все решили, что токенами закидывать как-то стало довольно дорого, ну, после истории, когда там бюджет на год закончился за четыре месяца, и вот это все. Соответственно, здесь история про что? Что у нас есть. Модели, которые, вообще говоря, хороши в разном. И сейчас появляются уже отдельные специалисты, которые говорят, какая хороша, лучше для какой задачи. То есть у тебя сидит специальный человек, который выступает в роли роутера. На мой взгляд, это очень странная идея, но факт то, что такие люди есть. А если мы вспомним, на прошлой неделе Sakana представила свою Fuga, или это на позапрошлой было, неважно. Так вот, Fuga — это как раз про то же самое, да, когда, соответственно, задача направляется на ту модель, которая может её выполнить наиболее лучшим образом. Лучше — это не обязательно самый качественный, может быть, самый дешёвый, да, то есть минимально достаточное качество, которое при этом обладает минимальной ценой, например. Так что вот.

Дмитрий Колодезев 16:09
Про Sakana, раз уж мы её коснулись, было недопонимание. У нас в чате Капитанского мостика тоже обсуждали, что говорить про Sakana, если это просто роутер на моделями. Это не просто роутер на моделями. Насколько я понял из описания модели, Sakana. Фугу выполняет декомпозицию задачи, распределение вот этих подзадач на разные модели и агрегацию. То есть это сильно больше, чем просто перенаправление запроса в ту или иную модель. Вот, и это действительно красивое инженерное решение, потому что внутри большой задачи некоторые пункты совсем тупые, то есть тебе для них не нужно никаких мозгов. И может быть очень часто большая сложная задача, а в ней сложные только маленькие один пунктик. Ну и я думаю, что роутеры модели автоматически, но они и сейчас уже развиваются бурно. Роутеры с декомпозицией сейчас полетят, потому что некоторое время назад можно было позволить себе не экономить токены. Кто-то говорил, что давайте мы завалим многоагентными режимами. Я недавно, кстати, читал. Обзор там говорилось, что в среднем многоагентское решение на ту же самую задачу тратит в 160 раз больше токенов. Ну вот, да, и ну это видишь, это опять же, это где-то в огороде встали, при каком-то ветре и солнце померили. То есть сама по себе цифра, я думаю, очень относительная, но оно примерно совпадает с моим опытом, что два порядка ты легко. Получаешь дополнительные по затратам, при этом порядка по производительности ты не выигрываешь. То есть, ты выигрываешь, допустим, полпорядка, то есть в три раза. И соответственно, на два порядка увеличиваешь затраты по токенам. Вот, то есть там всё сложнее, то есть где-то можно использовать дешёвые модели в агентской, поэтому, собственно, их в таких количествах и жгут. Ну, в общем, вот. Так, сложно. Я думаю, что вот тут всплывёт ещё один айсберг, такое хирургическое перенаправление, хирургический роутинг, когда мы режем задачи на маленькие кусочки и отдаём что-то в Qwen 0.6, а что-то в Fable.

Валентин Малых 18:41
Да, мне, кстати, кажется, может, я не прав, что фугу как раз на Qwen 0.6 сделано. То есть она реально маленькая. Она, то что она может декомпозировать задачу, выглядит достаточно интересно в этом смысле.

Дмитрий Колодезев 18:56
Слушай, совершенно не в тему. Тут есть интересная статья, и я ей что-то так вдохновился, что практически на её базе продукт начали прорабатывать. Ну, то есть это пока внутренне технологическая нейрофункция. Представь себе, что у тебя есть сложная модель. Ну, ты пишешь план, типа, я хочу. Сортировать письма на срочные и несрочные по таким примерам. Вот, ну то есть, обычный такой промпт. Он кидается в сложную модель, сложная модель пишет по нему словами, как бы она это дело решала. Затем эта штука отдаётся в специальный нейрокомпилятор, он в статье так называется, который В результате порождает лору к Qwen 0.6. И у тебя получается маленькая исполняемая функция, которую ты на CPU без всяких GPU считаешь, и она делает одну простую задачу, то есть определять срочность письма, но зато она делает это с огромной скоростью. Вот. Воспроизводима и заменяема, понимаешь? То есть технология нейрокомпиляции. То есть там две сетки, одна декомпозирует задачу на мелкие, вторая делает из неё вот это, так сказать, дивчик. Вот, а в исполняемом у тебя Qwen 0.6, тот самый, стоит. Вот, очень красивое техническое решение, и я думаю, что это как раз одно из направлений. Если бы там товарищи сразу у него в стартап забабахали, чтобы они нейрокомпилятор у себя крутили. Но нейрокомпилятор крутится у них на модели 4B, на самом деле. Поэтому его можно и дома поднять. Ну, в общем, вот это вот я сейчас копаю, прямо интересно. Так что маленькие модели, они прямо сейчас, айсберг, это тоже всплывает, я слышу брызги.

Валентин Малых 20:53
Да-да-да, ну маленькие модели начали всплывать ещё год назад, но пока не всплыли, да, то есть они начали появляться, какие-то первые такие признаки. И похоже, да, я думаю, что к следующему году они станут прямо основным инструментом. Так что посмотрим, посмотрим. Ну, я к чему? Что у нас большой, большие модели, ну вот типа той модели Sol, да, вот. GPT, ну в смысле, это PNI. Она же какая-то просто невероятно большая, да, то есть мы не знаем, сколько у ней параметров, но можно предположить, что порядка десяти триллионов, да, то есть она какая-то прям супер большая, супер огромная, нужны какие-то бесконечные виселительные мощности, чтобы она могла вообще на них оборочаться. А большинство задач вообще решается сильно более маленькими моделями без каких-то сложностей. Раз уж мы заговорили про OpenAI, тут они выпустили GPT Live. Прежде чем мы это начнем обсуждать, я тут хотел, наверное, вспомнить, что первый такой крупный, скажем так, модель, которая Для людей стало доступно это был GPT-4o, который омни, и он тогда уже умел разговаривать голосом. Это тогда людям просто было такой вау, что вообще, то есть сносило крышу, учитывая, что вообще говоря, сама технология распознавания речи и порождения речи, причём. Со скоростью real-time и выше она, вообще говоря, ну, как бы существовала к тому времени уже несколько лет. Причем несколько — это может быть даже в полдесяти. Но вот то, что это было объединено с большой языковой моделью, и когда тебя GPT непосредственно с тобой заговорило, да, это для многих стало довольно серьезным открытием. А тут они сделали что новое, они, соответственно, сделали то, что Добавили к тому, что было. Ещё возможность так называемый full-duplex, да, но вот это как мы по телефону разговариваем. Мы сейчас с тобой стараемся как раз half-duplex говорить, то есть чтобы, когда я говорю, ты молчал, да, чтобы. У нас было комфортно слушателям это воспринимать, но в реальной жизни люди так не разговаривают. Люди разговаривают так, что другу постоянно перебивают, и вот это перебивание — это одна из довольно сложных штук, которую сложно было реализовать. И, по-моему, кстати, чуть ли не Sakana что-то на эту тему тоже предлагала, как это сделать. Точно предлагали другие люди, но конкретно Sakana я подзабыл. И в общем, сейчас вышла JPP Life, которая модель, судя по всему, объединяет в себе. Две модели, ну, тут они, собственно, про это говорят, что есть одна модель, которая непосредственно занимается звуком, да, то есть она умеет понимать голос и порождать голос. И если нужно, за рассуждениями она обращается в GPT-5.5. То есть есть большая, прямо огромная, ну, не самая огромная, 5.5, всё-таки поменьше модель, которая делает рассуждения, а потом есть маленькая модель, которая делает озвучание.

Дмитрий Колодезев 24:17
Слушай, ну кто-то показывал как раз пример, возможно, это были Sakana, модели, которые отвечала в реал-тайме, и там... Техническая проблема — это не в том, чтобы модель распознала голос и ответила, а в том, что когда мы... Обычно разговариваем. У нас, во-первых, между фразами нет лагов. То есть, нет такого, что я поговорил, модель ушла. Во-вторых, модель может в какой-то момент, пока я ещё говорю, решить, что надо что-то сказать. То есть, нам... Мы не можем дождаться паузы в речи, отправить на распознавание, что-то сгенерировать, и дать у нас будут слишком длинные лаги. А в-третьих, вот допустим, я сказал, ты сказал угу, и для этого мы должны, ты должен синхронно процессить. То, что я говорю, то есть прямо в тот момент, когда я говорю, ты должен что-то по этому поводу думать и генерировать, не дожидаясь. И это вообще не укладывается в то, как мы обычно работаем с языковыми моделями. Вот, и Sakana как раз тогда придумали, как с этим жить. Вот и это опять же о направлениях инноваций. Sakana не китайцы, но тоже Азия. И очевидно, что вот этот подход, он был, ну, мне кажется, что Sakana повлияло на то, как они это дело проектировали.

Валентин Малых 25:45
Да, я прямо уверен, что они повлияли. На самом деле, Sakana тоже этот подход не изобрели. Да, они его продемонстрировали очень удачно. Это небольшие молодцы, тут вопросов нет. Но изобрели его другие люди, в общем-то, ну и сама по себе. Одно существует, да, что можно и с перебиванием делать, и всё. Я говорю, что сама технология существует довольно давно, ну, как минимум с года, с двадцатого, я думаю. А вот то, что её сейчас смогли объединить, то есть перекрутить синий, синий изолентой к этому ещё. И большую языковую модель, которая реально большая и может выдавать сложные рассуждения, вот этого не хватало. Тут, кстати, надо немножко отскочить в сторону, немножко рассказать про технологии обработки речи, потому что я думаю, что не все в курсе наших слушателей. У нас, я имею в виду, у всего человечества. Технологии обработки речи, они на самом деле сейчас дошли до того, что они используют большие языковые модели. То есть там долго-долго сопротивлялись. Комьюнити там стояло за свои модельки, на RNN, кстати, если кому интересно. А потом, соответственно, сдались и стали использовать трансформеры, а потом и уже стали адаптировать. Языковые модели, но, как правило, все эти языковые модели голосовые, они маленькие по нашим меркам. То есть они порядка одного миллиарда. Да, там кто-то, Microsoft что ли, делал модель на семь миллиардов для голоса, но это уже немножко другая история. То есть модель для голоса больше, там, семи миллиардов, кажется неоправданна, потому что она начинает как раз тупить. И именно поэтому встаёт вот такой вопрос, как мы сможем в маленькую модель запихнуть большие мозги. И вот было предложено использовать эту идею синхронной обработки, которая, в общем, существовала, но придумали, как объединить одно с другим. Вот это вот круто. Слушай, а в Whisper какая LLM? Ой, слушай, я тебе врать не буду. Мне казалось, что у них там просто трансформер, то есть у них LLM там нет, но я могу врать на самом деле.

Дмитрий Колодезев 27:51
Я так говорил, стало интересно. Ну, прикольно. Я думаю, что синхронная обработка речи, полный дуплекс, это то, что как раз сделает эти интерфейсы человекоподобными по-настоящему. Потому что в полудуплексе мы всё равно говорим как с холодильником, то есть сказали, помолчали, ответили.

Валентин Малых 28:15
Ну да, я согласен, что там никаких как бы нормального диалога так не получается. В реальной жизни диалог устроен по-другому, поэтому надо приближаться к тому, как люди разговаривают между собой. По-другому не получится в этом смысле. Я сейчас пока, вот мы разговаривали, посмотрел на Whisper. Насколько я вижу, всё-таки у них своя модель. То есть, вот она у них самая большая, была вроде бы полтора миллиарда параметров, но это вот свой трансформер обученный.

Дмитрий Колодезев 28:49
Ну, просто, опять же, для тех, кто Не совсем, не пробовал совсем этим возиться. Нам же надо не только распознать конкретный звук или слово, зачастую длинный контекст, то есть, что я говорил перед этим, оно определяет, какое здесь слово стоит из сходно звучавшихся или какая буква здесь стоит. То есть, когда мы говорим, мы на самом деле имеем историю распознавания, и эта история влияет на то, что мы сейчас прямо услышим. То есть мы буквально слышим то, что хотим услышать, и ЛМ-ка внутри аудио модели, она, собственно, это и делает.

Валентин Малых 29:28
Тут можно погрузиться в такую кратенькую экскурс. Распознавание речи примерно полчасика, но если в двух словах, то там. Есть, соответственно, две части. Обработка непосредственно звука — это то, что называется «сигнал процессинг» по-английски, да, то есть обработка сигналов. А вторая часть — это языковая модель. И довольно логично было, что если там есть языковая модель, ну давайте вставим туда. Всё-таки большую языковую модель, да, LLM, и тогда будет там счастье. Ну, то есть, счастье в каком-то смысле наступило, но в смысле качество улучшилось. Сказать, что это прямо до конца наступило, нет, потому что вот смотри выше, совсем большую туда запустить нельзя, потому что медленно. Вот надо было придумывать какой-то костыль. Продолжаем про модели, и у нас На этой же неделе вышла модель Grok 4.5 от SpaceX и xAI с Cursor. Объявили, что это их первая совместная разработка, вроде как. И они, соответственно, показывают, насколько они хороши. То есть, они показывают, что. Grok 4.5, вообще говоря, очень даже неплохо, почти такой же хороший, как GPT-5.5 и Fable, но чуть-чуть похуже, да. Но он лучше, чем Opus 4.8, но похуже, чем остальные. То есть, помнишь, мы с тобой разговаривали, что кажется, что xAI тогда ещё xAI. Выбыл из гонки больших сетковых моделей, но, как видим, не выбыл. Да, то есть, видимо, инженеры Cursor достаточно хорошие, помогли им создать вот эту вот свою модель, которая на уровне ну почти на уровне фронтирных моделей, а может, там чуть-чуть хуже. И это, на мой взгляд, довольно серьёзное достижение.

Дмитрий Колодезев 31:31
Я видел потрясающий совершенно график. Я его сейчас не могу найти, где сравнивалось количество. Токенов потраченные на решение задачи и в том, что, допустим, Grok так на программных задачах лучше Opus 4.8. Я, если честно, сильно сомневаюсь, то есть как-то вот отзывы не такие, но по тому бенчмарку получалось, что они тратили больше, чем на порядок, ну меньше, чем на порядок токенов, то есть. В десять раз меньше? Да, в десять и более раз меньше на решение задачи. Вот, и тут мы как-то обсуждали бенчмарк, где решение задачи стоило не в токенах, не в процентах, а в долларах. То есть, сколько долларов мы платим за решение той или иной задачи. И вот в этом бенчмарке, вроде бы, как игрок всех побеждает, но тут. Я его сам ещё не пробовал. Это вот я просто пересказываю то, что, так сказать, пересказываю с плетней.

Валентин Малых 32:42
Ну, посмотрим. Я, честно говоря, тоже его не пробовал. Ну, и ну, тут может какое-то моё предубеждение, да, то есть я пока не воспринимаю его как достаточно серьёзного игрока. То есть мы у себя внутри, конечно же, смотрим всегда на топовые модели, OpenAI, Anthropic. Сейчас стали смотреть на топовые китайские, но вот в этот пул пока игрок не попал. Да, то есть он всегда довольно сильно отставал. Может быть, он сейчас прокачался, посмотрим. Может быть, меня результаты замеров переубедят. Будем посмотреть. У нас сегодня много новостей про модели, и вот ещё одна новость от компании Meta, запрещенной территорией Федерации. Они выпустили. Модель MuseSpark 1.1 Я когда, честно говоря, пропустил, когда MuseSpark 1.0 был, но из интересного ты просто начал говорить про стоимость, и тут где-то мне казалось, есть замер стоимости, где-то внизу. И по этому замеру стоимости получалось, что вот эта вот MuseSpark, она какая-то очень хорошая. Может быть, это не прямо здесь, а где-то в другом месте, но в общем, ладно, это надо поискать. В двух словах. Она получалась какая-то супер дешевая, да, то есть она по качеству почти такая же хорошая. Ну вот если посмотреть на какой-нибудь, ну вот тут прямо сейчас на слайде определенный набор бенчмарков, и мы видим, что в целом она вполне себе сравнима по этим бенчмаркам. Но при этом она ещё получалась сильно дешевле. То есть, вот это было довольно важно. И раз она сильно дешевле, то поэтому её, в общем, довольно разумно использовать для разных нужд. Было бы, если бы она не была запрещена у нас. Вот как, ну, тут надо сказать, что они нас тоже запрещают, так что тут у нас как симметричная ситуация.

Дмитрий Колодезев 34:52
Ну, прикольно, на самом деле, что все выпускают модели, и у всех, все на бенчах всех побеждают. Да, поэтому бенчи сейчас такое ещё, если я правильно понял, из той таблицы бенчи они Побеждают на агентских бенчах, а агентские бенчи настолько сильно зависят от обвязки, как модно говорить, харнасы. Что у меня большие сомнения в воспроизводимости этих результатов, то есть насколько они устойчивы, точнее, к афортиусу. То есть сравниваем ли мы модель или конкретно вот программно-аппаратный комплекс. Вот, а в целом, да, ну мир очень быстро развивается, и всякие экстремисты тоже делают хорошие модели, хотя от них этого никто не ждал.

Валентин Малых 35:46
Слушай, у них же был большой скандал, мне кажется, в конце этого года. Я забыл, честно говоря, когда конкретно. У них был большой скандал на тему того, что они разогнали предыдущую команду, которая вот сделала Llama. И как раз набрали новых людей, которые делают вот этот вот Muse. И вот те люди, которых они набрали, похоже, всё-таки не зря свой хлеб едят, и они стали делать что-то интересное. То есть я полностью пропустил MuseSpark, но MuseSpark 1.1 выглядит прямо вполне себе достойно.

Дмитрий Колодезев 36:19
Кун тогда от них ушёл, и была замена команды как раз. Вот, ну, прикольно. На самом деле, эту историю я тоже помню, да, что они... Сначала всех увольняли, потом набирали за какие-то совершенно сумасшедшие по меркам рынка, даже американского, деньги, и потом как-то притихли. И понятно, что любая серьезная модель с нуля, она делается не за месяц. Да, то есть, и вот если они как раз тогда притихли, то сейчас они и должны были что-нибудь разумное сделать, да.

Валентин Малых 36:54
Да-да-да, ну я тут даже вот этим не особо удивлен. Я удивлен, что при этом Грок выстрелил, да, то есть Грок вообще не ожидали. Но вот он, тем не менее, появился.

Дмитрий Колодезев 37:06
Интересно, сколько в общей сложности людей эту индустрию двигает? То есть, ну сколько, десять тысяч или то во всем мире, сколько примерно?

Валентин Малых 37:15
Я думаю, что 10 тысяч — это прямо, ну, ну, тут вопрос, как мы определяем. Ну, то есть, всего в области разработки языковых моделей, я думаю, 10 тысяч даже не работает. То есть, я думаю, меньше. Следующая история тоже про модель. Модель теперь уже от Tencent. Она хитро называется Hunyuan, но она на самом деле изначально Hunyuan. И Hunyuan — это в переводе первооснова, да, то есть у меня там в комментах пришёл знаток китайского языка, и она объяснила, как оно переводится правильно. Соответственно, вот это вот Hunyuan на самом деле они сами по себе существуют достаточно уже давно на рынке, ну как относительно давно. То есть я первый раз про них услышал год назад, чуть больше. Не так давно они выпустили свою модель для машинного перевода, но это полный трансформер, то есть энкодер и декодер. А сейчас они выпустили свою большую языковую модель, опенсорсную, которая вот здесь вот интересна. Которая обладает размером 300 миллиардов, 295 если точно. И при этом она по качеству почти такая же хорошая, как GLM-5 II. То есть у нас получается, что из этого можно сделать два вывода. Во-первых, можно с помощью более маленькой модели сделать почти всё то же самое, если правильно это делать, читаясь, дистиллировать. А с другой стороны... Как мы видим, коллеги из Китая сравниваются с коллегами из Китая. И то, что происходит по другую сторону Тихого океана, их уже не так интересует. У них своя свадьба. И вот это, на мой взгляд, второе важное замечание, которое здесь можно сделать. Собственно, здесь есть замеры, можно посмотреть, и они сравниваются. Да, они сравниваются с Клодом, но в основном они сравниваются именно со своими моделями, я имею в виду из Китая. И так что вот такие вот интересные замечания здесь есть.

Дмитрий Колодезев 39:34
Они сделали модель меньше, чем топовые американские. Они выложили её под лицензией даже Apache, а не какой-нибудь просто открытый. Превосходят GLM 5.1 и отстают от GLM 5.2 в кодинге. Вот, и при этом у них 21 миллиард активных параметров, но они орлы просто, просто орлы.

Валентин Малых 40:03
Да-да, я согласен, то есть они прямо красавцы в этом смысле.

Дмитрий Колодезев 40:10
Ну, то, что они сравнивают китайцы с китайцами, но какой смысл им сравнивать уже с американцами, когда они делят уже не столько мировой, сколько свой рынок начинает они делить на своем рынке? Надо сравнивать со своими.

Валентин Малых 40:27
Мне кажется, что они, ну, как бы, свой рынок они делили уже давно, а тут, как мне кажется, это как раз про другое. Это про то, что они уже не рассматривают американцев как конкурентов, то есть, типа, мы первые, а вы там как хотите. То есть, вот что-то такое, я вижу.

Дмитрий Колодезев 40:44
Ну, а ещё знаешь, что возможно, что с американцами труднее бенчмаркаться сейчас. Ты такой запускаешь бенчмарк, и тебе говорят, ой, дистиллятор.

Валентин Малых 40:54
Да-да-да, как неудачно получилось. Ну, кстати, в бане, да, в бане, как бы неплохо было сходить. Я про другое, что ты упомянул про Apache. Дело в том, что вообще Apache сейчас индустриальный стандарт для всех моделей, то есть все модели открытые, они под Apache выходят. Я не помню ни одной другой модели, которая бы выходила не под Apache, честно говоря. Ну, ну, ну, ну, кому он нужен, давай по-хорошему, да, то есть, ну, он и тогда-то не был фронтирным, а сейчас он уже просто... Никого не интересует от слова вообще, хотя надо отдать должное. Falcon, если кто не знает, выпустила команда G42. Это команда, которая на деньги правительства Арабских Эмиратов пытается делать свою языковую модель. Сама по себе идея очень крутая, да, то есть то, что они сделали такую ставку, это они большие молодцы, безусловно. Но вопрос в том, что вообще, говоря, происходит в мире, так сказать. Да, то есть, кажется, что Falcon даже в Аранских Эмиратах не взлетел, потому что были новости, что они там используют ChatGPT для всех нужд, ну, там, для госучредителей, для всего на свете. А если он не нужен у себя дома, то кажется, что он больше, в принципе, нигде не нужен.

Дмитрий Колодезев 42:18
Наверное, я не думаю на самом деле, что китайцы прямо так. Они бенчмаркаются с американцами, в частности, сами GLM-то они с Fable вполне себя сравнивают. И когда говорят про Как то, насколько модели способны взламывать секьюрити, там тоже они с Mythos бенчмаркаются. Но. Для большинства людей. GLM-5.2 — просто экономически более целесообразная история. И они говорят, смотрите, вот мы. GLM-5.2 бьём везде, кроме кодинга, допустим, а в кодинге мы его не бьём, но по цене бьём тоже. Ну, как бы, то есть они оптимизируют тут не только качество самой модели, но и инференс. То есть у нас есть некоторый Парето-фронтир, и модель не обязательно должна быть самая крутая. Иногда она может быть достаточно крутая, просто самая дешёвая на инференс.

Валентин Малых 43:28
Ну вот, да, мне кажется, что именно к этому всё идёт. И когда ты говоришь про ансамблирование и про маленькие модельки, это всё в эту же сторону работает. Да, то есть самая крутая, фронтирная модель, она нужна для того, чтобы решать какие-то не алгоритмизуемые сложные задачи. Ну, то есть, какой-то кусок этих задач, конечно, чтобы все она не решит. Но тем не менее, если мы хоть как-то можем специфицировать задачу, понятно, что нам выгоднее обучить какую-то модельку делать эту задачку, и пусть она её, собственно, успешно и делает. Вот мы все к этому идём, как кажется.

Дмитрий Колодезев 44:04
Слушай, я вспомнил одну восточную фирму, которая на должность разработчика нанимала людей с PhD, а потом удивлялась, почему их разработка не идет. Ну, в Новосибирске был филиал этой фирмы, сейчас есть.

Валентин Малых 44:24
Нет, я понял про какую-то фирму. Я это прекрасно понял. Я тут не совсем понял, что сказать хотел.

Дмитрий Колодезев 44:30
Ну, тоже для разработки кода нам, в принципе, в случае не нужен. Нам не нужна такая модель, нужны совсем другие навыки.

Валентин Малых 44:42
Это вопрос, скорее, творческого применения регуляций, которые выполнены, выпущены в другой части света. Это некоторое отдельное искусство, которым не все владеют. Я бы так стимулировал.

Дмитрий Колодезев 44:57
Вот тут я согласен с этой формулировкой.

Валентин Малых 45:02
Обещаю, что это будет последняя новость про модель на сегодня. Про новую модель. В принципе, конечно, про модели новости будут. Но история здесь такая, что Сбер, про который мы вначале сам говорили, выпустил свой GigaChat 3.5. И что интересно, он тоже относительно маленький. Если кто-то помнит, GigaChat 3.1 был, он 700 миллиардов параметров, 702, по-моему. А соответственно... Гигачат три с половиной ультра, да, ну вот характерная картинка, он четыреста тридцать два миллиарда, то есть он в полтора раза меньше, почти два. И при этом по качеству даже лучше. Тут, по-моему, есть сравнение с самих собой и всё такое. И поэтому это довольно здорово. То есть они тоже идут в то, чтобы делать более хорошую, но меньшую по размеру модель. То есть это вот ровно та же история, что Тенсент, но теперь уже с... Новости из наших родных Палестин, в смысле из России. Так что я считаю, что, во-первых, коллеги из Сбера большие молодцы, и они, во-вторых, следуют общим традициям мировым. И, в-третьих, посмотрим, насколько она реально хороша. Мы пока ещё не успели её потрогать. Вот будем разбираться с ней тоже.

Дмитрий Колодезев 46:33
Ну, кстати, она на Hugging Face лежит, насколько я помню. Да, и один из разработчиков архитектуры GigaChat 3.5 гибрид, ги-гибрид, вот, возможно, у нас будет на «Капитанском мостике».

Валентин Малых 46:50
Ну, это здорово, будем рады пообщаться, конечно.

Дмитрий Колодезев 46:53
Ну, хорошо на самом-то деле, то есть, видишь. Во время, когда с двух сторон ставят железные занавесы, то, что с нашей стороны. Заборы растут такие клёвые модельки, вообще-то хорошо. То есть, к GigaChat, когда он появился, было принято относиться снисходительно. Но вообще-то говоря, а тут та же самая история, что с кодовыми агентами. А давно ли вы пробовали GigaChat? То есть, ну да, GigaChat то, GigaChat всё, а кто его пробовал-то недавно? Я пробовал недавно, он, кстати, был очень неплох.

Валентин Малых 47:28
Ну, как сказать, мы, скажем так, его не пробуем, да, но мы с ним конкурируем. То есть мы же делаем свою модель, и мы просто по необходимости конкурируем с коллегами. И, ну, я бы сказал, что это достаточно непросто. Да, то есть конкурировать с коллегами довольно сложно, прямо скажем.

Дмитрий Колодезев 47:50
Я не конкурирую с ними, но в общем, скорее, скорее, наверное, да.

Валентин Малых 47:57
Продолжая тему моделей, ну, будем переходить уже к harnessам. Тут, на мой взгляд, очень понятная новость, что Anthropic следила за пользователями Claude Code с помощью тайного трекера. Ну, тут немножко всё преувеличено в плане сложности, но... Идея там очень простая, что Клод Код дополнительно к просто непосредственно тому, что он отправляет. Да, то есть он отправляет. Какие-то запросы на свой сервер, да, он к этим запросам просто дополнительно пишет всякие добавочки, в которых примерно описываются ваши координаты, что вокруг вас видно, да. То есть, ну, в общем, достаточно простые вещи, которые очень легко собрать. И, в общем, я нисколько не удивлен, что Claude Code это собирает и отправляет. Утверждается, что это как раз для того, чтобы избежать того самого дистиллирования, про которое мы сегодня упоминали. Но по факту, как мы понимаем, что это просто обеспечивает, если нужно, контроль за всеми, кто пользуется Claude Code.

Дмитрий Колодезев 49:06
Ну да, кстати, вот эта вот иллюзия у многих, что если вы пользуете прокси-сервером, Claude Code через прокси-сервером или через VPN, то внезапно Anthropic не знает, откуда вы работаете. Ну, если хочет, знает.

Валентин Малых 49:24
Он, может быть, ничего пока с этим не делает, да, но если надо, то сделает. Поэтому вот эти все пляски с бубном для того, чтобы получить доступ к Клоду из России, они, в общем, Имеют некоторую относительную сходимость, в том смысле, что не всегда, прямо скажем, работают. И когда надо, просто их можно спокойно отрезать, просто потому что, ну, скорее всего, понятно по вашим запросам, откуда вы их сдаёте.

Дмитрий Колодезев 49:55
Да, поэтому вот у нас, допустим, политика внутри контора конторы использует либо внутренние модели, либо GLM 5.2.

Валентин Малых 50:07
Да-да, вполне понимаю, почему так. Так что, на мой взгляд, здесь ничего удивительного, но просто если у кого-то были иллюзии, я надеюсь, что они сейчас рассеялись. Следующая новость про железо она заключается в том, что Мы, кстати, это обсуждали, но мне кажется, с месяца назад, поэтому не грех повторить. Идея в чем? Что если помните, вот где-то лет шесть назад, может чуть больше, был бум майнинга, да, то есть каждый майнил у себя на кухне. Были огромные дата-центры для майнинга, которые строили в том числе в Иркутской области, где самое дешевое электричество, или в Норильске, где тоже дешевое электричество, и при этом охлаждать ничего не нужно, у вас и так прохладно. Соответственно, это тогда было супервыгодно, собственно, поэтому все этим и занимались. Если кто не знал. Я думаю, что тут, кстати, не многие знали, это такая почему-то не очень известная информация, но примерно. По-моему, 50% мощностей, может быть, даже больше, чем 50, но 50 точно, процентов мировых мощностей по майнингу было сосредоточено в Китае на тот момент. И это к вопросу, откуда у них столько дата-центров. А соответственно, сейчас мы пришли к тому, что искусственный интеллект стал выгоднее, чем... Майнинг биткоина, и, соответственно, майнеры переключаются с майнинга на ИИ, потому что по большому счету инфраструктура очень похожая, да, то есть то же самое большое энергопотребление, те же самые стойки с серверами, но при этом, соответственно, нагрузка просто другая, которая требует какой-то, ну, даёт большую отдачу. Ну и вот здесь один из производителей. Ну, они и сами поставщики инфраструктуры, и, по-моему, и вот не помню, сами не майнят или нет, но это не важно, что вот этот вот Terawulf, он раньше поставлял оборудование для майнеров, сейчас поставляет оборудование для ИИД-этоцентров, и заключили контракт аж на 19 миллиардов долларов за следующие 20 лет. Вот с Anthropic, это важно, да, то есть Anthropic докупает, где может.

Дмитрий Колодезев 52:32
Ну, помнишь, какое-то время назад мы рассматривали, сколько генераций у нас в стране, сколько генераций вводится. Я ещё тогда говорил, интересно, кто кого сборит, кит или слон, как быстро я отъезду. Мощности майнинга, потому что на самом-то деле майнинг вот у нас в стране съедал официально в полтора раза больше, чем все другие дата-центры, не про ИИ, а вообще все другие дата-центры. И соответственно, самый очевидный кандидат на выбывание это Майнинг, то есть его можно законодательно прижать, его можно с ценой манипулировать. То есть, если нужно много энергии для вычисления мощностей, то всегда есть вот такая возможность для маневра. И похоже, кому-то эта мысль, кроме меня, тоже в голову пришла.

Валентин Малых 53:27
Слушай, так она не только тебе пришла в голову, это правда, в том смысле, что это и в Китае поняли, и у нас тоже поняли. И вот как мы видим, в США тоже стали что-то подозревать. Только везде механизмы разные. Да, то есть, если в Китае там с этим борются одним способом, у нас пытаются законодательно ограничивать, а вот в США через создание более выгодных условий для ИИ, что в общем-то тоже вполне понятно.

Дмитрий Колодезев 53:53
Я к этому отношусь так, что даже генерация котиков всё-таки в долгосрочной перспективе полезнее биткоины, хотя тут, конечно, есть разные.

Валентин Малых 54:04
! Да, я тут не то чтобы разделяю такую позицию, но я считаю, что криптовалюты интересны именно как инструмент платежа, а не для майнинга. Но это моя позиция, я тут никому её не навязываю.

Дмитрий Колодезев 54:19
Да, опять же, мы тут недавно обсуждали, что внезапно, путём небольшого регуляторного воздействия, майнеры стали одним из крупнейших держателей американского внутреннего долга. Так вот, как-то так, стоит стейблкоинный, и, в общем, да, чудные дела стали.

Валентин Малых 54:45
Ну да, так оно и происходит. Да, то есть, поначалу ты никому неизвестный, соответственно, покупатель электричества, да, может быть, даже немножко приворовываешь, а потом раз уважаемый человек, как бывает. Следующая новость тоже от «Anthropic». Провели очередное исследование. Я знаю, что многие прямо очень любят исследования от Anthropic. Я этих восторгов не так сильно разделяю, потому что я обычно не очень понимаю, зачем вся эта история нужна. То есть, вот эти все визуализации меня лично не особо впечатляют. Но, тем не менее, так как много народу про это разговаривает, про это можно тоже поговорить. История в чём? Что они, применив специальный метод, да, матопарат, там, Jacobian какие-то посчитали от чего-то, и получили, соответственно, способ представления того, что есть внутри LLM, и обнаружили, что у LLM есть. Краткосрочная память, да, то есть есть такое место, в котором она хранит те слова, которые хорошо бы использовать или не обязательно использовать, но хорошо бы иметь в виду, когда ты будешь говорить следующие слова. И они там показывают, что если вот это вот это вот специальное пространство занулить, то она начинает хуже разговаривать. А если отслеживать, то видно, что она скажет следующее. В чём польза вот этой вот истории я не очень понимаю, но в целом достаточно интересно, да, что мы этого не хотели, но оказалось, что... Мозг человека или млекопитающих устроен достаточно похоже, с некой областью рабочей памяти. К тому, как устроен LLM. Что я имею в виду, что мы не хотели этого в том смысле, что... Вообще говоря, вот эти вот мода на увлечение. нейроморфным всем на свете, да, то, что компьютер представляет в себе мозг, она, кажется, прошла там какое-то время назад. Я не буду утверждать, какое, потому что она периодически возвращается. Может быть, сейчас она опять вернется. Но в целом, LLM, ну, на мозг строится вообще не похоже, да, то есть ничего общего между мозгом. И LLM по строю и по структуре нет, и обучаются они совершенно непохожим образом, но тем не менее. Есть такое понятие конвергентной эволюции. Видимо, LLM, в силу того, что мы от нее требуем примерно того же, что требуем от реально существующего мозга, она стала представлять из себя нечто похожее. На эту тему хочется немножко вспомнить. Есть такой термин. Carcinization, по-моему, если я правильно его произношу, меня, надеюсь, поправят в комментариях. Это про то, что природа периодически создает крабов заново. То есть, есть примерно, по-моему, шесть абсолютно никак не связанных между собой родов животных, которые... По виду абсолютно крабы, но они не имеют ничего общего там на уровне предков типа на несколько миллиардов лет назад. То есть они вообще никак не связаны или связаны примерно так же, как мы с этими крабами. Но при этом они, ну, крабы как крабы. И вот здесь то же самое. Да, то есть у нас есть штука, которую мы заставляем работать как мозг, и она, ну, начинает работать как мозг, и даже внутри тоже в каком-то виде выглядеть как мозг.

Дмитрий Колодезев 58:15
Ну, история-то не столько в том, что они нашли куски сети, которые сильнее всего прямо сейчас влияют на текущую генерацию. Собственно, вот это буквально. То есть мы берём и сеть украсим в цвета. Чем сильнее вот этот конкретный вес влияет на всё остальное, тем мы её арчекрасим. Вот это говорим. Смотрите, вот эта часть у нас сейчас и работает. Речь тут о другом, Anthropic всё время. Ну, хочется сказать, заигрывает, скажем так, жонглирует идеи, сознания, модели. Что вот у них даже есть такая штука, что вот когда модели наконец станут совсем сознательные, они прочитают всё, что Anthropic в интернете публиковал, и скажут, ай, молодцы! Вот, то есть это буквально официальная позиция, если кто не знал. Так вот. Вот тут они нашли сознание. Почему они, ну, как бы сознание, почему сознание? То есть представим себе, что у нас есть дети, и каждый играет в свою игру. Но время от времени какой-то выбранный случайно или ткнутый воспитательницей пальцем он начинает всем остальным рассказывать, во что он сейчас играет. И остальные дети это как бы учитывают. Вот и дети меняются. У нас то один ребёнок рассказывает, то другой. А за стенами этой комнаты мы слышим только рассказ вот этого текущего ребёнка. Которая модель Global Workspace, сознания, она говорит о том, что вот то, что мы считаем нашим сознанием, это вот этот рассказ, который мы слышим из-за двери. То есть у нас есть куча мыслительных процессов, ну, скажем, не мыслительных, когнитивных. Но какой-то из них мы прямо сейчас вытащили на сцену, и он... Моделирует остальные, то есть он остальным говорит, как им правильно играть. Вот именно этот процесс они и увидели внутри модели. Мне лично кажется, что они тут чуть-чуть передёргивают, потому что по построению это найти можно где угодно. Но, конечно, статья красивой иллюстрации, огонь!

Валентин Малых 1:00:33
Не, они вот в плане представления информации, они просто молодцы. Надо признать, очень интересное чтиво получается и зажигает сердца, прямо скажем. Есть о чем подумать. Всё так. Следующая новость, на мой взгляд, супер важная, хотя, может быть, не все со мной согласятся. Вот я сейчас, наверное, покрупнее открою график. Предыстория заключается Что с 2000 года процент всех научных публикаций в мире, это важно, всех не по ИИ, а вообще в мире, которые исходят от ученых из Китая, составляет треть, ну там даже больше трети, на 24-й год. Да, то есть это было уже по состоянию полтора года назад. Сейчас я подозреваю, что цифра еще увеличилась. Судя по тренду, а соответственно, сейчас они пришли к тому, что обсуждают, что вообще говоря, вся вот эта внешняя история с публикацией во внешних журналах. Тут не сказано про конференции, но я думаю, что конференции тут будут точно такие же, учитывая историю про New Rips. То тогда, соответственно, какой смысл публиковаться во внешних источниках, если можно публиковаться внутри? А почему? Потому что предполагается совершенно не безосновательно, что публикации во внешних журналах, вообще говоря, ведут к утечкам технологий. Это абсолютная правда. И в целом, просто все исходят из того, что ну а что там такого может утечь? В конце концов, наука вся единая, и она ничего как бы скрывает друг от друга, нечего. Но это представление, оно базируется на достаточно наивном. Понимание того, как устроена наука. Я вот у тебя в канале, собственно, имел эту дискуссию. Наука, она не по... Посредственно зависит от экономики и базируется на экономике, так как у нас последние там 30 лет была. Глобальная экономика, то глобальная экономика, соответственно, приводила к тому, что и наука глобальная, то есть все можно было бросать в общий котел. Так как сейчас экономика США и Китая становится всё более и более отрезанными друг от друга, ну, довольно логично, что надо и науку тоже потихонечку разводить.

Дмитрий Колодезев 1:03:06
В какой-то момент английский язык был важен ученым, потому что большую часть статьи публиковали на английском. То есть, если ты хотел быть в теме, ты вынужден был читать на английском. И если ты хотел, чтобы другие знали, что ты в теме, ты вынужден был писать на английском. Вот. И в восемнадцатом году, как я начал китайский учить, я в восемнадцатом году... Слушал, конференция там была в Байдине и в Пекине. Треть докладов там не переводили на английский. Это первый случай был конференции. То есть они просто на китайском, потому что всё равно никто, кроме китайцев, этой истории тогда не интересовался. Вот я подумал, ага, надо, думаю, заняться этим. Потом спустя несколько лет ещё подтормозил и начал учить китайский. Вот, то есть история-то в том, что знаешь, как говорит, вы думаете, что это вы меня закрыли, нет, это вас закрыли со мной, то есть. Китайцы сейчас производят большое количество статей. Часть из них, конечно, мусорная, как и везде, но часть очень-очень крутая. И для того, чтобы отрезать остальной мир от этих статей, им достаточно перестать их переводить на английский. То есть, конечно, есть переводчики и так далее, и тому подобное, но всё равно. Это будет огромный барьер для американских учёных и для наших.

Валентин Малых 1:04:37
Хочется сделать два замечания. Во-первых, замечание номер один. Я уже как-то упоминал про это, но лишь мне будет ещё раз напомнить, что в Китае существует свой arXiv, China arXiv он называется, на котором статьи на китайском языке, и их там реально дофига. Там понятно, что большая часть статей, как ты правильно сказал, не пойми что, но так на arXiv большая часть статей в принципе не пойми что, так что это нормально совершенно. И есть очень даже крутые вещи, которые в другом месте просто не найдёшь. И это как раз подтверждает Вететис. А по поводу английского языка. Собственно, как английский стал доминирующим в научном мире, там была довольно простая история, что было, в общем-то. После Второй мировой войны два доминирующих языка — это русский и английский. Но в США поступили очень мудро. Они просто стали тратить деньги, огромные и государственные, на то, чтобы все статьи, которые можно было достать из Союза, переводить на английский язык. Ну и, соответственно, все остальные могли к этим статьям получить доступ через английский язык. В государстве такое делать не стали. Я думаю, что просто по причине ограниченности ресурсов. И, в общем, таким образом, когда СССР распался, статьи на русском языке стало практически следовые количества. Они есть, конечно, но с тех пор очень мало. И все стали писать на английском. Я подозреваю, что мы подходим к концу этой эпохи доминации английского языка. Что будет, я не берусь сказать. Может быть. У нас машинный перевод станет настолько хорош, что все будут спокойно читать статьи на другом языке с помощью машинного перевода, в чем я немножко сомневаюсь, но мало ли. А может быть, ну вот у нас будут какие-то замкнутые контура. В каждом своем, в своем языке будет вариться.

Дмитрий Колодезев 1:06:29
Я много читал переводных, и даже Nature я читал переводной через полгода после того, как он вышел. По компьютер-сайенсу. И у меня вот есть книги шестидесятых годов по динамическому программированию, по линейному программированию, Данцига и так далее. Их переводили сразу как только они попадали в открытый доступ на русский язык, издавались. Была целая серия, и издательство Мир этим занималось. Вот, то есть история работала в две стороны, просто с той стороны тянули сильнее, поэтому перетянули.

Валентин Малых 1:07:01
Да, так и есть, да. Но мне кажется, что сейчас как раз. Начнет рваться и в этом месте тоже. И, ну, то есть оно уже рвется, просто мы этого пока не осознали. China arXiv, я думаю, из наших слушателей смотрел один я. Ну, может быть, кто-то еще там. Отпишитесь, пожалуйста, в Mattermost, кто еще смотрел China arXiv, кроме меня. Вот и там уже много всего. Я думаю, что это как минимум надо иметь в виду и какие-то меры в эту сторону тоже предпринимать. Следующая новость довольно интересная. Так исторически сложилось, что я имею достаточно плотные связи с университетом ИТМО. И у меня оттуда много очень хороших студентов. И вообще там Петербург — это здорово. Кто не был, пожалуйста, приезжайте. Очень красивый город. Соответственно, в ИТМО есть сейчас довольно большая движуха по ИИ, то есть сейчас самая крупная магистратура по ИИ онлайн в ИТМО, я имею в виду в России, конечно, и там очень много вообще в целом всего вокруг ИИ происходит именно в ИТМО. Там не одна магистратура, если что, там их много. И вот они решили объединиться с Selectel, который тоже изначально питерский провайдер. Да, это сейчас провайдер облачной инфраструктуры. Один из самых крупных. Самый крупный, по-моему, это, по-моему, Cloud.ru. А Selectel, по-моему, на втором или третьем месте я врать не буду, но где-то в топ-5 точно. И вот они решили. Сделать совместное предприятие для развития E-сервисов. То есть они будут тоже делать свою агентскую платформу и вообще всяческие агентские штуки, где экспертизу по E будет предоставлять, соответственно, ИТМО. Инфраструктуру будет представлять Selectel. По-моему, совершенно прекрасная идея. Я не знаю, что там взлетит или не взлетит, но я, в общем, очень рад за ИТМО и за Selectel, потому что и те, и другие, на мой взгляд, очень неплохой бизнес в целом ведут.

Дмитрий Колодезев 1:09:14
ИТМО большие молодцы. И вообще вот эта история, когда у нас образовательные учреждения и отрасль коллаборируются, чтобы делать что-нибудь такое передовое прямо вот на фронтир, это...

Валентин Малых 1:09:34
Есть то, как оно должно работать. Ну, так технически работает, допустим, какой-нибудь MIT. Да, то есть, MIT объединяется с крупными корпорациями. Я не помню, там, по-моему, есть отдельное здание от IBM, да, например, и всякое такое.

Дмитрий Колодезев 1:09:49
Стэнфорд и вот это Кремниевая долина или Силиконовая долина, ну, посмотрю. С какой стороны посмотреть? С какой стороны посмотреть? Да, вот она же тоже про эту историю. То есть у нас есть образовательные ресурсы и есть коммерциализация. Все вот эти академгородки, они строились с этой же историей, что вот у нас есть какой-нибудь вуз, например, какой-нибудь МФТИ или какой-нибудь НГУ, да, и около него есть лаборатории, где можно что-нибудь делать прямо вот такое живое руками. Не у всех получилось хорошо. Но другого пути, наверное, нет. То есть мы не можем всё бросить на индустрию, мы не можем всё бросить на образование, они должны друг с другом подружить.

Валентин Малых 1:10:39
Ну, кстати, мой родной физтех в этом смысле тоже идет в эту сторону, не совсем так, как это сделал ИТМО. Но немножко по-другому. То есть сейчас Физтех получил достаточно большие земли. В Долгопрудном, на которых планируется, соответственно, возведение разных лабораторий, разных совместных предприятий, что важно, да, то есть совместных предприятий с различными индустриальными партнерами и все всякие стартапы. Тоже планируется делать. То есть, в этом смысле действительно пытаются завести у себя стартапы, да, к чему было призвано Сколково. И даже из Сколково что-то получилось, кажется, не в том объеме, в котором хотели. Но теперь стали делать ставку в разных местах, да. Делать ставку на одно Сколково как-то это всё-таки перебор. А сделать ставку сразу на несколько мест — это вполне себе разумно и здорово, что сейчас всё-таки индустрия пошла договариваться с вузами, потому что, ну, на мой взгляд, это всё-таки довольно важно.

Дмитрий Колодезев 1:11:38
Чтобы ещё что-нибудь за Уралом бы происходило такое. Ну так НГУ, нет? НГУ старается.

Валентин Малых 1:11:46
Не, ну, я согласен, что лучше бы побольше. Кажется, что... А, тут недавно, кстати, была история, что Сбер совместно с УрФУ будет делать пока лабораторию, но, может, глядишь, что-нибудь ещё сделают. Так что, в принципе, что-то происходит, хотя, конечно, хотелось бы на порядок больше. Тут я с тобой соглашусь. Да-да-да, всё так. Всё ещё хочу выразить своё восхищение Sakana. Сколько раз я на них смотрю уже последние года полтора и прямо. Коллеги просто совершенно интересные вещи делают, которые не первый раз меня удивляют. Сам по себе Translate на самом деле ничего такого, то есть кто бы кто только Translate не делал, да, то есть в смысле переводы, переводчик есть на нашей бронике у Яндекса. Мне кажется, что на нашем рынке больше крупных переводчиков нет, но в принципе рынок переводчиков поделен. Да, то есть какое-то время назад, лет семь назад, выстрелил вот этот вот DeepL, немецкий совершенно внезапно, но больше никого нового я не помню на этом рынке. А вот тут Sakana решили попробовать, и они это решили попробовать с помощью LLM, то есть они используют. LLM, видимо, свою вот эту самую Fugu для того, чтобы лучше, лучше работать с переводчиком. И я уже какое-то время назад заметил, мне кажется, уже больше года, что люди стали использовать ChatGPT для переводов, хотя это имеет свои негативные стороны, ну и позитивные тоже, да, то есть максимально. Понятно, можешь словами объяснить, что ты хочешь, чтобы тебе перевели, чтобы как это выглядело. Поэтому люди используют. А вот здесь, мне кажется, что они как раз в эту сторону двигаются. И это прекрасно. Кстати, заявляют они переводчик на японский, китайский и корейский между собой, а также английский.

Дмитрий Колодезев 1:13:45
Слушай, Sakana Translate — это первый переводчик, который прошёл мой, простите, шип-тест. То есть, я просил перевести. Фразу «What kind of shit is going on?» туда и обратно. И смотрел, что получалось. Вот и Google Translate. И все другие переводчики, которые я пробовал, они после перевода на китайский и назад ты получаешь текст. Ну и после перевода на китайский ты получаешь текст. Что именно, что конкретно прямо сейчас происходит, буквально вот такое. То есть, эмоциональная составляющая, которая в китайском тоже есть, вот она утрачивается полностью, а Sakana — нет, Sakana сохраняет эту штуку.

Валентин Малых 1:14:30
Ну, тут отдельный вопрос, насколько это чистый эксперимент. Не осталось ли это где-то в истории, и оно его подтянуло, например. Но в целом хорошо, молодцы!

Дмитрий Колодезев 1:14:42
Нет, она переводит, она не возвращает то же самое назад. Буквально, что за ад творится тут? Достаточно точная передача.

Валентин Малых 1:14:52
Ну да, да, то есть это по крайней мере похоже на исходную эмоцию. Это действительно прикольно. И я не сомневаюсь, что это вполне себе востребованный продукт, учитывая, что Sakana демонстрирует довольно интересные результаты. Я думаю, что эта штука тоже вполне может заработать, на самом деле. Так что вот это к вопросу о научных статьях. Да, то есть, может быть, мы перейдём к тому, что научную статью может быть писать на родном языке, да, а потом уже переводить на какой-нибудь другой язык. Ну, в смысле, кто захочет, переведёт его на свой для того, чтобы прочитать. Если помнишь, был такой рассказ «Цветы для Элджернона». И там маленький эпизод. Я, кстати, всем рекомендую его почитать. Грустная книжка, сразу предупреждаю, но она того стоит. И вот там был эпизод, что когда Элджернон возвращается к своей учительнице и пытается с ней общаться, после, соответственно, События. И он говорит, так вы что же, не читали статьи там на итальянском и на немецком? Как же вы знаете, что вообще происходит в вашей области? И тогда это было актуально. Да, сейчас, например, в науке больше и больше. Ну, там 99% всего есть по-английски. Сейчас уже не 99, сейчас, наверное, может быть, 90% всего есть по-английски. А в какой-нибудь стоматологии меня это в своё время удивило, что топовые стоматологи, они читают, например, По-итальянски, потому что итальянский язык внезапно Для стоматологической отрасли очень важен. Это для меня было удивительно, но оказалось, что действительно там передовые разработки по стоматологии есть на итальянском. Кстати, насколько я знаю, на японском тоже. Про японский не знаю, сколько там японские читают, но я подозреваю, что на японском тоже разумно уметь читать, если хочется знать что-то такое про стоматологию. Так что не английским единым, как известно, да, учить языки это довольно важно. Тогда я предлагаю переключиться на последнюю новость. Последняя новость у нас прекрасная. Робот-доставщик Яндекса врезался в автомобиль и скрылся с места ДТП. Ну, как бы, дело-то в России происходит, понятно, как бы, совершенно не удивительно. Вот, ну, кроме шуток, это довольно важный прецедент. Да, то есть у нас робот действительно по-настоящему врезался в машину и, кажется, оставил какие-то следы. То есть он там то ли поцарапал, то ли что-то. И что важно, оказалось, что там есть Соответственно, страховка у этого робота, которая, собственно, покрывает его ответственность. Да, то есть у нас уже сейчас в реальной жизни есть страховка, которая покрывает ответственность робота, и это прямо сейчас уже полностью. Ну, в рамках правовой процедуры. То есть, фактически, мы можем ожидать, что с начала двадцать седьмого года у нас вполне могут ездить беспилотные автомобили, потому что чем технически беспилотные автомобили отличаются от такого робота? Только тем, что у робота внутри еда, а у автомобиля внутри вы. Это вот единственное отличие. И в этом смысле мы уже, считай, фактически сейчас опробуем те механизмы, которые у нас станут актуальны вот завтра.

Дмитрий Колодезев 1:18:16
Ну, интересно, лишили ли робота прав, потому что, ха-ха, для чего ли?

Валентин Малых 1:18:21
У него права, понимаешь, было бы ничего мешать после чего-то, блядь.

Дмитрий Колодезев 1:18:25
Слушай, для человека, который скрылся с места происшествия, впоследствии довольно-таки серьезные. Все, конечно, да, робот скрывается с места происшествия. В удивительное время мы живем.

Валентин Малых 1:18:39
И понимаешь, оно наступает всё быстрее и быстрее, что всё более удивительно, на самом деле. Да, будем надеяться, что всё с нами будет хорошо и с вами тоже. Так что всем спасибо, что слушали и подписывайтесь на всех площадках, где нас видите и слышите. У нас есть подкастные площадки, у нас есть ВК-видео и YouTube. И пожалуйста, приходите в Матромост, мы будем рады с вами там пообщаться, присылайте новости, давайте комментарии. Так что вот, наверное, на сегодня всё. Пока-пока.