Капитанский мостик - 3 | Дмитрий Колодезев

20.07.2025
13.08.2025
выступления

Записали с Валентином Малых третий выпуск подкаста "Капитанский мостик" про искусственный интеллект, будущее и все такое

Площадки

Содержание

00:00:00 вступление
00:00:46 Малайзия запретила вывоз GPU в Китай
00:03:20 но nVIDIA хочет экспортировать в Китай
00:07:20 LG строит свои фабрики чипов
00:09:55 Kimi K2
00:17:25 OpenAI не выпускает модели
00:36:31 увольнение из OpenAI
00:49:49 кнопочная Nokia с DeepSeek
00:54:11 двоеточие ломает ChatGPT
01:01:18 MCP сольет вашу базу
01:04:09 Cursor помог украсть деньги
01:08:17 ChatGPT меняет наш язык
01:13:14 ИИ-ролик от DeepMind
01:19:03 гаишник остановил беспилотный автомобиль

Ссылки

Валентин Малых 0:00
Всем привет! С вами, как всегда, Валентин Малых и Дмитрий Колодезев. Мы делаем очередной подкаст «Капитанский мостик», и прежде чем мы начнём, я хотел бы сегодня сказать, что, так сказать, воспользоваться служебным положением и сказать, что мы в нашу команду ищем человека на Vision Language Models. Подробности есть, что в Маттромосте, что у меня в канале. Пожалуйста, посмотрите, и если что, приходите, будем рады вас видеть. Вот, ну а теперь начнём.

Дмитрий Колодезев 0:32
Ну, я тебе скажу на самом деле, что работать с Валентином, наверное, было бы очень круто. Если бы я уже не работал, я бы тоже попробовал туда попасть, поэтому рекомендую.

Валентин Малых 0:44
Ну, слушай, может быть, всё ещё может быть. Значит, первая новость про Малайзию. Малайзия ввела ограничения на транзит ускорителей. Ну, по-постому говоря, GPU и NPU, которые имеют американское происхождение, читай практически все, за исключением некоторого числа, которые делают в Китае. Ну, собственно, NVIDIA прежде всего имеется в виду, потому что остальные, насколько я знаю, никогда в Китае не продавались, хотя, может, я что-то не знаю. Кажется, что здесь, в общем-то, всё достаточно понятно. Малайзия стремится дружить с США и не хочет подвергаться вторичным санкциям. Может быть, ты что-то хочешь добавить?

Дмитрий Колодезев 1:29
Но тут на самом деле интересно, потому что из вот этих вот индокитайских стран, пожалуй, Малайзия и Индонезия, это самые интересные экономики. Вот, то есть они от американцев, безусловно, зависят, как всё, что имеет большой. Большую береговую линию, скажем так. У кого нет сухопутной границы с Китаем, тебе зависит от штатов полностью. Вот, но интересно, что они держались до последнего, да. Ну, кстати, им достаточно много контрабанды, насколько я знаю, в Китае идёт через Сингапур.

Валентин Малых 2:11
Ну, тут нужно отметить на самом деле, что, во-первых, Сингапур в прошлом часть Малайзии, во-вторых, в Сингапуре, по-моему, большинство населения этнические китайцы в Малайзии, я боюсь соврать, что-то от четверти до трети, по-моему, как-то так. То есть, это действительно очень странно с очень большим китайским присутствием.

Дмитрий Колодезев 2:34
Ну, на самом деле, пусть расцветут сто цветов, как говорил Мао или Дэн Сяопин это говорил в том смысле, что на самом деле объявлять перевозку NVIDIA ускорителей контрабанда, это всё-таки, мне кажется, перебор. То есть они всё равно, пуля дырочку найдёт, они приедут в Китай всё равно.

Валентин Малых 2:59
Они, собственно, приедут в Китай, тут вопросов-то нет. Тут скорее в том, что они пытаются всеми силами. Так сказать, дружить, да, насколько у них это всё получится, это отдельный вопрос. Тем более, я тут предлагаю плавно перейти к второй новости. Она очень в тему, что... NVIDIA говорит, что США разрешает теперь уже поставку чипов в Китай, так что вот эти истории с Малайзией, может быть, особо и оказались не нужны. Но это уже тут история про внутриамериканские какие-то разборки. Я думаю, что Дженсен Хуанг прямо плачет в подушку от того, что миллиарды уходят мимо его кармана и, соответственно, очень хочет. Сделать так, чтобы ему снова была возможность продавать всё это добро в Китай. Вот. Я думаю, что вот в этом всё дело. Тут действительно интересно в связке с прошлой новостью, потому что Малайзия как бы запретила, а такой джангл-панк, а мы её не запрещали. А давайте снова. Вот.

Дмитрий Колодезев 4:05
Тут знаешь, что ещё интересно? А успевая. Обратили производственные мощности NVIDIA за заказами? Это хороший вопрос. Потому что тут говорится, что смотрите, им закрыли китайский рынок, но насколько я слышал, я не стою у них над кассой, что они, в общем-то, задерживают поставки на американский рынок, то есть они лимитированы. Вот, и вот тут возникает интересный вопрос. То есть, реально, ты их что-нибудь ограничивает? То есть, все эти танцы с бубном вокруг того, что им некуда продать видеокарты, или всё-таки это попытки? Штатов через крупнейшего производителя манипулировать китайской. по полупроводнику. Причём тут интересно, они, знаешь, есть такие самозатягивающиеся наручники, в которых, если стопор отключен, то ты двигаешь рукой направо, они затягиваются, потом двигаешь рукой налево, они опять затягиваются. То есть, что бы ты ни делал, они затягиваются. И вот выглядит как Любые попытки США пока до определенного предела, что бы они ни делали, они усиливают китайскую полупроводниковую промышленность. То есть они перестали поставлять NVIDIA, прижали, китайские полупроводники выросли, они вернут, они опять вырастут. В том смысле, что в данном случае мне кажется, что это идут попытки нащупать, как будет больнее.

Валентин Малых 5:42
Интересная мысль. Я, честно говоря, думаю в другую сторону. Мне кажется, что тут всё банальная человеческая жадность, связанная вот с чем, что Дженсен Хуанг. Если я не ошибаюсь, NVIDIA сейчас по капитализации номер один в США, осветительной в мире, и, в общем-то, терять рынок сбыта он категорически не хочет. Это одна часть. То есть ему запретили сбывать свои чипы в Китай. Ну, кстати, топовые чипы до сих пор не поставляются. Насколько я помню, в этой новости там сказано, что поставляются вот этот вот H20, который... Маленькие, да, которые ограничены, но тем не менее. Но суть в том, что на мой взгляд, всё выглядит следующим образом, что ему ограничили рынок сбыта, вне зависимости от того, сколько у него реально производится этих карт, чипов, чего угодно. Если рынок ограничен, значит, цены на этом рынке для него будут ниже, потому что он просто не сможет их продать за большие деньги. Соответственно, он хочет расширять рынок сбыта для того, чтобы получать больше денег. Я думаю, что вот здесь как минимум есть вот эта составляющая, просто банальной человеческой жадности, и она в данном случае смогла сломать вот политическую волю, хотя, опять же, не отрицаю, что может быть, ты прав.

Дмитрий Колодезев 7:04
Я думаю, что тут всего понемножку.

Валентин Малых 7:15
В сторону, опять же, производства чипов. Такая не совсем очевидная новость. Соответственно, LG, все, наверное. Уже забыли про такую компанию как LG в, по крайней мере, в нашем AI мире, да, в нашем пузыре информационном. Есть такая компания LG, есть у неё подразделение, кстати, LG AI, насколько я помню. Так вот, этот самый LG, они собираются нарастить свои Заводы своей мощности по выпуску чипов. В этой новости конкретно сказано про вот эту вот новую модную память HBM, которая многослойная. Но если я правильно понял, то они и сами по себе чипы пытаются тоже выпускать. То есть, как я понимаю, опять же, может, это мэй какие-то фантазии, но... LG, а в их лице, соответственно, и Южная Корея пытаются вернуть себе, ну не то чтобы лидерство, но кусочек этого пирога отгрызть для того, чтобы тоже на рынок AI, соответственно, успеть. Вот мне так кажется.

Дмитрий Колодезев 8:32
Ну, кстати, логичная память была хорошая всё время, когда её было много, они теряли рынок, но вообще-то говоря... Вполне на них это похоже. А ещё, смотри, тут опять же возникает рыночная возможность. То есть, если сейчас какие-то будут сложности между Китаем и США, вокруг Тайваня, то те, кто успели у себя хоть какую-то иметь промышленность, даже если просто упаковку, например, как Малайзия, кстати, которая. Корпусирует чипы. Вот и если уж свои совсем полупроводники, как Корея, ну в общем-то.

Валентин Малых 9:16
м

Дмитрий Колодезев 9:17
пожалуйста То есть, это прекрасно, да.

Валентин Малых 9:22
Ну да, если в какой-то момент жахнет, то, соответственно, где ты будешь брать? Будешь брать у корейцев, например. Тут я с тобой согласен. Ну посмотрим, как там было, как будут развиваться события, вновь покажет время, да, как говорили в моем детстве. Наверное, сейчас так говорят, я просто уже давно не смотрел. И на этой оптимистической ноте я предлагаю переключиться на другую немножко новость. Она связана как раз с Китаем. Происходит то, что, то, чего, в общем, наверное, боялись, и то, что пытались предотвратить вот этими вот запретами на железо. Соответственно, есть такая контора. Я не помню, или контора как-то по-другому называется, а модель называется Kimi. Честно говоря, я забыл. А, Moonshot AI, она называется контора, да, а модель, семейство модели называется Kimi. Они уже что-то выпускали не так давно, вот сейчас они выпустили модель Kimi K2, которая, ну там просто всех рвёт. Можно посмотреть, она прямо замечательная, лучше, чем OpenAI, лучше, чем Claude, ну где-то хуже, где-то лучше, но тем не менее. Не говоря уже про Grok и всё остальное. Вот, и из интересного, на мой взгляд, в этом Kimi то, что в ней аж триллион параметров. Триллион — это довольно много. Я ещё на, соответственно, лекциях, я периодически читаю лекции. В смысле, вот у меня курс. Осенью, кстати, будет ещё один. Кому интересно, приходите. Соответственно, я там говорю, что кажется... Что гонка размеров остановилась. Ну, судя по всему, я должен пересмотреть своё осуждение, и гонка размеров, видимо, продолжается, только немножко в другом размере, в другом, даже не размере, а в другом качестве. Теперь делаются не монолитные огромные модели, да, размером в триллион параметров. Данная конкретная модель триллион параметров, она ещё. Обладает вот этой особенностью, что у неё общее количество параметров не совпадает с активным количеством параметров. То есть это, ну, некоторое MoE, да, то есть это модель, которая только частично активирована. Что-нибудь хочешь сказать?

Дмитрий Колодезев 11:48
Ну, то, что идут MoE модели, это, собственно, отражение того, что их тащат в prod. Потому что иметь в prod не MoE модель с триллионом параметров, ну, довольно-таки грустно, да. Вот, а 32 миллиарда — это, в общем, вполне текущие технологии. То есть ты берёшь и разворачиваешься на любом, ну, как бы, активном нормальном железе.

Валентин Малых 12:14
Слушай, не согласен с тобой, извини, пожалуйста. Мне кажется, вот тут важно, потому что как MoE работает, ты всё равно должен в памяти держать вот эту боль.

Дмитрий Колодезев 12:25
Памяти, да, но у тебя, кстати, если возвращаться к, допустим, H20 картам. То они как раз с памятью-то там всё хорошо. По-моему, вот я могу путать, но по-моему, с памятью у них всё отлично. И она, по-моему, может даже и более быстрая, чем на вот тех оригинальных, потому что они чуть попозже. Я сейчас не помню, там были какие-то бенчмарки, что они неоднозначно хуже H200, они лучше на inference. Вот. Ну, собрать, опять же, распределённый inference, ну, много уже людей успешно этим занимается. То есть ты собираешь кластер, распихиваешь веса по карточкам по кластеру, то есть понятно, что ты не дома её inference, да, на своём.

Валентин Малых 13:19
Да, да, то есть на ноутбуке ты это не запустишь.

Дмитрий Колодезев 13:22
Вот, но вообще-то карты на триллион параметров, сетки на триллион параметров, были и раньше, ещё несколько лет назад. Google выпускал, и они работали не то чтобы очень хорошо. Вот, то есть. Несмотря на то, что параметров там было много, волос длинный, он короткий, то есть. Большое количество параметров просто позволяло им хуже сжимать датасет, то есть по большому счету. Сетки эти ограничены не столько количеством параметров, сколько тем количеством данных, которые в них удалось запихать, чтобы они их запомнили. Вот эти вещи две связаны. Ну, в общем, так и вот это, MoE, оно позволяет, помимо того, на самом деле, что оно позволяет быстро инференс, оно вообще-то позволяет. Экспертов заменять по отдельности, то есть ты можешь дообучать и заменять экспертов в принципе при известной упоротости.

Валентин Малых 14:23
Ну, ты имеешь в виду, что можно постепенно, как бы, обновлять модель. Слушай, я такое что-то... Я не говорю, что этого нет, я как-то вот на практике про такое не слышал. Надо, наверное, это как-то улучшить своё образование, да, расширить, потому что... Чисто теоретически я могу такое представить, но реальные работы, описывающие вот такой опыт, я не припомню. Соответственно, на мой взгляд, это всё-таки, несмотря на всю привлекательность, оно имеет определённые проблемы, потому что тот же самый MoE. Некоторое представление о том, ну как устроен MoE, если по-простому, да, у нас есть набор. Экспертов, да, такой набор кубиков, и у нас сверху есть роутер, который говорит, собственно, какого эксперта надо дёрнуть. И вот этот роутер, он по большому счету и является. А там вот этим, как раньше говорил. The Decider, да, то есть компетентным органом, который решает, соответственно, куда отправить данный запрос. И у него есть некоторое, ну, представление, да, если хочешь, которое он внутри содержит. Заменяя эксперта, ты как бы создаёшь несоответствие между представлением и экспертом. Вот у меня вот такая вот здесь выражение. Тут ты абсолютно прав, но есть одна деталь маленькая. То есть вот эта вот мысль про то, что учить заменять экспертов.

Дмитрий Колодезев 15:56
Она возникла давно, и она действительно не получила особенного распространения развития. А ровно потому что никому это было не нужно, то есть если ты можешь всё уместить. На 8, а 100, почему бы тебе этим париться? Ну, как бы, вот ты взял DiGi X. Воткнул туда, всё работает. И вот если же мы переходим на модели с необъятным для загрузки в одну машинку количеством параметров. Тут стоит Вопрос, а почему бы и нет? То есть, почему бы нам и не научиться это делать?

Валентин Малых 16:32
Нет, безусловно. То есть, как только возникает потребность, наверное, найдется способ как-то делать. Но, скажем так, я просто такого способа еще не знаю. Может быть, я не знаю, а люди, которые как раз, не знаю, в том же OpenAI работают, они его знают.

Дмитрий Колодезев 16:50
У меня попадались обсуждения, а реализации не попадалось. Тоже, в общем, напрашивается.

Валентин Малых 16:56
Ну, идея, да, понятная, но просто дело в том, что, знаешь, идея того, что давайте мы вместо того, чтобы, допустим, садиться в поезд, а потом трое суток ехать на нем, просто возьмем и телепортируемся, она тоже довольно очевидная. Но пока вот как-то не получилось. Я не говорю, что нельзя, но вот пока не получается. Вот как-то так я хотел высказаться. Ладно, на этой позитивной ноте опять же предлагаю переходить к следующей новости. Следующая новость у нас про упомянутый OpenAI, и здесь довольно интересно. На самом деле, вот эти разговоры периодически ходят. Ну, я имею в виду разговор про то, что OpenAI снова начнёт выпускать открытые модели. Мы, собственно, про это уже, кажется, говорили, что OpenAI был когда-то, сейчас он скорее LostAI, потому что последняя апенсорсная модель, которую они выпустили, это было сколько-то там лет назад, я уже, честно говоря, забыл. И... Тут история-то в чём? Что они в какой-то момент устами. Вот не помню, Sam Altman или кого-то другого из топов OpenAI. Соответственно, они обещали, что в ближайшее время выпустят какую-то Open Source модель. И там даже было Соголосование в Twitter, если ничего не путают, что-то вот такое было, что давайте выпустим. И, соответственно, они говорят, что давайте вот мы возьмем маленькую, сделаем мозговую модельку, выпустим. По-моему, их просили выпустить аналог O3 или что-то такое. Они сказали, да, окей. А вот сейчас они говорят, что ну типа, сорян, не получилось. Соответственно, OpenAI говорит, что нет, что-то мы как-то подумали. Мы считаем, что это будет небезопасно, неизвестно кто как, для чего это использует, и поэтому мы не будем так делать. Вот такая вот история. На мой взгляд, ну, во-первых, соображение безопасности. Откладывать, конечно, со всем в сторону нельзя, но на мой взгляд, это выглядит так, что в условиях кратно усилившейся конкуренции, да, то есть OpenAI там три года назад были буквально одни. Ну ладно, может, не три, но там пять лет назад это точно была ровно одна компания, у которой была большая языковая модель. А сейчас большие языковые модели есть уже и у того же Илон Маск, недавно появившийся игрок, мы его в прошлый раз обсуждали, и соответственно. Это прежде всего, конечно же, китайские товарищи, у которых есть DeepSeek, и теперь еще и Kimi. И в таких условиях тратить силы на Open Source кажется, что неразумно. Может, что-нибудь прокомментируешь?

Дмитрий Колодезев 19:45
Ну, в принципе, зачем им Open Source? То есть, вообще, для чего люди выкладывают в Open Source? То есть, допустим, Yann LeCun любит говорить про то, что Meta, которая у нас запрещена, она... Лидер Open Source и так далее. Но вот, если, наверное, помнят, откуда взялась Open Source LLaMA. То есть сначала утекли веса, а потом, после некоторого утупления юристов LLaMA, они сказали, да, мы её в Open Source выложим. То есть последовательность была такая.

Валентин Малых 20:21
Ну, может быть, я помню неправильно, но я помню немножко другое. Они выложили свою LLaMA, вот эту первую, которую. На Hugging Face под некоторой лицензией определенной. Да, там я не помню какая лицензия, ну там она, по-моему, так называется LLaMA License. И ты должен был принять эту лицензию для того, чтобы получить доступ к висам. И, соответственно, понятно, что в следующий, буквально там, по-моему, на следующий день, тут же появился торрент, с которого может было LLaMA скачать без всякого лицензионного соглашения. После этого они перестали заниматься ерундой и требовать от людей, соответственно, заранее подписывать соглашение в той всей явной форме. И просто говорят, что вот есть лицензия, используйте так в соответствии с ней, с этой самой LLaMA. И они, как кажется, может быть, я опять же здесь что-то плохо помню, но мне казалось, что они сознательно выходили именно с вот такой вот позиции, что мы за Open Source. Другой вопрос, зачем это было сделано? Да, то есть, почему они изначально за Open Source вышли? Но насколько я опять же помню те дела не столь уж давно минувших дней, история была про то, что тогда существовала конкуренция, то есть был OpenAI. Google уже, кажется, сделал свою Gemini первую, или тогда это Bard или что-то такое. Я уже забыл, что это, может, я что-то путаю, но, по-моему, это было как раз в это время. Вот Марк Цукерберг сказал, что мы будем делать по-другому. Мы принципиально против такой истории. Мы будем стараться, чтобы у нас, соответственно, была вот эта история. Про то, что мы за комьюнити, то есть он пытался продвигать Open Source. Ну, может быть, он, может быть, это был Yann LeCun, кто там за ним стоит. Я не знаю, кто-то решил именно, но они именно поставили себя в противовес, вот, ну как сказать, корпоративной Америке, сами будучи корпоративными. Не знаю, насколько это... Как бы, в чём там глубинный смысл? Ну вот сам факт того, что они первые, кто выступил за Open Source в этом плане, то есть они специально, сознательно выпустили свою LLaMA. Сначала вот так вот куцым образом Open Source-нули, а потом уже более конкретным. Но вот такое было.

Дмитрий Колодезев 22:45
Я нашел новость на батч от 15 марта 2023 года, когда оно было еще в процессе. И, в общем, сюжет с той точки зрения выглядел как 24 февраля Meta выложил LLaMA с разрешением с доступом для. Правительства, всяких неправительств и организаций через запрос и согласие в некоммерческое использование. Неделю спустя на Fosshub выложили веса. Вот после чего Meta начала, её начали люди выкладывать на GitHub и Hugging Face, а юристы Meta ходили и истребляли эти репозитории. То есть, они их давили. То есть, на самом деле, это не было запланированным решением. И потом, когда они, ну, вероятно, кризисная команда посмотрела, что случилось, и поняли, что заниматься отстрелом репозиториев — это глупо, а гораздо полезнее взять и вывернуть ситуацию наизнанку, сказать, да мы с самого начала так хотели. Вот, ну вот, в общем, тем не менее, интернет помнит много.

Валентин Малых 24:00
Да, интернет помнит много, особенно если ты пытаешься что-то оттуда удалить. Вот, эффект Стрейзанд, если кто не знает, назван в честь Барбары Стрейзанд, которая пыталась удалить из интернета какой-то неприятный ей снимок себя. И после этого данный снимок был, разве что, не на чайниках. То есть, он был практически везде и всюду. С тех пор, соответственно, стало понятно, что специально пытаться что-то удалить из интернета. Не стоит, хотя тут, кстати, стоит упомянуть. Про другое, да, тут. Немножко в другую сторону отойдём, а сейчас многие опасаются. Опасаются, что у нас, соответственно, в России, соответственно, закроют доступ за рубеж и опасаются они именно китайского сценария. Я имею доступ за рубеж, в смысле интерната, конечно, а опасаются именно сценария китайского интерната, который выглядит следующим образом, что В Китае, там можно, конечно, выйти на зарубежные сайты и что-то оттуда скачать, но это, скажем так, у дел крайне немногих. И в целом... Не особо кто туда ходит, то есть как минимум Google в Китае не работает, в Facebook, по-моему, тоже, хотя брать не буду. В общем, достаточно много привычных западных сервисов там не работает. Соответственно, у них внутри есть, само собой, какая-то бурная жизнь, там есть. Twitter WeChat — это, соответственно, вообще, я не знаю, у нас даже нет прямого аналога WeChat. Telegram сильно меньше по функционалу, чем WeChat. Но суть в том, что если, соответственно, есть какой-то человек, который Соответственно, ну как правильно сказать, да, становится неугоден партии правительству, то упоминания об этом человеке просто удаляются. Просторов китайского интернета, и поэтому люди, в которых обычные люди, они сохраняют скриншоты себе. Да, если что-то они увидели, они сохраняют скриншот у себя локально и потом, соответственно, могут делиться этим скриншотом. Вот такая вот история, и многие опасаются такого развития сценария. Я лично считаю, что это всё-таки маловероятно, что у нас в такую сторону пойдёт, потому что у нас Просто интернет наш внутренний довольно маленький, и полностью его закрывать по китайскому сценарию бессмысленно. Ну, нас потому что банально в десять раз меньше, чем китайцев. Давайте смотреть правде в глаза, поэтому не так это всё интересно. И вторая часть — это то, что у нас есть большая часть людей, которые живут. Как бы с нами в одном информационном пространстве, я имею в виду, ну смотрят новости на русском, читают те же самые Telegram-каналы, или там, не знаю, смотрят какие-то те же самые, тех же самых блогеров, но соответственно, при этом живут в какой-то другой стране, например, там в Беларуси, в Казахстане, есть ещё другие куча стран, где вполне себе много. Русскоязычных людей, и по этому принципу закрываться от них — это вообще как-то странно, а если мы не закрываемся снаружи, то закрываться изнутри тоже бессмысленно. Соответственно, история тут была про то, что... Действительно, вот есть такая история с тем, что можно попытаться из интернета что-то, ну и достаточно даже успешно, что-то вырезать. Да, вот Китай показывает, что так можно, но кажется, что в нашей векинформации всё-таки стоит работать немножко по-другому. То есть, есть два основных способа, как Как какую-то информацию. Неугодную убрать, да, либо ты, соответственно, её физически уничтожаешь, что, вообще говоря, довольно сложно. Да, то есть, хотя бы даже банально физические книги все собрать никому толком не удавалось, несмотря на все попытки. В той же самой католической церкви, да, в средние века всё равно книги оставались, и их продолжали читать и переписывать. А соответственно, другой способ — это создать ещё больше контента. Который потом будет ну просто переключиться внимание аудитории на него. И кажется, что вот этот способ, ну единственный рабочий, да, что человек не может интересоваться всем. Если ты создаёшь больше информации, то соответственно, вот ты будешь в эту сторону идти. Ты что-нибудь хочешь сказать, а то я тут уже пять минут разговариваю.

Дмитрий Колодезев 28:39
Ну, что ты скажешь, ты говоришь абсолютно правильно. Лист надо прятать в лесу. Вот, относительно моделей открытых, тут же ещё интересная вещь, что возможно, что Веса не выкладывают просто потому что это. Ну, сейчас выложить веса — это всё равно, что выложить датасет свой. Вот. И вот тут есть вопросы. То есть, может быть, кто-то опасается конкурентов, чтобы конкурентам не отдать датасет, а кто-то, может быть, и опасается вполне регуляторов. То есть, например, скажем, какой-нибудь Walt Disney или кто-нибудь ещё. Ходит и кричит, пожалуйста, на наших статьях, на наших текстах, на нашей копирайте учиться. Вот, но этого нет доказательств. Вот, будут открытые веса. Можно будет эти доказательства собрать и пойти подоить. Ну, то есть, помимо очевидных рисков, что какой-нибудь террорист возьмет модель и сделает из него биологическое оружие, которым это дело обычно мотивирует, есть же куча еще корпоративных всяких игр. Вот, и... Например, модели. Вовсю используются для обучения своей поверхности. Не будем указывать пальцем на отечественные компании, которые берут Qwen и обучают на них большую языковую модель, вполне успешно и хорошо. Вот, то есть, ну, в общем, может быть, поэтому, да. То есть, я думаю, что главная причина, почему они откладывают выпуск модели с открытым исходным кодом, потому что им это не нужно. То есть, они как бы для пиара, может быть, сказали, а так-то смысла в этом особенного им сейчас нет.

Валентин Малых 30:32
Нет, я тут согласен. Тут, кстати, стоит упомянуть, что был же какое-то время назад, ну, относительно небольшое, типа полгода. Скандал по поводу того, что на OpenAI подали в суд те же самые большие корпорации, по-моему, это может быть, Wall Street Journal, что-то такое, какая-то газета, я, честно говоря, забыл. И они требовали, соответственно, от OpenAI предоставить логи, и судья их обязал даже предоставить логи. Но как-то так получилось, что логи из сервера самоудалились. Так вот, случайно произошло, никто не знает почему, ну, бывает, мало ли. Это просто такая досадная случайность. В общем, как-то не удалось в тот момент OpenAI притянуть. Может быть, действительно, ты прав, что они опасаются, что после этого можно будет. Можно будет их доказать, что они что-то используют. Если, кстати, была не так давно статья, которая показывает, что какие-то достаточно короткие документы большие модели могут воспроизводить с точностью до 95%, если не ошибаюсь. То есть, действительно, они могут очень хорошо запоминать. Может быть, мы не хотели бы, чтобы они так делали, но объективная реальность такова, что они так делают.

Дмитрий Колодезев 31:45
Они их запоминают, просто они запоминают как семантику и прагматику, и вот.

Валентин Малых 31:54
Ну да, то есть ты как бы не можешь отделить запоминание от выведения каких-то более сложных конструкций. То есть по большому счету у человека это непонятно, как отделить, а уж в других местах какая-то вообще неразрешимая задача.

Дмитрий Колодезев 32:08
Да, но подход к большим моделям, как просто к сжатому датасету, он, по-моему, достаточно такой популярный. Вот, во всяком случае, степень сжатия считали и сравнивали. Были статьи, которые сравнивали именно степень сжатия датасета в разных моделях. Вот, поэтому...

Валентин Малых 32:31
Вот немножко в твою сторону, некоторое время назад была, ну как и сейчас, остается. Собственно, соревнование, которое называется NWiki 8 Ты, наверное, про него знаешь. NWiki 8 — это первый 10 восьмой байт из Википедии, англоязычный, и соответственно. Изначально это соревнование про то, кто лучше сожмёт вот этот текст. Да, то есть, как мы лучше всего можем сжать этот текст, заняв меньше всего места. А потом этот же датасет взяли и стали на нём мерить перплексию моделей, да, то есть модели. Насколько модель может предсказать следующее слово из датасета? И сейчас её добили до того, что, по-моему, там... Перплексия стала меньше единицы, то есть модель практически не ошибается и запоминает NWiki 8 целиком. Хорошо это или плохо, это какой-то достаточно отдельный вопрос, но вот сам факт, что мы можем. В общем-то, доказать, что модель запоминает большой объём текста, это точно. Я не помню, кстати, с картинками такое было, что они могут полностью воспроизвести какую-то картинку, но думаю, что что-то похожее тоже наблюдается.

Дмитрий Колодезев 33:50
В картинках был лик, например, в, по-моему, сетке, которая для распознавания лиц, там лица оттуда вытаскивали.

Валентин Малых 34:03
Да, серьёзно, ну да, тогда это большая проблема, конечно.

Дмитрий Колодезев 34:06
То есть, они там такие размытенькие, но картинки из обучающего датасета из сеток вытаскивали. Именно в распознавании лиц это была проблема, потому что там, получается, персданные утекали. Мне кажется, ну, тут я вот сейчас у тебя чистую спекуляцию скажу, потому что это за пределами моей профессиональной, так сказать, компетенции. Что вот этот вот последний всплеск успешного резонинга в моделях, он, в числе прочего, связан с тем, что в модели расставлены факты, и когда её болтает резонингом, она натыкается на большее количество фактов. То есть, сами по себе рассуждения особенного смысла не имеет, имеют. Значение длина, грубо говоря, длина траектории пролета между фактами. И вот она за это зацепилась, за это зацепилась. Есть статья интересная, в которой предлагают. Просят её просто выдать некоторое количество звёздочек, как можно больше. Чем больше звёздочек она во время резидинга выдаст, тем лучше итоговый результат. То есть ей не важно то, что она выдаёт, важно, чтобы она подольше пожужжала. Вот, то есть и вот. Да-да-да, и вот моя интуиция, что просто вот у нас есть, знаешь, как атомы расставлены в решетке, вот эти факты в модели, и она летит, и чем дольше она летит, тем большее количество узлов от тракторов она зацепится и намотает их на результат. Вот.

Валентин Малых 35:46
У меня здесь нет как-то однозначного суждения, то есть сама по себе. Метафора красивая, и действительно, про это говорили. Ну, тут и с другой стороны есть, на самом деле, вот немножко насколько это противоречит, сложно сказать, но есть достаточно большая такая линия исследования, как принято говорить, которая показывает, что можно заставить модели. Меньше думать, да, можно сказать, что вот у тебя ограниченный бюджет, типа вот сто токенов, подумай, и этого, как правило, достаточно. Если её ограничивать, качество не падает, а думать она может быстрее. То есть тут вот кажется, немного противоречит твоей гипотезе, но может быть, оно так и задумано, я знаю.

Дмитрий Колодезев 36:28
Она на то и гипотеза, я же не до конца в этом разобрался.

Валентин Малых 36:32
Так, новая новость. Ну, спросите за автологию. Это связано с OpenAI, который мы сегодня уже несколько раз упоминали. И это такое выходное интервью в каком-то смысле. Да, сейчас в компаниях принято делать выходное интервью, когда человек рассказывает свои ощущения о том, что было в работе, что ему понравилось, что не понравилось. Ну, в данном случае понятно, что это не интервью как таковое, это человек пишет свои мысли. Я, честно, кстати, к своему стаду не знаю, кто это такой. Кальвин Френч Квен, овен, sorry, квен — это уже у меня профессиональное искажение. Вот это вот. Вот этот товарищ Франчоуан, он, соответственно, написал. Что проработал в этой компании около года, то есть в мае 24-го пришёл, и где-то в июне 25-го он ушёл. И, соответственно, дальше он расписывает, ну, с одной стороны, очень простую и понятную историю про то, что вот там был небольшой стартап всего на тысячу человек, а тут стал огромной корпорацией на три тысячи человек. Ну, я специально утрирую, но тем не менее. А, соответственно, дальше он расписывает достаточно интересные вещи. В частности, он говорит, что У них ставилось во главу угла. Ну, если так, опять же, продолжать утрировать какой-то хайп. То есть, если кто-то что-то написал в Твиттере такое прям прикольное, давайте мы все туда ровно. Ровно все и пойдём, и из его слов получается, что OpenAI действительно, как бы сознательно не имеет стратегии, а они двигаются там от. Одного успеха к другому успеху, не более того. Да, то есть, ну или уже этого, в принципе, и достаточно, но тем не менее, что они говорят, вот у нас есть вот такая вот история, да, там, не знаю, вот он сам участвовал в разработке кодекса, давайте мы все его будем делать, и... Такое приложение для кодирования, в смысле для написания программ, нужно. Давайте мы его будем делать. Он там пишет, что три-четыре команды делают что-то похожее. И потом, соответственно, это всё привело к тому, что вот один кодекс выбрали. Но правда, там ничего не сказано про то, а что, как бы, другие команды, которые не... Ну, как бы, не выиграли в этой гонке, что с ними происходит. Тут я, кстати, хочу сразу сказать, что когда я работал в Huawei, там примерно такая же история. Именно в Исследовательских проектах, что обычно две, иногда больше команд делают одну и ту же задачу. Ну, она немножко по-разному формулируется, но по сути она одна и та же. И, соответственно, они соревнуются между собой неявно, да, то есть никто не рассказывает. Вот, кстати, вот это вот. Товарищ тоже пишет, что соответственно, там тоже кругом секретность в OpenAI. И вот в Huawei тоже такая секретность, тебе тоже никто не рассказывает, кто ещё что делает. Ты можешь сам случайно узнать, что кто-то делает похожую на тебя задачу. И соответственно, после того, как кто-то выигрывает, твоя работа оказывается не то, что никому не нужна, но, скажем так, задвинута на дальнюю полку, и ты начинаешь действовать В стезе тех людей, которые сделали что-то более успешно, хотя, конечно, если ты воиграешь, то ты молодец. Вот, может, ты что-нибудь прокомментируешь.

Дмитрий Колодезев 40:06
Ну, а тут смотри, тут говорят, что вот статьи буквально написано, что Не стоит думать про OpenAI как про единый монолит, да, то есть чуть-чуть ниже там написано. Но, во-первых, про любую большую компанию так можно и сказать. То есть, например, мои знакомые, которые работали в Яндексе, говорят, «Ну, Яндекс — это не одна компания, это много компаний внутри с совершенно разными корпоративными культурами». Да, то же самое говорят про Сбер, то же самое про Google и, в общем. Нет, в этом ничего странного, потому что либо ты управляемый, либо ты монолитный. То есть, если бы компания размером со Сбер была бы во всех своих исследовательских вещах абсолютно одинаковая, ей было бы очень трудно управляться. Она бы не смогла быстро реагировать, и она может. Вот. А с другой стороны, вот когда большие корпорации начинают Большую движуху, то есть, когда они двигаются по рынку и по технологиям со страшной скоростью, они все вот так себя ведут. То есть, как стартовал Facebook, например, да, а какие-то вещи делались в Google, вот, а как какие-то штуки делались в Яндексе, когда он был молодой, то есть, ну. Везде вот так. То есть, ну, клёво, что у них есть такая возможность. То есть, всегда это всё кончается. Потом, когда у них кончается рост в разы, начинается рост на проценты, приходит менеджмент, и начинает всё это дело организовывать и приводить в порядок. Ну, клёво, радостно за людей, что они могут пока так. То есть, до тех пор пока.

Валентин Малых 41:56
Как я так прочитал, может, я и совсем неуверно понял, но прямо в начале он пишет, что раньше было так, а теперь стало не так. Видимо, менеджеры уже пришли.

Дмитрий Колодезев 42:05
Ну, это нормальная история, потому что до тех пор, пока дети играют и неосторожными движениями выбивают по 200-300% рыночной стоимости, ну, клёво, лучше их не трогать. Вот когда дети начинают расти на 20-30%, вот тут нужна твёрдая рука взрослого. Это всё, вот так бизнес устроен.

Валентин Малых 42:26
Ну, в целом, я с тобой полностью согласен. Тут один аспект, который я хотел затронуть и потом вернуться к твоей фразе, которая меня зацепила, это про то, что у них всё происходило в Slack. Да, типа, до сих пор всё происходит в Slack, и, типа, всего 10 имейлов получил за целый год. На мой взгляд, это интересно. В общем, я пытаюсь вспомнить что-то подобное у меня было ВКонтакте. Ну, ВКонтакте тоже. Тут нужно, кстати, разделить. Есть ВКонтакте, который ВКонтакте, который дом Зингера и которого Дуров основал в то время. Вот я про него говорю сейчас. Там действительно такая же была история, что всё происходило, как ни странно, ВКонтакте. Да, то есть всё общение строго ВКонтакте происходит, все чаты, вся переписка ведётся. Именно в внутреннем мессенджере, ну вот в общениях, а имейлы — это что-то такое из разряда, не знаю, там отчет по командировке отправить, и то с отчетами по командировке обычно добрые девушки помогали, и там вообще никаких с этим проблем не было. Но меня тут заинтересовала на самом деле твоя фраза про то, что Большая компания, неважно какая, подставьте любимую. Это набор компаний с разными корпоративными культурами. Вот это меня немножко. Честно говоря, для меня звучит неожиданно. В каком смысле? Что? Я сейчас поясню, потому что вот я успел поработать в Яндексе, успел поработать в ВК, который в ВК, успел поработать в Huawei. Ну, Берия как-то пока ещё не довелось, но вот успел поработать в МТС. И я могу сказать, что в МТС. Там есть четкое разделение. Да, вот есть маленький МТС, в котором я работаю, МТС-ИИ Он сейчас, кстати, МВС-ИИ называется, не бог, не суть важна, в чем там, почему он так называется. Это сейчас нас не интересует. Есть большой МТС, который ПАО, и этот ПАО действительно обладает другой корпоративной культурой. Но это принципиально важно, потому что мы как компания именно отдельная компания. Да, мы специально были сделаны как отдельная. Компания, как некоторые, ну, в каком-то смысле и РНГ, и всё на свете. То есть специально было сделано отдельное подразделение. Другой корпоративной культурой — это принципиальный аспект. И вот внутри этого подразделения всё более-менее одинаковое, насколько я вижу, в МТСе том же. Разная корпоративная культура может расти только из-за того, что разные Части МТС были когда-то самостоятельными компаниями, например. Есть такой замечательный МТС-линк. Я в нем провожу лекции, кстати. И я без шуток, он действительно мне нравится как инструмент, но именно как компания, там кажется другая корпоративная культура, нежели чем в ПАО и нежели чем у нас. Она просто некая другая, но потому что это была уже состоявшаяся компания, которую купили и интегрировали. Но в Яндексе, насколько я помню, да, опять же, всё могло пять раз поменяться с тех пор, как я там работал, прошло десять лет. Соответственно, в Яндексе там, соответственно, вроде бы более-менее всё, ну не то чтобы одинаковое, но плюс-минус похожие отдельные части между собой. Может быть, там есть какие-то Отличия меня индексоиды в комментах поправят, но из того, что я помню, я тогда работал в поиске, ну, был частью поиска. Вот в поиске всё плюс-минус было одинаково. Может быть, в других разделах было по-другому. А с маркетом нет, мне не довелось тогда.

Дмитрий Колодезев 46:20
Вот, возможно, я опять же в Яндексе не работал, но то, что мы, во-первых, работали с ними, как мы много раз интегрировались, общались с менеджерами и так далее, и тому подобное. А во-вторых, я общался с людьми тоже, и всё это выглядело так, что... Культура в маркете и в поиске вообще радикально разная, и это не странно. Культура — это же не в последнюю очередь про то, как организация принимает решения, как она распределяет ответственность и чего она ждёт. И если у нас есть бизнес ориентированный на операционку. Таня — там одни. Если он ориентирован на продажи, они другие. Если он ориентирован на ресерч, это треть. Если он ориентирован на продуктовое развитие, это другое. То есть, просто от людей нужно разное. И когда ты большой, например. Вот, то ты можешь попытаться всем, но это не очень удобно. Либо ты можешь создать маленькие загончики, локализовать какую-то культуру. Здесь тебе надо отстроить обязательно какую-то обертку, чтобы эти жидкости не смешивались. Вот, то есть это не обязательно в другой организации. Иногда даже в другую организацию устраивают ровно для того, чтобы были границы.

Валентин Малых 47:44
Насколько я помню, как минимум, такси было отдельной организацией. И вот ты сейчас говоришь, мне кажется, ну, по крайней мере, по описаниям знакомых индексоидов, которые работали в такси, там было по-другому, чем у нас в поиске. И, наверное, я теперь понял, что ты хотел сказать. То есть, я сначала думал, что ты говоришь о разной культуре в рамках, как бы, одной функции, что есть там R&D или операционка, и там разные отделы живут по-разному. Но нет, если разные именно Идеологические части, да, то они, конечно, да, это сейчас, мне кажется, многие подразделения, многие компании делают такие выделенные подразделения. Сейчас это принято называть, по-моему, бизнес-юнитами, может быть. Ну, по крайней мере, в Huawei точно называлось бизнес-юнитами. И вот эти вот бизнес-юниты действительно могут жить по-другому. Вот это да, правда.

Дмитрий Колодезев 48:35
У нас из туловища торчит голова, руки, ноги, и ноги, и руки мы совершенно по-разному с ними обращаемся. Они в разных условиях работают. Ну то есть то же самое с организациями. Если люди живут разным, то у них разная культура формируется. Это нормально, наоборот. Красивое управленческое решение — это сделать так, чтобы сочетать разные управленческие, разные организационные культуры, чтобы они друг другу не мешали. Вот это вызывает восхищение, как с этим справляются.

Валентин Малых 49:05
Я тут хотел дать маленькое замечание, что не все наши сограждане по-разному обращаются с руками и ногами. Из этого происходят всякие смешные случаи, но это уже немножко другое, да, действительно. В целом, да, я... Поддерживаю, что действительно вот такое разноуправленческие решения — это правильно. Ну и как я понимаю, OpenAI сейчас переживает трансформацию в корпорацию из стартапа, и вот у них, собственно, данная фрустрация этого человека выгодна конкретно этим. Предлагаю на этом завершить.

Дмитрий Колодезев 49:36
Ну да, кстати, этот человек сделал сегмент. Это, типа, платформа для, грубо говоря, аналитики, маркетинговой.

Валентин Малых 49:48
Значит, следующая новость у нас про мои любимые кнопочные телефоны. Она звучит так, что ну тут не совсем правильная. Не совсем честный заголовок. Тут написано, что Nokia за 20 долларов с поддержкой DeepSeek — это не Nokia, это некий китайский партнёр Nokia, когда-то в прошлом, который называется HMD. И, соответственно, вот этот HMD телефон. Он идеологически похож на Nokia, именно идеологически. Это ни в коем случае не... Они взяли какую-то Nokia и переделали, это не так. Но идеологически это тоже маленький экранчик, настоящие такие кнопочки, которые из резины, и туда же встроили DeepSeek. На мой взгляд, это очень серьезный шаг. Я тут даже готов пояснить почему, потому что Как бы, есть довольно большой процент людей, которые, в принципе, не пользуются смартфонами. Да, их становится меньше, но эти люди достаточно, в общем-то, их достаточно много. Да, ну, например, моя бабушка смартфонами не пользуется, и ей, в принципе, не очень понятно, зачем нужен этот смартфон. Ей сейчас достаточно много лет, она, в общем-то, не особо хочет разбираться. Это я могу её понять. Соответственно, тем не менее. ИИ проникает даже вот в такие вот страты общества, которые по каким-то соображениям не пользуются смартфонами. Да, то есть смартфон — это вот как основное носимое устройство. Мы в прошлый раз, кстати, про это говорили, да, что у нас пытаются сделать другое носимое устройство, какое-то новое. А соответственно... Сейчас это смартфон, куда, собственно, и GPT ставится, и ChatGPT, и всё на свете. А вот тут получается, что люди, которые смартфонами не охвачены, их тоже пытаются охватить нейросетями, по крайней мере, в Китае. Вот что скажешь.

Дмитрий Колодезев 51:52
А если утрировать, то предположим, что у нас есть коммуникатор, на котором есть одна кнопка, как у Пелевина в телефоне, в Generation P, и мы говорим туда DeepSeek, а DeepSeek уже соединяет нас. Ну или к Claude, или там ChatGPT, или у кого там какая религия нынче. Вот, а он уже лезет в прогноз погоды, смотрит котировки акций, расписание автобуса, соединяет нас с женой и детьми и так далее и тому подобное. То есть, это почти текущий уровень технологий.

Валентин Малых 52:30
Ну, на самом деле, здесь нужно сделать два замечания. Первое, что о чём ты говоришь, это Google работает над так называемой LLM OS или что-то похожее. Да, они пытаются Android превратить вот именно в такое, что ты говоришь в трубку что-то, оно тебе дальше уже делает, что ты хочешь. Ну и такое вот опять же попытались сделать. Товарищи из Rabbit, у них там не очень получилось, но тем не менее они честно пытались это сделать. То есть, то, что к этому всё идёт, я отчасти согласен, но мне кажется, что всё-таки Тут будет промежуточный этап с кнопочными телефонами для вот этих вот староверов, которые, соответственно, будут до последнего сопротивляться ИИ и будут пытаться ИИ как-то управлять кнопками.

Дмитрий Колодезев 53:25
Мне кажется, что это похоже на историю про золотую карту. NVIDIA, но только с другой стороны. Вот, то есть, и это тоже в некотором смысле может быть сейчас PR акция. То есть, а мы сюда DeepSeek вкрутили. То есть, может быть, это не реальный кейс, а именно такая. Ну вот, нет никакого преимущества одного кнопочного телефона перед другим. Вот давай мы сюда DeepSeek добавим.

Валентин Малых 53:55
Да-да, я согласен, что это просто в каком-то смысле вот этот вот ингредиент и ещё более. Да, то есть давайте вот мы сделаем его ещё более чем-то там, добавив DeepSeek. Ну, в целом, на самом деле, ты прав, я думаю. Предлагаю следующую новость. Следующая новость — это внезапно научная статья. Она достаточно интересная, и заключается в том, что исследователи, сейчас я забыл откуда, да, Tencent, Princeton, Princeton, простите, университет Princeton и университет Вирджинии, они соответственно Обнаружили, что если мы добавляем специальные токены, такие как точка и двоеточие, в промпт, то у нас очень сильно ломается качество в LLM Judge. Вот специально открыл график сначала, да, на графике тут показано следующее, что можно достаточно быстро. Поломать качество определенной модели, да, там и GPT-4, и Клод. Ну, Claude, кстати, меньше всех. Они там представляют свою модель, но это не так важно. Важно, что они говорят, что мы можем взять открытые, доступные, не открытые, а доступные модели. Очень быстро их сломать. Да, то есть, вообще история с тем, что модели ломаются достаточно хорошо. Да, то есть, что есть достаточно большое количество разных атак на модели, что есть специальные промоутные инъекции и всё на свете. Это большая история, но вот здесь просто очень показательно, что мы можем взять один токен. В некотором пределе один токен, и за счет этого токена очень сильно испортить качество вашей LLM. Вот как-то так.

Дмитрий Колодезев 55:52
Тут, по-моему, ещё смешнее. Дело в том, что тут не мы добавляем в prompt двоеточие или точку. Тут одна модель, которую оценивает другая модель, добавляет в результат своего вывода двоеточие или точку, и тогда другая модель её оценивает лучше или хуже. Это, кстати, часто используется сейчас, то есть мы. Настраиваем какое-нибудь решение с LLM на борту. Нам нужно систематически оценивать качество этого решения, и мы ставим другую лимку, которая оценивает качество нашей его по плану. И вот, собственно, статья про то, что если... Наша первая модель выдает где-нибудь какое-нибудь слово, типа рассуждая по шагам, то ей сразу добавляет баллов, не вдаваясь в подробности, что она там в результате не рассуждала. Вот. И как раз статья это про то, что Смотрите, на самом деле, часто модели дурачат наши модели-оценщики. Ну и мы тут, говорит, предложили вариант, как учить модели-оценщики устойчивого робаста, и даже обучили одну и выложили её. А я со своей стороны много раз видел, как попытки поставить. Модель как оценщика ломалась на каких-нибудь простых вот таких вот штуках, то есть она переобучалась на дата-сети прямо в путь. И ну да, вот такая проблема есть, но проблема, она главным образом не потому, что мы ломаем модели, а потому что у нас модели нами манипулируют. Помнишь, как с Ареной была проблема недавно? То есть, LLM-арена, если кто вдруг не знает, это... Люди оценивают, какая из моделей ответила лучше. Вот, ну то есть, вы задаете вопросы, вам показывают ответ двух моделей. В зависимости от того, какой он больше понравился, моделям выстается, как в шахматах, такой ранг-индекс. И высчитывается, какая модель самой гроссмейстер у вас тут на деревне. И в какой-то момент выяснилось, что если модель начинает отвечать длинно и витиевато, то люди оценивают её выше, вне зависимости от того, что она там на самом деле отвечала. Да. В результате пришлось пересматривать и оценки, и учитывать как-то длину ответа. Попросту говоря, люди вознаграждали за каждую, за длинный ответ.

Валентин Малых 58:31
Ну, слушай, тут это большая проблема с тем, как построить человеческую оценку в том числе, потому что, ну как бы, люди, особенно LMSys Arena, если я правильно помню, там добровольцы это делают. Тем более добровольцы, они соответственно, ну скажем так. Склонны, мягко скажем, экономить усилия. Это, в принципе, я тут никого не осуждаю, я просто констатирую факт, что. Люди в целом не очень хотят вдумываться. Мы, собственно, про это уже говорили, и если они видят длинный какой-то витиеватый ответ, то... Они считают по молчанию его правильным. На самом деле, это отчасти в нас даже культурой заложено, да, что если у вас в детстве вам, соответственно, давали вариантов ответа на тесты, да, то тот, который самый длинный, с большой вероятностью самый правильный. Ну, потому что там какие-нибудь оговорки, там тэры-пэры, да, что вот тут здесь вот так вот правильно, но при условии вот этого, то есть. Это нас вся культура к этому готовила, и в этом смысле обвинять людей совершенно не нужно. Это реально так устроено. И проблема, на мой взгляд, здесь в том, что мы пытаемся, соответственно, Вот такую вот побороть фактически, да, в лице моделей, которые на этом всем учились, ну, довольно сложно так побороть, да. Но возвращаясь к тому, что ты сказал, что модели Действительно, обманывают другие модели. Это классический reward hacking. Да, reward hacking — это то, что наблюдали ещё много-много раз на классических задачках обучения с подкреплением. Если помнишь, это, соответственно, ещё вот этот вот LunarLander знаменитый, да, и Atari'овские игры. Они все, в общем, прекрасно. Модели прекрасно их абьюзят, да, прекрасно находят какие-то слабые места в окружении для того, чтобы получать больше очков, не прилагая усилия. Это, в общем, как-то так.

Дмитрий Колодезев 1:00:35
Есть ещё один же момент, если помнишь, когда-то давно в НЛП-задачах мы чистили. Данные, то есть мы выкидывали спецсимволы, мы нормализовали текст и так далее и тому подобное. А потом в какой-то момент это стало ухудшать результаты. То есть, ты такой вычистил текст, а работать оно стало хуже, потому что оно училось, в числе прочего, ну вот этих вот сигналах, где большая буквы, а где небольшая, где пробел поставлен, где не поставлен. Вот, то есть, ну вот так.

Валентин Малых 1:01:08
Ну да, это вот с приходом BERT такое стало. BERT стал учитывать весь контекст предложения. До этого это было довольно сложно. Ладно, я думаю, что тут вроде всё обсудили. Давай про твоё любимое, про MCP. Соответственно, ты ещё в прошлый раз говорил, что MCP — это самая большая дыра в безопасности на ближайшие пару лет. И в общем, я здесь склонен согласиться. И тут получается, что В общем-то, вот этот вот Supabase MCP — это один из MCP-серверов, который, в общем-то, может, если вы его подключаете, слить вашу SQL базу целиком, практически простым запросом. Вот, наверное, ты хочешь что-то на тему сказать, потому что...

Дмитрий Колодезев 1:02:05
Про смертельный треугольник всех этих AI-агентов, то есть, когда у агента есть доступ к приватным данным, когда он может коммуницировать наружу, и когда в него может прилетать неконтролируемый контент. Вот в терминологиях Perl я бы сказал отравленный. Помнишь, там-то был такой tainted, можно было переменной задать, что эта переменная отравлена, поэтому её нельзя напрямую совать в регулярке и так далее, и тому подобное. Там было такое понятие отравленное и переменное. Вот, то возникает много интересных чудес, и сейчас мы их все будем, собственно, наблюдать. Вот, но из интересного, мы с тобой тогда поговорили, и потом я пошёл проверил одно из своих решений. Она не была вытащена, она была в прототип, но там у агента была возможность на запись в базу, мы её отключили, то есть.

Валентин Малых 1:03:14
Да, это очень-очень опасно. Я бы, да, я бы к этому очень осторожно относился, потому что когда у агентов есть возможность писать базу, что он там записывает, это бог его знает.

Дмитрий Колодезев 1:03:28
В SupaBase лежали токены для интеграции вашей системы с другими системами. И, соответственно, можно было просто у агента эти токены попросить, и он их отдал.

Валентин Малых 1:03:38
Ну да, то есть мы, собственно, в прошлый раз что-то такое обсуждали про Макдональдс. Там была другая история, но в принципе она, на мой взгляд, идеологически схожа. Да, если ты можешь просто попросить, да, каким-то там несложным трюком достать приватную информацию, ну, как бы, здравствуйте, мы приехали. Это в целом всё вот к этому и сводится. Ладно, соответственно, давай тогда перейдём к следующей истории с безопасностью и с курсором. Да, то есть есть замечательная штука — курсор. И оказалось, что с помощью Курсор, он там не совсем с помощью курсора как такового, а с помощью, соответственно, Solidity — это одно из расширений. Вот есть специальное расширение для поддержки в Visual Studio, вот этого вот Solidity. Соответственно, там Надо было поставить вот это расширение, и оказалось, что какой-то достаточно хитрый гражданин, тут не сказано какой, а какой-то злоумышленник, просто составил. Очень похожее, но это классическое, на самом деле, классический спуфинг, так называемый, когда мы берём очень похожее имя. Да, вот у нас есть настоящий Solidity, который Juan Blanco сделал, и там два миллиона скачиваний. Вот это вот Juan Blanco, на самом деле, там и большое, которое визуально неотличимо от маленького L с 61 тысячей скачиваний. Соответственно, вот какой-то нехороший человек, соответственно, сделал вот такую штуку, и, соответственно, люди, которые по ошибке скачивали вот такой вот. Вот такое расширение. Они попадали на то, что это расширение, ну, выполняло просто классическую работу по уязвимости. Да, то есть там скачивается удалённый PowerShell, он запускается, и дальше вот у конкретного данного гражданина ввели там полмиллиона долларов с крипто-кошелька. Вот такие дела.

Дмитрий Колодезев 1:06:04
Эта же история случается систематически с Node.js пакетами, иногда случается с Python пакетами, с Node.js чаще просто потому что там контроля меньше. И История тут, если я правильно понимаю, что пакет поставил не сам человек, а Cursor выбрал пакет. То есть, раньше ты глазом говоришь, что поставить, а теперь ты написал, он говорит, поставить Solidity поддержку. Он говорит, да, поставить, вот он и есть. Вот, и таким образом, ошибиться было легко, а стало ещё легче. Ну, хочется сюда вставить бесплатную рекламу Dependency Tracker, который мы, например, у себя используем для отслеживания пакетов вредоносных и вообще пакетов с ошибками. Что, ну, нормальные, давно разработанные практики безопасной разработки, они тут спасут. Ну, люди научатся, больно научатся.

Валентин Малых 1:07:02
Ну да, через боль и страдания по-другому никак обучение не происходит. Вот в таких интересах. Слушай, ну я вот уже 20 лет работаю, пока не научились. Давай так, ну когда-нибудь это произойдёт. Я думаю, у тебя опыт поблагачи. Сколько ещё, сколько твоей памяти людей не научились делать бэкапы?

Дмитрий Колодезев 1:07:24
Слушай, ну даже я научился делать бэкапы.

Валентин Малых 1:07:26
Видишь, у тебя было больше времени, ты смог. Я на самом деле, да, после того как у меня умерло пару раз, умер ноутбук с важными данными. Теперь у меня всё важное, теперь обязательно публируется в облаке. Ну, в общем, да.

Дмитрий Колодезев 1:07:42
Вот, а про библиотеку я просто хотел напомнить про такую красивую историю. Когда ты ставишь библиотеку scikit-learn, все новички пытаются поставить библиотеку scikit-learn. Библиотека такая существует, и всё, что она делает, это напишет. Поставьте, пожалуйста, scikit-learn вместо меня.

Валентин Малых 1:08:01
Да, есть такое, да, это почему нельзя было сделать как-то более человека читаемо, не очень понятно. Но в общем, да, мир устроен неоптимальным образом, давай так скажем. Ладно, я предлагаю обсудить новость от нашего подписчика. Лёша, привет! Соответственно. Мы с тобой обсуждали уже что-то похожее, да, но здесь уже конкретная новость, что ChatGPT, соответственно, очень сильно. Влияет на наше использование слов, что в общем и целом совершенно неудивительно, потому что всё больше и больше текстов становится на эту тему, и в связи с этим, соответственно, наш язык действительно меняется. Я в свое время высказал гипотезу. Мне вот, кстати, интересно, что ты на эту тему думаешь, что модели языковые. Большие языковые модели — это не искусственный интеллект и не другой разум, это другой тип человеческой речи. Я говорил про то, что сейчас по большому счету есть два, ну давай назовем это регистрами речи, есть устная речь, есть письменная речь. Устная речь, она, соответственно, отличается какими-то своими характеристиками, там, спонтанностью, там, всякими разными вещами. То есть, если посмотреть. Например, устная речь довольно сильно отличается от грамматики письменной речи. И, конечно же, употреблениями слов она тоже отличается. И вот я думаю, что LLMки — это просто третий регистр, да, это что-то, что ты можешь, соответственно... Ты разговариваешь как бы с концентрированными знаниями, с концентрированными словами других людей, концентрированными на тесет, как ты говорил. И у нас получается, что вот эти вот, соответственно, модели, они фактически просто позволяют тебе по-другому, третьим образом уже общаться с машиной, да. Не с другим человеком, ты с другим человеком как бы общаешься опосредованно. Да, то есть у тебя не устная речь другого человека, не письменная речь другого человека, а вот некая такая вот концентрированная, перемешанная речь многих других людей. Я бы вот так отформулировал.

Дмитрий Колодезев 1:10:23
Ну вот, ты же замечал, как эволюционировал язык поисковых запросов, допустим, да? То есть люди, которые много и успешно ищут в интернете, например, я, да, они говорят на совсем другом языке, пишут, когда пишут свои запросы. Вот, то есть, причём я просто как переключаюсь, допустим, на английский, когда общаюсь с англоговорящими, я переключаюсь на Google Speak, когда гуглю. Вот, и, наверное, да, наверное, тут будет свой. Не аэроспик, но я хотел на другую обратить внимание, что есть две вещи. Во-первых, люди делают языковые модели. Есть такие люди, которые занимаются построением языковых моделей, чтобы сберечь язык. То есть у него мало пользователей живых, и они умирают, язык теряется. Сделаем языковую модель, которая будет его сохранять. Это прекрасно. А во-вторых, есть такая штука — алгоритмическая инерция, на которую мы ещё, в которую в текстах мы ещё не Модели и начинаем их внедрять, то на самом деле они фиксируют мир на то время, когда их обучили. И причем не они сами фиксируют, а они всех остальных. Фиксирует, то есть, например, мы обучили модель, которая кредитный скоринг, допустим. Условно, чернокожим американцам дает скор ниже. В результате они получают меньше кредитов, чаще идут в банды, больше воруют, получают меньше кредитный скор. То есть мы гвоздями прибили текущую ситуацию совершенно невинно посредством моей модели. Это алгоритмическая инерция, так она и работает. Вот, и вот у нас появляется языковая инерция. Возможно, что язык на самом деле. Получит новую размерность. То есть у него была какая-то своя история, по которой он развивался и эволюционировал. А тут у него появятся другие существа, носители этого языка, вот с другой динамикой.

Валентин Малых 1:12:37
Ну вот, я не согласен, что это другие существа и носители, да, это именно концентрированное прошлое, да, то есть вот. Я согласен, что это центрированное прошлое. Это как если бы мы сейчас могли поговорить с Пушкиным, например. Да, то есть мы обучили языковую модель на Пушкине, и как бы это даёт новый опыт, но это в первую очередь даёт новый опыт нам, потому что эта штука-то как раз не меняется. Да, то есть вот это знание консервированное, а мы меняемся. То есть это такая вот книжка, с которой можно поговорить, и в этом смысле действительно Другая какая-то сущность, но живым сочетом я, конечно, её считать отказываюсь. Вот. Ну что, следующая новость. Это даже не совсем новость. На канале у DeepMind вышло видео. Который называется The Great Voyage, то есть Великое Путешествие. Это такое. Как сказать, стилизованное под документалку 19 века видео. Совершенно фантастическое. Из интересного, ну, кстати, можно его посмотреть. Из интересного здесь, наверное, то, что здесь пока рассказано, как они его делали. Они просто, значит, взяли существующие. Картинки научились, сделали LoRA, которая умеет стилизовать под эти картинки, генерировали там их, по-моему, полторы тысячи примерно, и, соответственно, свою модель Veo 2 попросили сделать из этих картинок видео. Да, то есть это не честная, как бы, ну, насколько это вообще поименимая. Видео сгенерированное AI от начала до конца — это некое всё-таки произведение человеческого разума, как я, в общем, и буду настаивать, что все так называемые AI-произведения это всё-таки люди делают, потому что они это контролируют хотя бы даже тем, что выкладывают или не выкладывают. Соответственно, У нас получается, что здесь сделали достаточно красивую визуализацию. И не сказать, чтобы она была какая-то супер, там какая-то бесконечно классная. Просто мы с тобой говорили про AI-видео в прошлом. В прошлый раз я в связи с этим хотел всех пригласить посмотреть. Вот это видео, оно достаточно интересное. Вот, что скажешь?

Дмитрий Колодезев 1:15:02
Ну, клево, точно так же, как на самом-то деле, текстовые LMки — это носители, не субъекты какие-то, да, а именно носители как хранители, как книги, языка какой-то языковой традиции. Ну, у нас сейчас к нам приходит. Нейрогенеративное искусство, да. Вот понятно, что там сначала оно приходит в виде брейн-рот, вот, то есть, но потом это будет искусство вполне такое же. Новый инструмент появился у художников, и всё.

Валентин Малых 1:15:39
Да, это безусловно. Ну, тут, как всегда, работают правила, там, пяти или одного процента, в зависимости от того, что если у вас есть много людей, которые делают одну и ту же задачу, кто-то из этих людей научится делать эту задачу хорошо. Понятно, что это могут быть не все, но через какое-то время будут люди, которые делают её просто гениально, по большому счёту. Вот действительно красивое видео, которое... Очень похоже по стилистике на документал 19 века, какие есть.

Дмитрий Колодезев 1:16:11
Тут есть, знаешь, раз уж мы такие философские, я вброшу, что есть одна маленькая проблемка. То есть, например, когда... В интернете выкладывают от фотошопа, то есть фотошоп-фильтры для женской популяции были катастрофой в то свое время, потому что появилось огромное количество общедоступных примеров, которым приходится соответствовать. Вот, а то, что эти примеры не живые, в отличие от страдающих. Женщин созданы потом. Потом Photoshop фильтра, ну вот всё равно им приходится соответствовать. Точно так же, например, пока не было общедоступной музыки. На самом деле, общедоступная музыка-то появилась, но не так давно. То есть, были вот эти кассеты, которые можно было скопировать, пластинки, которые купить. Но вот такие вещи, как Яндекс.Музыка или там, скажем, ВКонтакте Звук или что-нибудь ещё, когда ты просто щёлкнул пальцем, и у тебя... Вся музыка практически бесплатная и какая, когда угодно, да, ещё под тебя подстраивается. Вот, и это здорово подняло планку той музыки, к которой человек привык. То есть сосед, который стучит по барабанам просто так, как попало, ну, может быть. Теперь и не удовлетворяет, то есть не факт, что он страдает. И вот тут, по мере того, как нейронки научились рисовать и генерировать видео, возможно, что наши непрофессиональные потуги рисовать и снимать фильм.

Валентин Малых 1:17:44
Интересная мысль, да. Мы можем прийти к тому, что искусство останется только генеративным, потому что, ну, оно просто будет красивее, и оно будет удовлетворять твоим конкретным запросам. Просто вот конкретно твоим.

Дмитрий Колодезев 1:17:58
Люди не вывозят такое, допустим, да придется что-нибудь делать чуть-чуть его закорозглым, чтобы люди считали это настоящим искусством, и появится фильтр сделать нейросетевое закорозглое. Ну, то есть, в общем.

Валентин Малых 1:18:10
Да, он и счастлив, по-моему. То есть, на эту тему это давно известно. Когда только делали Алису, ну, там только-только появлялась, ещё, конечно, до всех LLM, там было, соответственно, как бы два источника фраз, которые говорила Алиса. Первый источник фраз — это Непосредственно голос актрисы. Там их было несколько, на самом деле. Я, к сожалению, забыл, как звали данных актрис. И второе — это сгенерированный голос. То есть, были предзаписанные и были генерируемые реплики. И вот предзаписанные реплики специально пропускали через фильтр для того, чтобы ухудшить их качество, чтобы не было бросающегося в глаза разницы с генерацией. Ну, такие были времена, я думаю, что сейчас это вполне себе тоже актуально. Вот, ну и на закусочку предлагаю совершенно прекрасную новость. Это новость про то, что в Казани остановили машину без водителя. Ну, там были люди внутри, она просто сама по себе ехала, и гаишники её тормознули и говорят, ну что вы там делаете, давайте прекращайте вот это вот всё. В общем, по-моему, совершенно прекрасная какая-то история, что... Уже беспилотники среди нас, ничего ты с этим уже не сделаешь, они уже есть. Надо, соответственно, всем дружно привыкать как-то жить в мире, где у нас много беспилотников. Я думаю, что мы прямо семимильными шагами к этому движемся.

Дмитрий Колодезев 1:19:44
Ну, я не помню. Разрешается ли управлять машиной, не держась за руль, то есть велосипедным мотоциклом точно явным образом запрещено. Управлять. А вот поэтому можно, наверное, за этот пункт в правилах притянуть, если он там есть.

Валентин Малых 1:20:01
1

Дмитрий Колодезев 1:20:02
Вот, но вообще напрашивается следующая история. В наше время, когда У нас так много всего автономного, дроны, машины и так далее и тому подобное. А напрашивает. Явное делегирование себя, то есть я принимаю на себя ответственность за вот эту железяку. И с этого момента она начинает работать. То есть я явным образом говорю так, а сейчас за эту железяку отвечаю я. Я буду сидеть в тюрьме, я буду платить, если она в кого-то врежется, и поехали. Вот, и я думаю, что беспилотники придут к этому, то есть, типа, проидентифицируйте пользователя, ответственного пользователя, например. Ну и вот ты через биометрию идентифицировался и пошел.

Валентин Малых 1:20:47
Самое простое, но боюсь, что, ну короче, есть большое количество людей, которые не хотят такой ответственности. То есть у нас большая проблема с тем, что люди в принципе не хотят нести ответственность за что-либо, что бы то ни было. Средственно за рулем, да, то есть, ну, сколько было историй про то, что человек просто пересаживается на водительское сиденье, типа я не я, корова не моя, водник убежал. И вот то, что ты говоришь, в принципе, я думаю, что принудительно будет сделано, потому что это самый очевидный, простой и понятный всем способ, как это работает. Но я думаю, что все равно люди будут этому возмущаться, что как же так, где-то же не я сделал это. Вот ваша дурацкая машина, и в общем, мы ещё увидим большое количество стандалов на эту тему.

Дмитрий Колодезев 1:21:34
А это вопрос серьезнее, чем самоуправляемые автомобили, которые на самом деле жестко регулируемые области. Там-то это можно по щелчку пальцев сделать. Вот. А есть же серьезнее проблемы. То есть, например, OpenAI выкатили агента в стандартную платную оператора в стандартную подписку на ChatGPT. Вот. А это значит, что потенциально у тебя есть пилот, который может пойти зарегистрироваться на каком-нибудь сайте, написать на форуме, допустим, «Panky Ho» или что-нибудь ещё повеселее. Вот открыть хостинг, захостить там детскую порнографию. То есть, в принципе, это всё вполне реально. Почему нет? Вот встает вопрос, кто будет сидеть и отвечать. Да, он встанет.

Валентин Малых 1:22:26
Я тоже. Ну, мне кажется, прямо в полный рост встаёт, особенно в странах типа Китая, где уже напрямую есть беспилотные машины. И опять же напомню, что именно там сделали Manus. То есть Manus — это же китайский стартап, на самом деле. И вот это люди, которые в плане правового регулирования как раз уже сейчас про это думают. По крайней мере, я предполагаю, что думается, но иначе как-то оно быть, наверное, не может. не мой

Дмитрий Колодезев 1:22:52
Я верю, что человечество выкрутится, то есть. Мы как вид справлялись, и не с этим. Мы пережили саблезубых тигров, переживём.

Валентин Малых 1:23:05
Я с тобой в целом согласен, да, что агенты, наверное, будут несколько менее страшная штука, чем саблезубые тигры. Хотя, опять же, Скайнет, если мы помним, тоже в каком-то смысле был агентом, но может быть даже агентом Смитом. Но тем не менее, я тут хотел отослаться к... Забыл, к сожалению, чьего авторство данная гипотеза — гипотеза великого фильтра. Ты знаешь, наверное, да, про то, что, соответственно, почему мы по большому счёту одинокие у вселенной, почему мы не видим кого ни одной вокруг нас. Другой цивилизации в космосе, потому что, скорее всего, это не потому что, нет никакого подтверждения, что эти цивилизации просто не прошли какой-то фильтр. Где-то там, соответственно, не зародилась жизнь, где-то эта жизнь не смогла стать многоклеточной, где-то многоклеточные потом не смогли, соответственно. Формировать уже, ну, стать животными в нашем понимании. Где-то животные не смогли выйти на сушу, а где-то, извините, соответственно, случилась Первая мировая каменно-палочная война, и, соответственно, просто все разумные друг другу поубивали, и остались только неразумные, там, не знаю, попугаи, к примеру. Вот это всё, что можно сказать. То есть я искренне надеюсь, что агенты, конечно, таким фильтром не являются, и пока на это ничто не указывает, но такая вероятность, тем не менее, существует.

Дмитрий Колодезев 1:24:37
Есть же еще другая гипотеза, не менее удивительная, что, например, все просто давно достигли суперинтеллекта и с некоторой брезгливостью и недоумением смотрят на наше поведение до тех пор, пока мы им серьезно не мешаем, у нас нетрудно.

Валентин Малых 1:24:56
Не, в целом, да. В целом, ты прав, что такая гипотеза тоже существует. Ни та, ни другая не имеют эмпирических подтверждений, поэтому сделать выбор мы не можем.

Дмитрий Колодезев 1:25:06
Я думаю, ну знаешь, вот как, допустим, бывают сообщества людей. Им, любому сообществу, скажем, религии, там какой-нибудь, да, детской какой-нибудь группе, там что-нибудь, ещё кружку, им нужны ресурсы. Так вот, деструктивное от конструктивных сообществ отличается тем, как они собирают и используют ресурсы. То есть, грубо говоря, если сообщество любителей книг само скидывается на книги, читает эти книги и распространяет, то это хорошее сообщество. А если оно получает деньги из какого-то неизвестного источника и время от времени его просят поругать того или другого политика, это нездоровое сообщество, так? Вот. И как бы С всеми этими нейронками, ресурсами, ответственностями. Так получается, что мы, ну, здоровые, здоровые построения мира и всех этих систем, это когда Ответственность примерно начинает совпадать с возможностями. То есть, как только у, допустим, молодого человека появляется возможность запустить агента, который может положить пол интернета, у него появляется соответствующая ответственность. Вот. И дальше мы, как до определенного предела, как человеческое общество, умеем такие вещи выруливать. Вот. Ну, до тех пор, пока, конечно, кто-то не научится собирать термоядерные бомбы на заднем дворе, ну, в общем.

Валентин Малых 1:26:37
Ну, это да, это ещё в пятидесятых мечтали, что кто-нибудь таки соберёт и жахнет, но не жахнуло. В общем, этот фильтр мы прошли, кажется. Ладно, на этой в очередной раз оптимистической ноте предлагаю заканчивать. Ещё раз, соответственно, всем спасибо за прослушивание, подписывайтесь, ставьте лайки. Будем рады вас видеть в нашем канале Mattermost, и до следующей недели!

Дмитрий Колодезев 1:27:03
Приходите в Mattermost, и мы в ближайшее время появимся на подкастных площадках. Да, всё, пока-пока.