Капитанский мостик - 9 | Дмитрий Колодезев

30.08.2025
31.08.2025
подкасты

Девятый выпуск подкаста "Капитанский мостик". Традиционно ведут Валентин Малых и Дмитрий Колодезев. С нами сегодня Иван Комаров. Оставляйте новости к следующему выпуску в нашем канале в Mattermost!

Площадки

Содержание

00:00:00 вступление
00:00:27 Google сократил энергопотребление
00:07:12 цикл хайпа от Gartner
00:21:54 обход графа быстрее Дийкcтры
00:29:37 глубокомысленные рассуждения
00:40:33 первый вирус на LLM
00:43:40 из Meta (запрещена на территории Российской Федерации) разбегаются люди
00:52:19 Apple использует Gemini для Siri
01:05:14 GitHub банит CoPilot
01:17:51 случайный опенсорс от AMD

Ссылки

Валентин Малых 0:00
Всем привет! С вами, как всегда, Валентин Малых, Дмитрий Колодезев, а сегодня также Иван Комаров, чему мы очень рады. Соответственно, смогли заманить. Вот у нас сегодня, как всегда, экспериментальный формат. Мы теперь экспериментируем на другой платформе с другими микрофонами, экспериментируем всегда и везде. Это наш девиз. Кто-нибудь что-нибудь хочет добавить? Прекрасно. Давайте начинать. Первая новость у нас посвящена тому, что Google, по их заявлениям, снизил затраты энергии на одну, один запрос к ИИ, видимо, подразумевается Gemini, в 33 раза за год. Тут как-то не уточняется, за счёт чего они этого добились, но в целом. На мой взгляд, эта новость позволяет нам поговорить о довольно важном аспекте, конкретно о том, что энергопотребление — это не тётка, и, в общем, оно никуда не девается, его надо всё время иметь в виду и постоянно оптимизировать, иначе очень быстро. Ваш супер мощный ИИ перестанет отдавать вам какую-то пользу, потому что ему надо будет столько же электричества, сколько соседнему заводу. Ну, собственно, уже сейчас столько надо. Ну что, Дим, прокомментируешь?

Дмитрий Колодезев 1:17
Это, в принципе, продолжение той новости, которую мы уже обсуждали, про то, что... Был отчёт как раз про то, что Google снизил энергопотребление, там пять капель воды и всё такое прочее. И у них из подробностей, которые, допустим, бросились в глаза, что, во-первых, они на порядок снизили потребление, в числе прочего, за счёт перехода на MoE. Вот и потом они стали переключились на возобновляемую энергию. Таким образом, они тоже carbon emission снизили. Ну, это, в общем, чисто бухгалтерская вещь, а большую часть выигрыша было сделано за счёт перехода на MoE.

Валентин Малых 2:09
Ну, сейчас это перестало быть просто модной игрушкой, я имею в виду, и это сейчас просто суровая необходимость, потому что модели становятся ещё больше. Ну, то есть, мы сколько-то времени назад обсуждали Kimmy. По-моему, недели две-три назад, и Kimmy нам давал, там вроде триллион параметров, да. Понятно, что триллион параметров за раз никто не способен прогнать. Ну, я не могу, но это уже совершенно бессмысленно. То есть, нам нужно искать метод, каким образом большую модель гонять быстро, ну и отчасти энергоэффективно, потому что, как мы помним, энергия наша вся.

Иван Комаров 2:46
Ну, я только бы заметил, что, похоже, эта проблема не наша. Это проблема каких-то больших корпораций, которые хотят натренивать большие модели. Они и так уже, похоже, влетели на деньги. И приходится вкладывать там по самым скромным подсчетам, там от 50 милов до и дальше, чтобы это сделать. Я пробовал разобраться, скажем, говорили, что DeepSeek гораздо дешевле, но похоже, всё равно мы говорим о каких-то миллионах, вряд ли там. Вряд ли там прямо как-то существенно ты можешь это снизить. Поэтому, ну, где-то 50 миллионов заплатил за карты, да, чтобы железо работало, плюс у тебя ещё люди. Так что энергия, наверное, я не знаю, насколько она там как-то выглядит устрашающе, честно говоря, такой breakdown я не видел, такую разбивку коста. Вот, мне кажется. Что, ну, как-то вроде это проблема и здорово, конечно, что меньше, да, потому что эти монстры всю энергию из нас выпьют и глазом не моргнут. Поэтому новость хорошая, но похоже, это как бы как живут богатые.

Валентин Малых 4:04
Слушай, ну я бы тут отчасти возразил, потому что даже несмотря на то, что у тебя большие косты при старте, да, то есть то, что... Называется CAPEX, да, но тем не менее у тебя OPEX, то бишь оперативные затраты, тоже имеют значение. То есть, предположим, что CAPEX просто списываются, но тогда всё упирается в OPEX. Сейчас же никто по большому счёту прибыли-то не показывает из тех, кто ИИ занимается. Все максимум ищут операционную прибыль. Вот операционная прибыль, она как раз от энергопотребления зависит напрямую, на мой взгляд.

Иван Комаров 4:40
Абсолютно, и было бы интересно понять, да, вообще мы как-то перешагиваем хотя бы за стоимость электричества. С этой прибылью я знаю, что в прошлый раз вы обсуждали как раз проблемы того, что мы, наверное, где-то в какой-то осени-зиме, да, этого дела, и это не в последнюю голову из-за того, что, ну, как-то не сказать, что мы деньги делаем.

Дмитрий Колодезев 5:07
Ваня, есть исследование, в котором inference даёт 500% прибыли. Вот примерно, разбирают так. И у них сейчас самая большая проблема при запуске дата-центров, если я правильно понимаю, это именно энерговвод. Поэтому возможно, что это решение даже не проблемы прибыли, а просто проблемы обслуживания и запуска новых дата-центров. То есть, ты не можешь их запускать, если у тебя не хватит на них энергии.

Валентин Малых 5:40
На самом деле, в так называемых развитых странах, там же, ну по большому счету, свободных мощностей на вырост не осталось. Да, то есть их все уже подъели за последние, там, сколько-то лет. В этом смысле даже можно упомянуть такой факт, что один из самых крупных регионов майнинга биткоина, в принципе, в мире, я думаю, что не все в курсе, он расположен в замечательном городе Норильске просто потому, что у них там внезапно оказалось много электричества, и там холодно. То есть там поставили такую большую-большую майнинговую ферму размером с ползавода, и, собственно, на ней не по-б***ь майнят. Вот такие дела.

Иван Комаров 6:20
Ну, смотри, похоже, мы здесь впереди планеты всей.

Валентин Малых 6:25
Ну, тут как сказать, не было бы счастья, но несчастье помогло. То есть у нас достаточно много освободилось в своё время энергомощностей по понятным причинам. Вот и... Но всё равно мы подъедаем их, по крайней мере, насколько я помню, у нас на юге страны уже энергодефицит вовсю. И в Сибири, несмотря на то, что там был большой запас, сейчас тоже его почти подъели, насколько я помню.

Дмитрий Колодезев 6:50
Собственно, поэтому-то и запрещают майнинг в многих местах.

Валентин Малых 6:54
Ну да, да, то есть как раз в Сибири его и запрещают сейчас, что там уже начали ощущать дефицит, чего не было там последние двадцать лет. Поэтому можно понять, почему и откуда это берется. Ладно, я думаю, что здесь вроде всё обсудили. Давайте плавненько перейдём к следующей новости. Эта новость звучит так, что Hype Cycle for Mid-Size Enterprises, то есть цикл хайпа для предприятий среднего размера от Gartner Research. Честно, я эту штуку не смог скачать, поэтому я, наверное, хочу услышать комментарии от Димы. Что-то там такое вычитал, расскажи, пожалуйста.

Дмитрий Колодезев 7:36
То есть там есть как раз анализ Hype Cycle для среднего размера Enterprise, средний размер Enterprise по американским меркам. Крупное налогоплательщик по нашим. И по большому счету, все настоящее IT там и происходит. То есть во всех остальных местах это вот такие мелочи, семечки. И что мы видим на самом деле? А AI Ready Data, по их мнению, подходит к, так сказать, краю. Inflated expectations. Вот и вниз начинает катиться Augmented Analytics. Вот, AI Augmented Software Engineering и так далее и тому подобное. То есть, про vibe coding много кричали, потом на нём не оттоптался только ленивый. Сейчас выясняется, что ну, по большому счёту, AI-ассистент усиливает хорошего программиста, а плохого программиста делает просто ужасно. Вот, потому что у него ещё и появляется иллюзия, что всё работает. Ну вот, такая вот интересная история. А с точки зрения именно того, что надо сейчас внедрять, это вот SASE, мы видим давно забытые desktops as a service, вот, Threat Intelligence продукты и так далее и тому подобное.

Валентин Малых 9:04
Ну, мне кажется, это согласуется со словами Вани по поводу того, что мы сейчас находимся в осени. Искусственного интеллекта, да, то есть слишком сильно были разогреты ожидания, и, соответственно, vibe coding оказался не серебряной пулей, а внезапно ещё одним инструментом для того, чтобы делать работу. То есть оказалось, что работу всё равно делать надо, а к этому многие люди психологически не готовы. Это, конечно, большая проблема. Что-нибудь ещё какие-нибудь заметки по поводу документа, а то я как-то не это.

Иван Комаров 9:37
Слушай, ну, отличный документ в том плане, что, опять же, повод, наверное, поговорить об осени-зиме, потому что те, кто был в предыдущей зиме, наверное, помнят, что как-то было не очень, а морозило достаточно долго. С другой стороны, как бы всё понятно, да, что почему мы там, и что работает, что нет. Ну, наверное, Валя тут тоже может сказать своё мнение, да и Дима, так как так или иначе мы все занимаемся этим. GenAI, и, наверное, занимаясь, ты понимаешь value, да, понимаешь действительно, что работает, что нет, есть прекрасные. Материалы про то, что работает, а что похоже как-то. Непонятно. Понятно, что возникают всегда новые какие-то штуки. Там агенты, я слышу, что вы потоптались по ним и так далее. Но вот эта какая-то автоматизация бэк-офиса, в конце концов, То, что производит корпорация, это текст, так или иначе. И если есть инструмент, который текст начинает как-то понимать, то, похоже, мы как-то можем его приспособить к тому, чтобы нам было хорошо. То есть, наверное, это самый главный такой. Premise — такой, как бы, отправная точка, и даёт весь этот хайминг. Теперь что в результате, как бы, получится? Ну, не знаю, мы много работаем с документацией. Мне кажется, что, во-первых, хорошо, что мы начали так пристально ей заниматься и улучшать. Потому что по-любому надо её читать, да, новичку, надо старичку вспоминать, как что-то сделать. И незаметно ты тратишь очень много времени, да, вот на эти какие-то поиски безумные, на системы очень сложные, чем мы занимаемся, да, поэтому и нужны вот эти корпорации. В этом смысле, в этом смысле кажется, что... Ну, вот оно, зерно, да, но, наверное, напрямую мерить всегда хочется, как бы сказать, вот 30%. Да, часто я слышу эту цифру, всех спрашиваешь, ну что там от ИИ? Ну, 30% вроде как-то чего-то где-то чувствуем. Так, ну вот, сколько в реальности это, конечно. Это, конечно, вопрос, но те, кто палят миллионы, а, наверное, их легко достаточно спалить, особенно если ты покупаешь где-то там OpenAI по подписке. Ну, вот здесь как бы вот этот разрыв есть, и всем надо, кто не думает, ну, выйти на плато.

Дмитрий Колодезев 12:27
Мне стремительно, допустим, внедрение RAG во все места напоминает внедрение Hadoop. То есть, Hadoop, безусловно, решал важную проблему некоторого количества корпораций, а остальным он был только вреден. И, в общем, ну...

Валентин Малых 12:46
Слушаю, Дим, вот я бы тут возразил, на самом деле. То есть, дело в том, что я как раз примерно в момент начала расцвета Hadoop и как-то попал в индустрию, и я на этом хайпе тоже проехался. Я думаю, все на нем проехались немножечко. Но история в том, что, на мой взгляд, Hadoop действительно, ты правильно говоришь, что он полезен там реально ограниченному числу компаний. Но если у нас есть... Дешевый инструмент для того, чтобы с базой знаний компании работать, то он, как мне кажется, полезен буквально там начиная с десяти человек. Да, то есть десять человек у тебя уже достаточно порождают. Некоторого текста, как Ваня сказал, который уже неплохо бы уметь как-то так обрабатывать. То есть конкретно RAG, как технология, на мой взгляд, несёт сплошную пользу. Другой вопрос, что тратить на него там безумные миллионы, это бессмысленно. Да, то есть для RAG достаточно, в общем-то, классического BM25, который можно завести, и было на коленке ещё. Там, не знаю, пятнадцать лет назад, и соответственно, небольшой модельки, которая это обрабатывает, и таких моделек уже есть. Но тем не менее, для большинства этого уже достаточно. То есть, для больших корпораций, да, там нужно больше, более каких-то сложных инструментов, но на мой взгляд, RAG, он в данном случае какой-то Достаточно универсальная штука, которая нужна, условно говоря, всем. То есть это в данном случае даже не хайп, на мой взгляд, опять же, потому что я вижу пользу для потенциально любой компании, в отличие от big data, о которой ты говорил.

Дмитрий Колодезев 14:32
У нас, понимаешь, был как раз с Ваней совместно мероприятие, посвященное RAG. И там я, ну знаешь, должен быть адвокат дьявола, то есть человек, который всем говорит неприятные вещи. Поскольку я как раз был после тяжелой болезни, то я всем ходил, и было такое настроение, говорил неприятные вещи. И одна из неприятных вещей была в том, что те люди, которым вы делаете RAG, они просят у вас поиск. Information Retrieval, они поиск поиск по Вики. Им на самом деле нужна ссылка на Вики, место, где нашли. Они не хотят ответа искусственного интеллекта. То есть, это во многих случаях overengineering. Это во-первых. А во-вторых, вот когда-то Яндекс, Google, Альтависта и всё такое прочее изобрели поиск. И теперь мы заходим в Яндекс, в Google поисковую строку, набираем что-нибудь, и Google делает RAG по поиску. То есть он берёт, вытаскивает сниппеты, он обобщает их, делает отвертые. То есть RAG теперь это такая же, это просто одна из частей Information Retrieval. То есть, ну вот маленький кусочек в Information Retrieval, вот ещё вот такую штуку сюда можно прикрыть. Вот поэтому, как бы, мой спич был направлен не против RAG как таковых, это вещь действительно очень полезная, а именно против вот этого хайпа, что сейчас именно RAG решит у нас всё. Вот внедряйте RAG, он действительно полезен всем, но на самом деле это просто поиск, просто поиск.

Иван Комаров 16:06
Нет, я с тобой согласен. Да, и я бы здесь прямо, это, конечно, мой сейчас любимый конёк. Мы прямо всеми частями тела в реги. То мероприятие, которое Дима упоминает, было очень крутое. Это у нас называлось LLM Camp Altai 2025. И раз ЛЛМ, в общем, RAG там вторым пунктом шёл. Что я вынес, наверное, самое важное, это как-то немножко тоже даёт понимание и как-то обобщает то, что вы говорите. Я понял, что, ну, RAG 100%. Наверное, быть не может. И более того, если мы смотрим на embedders, как бы такое продолжение в М25, то мы видим там качество-то, ну, где-то 75, да, то есть. Раз, два, три, четыре, ошиблись уже. Нашли что-то не то. Поэтому первое, оказывается, что ну как-то не очень. Но тут мы вспоминаем действительно информационный поиск. Кстати, спасибо тебе, Валя, действительно, за каноническую книжку. Кто это и порекомендовал, я открыл. Ну, прочитал только первые два предложения, но они как бы мне хватило. Они сказали так. Это 2009 года книга, да, маленькая. Он сказал, что похоже, сейчас информационный поиск — это основной канал получения информации у людей, 82% тогда. Информации получали через интернет люди. То есть он работал неидеально. Мы все знаем, как работает Google и Лендекс. Но это инструмент, который мы научились им пользоваться. И, конечно, он опрашивается параллель с RAG. Ну, во-первых, действительно, хотелось бы, чтобы, ну, поиск немножко лучше работал, чем он работает, скажем, в конференции. Кто работает с этими системами знает, что да, там вроде как BM25, но что. Или сильно много находит, или там вообще невозможно, и нужны специальные люди, которые могут что-то найти. Обычный человек, которому это и нужен, наверное, этот инструмент, потому что он забыл, я не знаю. Сервис кода, ответа сервиса, да. Какие какие? Узнаешь, что это где-то там, но где? Где у нас есть иерархия? Ну, мы опять возвращаемся в начало интернета, собственно говоря. Поэтому вот этот вот extension. Вдруг достаточно становится полезен, как бы фокусировать наше внимание всё-таки на информации, на этих проблемах. И я уверен, я... Как вы, похоже, переживал много хайпов. Помните, сначала были большие данные. О, данных у нас нет, потом, о, у нас машина, и теперь обучение. И то же. Я прямо, собственно, в своё время и залетел в компанию, потому что, ну, не знали. Похоже, что мы теперь знаем всё, да, что хочет каждый потребитель. Мы теперь знаем. Но потом оказалось, что мы знаем это с вероятностью 70%, там в общем и целом, и, наверное, это не очень полезно и так далее, и так далее. Но если подводить итог и смотреть на этот хайп, да, про который мы говорим с высоты птичьего полёта. Мы понимаем, что да, мы выйдем на плато, и часто, кстати, это как со стартапами, да. Мы вроде начали про это, а потом поняли, что не-не, людям-то вот это нужно. Так и здесь мы потом поймём, что как и с Hadoop, собственно говоря, да, вот мы как бы его что-то как-то обхаяли, но потом мы поняли, что это такое, это же как бы файловая система. Просто мы не будем думать о структурах никаких, мы просто будем лить туда, да, а потом. Потом мы поймём, ах, структуры нет, придётся нам нанимать даты инженеров, которые нам теперь переложат всё в ClickHouse, чтобы было удобно и быстро дата аналитиков. Потому что да, мы можем достать, но это долго или неудобно. Да, вот так и, ну, потом мы как бы куда-то мы пристроили этот наш любимый Hadoop. Так и, конечно. С этим циклом мы поймем, куда. Где это будет? Да, и похоже, это, наверное, будет не в этом Magic, что она вдруг знает и отвечает. Вот это вот как бы, это вот прям хайповая штука, потому что нам, Дима правильно сказал, нам хочется. Найти быстро эту информацию. Если она завернёт красиво, ну, клёво. Если не завернёт, дай нам ссылочки. Сам схожу, там одна страница, прочитаю. По-любому какие-то чанки, как бы, организованы таким образом. Я лучше посмотрю, прямо срез, да как мы. Поэтому эта штука, безусловно, Валь, опять же, отсылая к тому, с чего ты начал, RAG. Супер, да, суперполезная вещь. Должна быть у каждого. Как бы, давайте, как бы, просто поставим, чтобы нам было легко находить и работать. Это, ну, да.

Валентин Малых 20:42
Ну, ты прав, на самом деле, тут вопрос именно в демократизации технологии, да, то есть вот это сравнение с Google Яндексом. Так как мне довелось поработать в своё время в Яндексе, я с той стороны знаю, насколько это реально сложный технологический стек для того, чтобы оно хорошо искало, да, для того чтобы оно пыталось. Как бы угадывала твой intent, твое намерение, что ты хочешь найти. А сейчас эта технология сильно-сильно демократизировалась, да, то есть она стала более близкой к не то чтобы рядовому пользователю, это тоже, но к рядовому. Скажем так, как это правильно сказать, DevOps, который может вот эту коробку взять и установить у себя. Запустить, чтобы она уже принесла пользу. Вот это принципиально важно. У нас такой переход происходит. И в этом смысле я, конечно, с Димой тоже согласен, что решит, что она все вопросы ответит и вам сделает сразу хорошо. Но это, конечно, полная иллюзия, хотя хайп такой есть. А это ещё один инструмент, который принесёт какую-то свою пользу, определённую, действительно принесёт. Опять же, как-то переусложнять, мне кажется, не стоит. Слишком сильно надеяться. Давайте у нас будет следующая новость. Вот эта. На самом деле, периодически я у себя в канале такого рода новости разбираю, но вот тут ещё одна такая новость пришла. Я думаю, что все, ну, как минимум, здесь присутствующие, а также многие из тех, кто нас слушает. У них был свой курс алгоритмов в институте или где угодно. И, соответственно, этот курс алгоритмов. Там есть некоторые базовые вещи, типа того же самого алгоритма Дейкстры. И оказалось, ну, в общем, мне казалось, что этот Дейкстры, ну, скажем так, некоторая константа в нашем мире, да, что вот есть некий способ быстро найти как кратчайший путь, и вот его путь он вот такой, да, и меньше он быть не может. Оказалось, что вообще говоря, может. И, соответственно, вот коллеги смогли представить модель. Кстати, тут надо сказать, что коллеги из части у Цинхуа, части у Max Planck, то есть это коллаборация. И они, соответственно, показали, что можно найти алгоритм, который будет делать обход графа быстрее, чем алгоритм Дейкстры. То есть классический Дейкстры — это, соответственно, у нас m n log n, да, m plus n log n, а здесь m на логарифм в степени 2 3 n, да, то есть мы на 1 3 степени логарифма быстрее. И это на самом деле довольно круто, то есть. Это означает, что, во-первых, мы ещё не всё знаем про математику, даже базовую, и это, в общем, наверное, более-менее очевидно, но не очевидно, когда это возникает. А во-вторых, это означает, что у нас есть ещё запас по улучшению соответственно, базовых структур, с которыми мы работаем. Кто хочет? Вань, может, ты?

Иван Комаров 23:52
О, слушай, я, наверное, здесь не специалист, но хотелось бы, может быть, у вас спросить про практическую пользу. Ну, скажем, мы искали, а теперь ищем там быстрее на логарифм одну треть. Как что-то у нас в жизни поменяется, или всё останется по-прежнему?

Дмитрий Колодезев 24:15
Справка, то есть мы живём в большом городе. У нас в стенах откуда-то берётся электричество, а в ваннах откуда-то берётся водополота. А ещё в розетках у нас откуда-то в Wi-Fi берётся интернет и в числе прочего. Огромное количество алгоритмов, которые управляют работой IT-систем, базируются, например, на построении алгоритма оставного дерева, на построении пути по нахождению, пути по графам, на оптимизации пути графов. То есть вся маршрутизация интернета базируется на тех или иных алгоритмах. Отсечение обратного пути на графах, маршрутизации на графах, сепарации графов и так далее. То есть я ожидаю, что непосредственно конечные пользователи не заметят того полпроцента улучшений, которые случатся везде, например. То есть это не то, что где-то резко выпечется, это просто общий уровень. Чуть-чуть поднимется, и мы этого не заметим, но опять же, где-то кто-то сможет направить лишнее электричество или лишнюю процессорную мощность на что-нибудь полезное. И тут, наверное, самое интересное не то, что именно Dijkstra ускорили, хотя, конечно, Dijkstra лежит в основе многих вещей, которые работают с практическими графами, а с тем, что в принципе сейчас. Уже этот же результат был получен с помощью LIMP, если я правильно понимаю.

Валентин Малых 25:42
Честно говоря, я вот этого не увидел, что там с помощью LLM, мне кажется, тут не было связано.

Дмитрий Колодезев 25:48
Да, дело в том, что с помощью LLM, недавно ускоряли алгоритм, но там, по-моему, любимая вот эта макелара для матричного умножения. Вот, и у нас в используемых нами алгоритмах на самом деле конь не валялся просто потому, что до многих не доходили руки. И что сейчас реально происходит со всеми этими? Овными ленками, что у них появляется. Доходят руки до вещей, которые можно решить тупым перебором. Как в своё время было с топологией и задачами о раскрасках графов и так далее, и тому подобное, которые, когда поехали в MapFrame, тупо пересчитали многие задачи, которые, то есть их разбили на классы, и каждый класс посчитали по отдельности и доказали. Вот, то есть многие алгоритмы, наконец, можно будет детально проверить, потыкать пальцем в каждую мелкую деталь и что-нибудь, мне кажется, это вообще.

Валентин Малых 26:53
Я бы тут, знаешь, добавил одну, скажем так, один пример, близкий многих из наших сограждан. Вы, ну, наверняка, кто-то жил, кто-то как минимум бывал, таких людей довольно много, в таких домах, в которых, соответственно, лифт расположен не на этаже, а между этажами. Видел такие, да? Я думаю, что мало кто задумался, откуда вообще такая странная идея, зачем лифт располагать между этажами. А идея, на самом деле, это как раз из разряда того, о чем Дима говорит. Дело в том, что, соответственно, советские инженеры посчитали, что если мы, соответственно, на там, например, девятиэтажный дом сделаем не девять. Выходов из лифта А8, то у нас получится экономить одну дверь, что в масштабах страны приведёт к экономии там, ну, 100 тысяч дверей ежегодно. Это означает, что мы фактически можем не построить лишний завод по производству дверей лифтовых. И это, вообще говоря, довольно серьёзная экономия, если задуматься. То же самое, что вот здесь, вот те же самые полпроцента экономии на вот этом графе. Они, соответственно, приведут к каким-то экономиям в масштабах всей энергосистемы размером, наверное, там с небольшой город. Это моя такая гипотеза, но вот я думаю, что после широкого внедрения мы такой масштаб экономии насчитаем.

Дмитрий Колодезев 28:17
Есть такая философия микросмертей. Можно в интернете найти, в microdie. Там предлагается мерить свою собственную жизнь в микросмертях. Ну, типа, вот у нас однотысячная жизни сколько осталось? Одномиллионная, да, микросмерт. Ну, это типа у кого-то двадцать минут, у кого-то что-то больше. Раз, типа, я потратил на это одну микросмерт. И так начинает отрезвлять, да. Я в своё время прикидывал. Сколько смертей, то есть полных человеческих жизней, нужно для возведения многоэтажного, многоквартирного дома? Достаточно много. Если, ну, я думал немножко с другой стороны, потому что мы разрабатывали в своё время десктопное программное обеспечение, и я думал о том, что разработчики программного обеспечения, которые имеют большую аудиторию, они серийные убийцы. Потому что вот здесь мы потеряли две секунды, здесь потеряли две секунды. На самом-то деле, это потраченные впустую человеческие жизни огромное количество. Вот, ну и вот это про мелкую экономику.

Валентин Малых 29:14
Ну, мне кажется, тут UX-дизайнеры очень сильно тебя поймут, потому что если твоим приложением пользуются миллионы человек, то оно должно быть максимально. Эффективным для того, чтобы, соответственно, вот эти вот самые микросмерти, или как оно там, соответственно, случались всё-таки пореже. Потому что иначе очень много времени уходит просто в нагрев вселенной, скажем так. Предлагаю перейти к другой статье. Эта статья у нас называется «DeepThink with confidence», то есть. Глубокие размышления с уверенностью, если так переводить. Собственно, идея в чем, насколько я успел прочитать, она заключается в том, что мы можем параллельно рассуждать и за счет этого, соответственно, ну фактически приходить с одной стороны быстрее. Правильному выводу, с другой стороны, приходить к правильному выводу с большей уверенностью. Потому что, опять же, здесь, наверное, стоит сделать отсылочку на какие-то более известные вещи. Например, есть такой замечательный алгоритм GRPO. Это у нас про групповую. Групповое обучение с подкреплением смысл там примерно такой же. Мы, соответственно, создаём некоторую популяцию, если хотите, объяснений или ответов на вопросы, и нам нужно каким-то образом выбрать правильный ответ. Хорошо, если у нас есть правильный ответ, но часто у нас правильного ответа вообще в принципе нету, у нас есть только вопрос, и тогда выбирают правильный ответ просто путём. Прямого четно-тайное голосование, да, то есть мы берём и говорим, что вот у нас три из пяти вариантов ответа одинаковые, значит, вот у нас такой ответ правильный.

Дмитрий Колодезев 31:05
А ну. В Вообще, в LLM как же есть такая штука? Ну и вообще во многих алгоритмах используется. Многоучевой поиск, то есть когда у нас beam search. Когда одновременно мы прорабатываем, допустим, в случае LLM часто четыре варианта ответа, потом один из них. Отбрасываем на два, два из них отбрасываем, два разветвляем снова четыре, и мы постоянно выбираем, какие из них более правдоподобные, какие-то более хорошие и так далее. Это помимо варианта, что мы можем просто две LM-ки параллельно запустить, чтобы получить что-то более хорошее. И вот этот подход, он интересен тем, что мы можем попытаться избавляться от галлюцинаций ещё на этом этапе.

Валентин Малых 31:54
Ну, тут на самом деле, beam search сейчас, насколько я представляю, всё-таки достаточно редко используется. То есть, сейчас все перешли на оценивание именно полноценной гипотезы, да, уже сформулированной. То есть, мы сначала делаем так называемый rollout, и дальше этот rollout мы уже оцениваем с помощью чего-нибудь. Уже по rollout судим, но на самом деле вот эта вся история, она пошла, как ни странно, из шахмата. Ну, я думаю, что многие ещё помнят, кто не помнит, сейчас узнает. Соответственно, некоторое время назад, ну, кажется, это было лет шесть назад, когда у нас AlphaGo случился момент. И суть вот этой вот AlphaGo на самом деле довольно простая. Если так концептуально брать, там много сложной математики, но концепция там несложная. Они, базовый алгоритм у них звучит как Monte Carlo tree search, то есть поиск по дереву с помощью Monte Carlo. Что это такое? Это следующее. Мы выбираем некоторую позицию, ну, допустим, текущую нашу позицию на игре, и делаем вот этот вот самый rollout. То есть мы делаем несколько шагов за себя и за противника и приходим к некоторой новой позиции, которую, опять же, оцениваем. И таких rolloutов мы можем сделать какое-то количество. И суть AlphaGo была в том, что она как раз умеет делать такие rollout и выбирать тот rollout, который ей кажется наиболее перспективным, то есть делать шаги так, чтобы реализовался именно этот rollout. Ну вот этот принцип и перенесли на LLM. Вот в частности, на GRPO. Поэтому мы и имеем сейчас возможность поговорить про, в частности, вот такую вот модель.

Иван Комаров 33:39
Ну, я бы добавил, что, ну, конечно, это здорово. Да, это похоже, опять же, в развитии reasoning-моделей, да. То есть утверждается, что качества лучше, время меньше. Конечно, время на thinking. Сначала прикольно читать, что она говорит, потом, конечно, немножко выбешивает. Я даже в этом смысле. Люблю спросить какой-нибудь Qwen, который сразу бах сказал, и всё вместо нашего любимого там DeepSeek, который ходит, ходит, чего-то, ходит, ходит, потом на самом деле отвечает, что-то даже вроде какое-то не то, про что он делал thinking. Вот насколько я понял статью, и вообще, конечно, интересно, что там за confidence такое. Я тоже особо не вчитывался, но похоже, это то, что внутри у нас есть, да, какой-то параметр, который помогает нам, собственно, выбрать пути, которые сразу как бы кажутся нам хороши. Да, и этим мы не ходим по всем лишним, а идём по самым, по самым, у которых confidence побольше. Ну вот. Ну что, я считаю, что отличное развитие. Здорово, если thinking будет покороче. Вообще интересно, конечно, как сделали, скажем, чат GPT-5, потому что там модель решает, что ей делать, будем ли мы уходить в Сынкин или нет. И также в этой связи рекомендую, кто не погружался в reasoning. Погрузиться. Есть у Стэнфорда много открытых лекций, в том числе есть лекция про reasoning. И, по-моему, один из товарищей, который здесь как-то отметился, Вэнг, по-моему, её ведёт. И оказывается, что reasoning-то вообще присущ, собственно, любой LLM, если мы посмотрим не самой. Вероятный токен, а пойдём по каким-то другим токенам. То есть это уже у нас есть, и поэтому, конечно, наша задача. Так как мы знаем, что «think степ-бай-степ», да подумай шаг за шагом, это улучшает ответы, да, и вот мы. Довели эту технологию до того, чтобы всегда она think step by step, давала там несколько путей. Потом мы как-то обобщали. Вот здесь было про majority voting, что это, наверное, не самое лучшее. Теперь мы нашли, что давайте смотреть на confidence, и это ещё как бы улучшает. Конечно, reasoning, ну, путь, путь, очевидно, хороший, да, в улучшении. Работы LLM, потому что ну и мы как-то любим всё немножко разложить. Это помогает нам даже объяснить, почему так. То есть, только завтра.

Дмитрий Колодезев 36:26
Если я правильно понял, токен confidence — это просто у них правдоподобие токена. То есть, это сумма лог probability токенов до него. Вот, то есть. likelihood. И вот тут просто почему я сказал про галлюцинации, потому что есть одна техника борьбы с галлюцинациями, когда мы ориентируемся именно на log-likelihood по мере всего этого самого. И чем он ровнее, на самом деле, чем меньше у них провалов, тем предположительно меньше галлюцинаций. Ну, в общем, мне кажется, что это, что да, что самое главное, что тут, что оно заводится на существующих моделях без переделки.

Валентин Малых 37:08
Ну, я тут хотел, наверное, две копеечки вставить, что вот тут как раз они про majority voting говорят, про который я говорил, да, что выбирают те гипотезы, которые. Скажем так, наиболее похожи друг на друга. То есть, на самом деле, majority voting — это довольно интересно. Почему вообще в принципе мы имеем право это делать? То есть наши модели изначально уже достаточно хороши для того, чтобы мы сказали, что скорее всего, модель уже права. Да, она просто может уйти куда-то не туда, но скорее всего она не туда не уйдёт. Вот мы если десять раз её спросим, то скажем так, семь из десяти раз она придёт куда-то в одну правильную точку, и мы считаем, что это правильно. На самом деле, никто такого не гарантирует, конечно. Важный аспект, что вообще говоря, это не всегда работает. То есть, если мы говорим про какие-то, например, фактоидные вопросы, то LLM ки... Но они не могут запомнить всё, да, и они вполне нормальным образом могут галлюцинировать, и с этим надо быть. Совершенно как бы спокойным, потому что иначе они и работать не могут. Они всегда абсолютно, ну ладно, абсолютно я превылечиваю, они уверены в том, что они говорят. Есть даже целое направление в науке, да, которое называется uncertainty estimation, то есть когда мы устанавливаем, насколько модель не уверена в том, что она сейчас делает, и это Изначально было придумано для классических, для классического ML, а сейчас активно развивается для LLM. И на самом деле сейчас мы до сих пор с помощью что этих методов, что других, до сих пор полностью в галлюцинации победить не можем, просто в силу того, что модель, она как бы внутри нее возможно заложена возможность галлюцинации, и мы ее никуда не меняя. Сама модель делать не можем.

Дмитрий Колодезев 39:00
Вот, смотри, последнее предложение, нота, блин, челленджи. Обращаем внимание, что на сложных бенчмарках, таких как AIME 2025, DeepComf-512 достигает 99,9% аккуратности. И вот для меня это на самом деле звучит как красный флаг, а именно DeepComf-512. То есть обычно моделька запоминает результаты, плюс немножко фантазирует на его тему. И для меня это выглядит, слово, как будто мы на самом деле отрубаем ей возможность фантазировать и давай-ка выдаваем тот результат, который ты запомнила при обучении.

Валентин Малых 39:39
Ну, так и есть. То есть, ну, это явно, соответственно, модель в некотором смысле переобучена. То есть, здесь я нисколько не хочу утверждать, что коллеги, соответственно, именно взяли тест-сет и на нем обучились. Вообще этого не говорю, но они, соответственно, Просто её максимально так настроили, чтобы она просто была в очень узком коридоре. Мне кажется, мы в какой-то из разов обсуждали вот эту вещь про то, что... Если мы, соответственно, возьмем математическую задачу, которая изначально сформулирована про яблоки, и переложим её на крокодилов, то, соответственно, модель, она, скорее всего, на крокодилах ничего не поймёт. И кажется, что вот эта штука, она как раз этот эффект только усиливает. Так, вроде всё обсудили. Давайте тогда следующая новость. Следующая новость достаточно интересная, на мой взгляд. Она такая неожиданная, первая в своём роде. Коллеги из ESET Research ESET — это, соответственно, фирма, которая занимается кибербезопасностью. Я, если не ошибаюсь, они, по-моему, из Чехи. Они, соответственно, Словакия, да. Извините. Да-да-да, там недалеко, соответственно. Они сделали совершенно интересное, ну, замечательное открытие. Тот, кто придумал это, по-своему, гениальный человек. Я имею в виду тот, кто вот этот зловрет придумал. Идея в том, что они используют GPT-OSS-20B модель для того, чтобы сгенерировать вот эти вот скрипты. Которые, собственно, и наносят вред компьютеру. Ну, там конкретно вред. По-моему, они что-то там воруют, какие-то криптокошельки что-то такое. Но суть-то здесь не в этом. А суть здесь в том, что на мой взгляд, это довольно показательно. То есть сейчас мы можем добиться того, чтобы У нас наша LLM стабильно выдавала результат. Да, пусть это плохой результат, в смысле он вредный для людей, но тем не менее результат стабильный. Да, то есть мы можем так её сконфигурировать, что при правильном промте она может выдать то, что мы от неё ожидаем, то есть конкретный. Конкретный скрипт, который будет исправлять конкретный алгоритм, причём не самый простой скрипт, в общем-то. И это, на мой взгляд, серьёзная такая заявочка. То есть мы с вами проснулись в некотором смысле в новом мире. У нас теперь всё немножко по-другому стало в нашей жизни.

Дмитрий Колодезев 42:32
Ну, в продолжении всех этих разговоров про то, что МСП сервера и так далее открывают новый security threat, то есть представьте себе, что вашего домашнего услугу, то есть LLM установленную на вашем компьютере или доступную по вашему токену, можно убедить вынести фамильные драгоценности на задний вход и там оставить. Вот, то есть раньше вам нужно было следить только за собой, а теперь за собакой, котом и LLM-кой на стиральной машине.

Валентин Малых 43:03
Про стиральные машины я уже вспоминал, да, я так и не нашел чей-то фантастический рассказ про конкуренцию производителей стиральных машин, которые потом оснастили искусственным интеллектом, чтобы и кофе делать и всё на свете. Но, в общем, да, как бы мы с вами находимся в том моменте времени, что у нас Вообще говоря, уже есть очень мощные инструменты, но у нас нет способа. Убедиться, что эти мощные инструменты работают на вас. Ладненько, я думаю, тогда здесь закончим. Давайте перейдем к следующей новости. Значит, тут новость. Сейчас я зачитаю, но основное, что надо дать сначала предысторию, что за последние где-то, кажется, полгода, ну, может быть, чуть-чуть больше, ну ладно, скажем, за год, уже три раза в компании Meta, запрещенной территории Российской Федерации, соответственно, они три раза перестраивали работу и отдела, да, то есть они очень много. Туда вкладывали и уже несколько раз, как говорят наши соседи белорусы, перетрахивали команду. Соответственно, и там получается, что после последнего вот случая, когда Несколько раз несколько сотрудников из OpenAI удалось переманить за какие-то там совершенные Непонятные деньги эти сотрудники просто берут и увольняются и обратно уходят в OpenAI или ещё куда-нибудь. В общем, сотрудники нового AI-отдела, то есть это уже третий, третья итерация AI-отдела за последние полгода, они спустя два месяца работы разбегаются. На мой взгляд, это, в общем, классический эффект, что когда у нас нет порядка в стратегическом видении, то, собственно, народ, который непосредственно гребет, да, те самые знаменитые гребцы, они тоже не особо хотят грести и угребают куда-нибудь другое место. Дима.

Дмитрий Колодезев 45:13
Ну, тут есть три коротких замечания. Во-первых, даже девять женщин не родят ребёнка за один месяц. То есть, организационные процессы всё равно должны строиться на это вынужденное время, чем больше контор. Я не могу сейчас найти ссылку, но там как раз вот от тех людей, которые уволились назад, то есть, которые пришли из OpenAI и ушли назад, они писали в своих твиттерах, по-моему, что Они столкнулись со сложностями при получении высших ресурсов и так далее, бюрократии. Грубо говоря, как в одной большой компании, когда ты приходишь на работу и месяц ждёшь, пока тебе дадут рабочий ноутбук и доступ. Вот, а если человек жил в темпе, когда он за месяц? Совершал, ну, не научные открытия, но инженерный пролив хотя бы, то есть сидеть. В этом болоте ему может быть очень некомфортно. А третье — организационное, то есть большая шумиха была по поводу компенсации, которые им выплачивали. Легко себе представить в большой организации, когда он приходит к смешникам со словами «хлитнулись к кабанщикам, сделали». Они ему сказали, тебе дали полтора миллиарда, ты делай. То есть, на самом деле, напряжение в команде, про которое тоже в этой статье пишется, напряжение между новой и старой командой прямо возникло. Ну, это тоже можно понять. То есть, это не в два раза разница в зарплате, это разница в миллиарды.

Иван Комаров 46:34
Да, я бы тоже хотел тут добавить очень. Интересно, что происходит. И, ну, повторяю то, что вы уже сказали, действительно, похоже, что старички, да, это как бы частая история, когда ты хочешь нанять кого-то с рынка. Обычно ты не так старичков бодро поднимаешь, как то, что ты хочешь взять с рынка. Ну и вообще, почему кто-то должен прийти с рынка? Потому что дашь им больше, да. То есть текущая ставка вот такая. Ты хочешь кого-то переманить, ты говоришь, а давайте дам больше. И здесь мы знаем, что Meta вообще перестаралась и давала какие-то вообще безумные деньги. Понятно, что они быстро хотели сформировать. Суперкоманду всех победить. Илон там очень быстро построил дата-центр. Они, наверное, решили, что мы очень быстро возьмём самых лучших, потому что люди за деньги пойдут к ним. И, наверное, как и с кривой хайпа, да. Приходишь на деньги, а потом оказывается, что ну как бы деньги, оказывается, не всё в этом мире. Что, как Дима сказал, похоже, что... Приходится за что-то платить. Может быть, там уже такого уровня не было, специалистов, да, куда-то пришёл. А может быть, там какая-то бюрократия. А может быть, раз ты пришёл такой золотой, то действительно, ты всё тогда. И делай без того, что у тебя раньше было под руками, а теперь, ну как бы, ты это и создай. То есть, ну, другими словами, нет бесплатного ланша, за всё приходится платить. Деньги большие, давай тогда как бы и... Поэтому, ну, здесь отчасти неудивительно. Было бы удивительно, наверное, если бы Цукербергу удалось как-то всё-таки замотивировать. Но он не такой лидер, да, как, скажем, Маск, который... Которому идут работать, ну, может быть, даже не за такие большие деньги, потому что, ну, это действительно человек, который доказал, что может из ничего поднять какие-то новые индустрии даже, блядь, да вот. А Цукерберг, ну, не сказать, что это какой-то супер, он сделал какую-то супер штуку, хотя там у них что, по-моему, Ян Лекун, да, у нас.

Валентин Малых 48:58
Да-да-да, я как раз хотел сказать, что в своё время, ну скажем, лет десять назад, да, это вот как раз FAIR. Соответственно, вот эта организация, специально созданная под AI Research, она была. Супер какой-то мегапопулярный, супер-мега местом для того, чтобы туда все стремились, и Ян Лекун смог там сделать очень интересное место для того, чтобы там работать. То есть, если так на текущий момент переносить, это вот FAIR был тогдашним OpenAI. Не знаю уж, каким образом это произошло, наверное, естественным образом, что просто FAIR, ну, как-то потускнел. Да, то есть, появился OpenAI, который... Более стильный модный молодежный, чем FAIR, который теперь не ассоциируется с этим прорывным ирисетчем. Соответственно, FAIR как-то остался немножко в стороне, и попытки его закидать деньгами, то есть переманить таланты, дав им очень много денег, привели к тому, что ну, не сработало. Кстати, в этой связи хочу отметить. Я у себя в канале всё время про это пишу, ну как время от времени. Про очень интересный стартап из Японии, который называется Sakana, Sakana.ai. Они очень интересные вещи делают. Пожалуй, вот эти люди сейчас самые интересные вещи делают во всей индустрии, вот на мой вкус. То есть они прямо раз за разом что-то интересное выкладывают. И у них только денег, конечно, меньше, чем у Meta и OpenAI, но тем не менее, вещи совершенно прорывны.

Иван Комаров 50:42
Да, мы, по-моему, даже слышали о них, но говоря про метод запрещенную в России. Организацию стоит сказать, что они, конечно, сделали много хорошего, да, и первая LLaMA. Прискакала оттуда, и мы, по-моему, BPE, и, наверное, там старожилы, те, кто, наверное, Валь, ты знаешь прямо много всего хорошего, даже и не из NLP. Да-да, и даже не из NLP, там у нас и по временным рядам они выпустили много интересных профит, да, много интересных. Таких прямо мощных штук, поэтому молодцы, и как бы продолжайте в том же духе. Вот, ну что ж, жалко, что похоже, там топ-талант. Пойдёт куда-то не знаю куда, но видно, что талант, конечно, мигрирует. Я несколько раз, в том числе, и на Рассказывал про LLaMA, и мне очень нравился, опять же, из того же Стэнфорда рассказ. Потом вижу, этот человек, француз, уже представляет ChatGPT 5. То есть, понятно, что вот эти большие конторы как-то круговорот идёт, и, судя по зарплатам, это, конечно, какие-то какие-то удивительные деньги, да.

Валентин Малых 52:10
Ну да, это как бы колесо хайпа. Да-да-да. Ладно, чужие зарплаты обсудили. Давайте, соответственно, переключимся на следующую новость. Она, на мой взгляд, тоже достаточно интересная. И тоже в эту же сторону, на самом деле, связано. Соответственно, Apple вроде как не очень понятно, насколько это правда, но тем не менее, Bloomberg пишет, что Apple исследует возможность использовать Gemini. Чтобы, соответственно, пустить туда в Siri вместо своего Apple Intelligence. Я думаю, что не все помнят, но в свое время Apple ненадолго заманил к себе Руслана Салахутдинова. Это такой крупный ученый из AI. По-моему, он Carnegie Mellon University. Честно, забыл, честно говоря, в каком конкретном университете он был, но он, соответственно, был. В какой-то момент суперпопулярным, потом она из Apple ушёл, видимо. Ну, что-то они там не договорились в этом самом Apple. Ну и, кстати, по-моему, в Apple был и Ilya Sutskever, если я ничего не путаю в своё время. То есть, ну, крупные люди были в Apple Intelligence, но как-то они там не приживаются. Почему они там не приживаются? Это какой-то отдельный вопрос, я не готов на него рассуждать. Может быть, корпоративная культура, может быть, что-то ещё. Но суть в том, что Apple... Судя по всему, решил в этой гонке взять, соответственно, движок от лидера и его, ну, одного из лидеров. Да, понятно, что есть и другие, но один из лидеров. Собственно, Google. И я думаю, что идея тут в том, что у Apple и Google достаточно давняя история сотрудничества. Они, я помню, пытались конкурировать с ними даже в поиске одно время, да, в Siri, но в итоге сдались и тоже всё равно используют технологии Google.

Иван Комаров 54:11
Apple недавно мы, наверное, Я не помню, обсуждали ли на Капитанском мостике. Сейчас, мне кажется, вышла такая очень... Ну, наверное, провокационная, но очень хорошая книга про Apple, которая говорит, что, ну, Apple, похоже, это то, что сделала Китай. То, чем он является. И если посчитать, сколько было инвестировано в китайских инженеров и в логистику, и в небольшие компании, которые помогают собирать Apple свои гаджеты, начиная от MacBook, заканчивая iPhone, конечно, и насколько стал большой рынок Китая. В общих продажах Apple становится понятно, что здесь, конечно, очень сильная синергия. Поэтому, ну, зная это и зная Apple всё-таки как больше такой hardware manufacturer, да, похоже, что вот это, конечно, основное, хотя очень много клёвых, интересных, даже первых, там на рынке смартфонов фишек появилось у Apple, да, там вырезать, убирать.

Валентин Малых 55:18
Ну, это про дизайн, чем про этот самый ProSoft, да.

Иван Комаров 55:25
Вот всё-таки софт, да, не то что они прямо, ну, это их корён. Вот и поэтому здесь, наверное, неудивительно, что, ну, на самом деле, Siri, конечно, провалилась. Если так мы бинарно говорим, то как бы эта штука, которая, ну, не работает, все над этим смеялись. И, конечно, было бы круто, если бы она заработала. И мы знаем, скажем, как хорошо работает ChatGPT, честно говоря. Во многом и в переводе, и в понимании голоса, когда ты запускаешь её, я не знаю, чтобы она что-то увидела и рассказала об этом, или ты разговариваешь, у тебя действительно экспириенс, ну практически. Как с живым человеком? Это удивительно. Есть. Маленькие проблемки, ну, в общем и целом, это скорее рабочий инструмент, чем нет. И вообще, я думаю, что Apple вроде сейчас же пяти договорились об этом. Просто они хотят договориться о деньгах, потому что мы помним, сколько Apple платит и Google за поиск. И похоже, конечно, здесь, наверное, это такая будет основная. Ну, денежная штука, да, если у нас что-то будет, если ты будешь общаться голосом теперь с девайсом. Поэтому я думаю, что это очень важно. Ты правильно выбрал эту статью, потому что это, ну, в мире IT с точки зрения денег, это очень важно. Будет вот этим вот помощником, потому что мы уже технологически, похоже, подошли к тому, чтобы эта штука, ну, нормально работала, да, чтобы это не было как там сейчас даже, да, без там ChatGPT и прочих, когда мы там нажимаем в машине. У меня наконец появился Apple, ну, и Apple, и Google. Авто, когда ты нажимаешь, что-то говоришь. Ну, работает, но обидно, когда тебе вот прямо нужно это, а этого нет.

Валентин Малых 57:28
Ты меня, кстати, навел на мысль, я как-то сразу об этом не подумал. Похожая же история произошла по другую сторону Тихого океана в Китае, есть замечательная. Тоже хардварная компания Huawei, которая делала много чего, на самом деле. Ну, в принципе, Huawei от Apple в этом смысле отличается тем, что Huawei изначально больше про железки для Соответственно, сотовые связи, то есть про самые вышки и вот это всё, а потом уже пришли в консумерский бизнес. Но тем не менее, Huawei делал попытки создания своей большой языковой модели, она не взлетела, объективно. И сейчас, собственно, они коллаборируют как раз с DeepSeek, который является, соответственно, лидером на китайском рынке. Да, то есть мы видим вот некую очень похожую историю. То есть у нас есть Apple как железная компания, плюс Google как софтварная компания. И, соответственно, с другой стороны, у нас есть Huawei и DeepSeek. То есть, это на самом деле кажется, что вполне себе зеркальная ситуация, и это действительно интересная параллель.

Иван Комаров 58:42
Ну и опять же, это говорит о том, сколько нужно потратить, чтобы эта штука хорошо работала. Часто мы говорим, а давайте, я не знаю, возьмём какое-то готовое решение. Но похоже, чтобы это прямо работало, скажем, на уровне железа, раз не могут Huawei и Apple это где-то себе сделать. Кстати, книга называется «Apple in China». Если они не могут это сделать, всё-таки обращаются к специализированным, именно, ну, грубо говоря, там, софтверно. Нейросетевым компаниям похоже, похоже, там много нюансов. Это неудивительно. Мы этим тоже пытались заниматься, кстати. Подумали, возьмем движок и сделаем. В результате мы тоже пошли к специализированной компании. Это точка Сбера, где работает 600 человек, которые как бы занимаются именно, скажем там, диалогами и голосом.

Дмитрий Колодезев 59:41
Apple отличает меня. Siri же очень старая технология. Да, да, 2009 год. Да, все старые технологии, Siri, Echo, а раннее Alisa, если я ничего не путаю, они были, по сути, ведро с болтами поверх распознавания голоса. То есть у нас есть распознавание голоса и дерево скриптов. Да, да, так и есть. Вот и затем технологически успешные компании начали. Делать это более умным, то есть просто поколение за поколением. И если, например, Alisa, насколько я знаю, уже очень далеко ушла от этого ведра с болтами. Вот, Echo пытается уйти, Amazon. То, может быть, просто для Siri это вот она переросла в свои технологии. Просто она первая была такая популярная, широко доступная всем. Просто из гусеницы сейчас рождается мамочка. Вот и всё, то есть это естественный переход на новое поколение технологий.

Валентин Малых 1:00:42
Это интересная мысль. На самом деле, про Siri — это какой-то не очень известный факт, хотя, опять же, никто его особо не скрывает. Siri, собственно, Apple же купил Siri, они его не создали, они его купили. И купили они не абы кого, а непосредственно у DARPA. То есть, это штука, которая была изначально разработана для американских военных, что-то американских военных она не взлетела. И они её, соответственно, ну разработку просто продали Apple, и Apple её довольно широко внедрила, то есть она сейчас везде есть. Я, честно, признаюсь, Siri никогда не пользовался, несмотря на то, что. Я действительно пользуюсь техникой от Apple, но как-то вот в Siri совершенно не моя история. Может быть, именно из-за того, что я в своё время довольно плотно занимался диалоговыми системами, я понимаю, как там эти ведра с гайками работает. Мне оно из-за этого магия со мной не случается. Вот, так что интересная мысль. Может быть, действительно, пора старые технологии немножко открутить и прикрутить уже новые, которые будут работать лучше. Это очень сложный переход, наверное, тут можно. Сказать так, что есть хардварные инженеры, которые хотят очень четко понимать, как эта штука работает, что у неё должна быть четкая структура действия, и они не могут. Как бы себе представить, что у них на девайсе будет работать что-то, что работает не пойми как, да, то есть искусственный интеллект, который обладает вот этой мягкой логикой, которая совершенно непрогнозируема по большому счету, может быть здесь как раз конфликт менталитетов, да, именно как раз менталитета с одной стороны железячников и менталитета.

Иван Комаров 1:02:29
Вот этих вот ИИ-специалистов. Ну, кстати, ты сказал, затронул интересный вопрос, да, насколько локальна эта штука. Если вы пробовали, скажем, LLM на телефоне, вот, а есть такое приложение, то, конечно, ну как-то. В общем, знаешь, как не сильные open source LLM-ки, где-то мы смотрим на это. Потому что в таком качестве, конечно, прорыва не будет. ChatGPT в этом смысле работает через интернет и просто сделав ставку на это без всяких дураков, да. И вот тут я хотел бы Ване обратить внимание, слушай, извини, что я перебиваю, что как раз

Дмитрий Колодезев 1:03:05
Apple — лидер, наверное, в edge computing для нейронных вычислений. То есть, просто самые быстрые нейронки на девайсах — это у Apple.

Иван Комаров 1:03:20
Ну, честно говоря, их ставка на ARM и их архитектура, это, конечно, удивительно. То есть, даже в корпоративной среде, если ты скажешь, я хочу на PC делать LLM, тебе придется покупать Apple. Windows вообще никак не выводит. Даже у нас первое, что мы советуем, если вы хотите использовать LLM, ну, если у вас Mac, то вы просто берёте и пользуетесь. Даже современные устройства, когда мы говорим уже о серверах, если вы и, может быть, мы сделаем когда-нибудь обзор. Новых устройств, когда вот эта unified memory позволяет нам именно, особенно в части LLM. Загружать большие модели, да, и когда мы начинаем их ещё стекать, потому что как раз с Apple мы можем сделать то, чтобы запустить, скажем, DeepSeek локально. И это стоит не так, как это было бы с NVIDIA. Вот это как бы вообще интересный ход. Ну и очевидно, что LLM как бы просятся на девайсе, да, и, наверное, Apple опять же будет первым, кто, ну, удивит нас качеством. То есть, так как завещал нам Jobs, когда они вылежут, как это было там с первым iPhone, да, потому что такого раньше, помните, не было. А чтобы мы нажимали на стекло, и оно Работала. Раз они решили это, если они сделают такой же шаг с демами и у нас просто появится это на устройстве, ну, это вот здесь как раз такая какая-то революция произойдёт, честно говоря.

Валентин Малых 1:05:08
Окей, я думаю, что здесь плюс-минус обсудили. Я предлагаю перейти к немножко другой новости. Произошло страшное. На самом деле, я шучу, конечно, насчет страшного, но мы с этим эффектом сталкивались, и интересно, что его признал уже GitHub, что, соответственно... GitHub запретил, соответственно. Автодополнение, то есть генерацию для pull request, для описания pull request с помощью Copilot. Да, то есть, как бы, они с одной стороны, одной рукой этого Copilot везде продвигают, с другой стороны, они, собственно, пришли к выводу, что, ну, в какой-то момент становится просто невозможно уже вот это всё. Вывозить, да, то есть с этими сгенерированными описаниями просто невозможно работать, то есть люди не могут. И они просто это запретили. На мой взгляд, совершенно справедливо запретили, потому что это реально представляет собой проблему. И на самом деле про это ещё Где-то в начале года говорили, что open source проекты стонут от того, что им приходит очень много сгенерированных pull request. А здесь, соответственно, Уже на официальном уровне запретили, признали то, что, ну, в общем, достаточно очевидную вещь, что любой инструмент хорош для своих задач, и злоупотребление этим инструментом, вообще говоря, Приводит только к ухудшению работы, то есть программировать за вас компьютер не будет. За вас LLM может сделать какую-то техническую работу, но тем не менее, само все программирование, то есть сутевая часть, придумать, что нужно сделать, это всё равно должен делать человек. И это как раз отсылает нас к началу нашего разговора, когда Дима говорил, что Хороший программист от этого становится быстрее от использования LLM, а плохой становится совсем плохим, потому что он ещё становится уверен в своих действиях. Вот. вот

Дмитрий Колодезев 1:07:12
Есть же еще один момент. Я когда-то на Датафесте выступал весной. Я если Может быть, слышал, говорил, что появление мощных LLM в разработке программного обеспечения ставит в вопросы само по себе предварительное написание тестов. То есть, если мы можем тесты прямо сгенерировать в все ICD, то сейчас мы этого пока не можем, но дело к тому идёт. Сгенерировать выполнено, зачем нам хранить? И вот. Вот если у нас есть текст, который мы генерируем LLM по pull request, а зачем его генерировать и кэшировать? Когда мы его сгенерируем, тогда, когда он будет нужен, той LLM, которая будет на момент чтения, которая мощнее, чем сейчас. То есть сама по себе идея кэширования сгенерированного текста довольно-таки сравнительна, если его дешево сгенерировать по необходимости. То есть tool request мы документируем, мы фактически берём представление в коде и говорим, что здесь произошло. Если мы говорим это человеком, понятно, человек сказал и закэшировалось. Мы не будем каждый раз звонить ему по телефону и говорить, что было в этом узке код. Но если это сделала LLM, мы действительно можем каждый раз, когда нам этот текст понадобится, из LLM его получить. Типа, объясни, что делает этот ток, объясни, что делает этот ток. И это-то никуда не делается. То есть мы просто перестаем кэшировать генерируемое на лету описание, а это само по себе достаточно непрерывно.

Валентин Малых 1:08:45
Слушай, интересная мысль. Я про это с такой позиции не думал. То есть, мы по большому счету откладываем затраты энергии на некоторое неопределённое будущее. Да, то есть.

Дмитрий Колодезев 1:08:58
Да, и это как, допустим, в юности начинать копить на старость до определенного периода времени. В профессиональном развитии это довольно глупо, потому что Джун тебе еле хватает на хлеб, и ты начинаешь копить на старость. Начни копить на старость, когда станешь медлом, хотя. Ну, в том смысле, что зачем? Ты просто сходи сейчас в кино, почитай книжку. Это даст большую отдачу для твоей старости. То есть мы переносим генерацию текста на более мощную LLM позже, когда оно на самом деле понадобится.

Валентин Малых 1:09:35
Угу, но тут, мне кажется, есть один аспект, который мне не очевиден. Я понимаю, почему ты говоришь о том, что давайте мы сейчас не будем это делать, а сделаем это тогда, когда понадобится, но почему мы тогда не можем сохранить? Да, то есть мы тогда сделали один раз и закешировали. Зачем нам тратить энергию на генерацию каждый раз, там, несколько, несколько раз, когда можно сделать один раз и закешировать?

Дмитрий Колодезев 1:10:04
Много пользуюсь всякого рода ассистентами. То есть, я, кстати, не пишу текст с помощью LLM, но я его много с помощью LLM собираю с правочных материалов. И вот у меня, допустим, есть такая штука, как Manus. Как Perplexity. Вот ты находишь что-то, она говорит, слушай, по-моему, вот это надо сохранить. Давай вот этот текст, который я сейчас для тебя нашла, добавлю в библиотеку. Я говорю, давай. То есть, ну, по идее, инструменты должны вести себя так. То есть, я сгенерировал описание, посмотрел его. Да, пожалуй, это то, что мне надо. Сказал, оно сохранилось. Очень многие полреквесты никто не читать не будет.

Валентин Малых 1:10:46
Ну, это правда, да. То есть, если бы это, ну как бы и сейчас, прямо скажем, никто не... Многие pull requests не читаются, если мы посмотрим. Не, это не смешно, это грустно. В том смысле, что мы к этому, к этой ситуации, когда pull requests не читаются, в общем-то, пришли без LLM вполне себе спокойно, потому что... Даже просто, как бы, если у нас есть популярный open source проект, ну это как в качестве примера. То там к нему может прийти сотня полреквестов, а у разработчиков, в общем-то, есть ещё там основная работа какая-нибудь, да, хочется там, не знаю, с собакой погулять, пойти с друзьями встретиться, а не читать там бесконечные полреквесты от очередного студента не пойми откуда, да. И это, соответственно, уже тогда была проблема. Сейчас просто проблема вышла на новый уровень, в том смысле, что тратить человеческое время на это уже не хочется. А LLM-ки нам тут пока не могут помочь. Ну, точнее, может, они и могут, но не очень понятно, как их применить эффективно.

Иван Комаров 1:11:50
Думали об идее. Я не знаю, кстати, интересно послушать ваше мнение. Мы раз говорим про Git, хотелось бы, конечно, чтобы она написала комментарий. Помните, как всегда ты такой, ах, опять какой-то комментарий моей маленькой штуки, где я что-то исправил. Вот пусть она напишет. Вот и казалось бы, хотелось бы, чтобы она здесь как бы помогла, потому что это, конечно, всегда как-то ах, ах, ну или ты что-то там по брякам по калавиатуре.

Валентин Малых 1:12:19
Но новость на эту тему, Вань, что то ли запретили то же, то ли что-то в общем в негативном ключе по поводу вот этих генерированных комментариев. Для GitHub, по-моему, кто-то их запретил делать с помощью LLM, потому что они пишут, очевидно. Видные вещи, ну типа там параметр А перемен. Миноват, да, ну условно говоря. Ну, люди тоже пишут очевидность, да, ну а что ты? Да, это правда, но мы как бы людей можем как-то стимулировать для того, чтобы они писали что-то семантическое. А ну, семантическое, типа, а зачем этот параметр вообще был переменен? Но вон, потому что там, не знаю, была задачка в Jira, и поэтому мы это сделали. Ну, самое простое. А соответственно, LLM-ку таким образом простимулировать сложнее просто потому, что у неё контекст пужит. А она твою Jira, может быть, вообще не видела никогда в жизни, что в общем правда. Поэтому генерация комментариев, с одной стороны, это очень простая задача, и она, в общем и целом, решена. Ну, то есть, написать комментарий по тому, что реально в коде происходит, несложно. Это сейчас многие умеют. А вот написать комментарий, который бы, соответственно, учитывал контекст вот этого изменения, вот это та задача, которая сейчас происходит.

Иван Комаров 1:13:38
Хотелось, контекст, да, потому что, опять же, возвращаясь к тому, с чего мы начали у нас. Есть конференция, то есть Вики. У нас у всех есть какой-то таск-трекер, там Jira, да, и у нас есть код, там какой-то Git. И понятно, что хотелось бы. По-моему, как-то это всё бы знало. И когда ты делаешь коммит, допустим, действительно добавляла туда что-то из Jira, а так она знала бы описание. Может быть, она бы и разобралась, что в этом ходе происходит, потому что она может нам рассказать, что этот коммит делает, да, но в каких-то простейших. Лайк сценарий. Да-да-да, поэтому вот как бы это бы взяла на себя, но я думаю, каждый программист, потому что он всегда делает этот коммит, а потом м. Окей, что здесь? Ну, как бы, ничто. Ха-ха. Давай уж выбирай мой кусочек.

Валентин Малых 1:14:40
И этот вопрос, который LLM... Пока не может ответить, то есть. Я думаю, что мы всё-таки придём. К тому, что ЛЛМ будет такой помощник, который, соответственно, имеет доступ. Ну, сначала, конечно, это имеется в виду в рамках работы, что у тебя она имеет доступ и к Jira, и к Confluence, или к любой другой Вики, и, соответственно, к кодовой базе и ко всему. И она, соответственно, посмотрела. Ага, вот тут Васе была поставлена задача. Вот значит, здесь он посмотрел документацию, и в итоге он, на самом деле, собственно, реализовал. Из документации вот такую фичу, да, вот мы об этом напишем в коммит. Это то, что я думаю, что нас ждёт в течение некоторого времени. Я тут боюсь загадывать, но я думаю, что в ближайшие годы мы такое вполне себе увидим.

Иван Комаров 1:15:26
Да, потому что это же как раз формирование. Зачем мы это вообще делаем? И почему так не хочется писать? Потому что не хочется, потому что когда ты опять закомитил кучу маленьких изменений, потому что нашёл какую-то ошибку, ты надо бы написать об этом баге, может быть, тебе не очень хочется о нём писать и так далее. Понятно, что когда есть большой комитет, если бы мы сидели, сидели, сидели. И потом сразу всё закомитили без ошибок. Всё, да, мы бы написали, что здесь произошло. А так, идёт очень много, и мы всё время хотим закоммитить, потому что мы не хотим, чтобы потерялось. Мы хотим всегда, а для чего мы делаем гид, чтобы откатиться куда-нибудь. Вот, то есть, а здесь нам, чтобы откатиться, вот эта вот последовательность важна. Что происходило вообще у нас, да? Вот, и как бы вербализация этого, ну, было бы, конечно, я думаю, здорово. Говоря вот об этих небольших улучшениях, да, приводящих там, ну, к каким-то. Значимым изменением Эта коммит месседж, ну, хочется увидеть. Не автокомплит, не дескрипшн на pull request. Сделайте коммиты, чтобы писать месседжи.

Валентин Малых 1:16:30
Дим, что-нибудь хочешь добавить?

Дмитрий Колодезев 1:16:32
Ну, разве что, если вы заставляли когда-нибудь, пытались добиться от разработчиков документации, вы наверняка слышали в ответ. Ну, у меня код есть документация, то есть, кто говорит в коде, и так понятно, что... То есть, если LLM Sukukka при написании комментария к pull request исходит только из кода. Никакой дополнительной информации, то это описание бесполезно. Во-первых, она ничего нового не содержит, это просто новое представление кода. А во-вторых, тот, кому она понадобится, он точно так же выглядит. И он как раз никакой информации не потерялся. То есть действительно нужно собирать контекст. И в этом смысле я думаю, что Pull Request Description автоматически сгибается. Генерированные черновики вернутся. Когда у нас Инструменты действительно смогут больше. Собирать контексты и сейчас-то, в общем, у нас, например, Ну, у нас ты указываешь номер тикетов, допустим, в commit, и в YouTrack закрывается задачка. Ну, поэтому, как бы, внешний контекст имеет смысл, а просто суммаризировать

Валентин Малых 1:17:44
Окей, я думаю, что. На этой позитивной В дневной ноте мы будем потихонечку завершать. Соответственно, в качестве такой последней новости на сегодня предлагаю новость. Она, с одной стороны, смешная, с другой стороны, кому-то грустная. Соответственно, AMD случайно. Сделал свой FSR-4 код, который, соответственно, там пробыл в опенсорс типа полчаса, но за это время его Успели, соответственно, все кому. Ему надо скачать, пофоркать, что в общем понятно. И тут, как бы, с одной стороны, можно посмеяться на AMD, но с другой стороны, я сам был лично свидетелем примерно такой же истории, когда в большой корпорации человек просто случайно заопенсорсил какой-то внутренний код, потому что, ну вот, у него там был KPI по опенсорсу, он бахнул в опенсорс. И, в общем, из этого происходило довольно много интересных событий после этого. Подозреваю, что в АМД примерно такое же произошло. Не исключено, что это какой-то там. Я не знаю, стажёр, которому сказали, что надо выложить код, он не понял и выложил код прямо на всеобщее обозрение. Но тут можно только гадать. В общем, суть в том, что такие ситуации происходят периодически. И даже у Яндекса, насколько я помню, была там пару лет назад эта история, когда выложили весь внутренний репозиторий. Ну, там, правда, вроде как это было сознательной диверсией, но тем не менее, что... Как бы это происходит и может произойти со всеми, надо относиться спокойно, но. Всё равно забавно. Дима.

Дмитрий Колодезев 1:19:28
Тут. Хочется сказать, что периодически такое случается, как раз вот этот великий вклад в OpenSource Яндекса. Великий вклад в НЛП запрещенной экстремистской Meta. Он случается случайно и дальше, потому как Организация себя ведёт, видно. Лидеров То есть Яндекс. Так, на некоторое время, я так понимаю, застыл, а потом он...

Валентин Малых 1:19:55
вы

Дмитрий Колодезев 1:19:55
Ничего не стал с этим делать, типа, open source, open source. Экстремисты на некоторое время застыли, попытались запихать зубную пасту в тюбик, а потом сказали, да, и так и было запланировано. Вот, то есть, ну отлично. На самом-то деле, сама по себе идея о том, что какие-то научные разработки. Водки или технические открытия придержать и никому не показывать, она такая спорная. С одной стороны, понятно, что люди должны зарабатывать на том, что они сделали. С другой стороны, когда-то это уже начинает тормозить прогресс. Ну и вот так у нас великий рандом был.

Иван Комаров 1:20:32
А балансирует эти вещи.

Валентин Малых 1:20:33
Ваня.

Иван Комаров 1:20:34
Да, конечно, отношение к опенсорсу. Здесь как-то мы затрагиваем это. Это... Это Очень тема интересная сама по себе, потому что. но Ну, похоже, open source. Здорово, конечно, двигает нас все. Скорее всего, и. В нашей организации, да, мы все, похоже, всё строим. Как правило, теперь на опенсорсе очень мало что нам хочется покупать, если есть клевый аналог. И как говорят капиталисты, если ты идёшь впереди, у тебя closed source. А если ты догоняешь, ты open source делаешь, чтобы сообщество тебе помогло быстрее нагнать лидера. Так сделайте псих, так вообще это. Очевидно. Видно, бизнес-стратегия, чтобы Нет смысла, если ты второй или как бы третий, закрывать это всё. В этом смысле Meta тоже у нас не первый, да, в карточках. По ряду причин. Поэтому в этом смысле было бы, наверное, им даже и здорово как-то чтобы сообщество что-то помогло, как-то, как-то бы, может быть, подтолкнуло их. Не то что всё раздать, чтобы создать себе уязвимости, а скорее Подумать о том, как сделать так. Чтобы быстрее придумать что-то, ну, там у них есть Llama, да. Вот, я не знаю, насколько он хорош по сравнению с Hugging Face, наверное, не так. Ну вот, ну чтобы догнать именно технологии, которые создали нам вот этого гигантского монополиста. Ну, это только положительно. Конечно, было бы здорово, если бы цены у нас упали. Как-то это стало бы всё подемократичнее. В конце концов, так или иначе, это всё равно кусок плана. Пластика и кремния. И когда мы Смотрим, сколько сейчас стоит у нас в BC. Да, и ты прямо удивляешься, как подожди, новый можно там самый дешёвый купить, там что за 10 тысяч, а за 30 ты уже возьмёшь, ну, для школьника компьютер. Ну, потом ты думаешь, да, но с другой стороны, что здесь такого? Да, он завёрнут. Понятно, что должны быть фабрики с роботами, но... Было бы здорово, и здорово продвило бы нас всех, если бы мы все как-то. Как-то могли бы крутить, вертеть. Эти LLM как мы хотели, блядь! Поэтому, безусловно, Open source. Yes, и Пусть, пусть, пусть мы все контрибутим туда. А то, что случаются утечки, ну что ж поделаешь, я бы в этом смысле, конечно, ну... Какой-то баланс должен быть, да, какие-то должны быть системы, чтобы люди не выкладывали, чтобы это как-то не утекало. Но с другой стороны, всё равно надо это делать. То есть здесь компании должны как бы. Понять. И, наверное, часто это, включая нас, останавливает вообще выкладывание проектов в курсов. У нас есть куча проектов, которые кажутся, «О, смотри, мы там, например, сделали плоскую систему, плоское представление». JSON файлов, ну такой нет, было бы удобно, наверное, всем как-то это использовать, или это как-то эффективно. Давай выложим, ну когда ты начинаешь. Продираться сквозь. В корпоративной джунгли тут сразу появляются, естественно, юристы. Потом должен кто-то посмотреть, кто понимает этот код. Он должен запустить и понять, нет ли у нас здесь чего-то, что как-то нас сконформентирует. Часто ты говоришь, ах, ладно, это open source. Если ты работаешь в корпорации, если ты свободный художник, понятно, у тебя всё open source. Здесь на самом деле такой есть момент важный. Как бы сделать так, чтобы, ну. Каждая корпорация всё-таки отдавала. Обратно это опять же и сообщество. Мы все, скажем, в ODS, да, и как-то отдаём, отдаём, отдаём. Хотелось бы, чтобы этого было побольше, потому что явно это двигает нас всех вперёд. Если мы все сидим closed-source и как бы все по своим вечеринкам ходим там от Google к Meta, запрещенной организации и так далее, то, ну, как-то прогресс, наверное, так себе будет, да. Если мы открываем, кто-то может взять, повертеть, придумать. Что-то свое.

Валентин Малых 1:24:54
Слушай, ну на эту тему есть же классическая книжка. Я забыл, кто автор, кто-то известный про Bell Labs, про то, что там были люди в Bell Labs в то время, ещё в 50-х годах, кажется. Соответственно, были люди двух типов. Те, кто сидел с закрытой дверью в кабинет, и те, кто сидел с открытой дверью в кабинет. Те, кто с закрытой дверью в кабинет, те, соответственно, достаточно быстро двигались по своей задаче. Но из Из-за того, что они мало взаимодействовали. С коллегами они, соответственно, Выпадали из общего вектора, а те, кто, соответственно, с открытой дверью, те, соответственно, ну к тем заходили поболтать, и до этого они работали чуть помедленнее, но зато они как бы находились в общем таком котле и все вместе двигались к какому-то светлому будущему. Вот как-то так. Согласен, да. Я думаю, что на этом позитивной ноте будем завершать. Всем большое спасибо. Очень Рады, что нам удалось пригласить Ивана сегодня. Соответственно, пожалуйста, все подписывайтесь, ставьте лайки. Не забывайте, что у нас теперь есть представительство на всех подкастных площадках. Спасибо Диме большое. Ну и тогда, наверное, до новых встреч! Пока-пока. И пишите в Mattermost. Матермоз, да. Дима говорит правду. Кассики.