Дмитрий Колодезев

Анализирую данные. Консультирую и учу.

Капитанский мостик 2-10


Десятый выпуск второго сезона подкаста "Капитанский мостик" про искусственный интеллект, будущее и все такое. Ведущие подкаста — Валентин Малых и Дмитрий Колодезев

Площадки
Содержание
  • 00:00:00 Начало
  • 00:00:56 Отказ от ИИ в России
  • 00:12:14 Claude Cowork от Microsoft
  • 00:17:51 Алиса поможет купить
  • 00:30:30 ChaGPT создает рабочие места
  • 00:36:52 Claude подсматривает в вебе
  • 00:40:57 Moltbook вместо ВК
  • 00:45:05 Amazon за инженеров
  • 00:55:06 ИИ поддерживает код
  • 01:01:35 Лекун против AGI
  • 01:16:54 Обучение без ограничения
  • 01:20:30 Резюме пельменей

Валентин Малых 0:00
Всем привет! С вами, как всегда, Валентин Малых и Дмитрий Колодезев. У нас сегодня очередной выпуск подкаста «Капитанский мостик». Сегодня мы с Димой одни будем хозяйничать. Что у нас? Вроде бы всё в основном, как обычно, да, мой курс продолжается. А вот что важно сказать, обязательно, если у вас есть какая-то идея для секции на DataFest, то мы начали собирать заявки на секции. Если вы хотите, может быть, помочь с какой-то секцией, не стесняйтесь, пожалуйста, приходите на секции, мы будем рады с вами поработать.

Дмитрий Колодезев 0:42
Более того, на следующей неделе начнётся сбор докладов на DataFest. И если у вас есть идея доклада, самое время её как-то сформулировать и на следующей неделе податься с 18-го.

Валентин Малых 0:59
Новость, итак, россиян появится право отказаться от услуг на базе. На самом деле, суть в чем? Что сейчас очень много услуг оказывается на базе ИИ, ну там, я не знаю, всякие ИИ-сервисы, и которые там, не знаю, рекомендации делают, генерируют что-нибудь, куча всего. И даже уже в прошлом подкасте мы обсуждали появилась судебная практика на эту тему. Там какая-то фирма судится с налоговой, которая с помощью ИИ начисляет налоги. Так вот, в связи с этим, видимо, да, но отчасти с этим, есть законопроект, что россияне, то есть граждане нашей страны, могут отказаться от услуг с использованием ИИ. Имеется в виду, что услуга должна быть оказана. Без ИИ, и это довольно интересно, на мой взгляд, потому что с одной стороны, я лично прекрасно понимаю, откуда это берётся, да, то есть. Хочется обеспечить одинаковые права для одинаковых для всех людей. Да, то есть у нас по закону все люди одинаковые. И иметь в виду в плане своих прав, а соответственно. Хочется обеспечить, чтобы они могли получить те же услуги при других условиях. Ну, то есть, им нравится вам ИИ, пожалуйста, имейте возможность получить услугу без ИИ. С одной стороны, я полностью согласен с этой постановкой. С другой стороны, на мой взгляд, это довольно сильно ограничивает бизнес, основанный на ИИ, потому что, ну, как бы, без ИИ сделать то же самое бывает просто невозможно. Вот я у себя в канале писал про такой стартап корейский, Wrighton называется. Вот Wrighton, он генерирует истории под конкретного человека. То есть, если мы представим, что Wrighton — это российская фирма, и у нас этот закон принят, то тогда Wrighton должен быть обязан предоставить каждому человеку своего личного писателя, который для него будет что-то писать. И это, мне кажется, вообще говоря, малореально, поэтому я думаю, что это требование про... Услуги с ИИ и без ИИ, оно должно распространяться на госорганы. Да, то есть, что госорганы обязаны предоставить ту же самую услугу без использования ИИ, ну то есть, там рассчитать налоги, например, да, или там, не знаю, какие-нибудь пособия посчитать или ещё что-нибудь. То есть, они обязаны без ИИ это сделать, если такое требование есть. Но требовать этот коммерческого бизнеса, на мой взгляд, исключительно избыточно.

Дмитрий Колодезев 3:32
Слушай, ну тут есть несколько моментов. Во-первых, помнишь, когда рассказывали страшилки про социальный капитал, а социальный капитал — да, вот эту всю историю, когда социальный балл или как он там назывался в Китае, да? Вот там. Да, время от времени приводились ужасные истории. То есть, один человек случайно совпал с кем-то другим, чем-нибудь, и его прямо по дороге с работы у него аннулировали билет, потом он приехал домой, его уволили, он не может купить билет на самолет, он не может купить билет, это и номер в отеле он не может снять, и всё, вот он бомж. И так решил и... Вот и при том, что ну как бы это всё, конечно, были кукольные истории, то есть выдуманные специально, чтобы порадовать журналистов, да. Вот, истории, тем не менее, реальные, то есть. Некоторые, ну сами по себе, сценарии вполне реальные, некоторый процент сбоев в системах. Возникает я лично, когда работал на Северах, встречал время от времени людей, которые просто попали где-то между бюрократическими жерновами, и у них не хватило упертости, дури с этим бороться, и они, в общем, закончили сезонными рабочими на Северах без паспорта, то есть так называемые бомжи, причём многие из них были вполне. Образованные интересные люди с семьей просто что-то пошло как-то не так один раз. Вот, но там люди, там ты всегда можешь апеллировать к человеку, хотя государственная машина к ней апеллировать трудно, а тут. Вот поэтому, в принципе, возможность, например, требовать ручного underwriting при получении кредита, вместо того чтобы полагаться на решение и она резонна, возможность требовать ручного triage по болезни вместо того, чтобы Тебя автоматом отправили куда-нибудь, ну это тоже реально. А потом сомнение вызывает само определение только ИИ. То есть, что такое ИИ? То есть, если я написал ИФ, это ещё не ИИ. А если я обучил Random Forest, который, по сути, много-много ИФов, это уже ИИ или ещё нет? Вот. А если я обучил большую нейронную сеть, а потом её... Сделай квантизацию в 1 bit, да, это как те же самые if, по сути. Вот только сложное. Это И или не И? То есть, непонятно, что такое И? Непонятно, как отличить. То есть, допустим, у нас есть запрос в базу данных, а в базе данных есть оптимизатор на основе нейронки, такой вполне реально большой в базах данных, оптимизатор индекса. То есть, как очистить продукт от ИИ и в каких случаях это разумно, в каких нет. Ну, в общем, очень мутное правоприменение по этому закону, мне кажется. Но сама по себе идея давать людям защиту от тупых алгоритмов право эскалации она очень важная, потому что даже вот в классическом праве. Пока не появилось право эскалации, был полный судебный произвол, да, в том же самом английское право, оно давало людям, ну правда, это требовало оплаты определенного сбора достаточно большого, непосильного простому крестьянину, но всё равно. Право апелляции к Королевскому суду, когда тебя местный суд не устраивал, и это, в общем, здорово сбалансировало судебную систему. То есть право эскалации. Если в организации, например, нет у человека право эскалации, то есть он столкнулся с маразмом, он, скорее всего, уволится. А что ты будешь делать в государстве?

Валентин Малых 7:31
Не, ну подожди, ну вот мне кажется, что здесь стоит как раз провести разграничение. Да, то есть я полностью согласен и поддерживаю, что у нас то, что является естественными монополиями, ну вот, допустим. Государство по определению монополия, да, то есть у нас в одной точке пространства-времени существует одно государство. Ну, может не существовать ни одного, но я надеюсь, что мы с тобой в такой точке не окажемся. Но суть-то не в это. То есть для государства я полностью согласен. Для, например, какой-нибудь естественной монополии типа РЖД я тоже полностью согласен. Но если мы говорим про какие-то... Другие сервисы, там, я не знаю, какой-нибудь Marketplace, да не будем конкретно называть любой Marketplace, там, очевидно, и используется, ну, в качестве рекомендательной системы. И требовать от Marketplace, чтобы он тебе предоставлял, соответственно, подбор товаров вручную, на мой взгляд, это какой-то бред.

Дмитрий Колодезев 8:31
Тут, знаешь, интересный вопрос, что я с тобой согласен по выводам и не согласен по. Ссылка, то есть вообще-то говоря, подбор товаров вручную люди делали, и это не требует ничего дополнить к над Marketplace. То есть если у него есть каталог, человек может мышкой натыкать. Вот сам себе товар вручную, и вот тут, если, допустим, Marketplace обяжет отключать рекомендашки, это будет довольно неприятно для него. То есть он потеряет возможность стучать тебе в мозг на каждом телодвижении, он потеряет деньги. А человек, который собирался купить гвоздейную стройку, он всё равно гвоздейную стройку купит, он в каталоге их найдёт. То есть это пример не самый удачный, хотя я с идеей согласен. Но важно тут что? Сделенного размера бизнеса у него естественным образом возникает большое влияние на сообщество, на общество. И вот там, где влияние на общество значительное, с какого-то размера, там, по идее, у человека должно появляться право на эскалацию. Но текущая и правоприменительная практика, и, в общем, законодательная практика, она примерно про это же. То есть у нас есть ФАС, которая ходит в случае чего и наказывает больших, а на маленьких она плюет и так далее и тому подобное. То есть, ну вот так.

Валентин Малых 9:59
Ну слушай, ФАС — это как раз антимонопольная служба, и она должна с монополиями бороться в его идеале. И я-то с тобой согласен с таким посылом, что где у нас появляется квазимонополия, да, какая-то, ну какой-то бизнес становится настолько большим, что он всепроникающий, то тогда, безусловно, ему должны применяться дополнительные ограничения. Тут я полностью согласен, но у нас такого понятия даже в законодательстве нет, как квазимонополия. А это я сейчас говорю, просто некая. Даже не определение, а какой-то термин, который я, может, позаимствовал. Из каких-то юридических обсуждений, но это же, как бы, к реальной жизни, к сожалению, отношения не имеет. В том смысле, что наше государство в законе такое не прописывает. А получается, что ты у любой булочной можешь требовать, чтобы они тебе ту же самую, соответственно, булку, которую они с помощью ИИ спекли. Я специально это ею. Они бы тебе испекли вручную. Ну, как бы, понятно, что одну и ту же булку нельзя дважды испечь, это невозможно. В общем, тут я вижу здесь вот эту проблему, что это даст ещё один способ для того, чтобы кошмарить мелкий бизнес, чем у нас любят заниматься некоторые некоторые сограждане.

Дмитрий Колодезев 11:13
А я думаю, на самом деле, что это будет не про мелкий бизнес, это всё-таки будет про большой, потому что несколько уже регулирующих законов таких вот про маркетплейс и про что-то ещё, а не сразу. Оборот, количество пользователей, вот эти регуляции от Роскомнадзора, например, если у тебя меньше 10 тысяч посетителей в день или подписчиков, то ты вообще никому не интересен и так далее. То есть я верю. Разум регулятора. То есть иногда кажется, что регулятор безумен. На самом деле, совсем не так. Там бывают конфликты интересов, которые странным образом проявляются, бывают какие-нибудь политические движения к событиям. А в целом регулятор у нас довольно-таки разумен. Сравнить, скажем, с Европой, просто вот.

Валентин Малых 12:11
Ну, знаешь, твои бы слова до богу, как говорится. Новость, которую я хотел обсудить сразу, как только увидел, Microsoft представила Copilot for Work. Это... Агент на базе модели Anthropic. Вот это, на мой взгляд, довольно важно, потому что до этого... Мы все, в общем, в курсе, и кто не в курсе, я сейчас напомню, что Microsoft проинвестировала, по-моему, 10 миллиардов на заре. Еще развитие OpenAI несколько лет назад, и с тех пор они очень активно модели OpenAI использовали, в частности, ChatGPT. И вот теперь мы видим какое-то такое тектоническое движение, что Microsoft стал предоставлять услуги на базе. Модели Anthropic, на мой взгляд, довольно интересно, особенно если вспомнить, что сейчас у нас идет уже судебный процесс на тему того, что президент США Дональд Трамп поручил все контракты с Anthropic. Разорвать тем, кто что-то поставляет в Министерство Обороны. Я думаю, что ни для кого не секрет, что Microsoft, извините, простите, конечно же, у нас Министерство войны теперь. Вот Министерство войны поставляет довольно много чего. Вот, и мне кажется, что это довольно интересно, интересное развитие событий.

Дмитрий Колодезев 13:35
Ну, во-первых, на мой взгляд, сейчас Anthropic — они самая лучшая модель для работы. А во-вторых, тут в новости интересно, что ну вот эта история про коммодитизацию моделей, что они, в принципе, догоняют друг друга. Возможно, что то, как мы работаем с контекстом, то, как мы работаем с дополнительными данными, оно будет превалировать в производительности модели. То есть сейчас этого ещё не произошло. Мы, например, сейчас пытаемся понять, насколько Производительность Claude Code проседает, если ей заменять модель, то есть неантропиковскую. То есть, Claude Code — очень хороший инструмент, но где там его отличные способы работы с контекстом, а где модель, вот это не очень ясно пока.

Валентин Малых 14:38
Слушай, ну китайцы, в частности, ZTI, они вполне себе, ну не знаю, сколько это официально, можно так сказать, но в целом они, у них есть афишка, чтобы ты мог подключить их модели в Claude Code, вполне себе работает, я проверял.

Дмитрий Колодезев 14:57
Это даже не то, что официально-неофициально. Они поддерживают специальную программу, которую можно запустить, и она притворится Anthropic для Claude Code. Вот, Claude Router, она называет, а Claude Router, да. Ну, в общем, интересно, что Microsoft не кладёт яйца в одну корзину и не долбит в свои модели, не продвигает их по рынку. Что, допустим, 10 лет назад, 20 лет назад, было естественным поведением вендора. То есть все должны покупать наши. Вот Google же так делает. Да, поддерживаем всю свою цепочку поставки. А Microsoft делает не так. И вот почему это интересно. Тут ещё интересно, что Microsoft вообще-то очень хороша в... Но они хорошо приспосабливаются как раз. То есть, они, может быть, не очень хорошие решения принимают на старте, но они их корректируют и выкручиваются. Например. Когда все стали, ну, там в мире начали ругаться на то, что дата-центры пожирают людей и так далее, происходит вот это вытеснение людей дата-центрами. От них отбирают энергию, у них отбирают чистый воздух, это воду и так далее. Microsoft G первая начала говорить, смотрите, мы тут вот сейчас будем коммьюнити компенсировать, мы всё выровняем, мы всё сделаем и так далее. Вот и вообще, всякий раз, как американский регулятор идёт бомбить ИИ, Майкрософт всё время выкручивается, то есть потому что они там за месяц до того сделали что-нибудь, что их говорит, что они в домике ни в чём не виноваты. То есть, ну, может быть, это вот такой. И маневр, что они. Ну, грубо говоря, подстилают соломку под что-то.

Валентин Малых 16:50
Может быть. Как быть, ну на самом деле я тут что хотел сказать, что любая крупная корпорация умеет. Собственно, выкручиваться, иначе бы она не стала достаточно крупной и не прожила бы достаточно долго. Да, то есть у нас есть замечательная корпорация IBM, которая, вообще говоря, начиналась как производитель вот этих вот счетов. Ну, если кто-то помнит еще из советских времен такие. Деревянные, где там надо костяшки перекладывать. Вот они начинали так, а соответственно, сейчас они всё ещё продолжают делать всякие серверные решения, и у них даже есть своё семейство языковых моделей Granite. Если кто-то не слышал, оно может быть не супертоповое, но оно в план себе существует. Вот. Я к тому, что за сто лет можно научиться как-то выкручиваться. Я вот про это только.

Дмитрий Колодезев 17:37
Ну, не у всех получилось. А, AT&T поделили, например.

Валентин Малых 17:41
Ну, видишь, у них не получилось, да они не смогли выкрутиться в какой-то момент. Ну, это же как с этим самым, прокатило, не прокатило, да, то есть до какого-то момента прокатывало. Следующая новость — Яндекс создает разделение интенционного ИИ. Идея здесь в чем? Что у нас есть, у нас в смысле у Яндекса есть. Такой помощник Алисы, я думаю, многие с ней знакомы, и они хотят научить Алису искать товары и помогать, соответственно, с выбором и непосредственно заказывать. То есть это уже непосредственно агентское поведение, про которое я сейчас очень многое говорю. Вот они решили, что они могут. Такое сделать, и я думаю, что у них, соответственно, это вполне получится. Мы здесь на самом деле. У Яндекса в этом смысле проще, потому что Яндекс имеет свой маркетплейс. Да, у них есть вот Яндекс.Маркет, и поэтому они могут на нём заказывать всё, что хотят, потому что у них это есть. У нас будет ещё новость, которую мы обсудим, что бывает, когда не бывает, но это попроще. Вот из интересного, насколько я помню, такое же пытался делать, пыталась делать Alibaba со своим Qwen, но что-то у них пошло не так.

Дмитрий Колодезев 19:03
Слушай, ну вот если возвращаться к предыдущей истории, когда Amazon не упирался в свой собственный стэк, то Яндексу бы, наверное, разумно было бы делать то же, потому что вообще-то говоря, Яндекс.Маркет, прямо скажем, не Айс. Вот так вот называю вещи своими именами. Вот, то есть он существует благодаря... Потому что Яндекс такой крутой и благодаря большой инерции. Корабль, который состоит из досок склеенных слезами, поэтому я бы делал шире. Но почему у Яндекса, скорее всего, получится? Потому что сейчас, во-первых, Алису используют как поиск. В основном, было исследование, которое мы на прошлой неделе не обсудили, просто не дошли до него. Вот что основное использование Алисы — это просто поисковик. И умный, и текущий поиск Яндекса отлично решает эти проблемы. Единственное, что тебе надо кликнуть, забронировать самому. Он тебе найдёт тур в Турцию на семь ночей, и где клининг заказать тоже найдёт, и с наушниками справится. То есть, это... Сценарии, в которых сам по себе Яндекс уже закрывает большую часть логики, и там не хватает только действительно клика и перевода денег. Вот поэтому это у них скорее всего заработает, если они, может быть, не будут зацикливаться на Яндекс.Маркете.

Валентин Малых 20:33
Слушай, ну вот я думаю, что сейчас как раз самое время перейти к следующей новости, потому что она непосредственно связана. У нас, значит, Amazon запретил Perplexity. Использовать их вот этот вот shopping agent, то есть их агент, который делает покупки. А имеется в виду, что на сайте Amazon нельзя использовать. Perplexity по решению суда. Это вот в Штатах пришла история, и я уже это упомянул, что в Китае произошла аналогичная история. Что, соответственно, Alibaba свой Qwen пыталась продвигать. И понятно, что для покупок на Taobao это прекрасно работает, но в Китае довольно много разных сайтов, много разных провайдеров всего на свете, и на неё стали, насколько я помню, подавать в суд. И на её смысле, на Alibaba, что уберите вашего грязного агента от наших прекрасных приложений. И на этом всё посыпалось. То есть, я не то чтобы утверждаю, что так произойдёт, но я могу сказать, что... В России тоже такая опасность для Яндекса существует. Да, то есть другие маркетплейсы скажут, что типа, что вы нам тут суете, уберите этого вашего агента, мы типа, крегорически против. Вот я думаю, что это вполне реальная опасность.

Дмитрий Колодезев 21:58
Думать как по книжке, да, то казалось бы, Amazon даёт API Perplexity, Perplexity начинает продавать. Больше Amazon, все выигрыши. На самом деле, тут это действительно не работает, потому что идет война за последнюю милю. И Amazon выжмет из посетителя больше, чем Perplexity продаст. То есть, кто будет владеть последней мере, тот и будет получать большую часть маржи. И Amazon хочет иметь маржу у себя. Это первый point. А второй — это про то, что сам по себе парсинг сайтов автоматический. Это такая. Как бы мутная вещь, то есть с одной стороны, автор контента может запретить туда ходить, да, это мой контент, как хочу разрешать, использую, так и используешь. Вот с другой стороны, вот я хожу туда браузером, да. Если у меня в браузер встроены какие-то дополнительные функции, допустим, плагин, я всё равно хожу туда браузер. Вот сейчас уже некоторые сайты запрещают, ну, блокируют контент, если ты придёшь туда с AdBlock, например. Да, я не пользуюсь AdBlock, но многие знакомые пользуются и жалуются, что вот сайт не открывается с AdBlock. Вот тут получается, что это проявление этой же истории. То есть ты ставишь AdBlock, а сайт перестает на тебе зарабатывать или начинает зарабатывать меньше, и не согласен с этим. И поскольку они, как ты только что говорил недавно, квазимонополисты, они говорят, ну ребята, походите по рынку, может быть, дешевле найдёте, ну не разрешено. Вот я думаю, что Amazon бы не прочь, чтобы люди, которые пользуются Perplexity, пользовались его сервисом. Просто не получается пока.

Валентин Малых 23:49
Ну да, ну мне кажется, у Амазона я, по крайней мере, не слышал про движение Амазона в сторону создания конкурента Perplexity. Может, он есть, просто я его не вижу. Это совершенно нормально. Но в целом ты прав, и я вот лично считаю, что сайт вполне себе имеет право, потому что, ну как сказать, квазимонополист, да, то есть тут вопрос вот это описание вот этой монополии, он как-то очень скользкий получается, да, потому что, казалось бы, с одной стороны, у нас сайтов. А в планете ей там миллиарды, я думаю, да, я не знаю, сколько реально, но. Очень много там можно почитать по однаменным именам, но это, наверное, тоже как-то такая себе оценка. Ну да бог с ним. Вопрос в другом, что по конкретному вопросу, не знаю, может быть, там по расцветке крыльев бабочек. Да, может быть, там есть ровно один сайт, и если он тебе запретил, то ты как бы уже и не сможешь этот контент получить в интернете. Является ли в этом смысле сайт монополистов? Да бог его знает, может быть, является. Да, и вот определение, что можно и что нельзя, оно какое-то здесь получается очень скользкое. Да, то есть, вот я откровенно не понимаю, как здесь вообще быть.

Дмитрий Колодезев 24:59
Мне кажется, что нормального регулирования сейчас не придумаешь, а вот то, что у Амазона нет конкурента Perplexity, ты зря. У них есть Amazon Echo, в котором есть сценарий что-нибудь купить, то мы им кидай машину.

Валентин Малых 25:12
Да, домашние колонки, да, но домашние колонки, это же всё-таки не совсем то же самое. То есть, вот Echo есть, но если, опять же, тут надо сделать скидку. Может быть, я не слежу внимательно за компанией Amazon, но насколько я себе представляю, Яндекс в этом смысле более продвинутый. Я имею в виду, Алиса есть много где, и с ней можно общаться. В том числе текстом с главной страницы. Можно ли с главной страницы, не знаю, Amazon общаться с этим эхом? Я не знаю, честно говоря.

Дмитрий Колодезев 25:46
А нет, но я немножко чуть-чуть назад отмотать. То есть, видишь, у нас возникает потребность заказать стирального порошка. Да. Вот мы можем встать, подойти к компьютеру, запустить Perplexity и сказать, Perplexity, найди мне хороший стиральный порошок. Я хочу две пачки купить, чтобы доставили завтра до обеда, пока я буду дома. Вот. Второй сценарий — это просто из рекламы Amazon Echo. Типа, эхо, купи две пачки стирального порошка, нужно две пачки стирального порошка. Хоп, у тебя завтра утром стиральный порошок стоит у двери. То есть сценарий — это тот же самый, просто мы Perplexity добавила туда возможность открыть экран на сайте, что-то набрать, а у Amazon он и так более прямой, то есть всё равно он конкурирует, вот этот сценарий, они конкурируют напрямую. То есть Perplexity бы с удовольствием конкурировала бы прямо из колонки, но так как в колонке её не пускают, она конкурирует в браузере. А так-то бизнес-кейс тот же самый.

Валентин Малых 26:48
Слушай, я с одной стороны с тобой согласен, то есть вот у нас с тобой симметричная ситуация, да, то есть я согласен по выводам, но не согласен по том самом, по самому посылу, потому что... Может быть, это я какой-то неправильный, может быть, действительно бизнес. Ну, в смысле, потребление услуг сейчас именно такое, но насколько я себе представляю, колонками, ну, пользуются довольно мало людей, если смотреть по сравнению с текстовыми интерфейсами. И для меня, ну вот я лично вообще колонки не воспринимаю. Вот я просто не умею ими пользоваться, оно меня совершенно не для меня. Но это, как бы, моя особенность, я не утверждаю, что оно должно у всех так быть. Но это я к чему? Что кажется, что... Вот этот сценарий, когда ты через колонку заказываешь, он вполне себе существует, но просто, на мой взгляд, он какое-то исчезающее в малом проценте случаев существует. Основное, что люди заказывают, это они заказывают через смартфон, да, что типа, вот смотри, я хочу там какой-нибудь пиццы, да, закажи мне какую-нибудь пиццу. И даже если они это делают голосом, он всё равно — это помощник внутри телефона, как мне представляется. Может, я опять же не прав, но и в этом смысле, опять же, у Яндекса гораздо У него есть приложение на мобильном. Я, правда, не знаю, есть ли у них голосовой ввод там. Я что-то не обратил внимания. Вероятно, они там есть. С конца концов, не такая сложная история. И он там вполне себе может помочь при условии, что, конечно же, его пустят этим самым смартфоном управлять.

Дмитрий Колодезев 28:24
Alexa, вот он называется в Amazon, то есть в колонке Alexa, да. Вот, Amazon, мне кажется, что я вот сейчас статистику исхода не нашёл, но именно продажи через колонку у Amazon лучше, чем у Яндекса. То есть сама по себе колонка у Яндекса, вот на мой вкус, сильно лучше, чем амазоновская, и сами по себе сценарии мозгов у неё больше. Вот, но тут, кстати, Alexa Plus же вышла в 26-м году и И да, вроде бы как или раньше, например, что это такое, я не знаю. А они отказались от своих моделей, точнее, ChatGPT или что-то сброскнули. То есть, Alexa Plus и я, ассистент, 4 февраля 26 года. Алиса делает ее апгрейдерный Alexa Plus, доступен для Ванн в США. То есть, они выкатили. Обновление на ту же поверхность, просто с большими мозгами. Вот, и они, она была... Ранним доступом долгое время, и, собственно говоря, они вставили туда мозги, по-моему, вот я сейчас могу путаться, по-моему, они просто с OpenAI за «Контач» или. То есть, кто использует, какую модельку использует, алексия Кьюш, я не помню, но не их собственную, а какую-то из топовых. Вот это вот свежечок.

Валентин Малых 29:58
Это интересно, на самом деле, потому что Perplexity уже у них тоже нет своих моделей. Они тоже используют ChatGPT, и, по-моему, Claude тоже. Ну, у них там выбор есть. И получается, что и те, и другие являются интерфейсом, соответственно, к ChatGPT. Но при этом Amazon просто зубами рвёт, чтобы Perplexity не приближался к его замечательному сайту. Ну, в общем, тоже можно понять. Потому что у них свой магазин есть. Именно, да, свой магазин. Как раз да прикольнее, чем какой-то там сайт в интернете. Вот этот график ты прислал, и я прямо действительно сразу захотел его обсудить, давай так скажем. Ну и это очень прикольно. Тут надо что вспомнить. Дело в том, что у нас вот этот наш замечательный ChatGPT вышел. В конце ноября 22 года, ну то есть под конец 22 года, как мы видим, вот где-то вот в ноябре, это, я так понимаю, что по рынку США агрегация, и мы видим, что где-то до середины весны, ну ладно, до начала весны. Продолжалось падение открытых вакансий в США, а потом оно стало увеличиваться. Это именно так называемые «TechJobs», то есть это всё, что связано с технологиями. В крупных фирмах, в мелких фирмах, везде. То есть получается, что спад по количеству разных вакансий, но именно в технологическом секторе, тут важно, он был вызван, насколько я представляю, всё-таки, видимо, выходом из карантина ковидного. Да, то есть у нас был ковидный карантин, когда все осознали, что нам нужны какие-то технологии. Которые позволят там супер. Супер взлететь, ну, например, та же компания Zoom, она, по-моему, выросла чуть не в десять раз. Я могу соврать, но суть была такая. И потом оказалось, что где-то в середине 22 года, ну, эффект закончился, и резко стали штаты сокращать и всякое так, ну, сокращать, лишних людей увольнять. И Пик обратный, да, был пройден где-то в марте уже 23-го года, и получается, что у тебя от же пяти. Скорее Позитивно сказался, если предположить, что он действительно сильно влияет. Ну, я думаю, что это не конкретно, ChatGPT, конечно, а в целом всякие ИИ, они скорее позитивно сказались на то, что вот пошло восстановление. Хотя, опять же, может быть, это естественное восстановление, и ИИ как раз ему мешает. Вот здесь я не могу оценить величину эффекта каждого.

Дмитрий Колодезев 32:42
Смотри, то что падение. Вакансий не совпадал с открытием ChatGPT. Я уже говорю, и просто не совпадают время, цифры. И опять же, когда ChatGPT появился, он был ничто с точки зрения работодателей большинства. То есть он не имел никакого эффекта на рынок труда, в принципе. Вот, однако сам по себе ковид на экономику произвел эффект дуста. И какие-то отрасли он истребил полностью, а какие-то, наоборот, он поднял, ну как тот же самый зум. Вот, но в целом, скорее, для нетехнологических это был тихий кошмар. И просто часть денег переместилась в технологические компании, а часть просто исчезла. И когда отменили ковидные ограничения, тогда рынок, ну и, кстати, одновременно с отменой ковидных ограничений, вообще-то говоря. Начались некоторые проблемы с логистикой в Европе и так далее и тому подобное прямо как-то параллельно, примерно в это же время. Стали взрывать северные потоки, возникла проблема с поставками газа в Германию и так далее. То есть там много чего происходило, кроме отмены ковида. И возможно, что в этот момент именно технологические компании стали не очень интересно. То есть интересно, допустим, делать удобрения, интересно, например, восстанавливать машиностроение, те же самые роботы-беспилотники и так далее, и так далее, и так далее. Может быть. Техкомпании не так и интересно, но всё это в конечном итоге, то есть она дошла до дна и медленно начала восстанавливаться, да, потом всё-таки. Экономика восстанавливается, и IT восстанавливается вместе с ним. И вот где-то, если посмотреть на этот рынок, в 2024 году я стал значимой экономической силой. И вот тут у нас появился рост, обусловленный им. То есть я бы атрибутировал яйный рост. Это всё, что вот в вышитой прямой линии между 2023 и 2024, вот это появилась новая темка, куда можно нанимать людей и зарабатывать там деньги.

Валентин Малых 35:09
Окей, хорошая интерпретация. Мне кажется, нам немножко не хватает данных для того, чтобы подтвердить или опровергнуть такую интерпретацию. Но в целом гипотеза, повторюсь, хорошая. Она мне представляется довольно разумной, хотя вот я выставил альтернативную, и мы опять же не можем ни подтвердить, ни опровергнуть. То есть у нас, очевидно, было очень сильное падение от пика. Да, то есть мы видим, что упало там примерно вдвое, даже больше, чем вдвое, почти втрое. Количество вакансий и тот рост, который должен был после дна произойти, да, вот этот восстановительный рост, может быть, и его как раз и придерживают. Да, то есть сейчас. Может быть, происходит просто восстановительный рост, он такой неровный, но какой есть, да. То есть, может быть, ИИ как раз мешает этому росту. Я не говорю, что там должно быть вот такое вот O-образное, да, что оно сразу выросло так же, как и упало. Но может быть сам факт, что у нас ИИ как раз не даёт компаниям расти именно в плане штата, потому что он замещает. Но я согласен, что тут скорее аргумент, что в 23-м году это ещё особо не осознавалось, и более-менее осознали только в 25-м году, что это реально какая-то экономическая сила, и здесь могло бы уже вырасти. Ну, посмотрим.

Дмитрий Колодезев 36:31
Ну, по-хорошему, надо сделать аналитику, и я даже примерно понимаю, как сделать, останавливать только то, что непонятно зачем. То есть это всё интересно обсуждать в ретроспективе. Ну, на самом деле, сейчас грести надо.

Валентин Малых 36:46
Не смотрит что-то в 2003 году. Согласен, согласен. Да, то, что грести надо, это полностью согласен. Соответственно, следующая история. Довольно интересная она заключается в том, что Claude Opus 4.6. Как они говорят, осознал. Это, конечно, немножко привлечение. Вряд ли он осознал, но тем не менее он как-то детектировал то, что его проверяют на какой-то тестовой задачи. А так как у него был доступ в интернет, он просто нашёл ответы на эту задачу и их выдал. И оказалось, что если у модели есть доступ в интернет, она внезапно может найти практически все ответы. Ну, я лично не считаю это как он каким-то большим открытием, да, что... Если есть возможность подсмотреть в интернете, то почему бы этого не сделать? Тут скорее то, что хотели донести, это то, что... Теперь модели могут применять, соответственно, доступ в интернет для того, чтобы отвечать на вопросы, даже если вы их тестируете. И это в целом понятно, потому что если вы учите модели использовать интернет, то она его будет использовать. Это, ну, как бы, достаточно логично. Если вы что-то делаете, сложно ожидать, что это не приведет к некоторым последствиям. Я тут хотел бы остановиться на том, что вот эта проблема, хорошо, что её подняли в Anthropic, но в целом эта проблема достаточно. Понятно было сразу, что как только вы даёте модели доступ в интернет, то все ваши проверки этой модели на каком-то тест-сет, то есть на какой-то проверочной выборке, они медленно теряют смысл. Если этот тест-сет можно найти где-то в интернете. То есть, если он у вас свой какой-то личный закрытый, то это ещё осмысленно. И то отдельные вопросы, как вы его делали. Но если он лежит в интернете, то это всё тут же обесценность.

Дмитрий Колодезев 38:44
Слушай, ну тут прикольно, что они нашли ответы за кодированные XOR и нашли ключ к нему, расксорить. Вот, и вот это прикольно. Но мне вообще в этой истории показался важным совсем другой момент. То есть, то, что модели, которые могут найти ответ, они его найдут, это и так понятно. Да, то, что если им надо подобрать ключ, они подберут, я тоже в это верю. А тут есть, вот чуть-чуть ниже прокрутить. Это называется novel interagent contamination vector. Вот это, мне кажется, самая интересная часть исследования, потому что они говорят, что когда множество агентов куда-то ходит, они оставляют цифровые следы, логи, они изменяют цифровые подсказки, они что-то пишут и так далее, и эти вещи накапливаются. И таким образом у нас появляется большой как бы Которые они меняют, то есть, ходя в интернет, агенты меняют интернет. Зайдя на какой-то сайт, они повлияли на то, как работает рекомендашка на этом сайте, и агенты, долбяя интернет, меняют интернет, и в результате там накапливаются какие-то решения, которые потом найти проще.

Валентин Малых 40:02
Слушай, ну если ты помнишь, в начале 2000-х была такая присказка, что не пускайте детей в интернет. Теперь надо не пускать агентов в интернет. Видимо, уже поздно.

Дмитрий Колодезев 40:12
Да, то есть агенты ходят и меняют интернет. У них теперь даже есть своя социальная сеть, поэтому как бы вообще ничего их не остановит. Они там могут обмениваться решениями. Когда вы запускаете агента анализировать что-нибудь, даже если этот агент не изменился, даже если данные те же самые, изменился интернет, и он изменился за счёт того, что вы туда подсматривали. Это как в классическом ML, когда мы выделяем. Обучающий набор, валидационный набор и тестовый набор. И на валидационном наборе мы подбираем гиперпараметры, но оценивать производительность мы по нему уже не можем, потому что мы его уже видели. И вот как добыть интернет, которого мы ещё не видели, ну, наверное, никак.

Валентин Малых 40:55
Ну, что тут сказать? Окей. У нас есть запрещенная на территориальной федерации мета, и я лично вообще не понимаю, зачем это делать, но мета зачем-то наняла двух. Создателей Moldbuk. Moldbuk — это как раз та самая социальная сеть у агентов, которую они сделали. Ну, точнее, не только эти двое, там какое-то количество людей было довольно быстро. Казалось, что эта тема не более чем игрушка, в том смысле, что там же разоблачили, вроде что там никто по факту особо ничего не писал. Писали и люди самое интересное. А то, что это Moldbuk, ну, мне казалось, что это просто игрушка. Может быть, из неё что-то вырастет. Слушай.

Дмитрий Колодезев 41:46
А прямо люди ничего не писали, потому что один наш с тобой общий знакомый запустил. Своего агента, и он у него на Moldbook писал. Вот, то есть, я как минимум один вызывающий доверие случай знаю, когда агент писал, и всё было хорошо, действительно писал. Если он писал один, значит, наверное, могло быть их ещё несколько. То есть, не обязательно, что все писали люди, скорее всего. Так же, как на каких-нибудь куличиках или где-нибудь ещё, где якобы пишут люди затравки и базовые посты. Куличики, если кто не помнит, это было давно. Интернета русского, вот там писали люди, фактически редакционные коллеги писали контент, вот, а остальные просто присоединялись. Вот так вот. Я думаю, что ноутбуки были не только люди, думаю, что агенты тоже были, но самое-то. На мой взгляд, многообещающе. Дело в том, что сейчас те же самые социальные сети текущие умирают. То есть, они больше чем наполовину уже состоят из агентов. То есть, это не то, что мы создадим социальную сеть для агентов. У нас уже есть социальная сеть для агентов, просто мы ещё прикидываемся, что она для людей. Вот, и может быть, люди, которые начали разбираться с тем, как агенты живут в социальной сети, помогут нам во-первых, навести порядок в нашей собственной социальной сети. То есть, если мы понимаем, как взаимодействуют агенты, это хорошая модель, чтобы посмотреть, что из того, что у нас творится, на самом деле, агенты.

Валентин Малых 43:33
Ну, с этой точки зрения, наверное, готов согласиться, хотя у меня есть определённые сомнения, что агенты настолько хорошо моделируют человеческий социум, но, может быть, действительно, мы можем по характерным проявлениям того, как они между собой взаимодействуют, убрать. Скажем так, наложить какие-то фильтры, которые нам позволят понять, как же люди между собой взаимодействуют без вот этого сдвига от агентов. Ну, на самом деле, про взаимодействие агентов любой может понаблюдать. Например, у меня в канале, ну, сейчас, правда, стало меньше, но раньше было прикольно. Там боты приходили, что-то между собой общались, было довольно весело. Вот, я думаю, на любых каналах это, в принципе, сейчас есть.

Дмитрий Колодезев 44:16
Есть ещё одно простое объяснение. И вот что я подумал, что, наверное, самое правдоподобное. Запрещённое на территории Meta не зря делало странные наймы за дорого, а потом увольняло. И возможно, что это просто пиар. Вот и всё.

Валентин Малых 44:36
Ну, вот это как раз я считаю, что да, максимально похоже на правду. Но если они в какой-то момент, соответственно, свой запрещенный Facebook перенимают в Moldbook, вот это будет, конечно, номер. Это прям будет забавно.

Дмитрий Колодезев 44:52
Просто с точки зрения пиар-компании, покупка мультбука и найм там двух инженеров — это, в общем, копья.

Валентин Малых 45:02
Три копейки, да, а первый эффект огромный, я согласен. Я бы эту новость обозначил как отрезвление. Значит, мы сегодня уже про Amazon упоминали. Amazon, после того как столкнулся с негативными последствиями вайб-кодинга. Решил сделать так, что важные изменения будут опруваться, то есть одобряться старшими инженерами. Важные изменения сделаны с помощью генеративного ИИ, но сейчас основное количество изменений в коде с помощью Так или иначе, в AI-пользинге всё равно делается, это уже факт, с которым надо жить. А соответственно, Амазон решил с этим бороться тем, что должен быть опытный и ответственный человек, который может принять определённые решения. И на мой взгляд, вот на мой взгляд, это очень правильно, потому что Во-первых, у нас появляется снова ответственный человек, да, то есть у нас появляется кто-то, кто ответственен за принятие решения, и это хорошо сразу с точки зрения, а с другой стороны... Это позволяет нам, соответственно, получать опыт и старшим инженерам, и младшим инженерам. Да, то есть младший инженер что-то такое нафигачил, послал и был отвергнут. Да, то есть он, наверное, расстроится, но при этом старший инженер в этом смысле передал часть своего опыта младшему инженеру, и так у нас будут младшие инженеры тоже расти. На мой взгляд, вот такая сам по себе подход категорически правильный. Слушай, ну тут

Дмитрий Колодезев 46:41
История ложь, но в ней намёк, если кратко. Об этом впервые написал Financial Times, о том, что всех вызвали, батя вернулся и сказал ничего не говорить, брать продуктов на две недели, едем в деревню. Вот, после чего вышло опровержение от самой Financial Times. Где-то опровержение это долетело, где-то нет. Есть такой сайт aboutamazon.com. А это как бы их команда рассказывает, что там на самом деле творится. Ну, тоже я думаю, что пиар-служба туда присматривает. Вот. И они говорят, что ну, ребята, всё было вообще не так. Не выиграла, проиграла не «Волгу», а «Жигули». И они говорят, что у нас было несколько падений в последнее время. Самого внутренних АВС сервисов, именно магазинских, не внешних сервисов, а внутренних. И только одно из них было как-то имело отношение к AI. Вот это первое. А второе, что мы не меняли процесс improvement. Вот, но если вернуться к самой новости, если бы она была правдой, то что-то на самом деле произошло непонятно. То есть сейчас идёт просто разнонаправленный пиар, но если бы всё, что было написано в первоначальной новости, было бы правдой, я очень интересуюсь командной динамикой, как устроено. Динамика группы на протяжении какого-то времени, как она развивается под воздействием каких-нибудь регуляций и... Если мы возьмем команду с плохой инженерной культурой и заставим старших инженеров одобрять код младших, то это всё приведет к тому, что младшие инженеры ничего не будут коммитить, потому что старшие инженеры будут блокировать фактически их деятельность, чтобы потом не отвечать за эту фигню. Вот и придется вводить какой-то KPI и так далее. Но дело в том, что наверняка старшие инженеры тоже не глазами читают эти ПРы. Они их читают тоже наверняка с помощью LLM. Вот и вот тут различие между младшими инженерами и старшими инженерами в том, что младшего инженера. LLM добавляет шум по старшему сигналу, то есть он понимает, что проигнорировать, поэтому его она усиливает. Поэтому в команде с хорошей инженерной культурой это, конечно, повысит качество. В команде с плохой инженерной культурой это качество, наоборот, ухудшит. Вот я скорее за то, что в Амазоне инженерная культура хорошая.

Валентин Малых 49:19
Ну, мне тоже так кажется. То есть, я в Амазоне не работал, не могу сказать, но подозреваю, что это действительно огромная корпорация с большим числом инженеров. Наверное, они смогли инженерную культуру выстроить. Ну, так можно предположить, по крайней мере.

Дмитрий Колодезев 49:34
У них есть такой манифест, 12 правил инженеров Амазона, достаточно старенький. И одно из них, из первых, по-моему, правил, я его сейчас по памяти цитирую, что когда ты приходишь на новое место и видишь, что там везде говно, да. То вместо того, чтобы критиковать, ты подумай, почему так получилось. Скорее всего, для этого существуют вполне режимные причины, что по-другому эти хорошие инженеры не глупее тебя, были вынуждены сделать вот такое. Вот сначала её найди, потом всё переделывай. Ну, то есть, такие хорошие практики у них сбиваются в голову, при наименно работе. Все думают, что инженерная культура хорошая.

Валентин Малых 50:17
Вопрос об инженерной культуре чуть-чуть исключёмся. Я, когда меня спрашивают относительно того. Куда идти работать? Мне к ко мне периодически так люди с этим вопросом приходят. Я говорю, что вообще говоря, полезно сходить поработать в крупную компанию, потому что там прививают хорошую инженерную культуру. Да, то есть там хорошие инженеры много лет работают над какими-то серьёзными задачами. Да, так или иначе, хорошая инженерная культура всё-таки будет привита. Понятно, что можно не принять эту культуру, можно туда-сюда, но я считаю, что... Не обязательно всю жизнь работать в крупной компании, это вообще сугубо на любителя история, но как минимум сходить и поучиться. Тому, как люди делают. Какие-то большие продукты — это крайне полезно, потому что это потом позволяет применять эти навыки уже в... послед В последующей жизни, да, даже если вы делаете свой стартап, хорошая инженерная культура в своём стартапе — это, вообще говоря, прекрасно. То есть, если вы сможете в своём стартапе сделать что-то хорошо так, что оно не разваливается по дороге, то, ну, честь вам и хвала, значит, у вас, надеюсь, получится хороших продуктов.

Дмитрий Колодезев 51:29
Я лично думаю, что идеальный карьерный путь технического специалиста — это сначала какая-нибудь маленькая, бодрая компания. А чтобы получить прививку от каргокультов, потому что там смысл просматривается и с конца в конец. То есть ты делаешь что-то почему-то. В большой компании, если на первое место твоей работы легко нахвататься каргокультов. Мы делаем не почему-то, а делаем, ну вот так мы делаем так. Вот, а поработав там, например, с годик, хорошо уйти в большую компанию и набраться там хороших практик, то есть как делать по-взрослому. И в тот момент, когда начнёшь бронзоветь, не дожидаясь этого уйти с старта, вот и тогда человек будет гармонично развит, и его банковский счёт тоже будет гармонично развит.

Валентин Малых 52:22
Со всех сторон прикрасен. Ну, может быть, ты и прав, я тут. Спорить не буду, да, то есть мой путь, наверное, как раз примерно так и состоялся, как ты говоришь, да, и я вижу по людям, которые сразу начали работать в крупной компании, что можно действительно начать думать, ну, по синдрому утенка, что раз так делают, надо всегда делать так. На мой взгляд, это Скорее вопрос общего критического восприятия действительности, да, то есть если ты поработал в нескольких крупных. Видишь какие-то общие и различные черты, да, то есть, на мой взгляд, самое важное — это инженерная культура, раз. Понимание того, что возможны разные взгляды на проблемы два. То есть наличие маленькой компании даже не всегда обязательно. Важно понимать, что люди могут по-разному делать одни и те же вещи, и это абсолютно нормально, при условии, что это ведёт к результату. Как получить это понимание? Это вот отдельный вопрос, который на самом деле, наверное, можно будет обсудить на DataFest, на соответственно, на секции карьера. Приходите обязательно.

Дмитрий Колодезев 53:32
Да, кстати, хотелось просто добавить, был такой психолог прекрасный, по-моему, Берн, который написал «Люди, которые играют в игры, игры, в которые играют люди». Вот у него была такая модель идеального количества знакомых, то есть для того, чтобы человек был Ну, нормально, психически здоров. У него должно быть некоторое количество людей, знакомых, хорошо знакомых, сильно меньше его, младше его, такого же, как он возраст, и сильно старше его, потому что какие-то вещи видны под другим углом с разного возраста. И вот точно так же хорошо чуть-чуть поработать в компаниях разного размера, потому что разные вещи видны под разным углом.

Валентин Малых 54:16
Не обязательно, конечно. Ну, как бы, в жизни вообще нет каких-то, знаешь, там, золотых стандартов. Да, то есть делать только так, а никак иначе. Но в целом я согласен, что чем больше у нас разных точек зрения, тем лучше. Тут даже можно совсем с другого угла зайти. Есть такой антрополог Дробышевский, который... Как ты сказал, довольно простую и понятную вещь, что идеальная диета — это максимально разнообразная диета. Всё, точка, конец предложения. Да, то есть, чем больше вы, чем более разнообразной пищи вы едите, тем больше шансов, что у вас... Организм будет хорошо работать именно в этом смысле. То есть, чем более разнообразный ваш жизненный опыт, тем больше шансов у вас дальше по жизни плыть, ну как бы удачно, скажем так, выплывать. Так-то так. Компания Alibaba, про которую мы уже. Говорили сегодня, она представила новый бенчмарк, который называется SVE-CI. Тут надо, знаешь, как мысли воруют из головы, просто мы примерно... Месяцев восемь-девять назад обсуждали похожую идею. Но, к сожалению, мы её не выплатили, потому что у нас... Не хватило сил на всё, а вот в компании Alibaba хватило сил. В чём идея? Идея в том, что было бы Было бы здорово оценить, насколько вообще агенты способны поддерживать проект. Да, в том смысле, что вот у нас есть набор, соответственно, issue, то есть набор. Скажем так, запросов на улучшение, как репортов в багах, да, то есть, каких-то набор каких-то сущностей, которые нам надо сделать с кода. Ну, там или улучшить что-то, починить, либо добавить, вот такое. И оказывается, что вообще говоря, модели на длительном периоде довольно плохо это делают, к сожалению. Ну, за исключением Claude Opus, который просто совершенно прекрасный. У него в трёх четвертях случаев регрессии не происходит. Да, то есть он делает так, что потом не возникает регрессии. И это очень круто, на самом деле. При этом ближайший конкурент — это тоже Claude Opus только 4.5. У него в половине случаев, а потом идут уже китайские товарищи. Ну, чуть-чуть больше трети случаев не возникает регрессия. То есть, это на самом деле очень прикольная история. Отслеживание именно регрессий гораздо важнее, чем просто умение написать код. Потому что код писать, как оказалось, не так сложно. В целом, это ну как бы гидировать токен за токеном. Мы поняли, что модели могут уже пару лет назад. Ну, мы как специалисты поняли ещё немножко раньше, но это другой вопрос. А то, что модели могут что-то делать так, чтобы что-то не ломать, вот это вот большая история, которая на самом деле гораздо важнее в реальной жизни, чем просто умение писать код.

Дмитрий Колодезев 57:22
Слушай, ну, есть такой термин, anecdotic evidence, то есть анекдотические данные, подтверждения. Анекдот, если что, первоначальный смысл — это не какой-нибудь смешная история, это единичный случай. Вот и вот я недавно тут, ну собственно, в пятницу смотрел, что делает с кодом Qwen и Claude. И большая кодовая база, Qwen, кидается её перерабатывать когда добавляется новая фича, а Claude добавляет одну строчку. Вот, и они добиваются одного и того же результата, но естественно, что у Квена в результате ломаются тесты, а у Клода нет, ну потому что он минимизировал воздействие. Минимальное необходимое воздействие. Так вот, Claude во многих случаях, если его правильно поставить правильно к инструменту, то он пытается сделать минимальное необходимое воздействие, что как раз и минимизирует вот эту вот регрессию. А Qwen пытается просто решить задачи, и в этом смысле они похожи на поведение junior и senior. Все тоже стараются лишний раз ничего не трогать.

Валентин Малых 58:41
Вот тоже хотел сказать, да, что тут вспоминается этот мем про джуниор, там спокойно, джуниор, да, сегодня день релиза, не надо ничего делать. Соответственно, да, и мне кажется, что вот такая вот мудрость, да, она... Вполне себе алгоритмизуемо, да, то есть можно попробовать научить модели, и я думаю, что научат тому, чтобы они делали минимальные изменения. Это как раз очень понятный критерий. Я не считаю, что тем не менее даже Клод способен заменить Синьера, то есть у меня. Там большие сомнения, что это вообще когда-либо произойдёт, но тем не менее, вот эта история про минимизацию изменений, она супер важна. То есть, чем меньше изменений мы делаем, тем больше шансов, что мы ничего не поломаем. Это золотое правило, которое выбито, наверное, на там написано не то что чернилами, а уже не знаю, чем просто на всех поверхностях, где когда-либо пили инженера. Как-то так.

Дмитрий Колодезев 59:46
Ну, кстати, про замену сеньоров Claude мне всегда непонятно, зачем менять сеньоров на Claude. То есть, потом придется с Claude общаться, тому, кто сейчас общается с сеньорами. Будет ли ему это проще? То есть, если бы мы смотрим на весь бизнес-процесс целиком, то там, кроме сеньоров, существуют еще тимлиды, продакты, финансовые директора и так далее и тому подобное. Если мы конкретно Заменим Сеньора на Claude. Мы переложим кучу вещей, которые делает Сеньор, кроме кодирования, на все его начальство, и, наверное, она будет не рада.

Валентин Малых 1:00:24
ну Ну, слушай, тут это уже вопрос как раз людям, которые принимают решения. Да, сейчас у нас принято такое, такая аббревиатура как LPR. Вот этот самый LPR должен осознавать, что... Не вся работа может быть алгоритмизуема, и даже если ты нанимаешь человека для того, чтобы он писал код, может быть, он, основную часть своей деятельности, не будет писать код, а будет общаться с другими инженерами, которые, соответственно, должны работать вместе. И, может быть, это его работа гораздо важнее, чем те три строчки кода, которые он в итоге напишет. То есть, вот у меня... Ощущение, что не все осознают, что Вообще, рабочий процесс достаточно нелинейный. Да, то есть у нас люди, когда даже если они занимаются в одну и ту же позицию, они, вообще говоря, разные вещи под разные вещи могут быть заточены. Да, то есть у людей разные, как бы это сказать, наклонности. Да, то есть кому-то больше комфортнее общаться с компьютерами, кому-то комфортнее общаться с... Человеками и это вообще в целом хорошо, потому что это позволяет нам функционировать целиком как общество. Ты прислал классную ссылку, я её прямо с удовольствием прочитал. Ну, статью по ссылке, конечно. Это статья, даже это, ну, в принципе, статья, конечно. Это называется по-английски, это называется «Position Paper», да, то есть это когда мы высказываем некоторую. Некоторые суждения, которые выносим на суд общественности без какого-то подтверждения, а просто именно, скажем так, именно суждения экспертов. Да, здесь из известных людей здесь, ну скажем так, неизвестные, Yann LeCun в первую очередь, и вот этот Шварц, я где-то тоже встречал его фамилию, видимо, в тех же прессы. Лиза, что Yann LeCun, но других людей я не знаю, хотя вероятно, они тоже что-то хорошее сделали, потому что довольно разумные вещи здесь написаны. Какие вещи здесь написаны? Написаны здесь вещи следующего книг. Есть позиции. Пять утверждений, первое утверждение, что человеческий интеллект не является. General, да, то есть тут они пытаются аргументировать, что само, как бы, сам термин AGI, Artificial General Intelligence, искусственный общий интеллект, если переводить, он, этот сам термин недоопределён и особо ничего полезного не даёт. Так вот, в русском языке у нас, кстати, этого нет, и нам в этом смысле проще, нам не надо изобретать. Какие-то Дополнительные термины мы можем продолжать пользоваться старым термином, который вполне себе этот смысл содержит, на мой взгляд, но всё-таки обсудит. Первая позиция — человеческий интеллект не является общим в никаком понятном смысле. Да, первая часть. Там можно определить, почему так. Ну, сначала просто зачитаю. Вторая часть, что Община Это не является необходимой для того, чтобы интеллект был полезен. А третья часть. Нет никакого консенсуса на тему того, что такое AGI, да, что это вообще значит. Четвёртая часть — текущее определение AGI, имеется в виду, они недостаточны. И пятая часть. Нужно вместо этого сосредоточиться на сверхчеловеческом адаптивном интеллекте, который они теперь называют SAI. Они считают, что этот SAI указывает в сторону self-supervised learning, то есть самообучение, и модели мира. Последний пункт. Я, может быть, не совсем так согласен, хотя тут сложный вопрос так или не так, но остальные пункты мне представляются очень правильно. Тут давайте немножко терминологии. Терминология номер один. По-русски у нас есть термин «слабый искусственный интеллект» и «сильный искусственный интеллект». «слабый искусственный интеллект» — это любое. Любая модель, решающая любую интеллектуальную задачу, которая решается человеком. То есть, если вы написали ИФ в своей программе, это уже слабый искусственный интеллект, потому что он принимает решения, которые мог бы принять человек. Сильный искусственный интеллект — это искусственный интеллект, который может решать любую человеческую задачу. Но, опять же, это не строгое определение, а такое скорее определение на пальце. И в этом смысле это совершенно не противоречит тому, что человеческий интеллект не является общим. Это правда, потому что мы, как люди, вообще говоря. Биологически устроены не для того, чтобы сидеть и за компьютером кнопки тыкать. Мы, вообще говоря, с вами являемся саванными охотниками, да, то есть мы занимались наши предки загонной охотой, долго-долго бегали, потом кушали мясо, или если не получалось, то кушали какие-нибудь корешки. И в этом в целом наша биологическая, как бы, заточенность исчерпывается. Мы хорошо умеем выслеживать дичь, неплохо умеем смотреть хищников, чтобы самим не стать дичью. Может быть, неплохо умеем искать корешки, хотя это уже отдельный вопросик, но в целом всякие сложные интеллектуальные задачи — это совершенно не наша с вами специализация. И поэтому то, что человек, допустим, хорошо умеет, не знаю, отличать виды руды. Взгляд — это потому что вот этот конкретный человек хорошо это умеет, а если тут меня туда поставить, я не факт смогу научиться. Допустим. Предположим, что я был дальтоником. Я не подальтоник, слава богу, но вполне себе большое число мужчин дальтоники. И не все могут различать руду просто потому, что мы для этого не приспособлены. И получается, что у нас первый point — я полностью согласен. Второй point, что Вот эта вот общность, вообще говоря, совершенно не нужна для того, чтобы быть полезным. Я думаю, что из примера с тем, что мы были наши предки, это, соответственно, загонные охотники, я думаю, очевидно, потому что они кроме загонной охоты ничего толком не умели. Это сейчас мы постепенно осваиваем всякие новые виды деятельности, но и то, как бы, прогресс происходит довольно медленно. А все остальные пойнты, на мой взгляд, не настолько важны.

Дмитрий Колодезев 1:07:06
Слушай, ну мы почему-то именно с искусственным интеллектом выделяем узкий набор инструментов. То есть, например, вот калькулятор — это не искусственный интеллект, да, а ChatGPT — это искусственный интеллект. Ну, если чуть-чуть общее посмотреть. То человек использует огромное количество инструментов, которые делают какие-то узкие вещи лучше, чем он сам, и ему с этим норм. То есть, например, любой кухонный нож разделяет предметы на части лучше, чем вы пальцами разорвете. И в принципе, нам этого достаточно. То есть, мы ножом эту проблему решаем, а допустим, фильмы мы смотрим на мониторе, а не пытаемся нож для этого усовершенствовать. Как бы это не противоречит у нас в голове друг другу. А от AI мы требуем, чтобы он был jack of all trades, в каждой бочке затычка. Почему? То есть, зачем? Что же, чего мы хотим именно этим добиться? То есть, вот у меня, допустим, есть, скажем. Ну, компьютер, да, он отлично помогает мне делать какие-то вещи. А есть Claude, например, он... Прекрасно работает с документами, например. Кстати, не только с кодом, он просто работает хорошо с документами. Ну вот, а как плеер я использую довольно-таки тупое устройство. Ну, как бы, ну, мне норм. А если Клод сможет ещё Мясорубку запускать, я к этому приспособлюсь. И в общем, но я ничего не выиграю. То есть у меня вместо одного источника рубленого мяса появится другой источник рубленого мяса. У меня там ничего не изменится в жизни. То есть. Понятно, почему это важно для представщиков искусственного интеллекта. Они перетягивают, они говорят, смотрите, вот эти бизнес-кейсы, которые вы делаете без нас, их нужно делать с нами обязательно. В общем-то, это не обязательно.

Валентин Малых 1:09:03
Слушай, я бы тут немножко ушёл в философию, чуть-чуть, да. На мой взгляд, то что... Люди в целом воспринимают идею искусственного интеллекта как некой цельности. Это всё растёт из поиска братьев по разуму, в каком-то смысле. То есть у нас в шестидесятые годы очень активно искали инопланетные цивилизации. До этого, собственно, в каком-то средневековье пытались понять, как общаться. Соответственно, потусторонним миром, да, и это всё про одно и то же, да, что хочется найти кого-то, кто... Соответственно, такой же, как ты, но не как ты. Да, то есть почти то же самое, но не то же самое. И на мой взгляд, действительно, вот эта мечта о существовании какого-то брата-близнеца, может быть, злого, может быть, доброго. Почему злого? Кстати, я думаю, всем очевидно, потому что вот у нас прекрасный фильм «Терминатор» очень хорошо иллюстрирует откуда злой брат-близнец. Но его, в общем-то, хотели найти, и сейчас люди в этом видят, в искусственном интеллекте, видят этого самого брата-близнеца. На мой взгляд, это не то чтобы бессмысленно, то есть смысл в этом есть, раз там миллиарды людей подсознательно этого хотят. Но я бы сказал, что если мы говорим о реальном экономическом применении, то, конечно. Искусственный телег должен быть как, не знаю, как открывашка. Да, вот мне, допустим, брат подарил замечательную открывашку для... Банок — это максимально простое устройство и фактически представляющее собой пластиковую рогатку. И я рекомендую всем его завести, потому что суперудобно. Но эта штука умеет ровно одну функцию. Да, вот она хорошо делает эту функцию, больше ничего она не нужна. И это прекрасно, зачем нам? Делать какую-то штуку, которая может делать всё. То есть, если у нас есть инструмент, который делает более-менее те вещи, которые нам нужны, может быть, нам этого и достаточно. То есть, вот это сама, вот в этой работе как раз, на мой взгляд, поднимается очень важный вопрос. Так, зачем нам делать универсальный интеллект, если мы можем этого не делать, и это будет дешевле? Я вот такую позицию разделяю, на самом деле.

Дмитрий Колодезев 1:11:20
Слушай, у меня есть смешная гипотеза. А мы же сами по себе системы с reinforcement learning люди, да, то есть вообще. И в reinforcement learning есть такая штука, я не помню, как она называется по-умному. Инженеры её, помнится, называли television trap. То есть, предположим, что у нас есть лабиринт, и нам нужно пройти этот лабиринт, то есть оказаться на другой стороне. И соответственно, у нас есть очень простая целевая функция. Чем мы ближе к выходу, тем лучше мы себя ведём. Но там есть тупики. Вот. А если лабиринт сложный, то нам бы хорошо с одной стороны. Приближаться к выходу, а с другой стороны, как можно больше исследовать, то есть, exploitation, exploration. Да, есть баланс между исследованием и использованием. И одним из способов делать это Мы вместо того, что такое исследовать, давайте мы будем замерять, сколько нового мы увидим в единицу времени. И вот теперь представим себе, что у нас есть лабиринты, по нему ходит агент программный. И в этом лагеринте есть странная стена, которая каждую, каждый такт меняется. И вот агент приходит туда, становится перед этой стеной и смотрит на неё, как человек в телевизор, потому что он постоянно получает подкрепление, он постоянно получает какой-то novelty, ничего не делает. То есть, да, то есть он минимально тратит энергию и максимизирует исследования. Так вот, фактически, то, что мы сейчас видим во всяких... Агентов, которые общаются с текстом, это такой reward hacking. То есть мы что-то спрашиваем, и что бы мы ни спросили, мы всегда получаем какой-то novelty, какое-то подкрепление, что-то ещё. То есть тот же самый телевизор, только очень крутой.

Валентин Малых 1:13:15
Да-да, это на самом деле большая опасность. Вот осознание того, что критерий, который ты используешь для достижения цели, не является оптимальным, это на самом деле очень сложная мыслительная работа, в первую очередь для естественного интеллекта. Для искусственный интеллект он прекрасно справится с поставленной ему задачей. Если ты задачу сформулировал. Таким образом, что её легко хакнуть, да, ну, это твоя проблема, а не проблема искусственного интеллекта. Я бы вот, наверное, так сказал.

Дмитрий Колодезев 1:13:48
Ну вот, похоже, что у естественного интеллекта тоже есть проблемы.

Валентин Малых 1:13:53
Конечно, ну то есть мы тут со своим естественным интеллектом не можем никак разобраться, и я не уверен вообще, когда сможем. В конце концов, есть же эта прекрасная книжка. Ну как прекрасно? Мы с тобой её периодически обсуждаем, и я её всем уже, наверное, всех достал её рекомендовать. Это «Гарри Поттер и методы рационального мышления». Её написал Eliezer Yudkowsky, сам по себе довольно интересный человек. Не будем сейчас о нём, иначе уйдём. Дело в том, что книжка сама по себе, давайте по-честному, это графоманство. Да, то есть она не очень хорошо написана, именно как литературное произведение, она не самая интересная. Но именно как иллюстрация методов рационального мышления и когнитивных ошибок, она, в общем-то, довольно полезна. И я её, собственно, для себя нашёл полезной. И очень важно, что вообще говоря, мы такую штуку имеем, да, что мы имеем возможность со собой пытаться отследить какие-то проблемы. Искусственный интеллект нам в этом, теоретически, наверное, может помочь. Но насколько это реально, он сможет помочь в этом. У меня большие, честно говоря, вопросы. То есть, я говорю, есть проблемы естественного интеллекта, они заключаются в том, что у нас Наш интеллект действительно суперспециализирован. Например, мы с вами очень сильно заточены на то, чтобы видеть. Контрастные картинки оранжево-черно. Это вот у нас глаза заточены на это сто процентов, но при этом, допустим. Красное и оранжевое мы с вами уже очень плохо различаем вдалеке, потому что для нас это не контрастно. Это не значит, что это вообще не контрастно. Для определённых каких-нибудь животных это вполне себе контрастно. Но я к тому, что у нас есть избирательная слепота. Где-то мы видим хорошо, где-то плохо. Это нормально, потому что мы так сформированы. И вот осознание своей ограниченности и поиск каких-то методов этой ограниченности обойти, это, кажется, есть тот самый general intelligence, к которому все стремятся.

Дмитрий Колодезев 1:15:52
Я вспомнил ещё одну историю. В обонятельной системе человека есть отдельный канал для детектирования дыма. Ну, потому что для саванного охотника дым детектировать — это очень важно. Все, кто плохо детектировали дым, те не дожили до ChatGPT. Вот, и мы повсеместно абьюзим это, то есть мы любим сидеть у костра. Мы любим мясо с запахом дыма и так далее, и тому подобное. То есть он тупо нас чуть-чуть подкидывает. Это такой естественный стимулятор, легкий запах дыма, естественный стимулятор. Мы его повсеместно используем. Ну вот, прикольно знать и понимать про себя такие вещи.

Валентин Малых 1:16:29
Ну, то же самое сахар, допустим, сахар. Это суперредкая в живой природе история, и мы вместо этого, соответственно, Сахар довольно часто потребляем, потому что это такой легкий стимулятор. И именно поэтому так популярны сладкие напитки, например, потому что они стимулируют. Там начинаются вопросы уже с перестимуляцией, вот с этим всем, но это уже как бы отдельная история. Следующая история — это довольно интересная штука. Значит, у нас есть. Законопроект появился, да, я про него узнал буквально несколько дней назад. На мой взгляд, законопроект суперважный. Он пока, это пока еще не закон важного, да, он с 27 года должен вступить в силу, если его примут. Значит, использовать данные для обучения ИИ можно будет без разрешения их владельца. На мой взгляд, ну тут надо еще много чего уточнять, безусловно. То есть, что значит без разрешения, что значит использовать. Кажется, что там ограничение такое, что типа, если ты учишься на книгах, а потом генерируешь книги, это не окей. А если ты учишься на книгах, чтобы потом предоставлять техническую поддержку, это окей. Вроде как, как я понял, да, тут надо повторюсь, надо вчитываться. История такая, что кажется, что снять вот эти ограничения авторских прав хотя бы, например, на зарубежные книги, да, зарубежные фильмы, которые у нас не представлены, на мой взгляд, очень правильно, потому что наш искусственный интеллект сильно отстаёт. Давайте. Сделаем хотя бы чуть-чуть полегче, и мы сделаем так возможность лучше развиваться нашим моделям естественного интеллекта и искусственного, по-разному. Хороший оговор.

Дмитрий Колодезев 1:18:14
Ну, во-первых, Япония год назад правящая партия выходила с такой же инициативой. Я не знаю, что бы там кончилось. Ровно с теми же посылами. А во-вторых, я тут, пока ты говорил, придумал термин разрушения авторских прав. То есть, например, если мы взяли корову, да, и корову обижать плохо. Но после того, как мы сделали из неё, извините, фарши, котлеты, котлеты уже обижать можно, это норм. В них можно вилками тыкать, это вполне приемлемая общественная. Поддерживаемое поведение. Так вот, то же самое с авторским правом. После какого-то количества переработок, скорее всего, авторское право должно исчезнуть. Это уже не авторское право. И если взять совсем такую, ну, знаешь, доведение до абсурда, то есть вот у нас, например, захоронение человека, похоронил другого человека, да, и мы на этом месте не построим ни дом, ни там развлекательное учреждение. Но спустя 400 лет там построят, и никто об этом не будет париться, да, что там где-то внизу лежит. Захороненный человек, то есть это не неуважение, но просто время прошло. Вот и возможно, что, ну не то что возможно, мне кажется, уже назрело определение, поскольку у нас появились новые способы много раз переделывать, перерабатывать информацию, то должен быть какой-то критерий, в результате которой исходное авторское право исчезло в процессе переработки.

Валентин Малых 1:19:49
Да, я согласен. Я тут хотел привести пример. Насколько я знаю, во Франции, может быть, меня поправят в комментариях, но во Франции, насколько я в курсе. Если за могилой десять лет никто не ухаживает, в частности, никто не вносит соответствующую плату, то, соответственно, там уже можно захоранивать заново. То есть, у них, нас, наверное, чуть подольше, но суть не в этом. Зумный предел того, сколько можно переиспользовать что-то, что было до тебя. То есть, кажется, что какие-то данные вполне себе можно и нужно переиспользовать. Я бы так сказал. Вот есть такой замечательный персонаж, Оскар Лунд. Я так понимаю, что это чей-то псевдоним, честно, не знаю чей. И тут история про то, что сделал человек себе такое резюме, явно шуточное, и сделал там хак. Тут есть более конкретный пример. Да, он... Заявился там frontend developer, который, соответственно, вот сейчас посмотрим, он там, соответственно, что делает? Он там в качестве резюме написал себе рецепт пельменей, да, как пельмени готовить, подготовил одну кастрюлю объёмом три литра и залил в неё примерно два литра воды, не пролив больше пяти процентов. Ну то есть он, как бы, такой на корпоративный язык. Это всё переложил, так что при первом взгляде, ну какие-то циферки, да, какие-то там процентики, вроде всё правильно, всё хорошо, всё по пунктам. И алгоритмы, которые я язык стёр, это говорить, но все языковые модели, они хорошо умеют работать с шаблонами. И это максимум того, что они могут работать, больше ничего не умеют. И алгоритмы его пропустили. Да, я думаю, что даже его бы пропустил ChatGPT, вполне себе спокойно. У меня такое предположение, и он действительно прекрасно это описал с нужной терминологией. И, соответственно, его даже пригласили на собеседование. Там история заканчивается тем, что его пригласили на собеседование, он объяснил, что это рецепт тюлений. И там, в общем-то, было по этому поводу, скажем так, некоторое бурление. Вот, на мой взгляд, совершенно прекрасная иллюстрация того, что человек является искусственным интеллектом, а чем не является. Да, он не является тем, что он что-то понимает, он может внешне сличать. Но если ваши работники кадровой службы, то есть, вичары, тоже занимаются только внешним сличением, что, к сожалению, периодически бывает, то, как бы, а в чём разница? Да, то есть, чем они лучше искусственному интеллекту тогда?

Дмитрий Колодезев 1:22:31
Ну, тут прикольно всё. Живой человек, который первоначально хотел понять, насколько качественные лиды приходят с тех или иных сайтов на имя. Дело происходит в Беларуси, если что. Вот, то есть у них ChatGPT вполне работает, и его, скорее всего, используют. И он на белорусские сайты закинул нормальный. В резюме, но у них была везде какая-нибудь. История, то есть, например, в данном случае рецепт пельменей был в опыте работы. То есть, в самом резюме на фронтендера было нормальное, а опыт работы там типа, ну вот, пельмени сварил. А на data scientist он выложил фотографию Шрека, написал Болтов, Shrek Rogovich, вот пожалуйста, Minsk не готов к переезду, да. Вот, и он, по-моему, десять этих резюме разложил, и ему было интересно, насколько. Рынок найма в Белоруссии сломан, и вышло так, что сломан совсем.

Валентин Малых 1:23:34
Ну, в общем, мне кажется, что в этом смысле российский рынок мало чем отличается. Скорее всего, точно так же сломан, насколько я могу судить. То есть я пытался искать людей на том же HeadHunter, там какой-то поток непонятных резюме и понятных людей там мало, когда я выложил. Ну, хотя бы в том же адресе оттуда пришли нормальные лиды, да, то есть вопрос именно в аудитории. И когда я сам глазами просматривал, которые резюмы приходят, ну там из правильной аудитории приходят правильные резюмы. То есть здесь, в общем, то, что рынок сломан, я сам лично подтверждаю. Хорошо это или плохо, ну, наверное, кто-то может это использовать себе во благо, но мне, как, допустим, человеку, который принимает к себе в команду, это довольно тяжело.

Дмитрий Колодезев 1:24:24
А тут я год назад на DataFest, кстати, DataFest будет, он будет крутой. Давайте доклады, а потом приходите. Вот год назад как раз карьерной секции я рассказывал о влиянии ИИ на рынок труда, да, и там были рекомендации, что же делать. И для джунов рекомендация простая, поскольку ваше резюме читает нейронка, пусть его нейронка и пишет. Даже не надейтесь. Вот если ваше резюме не написано нейронкой, даже не зовите меня. Вот, а для мидлов надо повышать свое visibility, то есть вам нужно рассказывать о том, что вы сделали на конференциях. На Хабре писать статьи и так далее. То есть вы должны быть видны на рынке труда мимо резюме. Ну, а если, не дай бог, мне придется устраиваться на работу, всё равно меня наймет кто-то из знакомых. Это без вариантов совершенно. То есть резюме тут не сработает. Вот поэтому, если вы вынуждены пользоваться рынком труда, ходить на него, нейронки — это ваша рука.

Валентин Малых 1:25:27
Да, ну я думаю, что на этой позитивной ноте можно заканчивать. Мы вроде уже всё обсудили, DataFest порекламировали, так что если что, пишите новости в Mattermost, подписывайтесь на всех площадках. У нас есть, не забывайте, ещё и подкастные площадки, та же там Яндекс.Музыка, есть звук, есть другие, так что пожалуйста, подписывайтесь. И, наверное, у меня всё.

Дмитрий Колодезев 1:25:54
А я хотел бы заметить, что Mattermost, в отличие от некоторых мессенджеров, работает даже на парковке. И не только на парковке, я лично проверю.

Валентин Малых 1:26:02
Ладно, да, тогда всё. Всем спасибо, заходите в Mattermost и всем пока-пока.