Выступил в новосибирском офисе ЦФТ на "Сибирской конференции по машинному обучению"

Поделился взглядом на датасаенс из окопов.

slides_democratization_of_ml.pdf

Youtube

Текстовая расшифровка, невычитана:

Меня зовут Дмитрий, и я, в общем, руковожу людьми, которые внедряют машин леарнинг куда-нибудь. Я хотел бы рассказать о том, как, обратить ваше внимание на том, как машин леарнинг спускается с гор Олимпа через ущелья стартапов, через плодородные долиды продуктовых компаний, в низины, прямо в АСУИ-1С. План рассказа примерно такой. Пять миров, в которых мы вспомним, что машин леарнинг бывает вообще-то разный. В части второй мы поговорим про алхимии и вытащим пару древних артефактов, которые остались совсем старых-старых времен, когда слоны были большие и звались мамонтами. В части третьей мы рассмотрим машин леарнинг курильщиков, в четвертой поговорим про аутсорсинг, ну и сколько волка ни корми, шаг все равно выносливее. И в части первой будет призыв к действию, который обязателен в хорошей презентации. В свое время на меня лично оказало большое влияние статья Джоэла Сапольски «Пять миров», в которой он обратил внимание, что программное обеспечение очень разное в разных отраслях. То есть, когда мы говорим об объектно-ориентированном программировании, тестах, аджайле и так далее, надо помнить, что существует пять очень разных миров. Тогда они выглядели так. Коробочное программное обеспечение, внутреннее программное обеспечение, то, что далее называется АСУ, встроенное программное обеспечение, игры и разовое программное обеспечение на выброс. Написал, исполнил, забыл. Когда начинают спорить о языках, использовании памяти, алгоритмах, в особо длинном споре выясняется часто, что люди просто принадлежат к разным мирам и говорить-то им не о чем. Так вот, я считаю, что в МЭЛе тоже есть пять разных миров, и они говорят одними и теми же словами совершенно разные. Пять миров ученые, спортсмены, стартапы, продуктовая компания и вот это самое АСУ. Ученые, здесь на самом деле все понятно, все понимают, что такое АСУ, вот то, что я называю АСУ. Дело в том, что когда, опять же, мамонты были еще волосатые, ходили прямо по улицам, а ЦФТ было меньше в десять раз, сидели хмурые люди и внедряли компьютеры в деятельность предприятий. Так вот, между прочим, они все равно до сих пор сидят, внедряют компьютеры в деятельность предприятий, предприятия никуда не делись, они часто совмещают сисадминство с ЕРП-разработкой и, если им повезет, они становятся начальниками департамента и, если не повезет, они выгорают и уходят куда-нибудь в продуктовку или в сисадмин, или, например, преподают. Чем отличаются принципиально эти миры? У ученых не очень большие ресурсы по рамкам отрасли. У них нулевой мультипликатор, в том смысле, что как бы они прекрасно свой алгоритм не залитмизировали, ничего от этого, в общем-то, не изменится. Ну, публикация будет и ладно. Ответственность у них тоже нулевая, если их алгоритм не работает, ничего страшного. Спортсмены на кедле, у них примерно такие же ресурсы, такой же мультипликатор и такая же ответственность, они похожи. У стартапов ресурсов больше, мультипликатор гигантский, то есть, если они что-нибудь сделают удачно, они получат много денег, слава и все, хорошо, ответственность небольшая, ну, закроется стартап, перейдем через дорогу, устроимся в следующий. В продуктовке очень большие ресурсы, не очень большой мультипликатор сравнительно со стартапами, но, тем не менее, вы делаете что-нибудь полезное и оно начинает работать, начинает приносить много денег вашему продукту, ответственность тоже большая. Что же в ОСУ? В ОСУ ресурсов нет, никто не даст вам ресурсы на машинлейнинг, вам говорят, ну, ты поправь, сделай эту кнопку позеленее, сделай эту форму формее, но когда, наконец, в бухгалтерии все будет считаться не за неделю, а за три дня? Мультипликатор у них тоже маленький, потому что от их результатов зависит их собственный отдел продаж и производства. Ответственность огромная, если они что-нибудь сделают не так, контора может накрыться медным тазом. Большинство статей и красивых рассказов, они про ученых, спортсменов и продуктовиков, но именно ОСУ, Соль, Земли, именно они доставляют конкурентное преимущество компании. Ученые светят всем, также продуктовые компании, которые выводят новые продукты на рынке, они доводят их до всех, а конкурентное преимущество наше состоит в том, что мы, как в том анекдоте, бежим чуть-чуть быстрее соседа от медведя. Мы бежим не быстрее медведя, мы бежим чуть-чуть быстрее соседа. И, собственно, ОСУ на предприятии это те, кто помогает бежать чуть-чуть быстрее. В ОСУ все очень просто. Попробовал, продал, запустил. Продал я имею ввиду, продал своему собственному начальству, своему собственному отделу продаж, своему собственному производству. Ну вот так. Это, собственно говоря, раздел про 5 миров. Что касается алхимии. Тут недавно был НИПС 2017, и на нем было прекрасное выступление Али Рашими о том, что машинное обучение становится алхимией, стала алхимией. Вообще выступление было не о том, ему давали премию, ему и еще одному товарищу за, типа, разработку, не премию, награду, разработка, проверенная временем, публикация, проверенная временем за ее статью седьмого года. Но он прошелся по современному машинному обучению, в том числе по глубоким сетям, обратив внимание, что толком никто не может внятно объяснить, почему это работает. То есть они говорят, ну, это работает, потому что это снижает А. А почему хорошо снижать А? Ну, потому что это снижает Б. Что такое А, что такое Б, никто толком не понимает. Ян Ликун очень болезненно среагировал на это дело, но сделал еще хуже. Ян Ликун написал, что да, я считаю, что это безответственно, называть это все алхимией, из-за таких, как он, у нас все и портится. И вообще, ну да, ну нет у нас теории, но это же еще не повод. То есть после того, как это сказал Ян Ликун, можно ставить клеймо алхимия на всем современном машелленинге. А что это, собственно говоря, за Али? Test of Time Awards за работы о случайных фичах, Random Features для RBM-СВМов. Они предложили модель, согласно которой можно аппроксимировать работу большого, хорошо обученного СВМ-классификатора с ядрами, просто построив случайную проекцию на некоторое количество гладких функций. Ну, собственно, вот пример этого, он будет в презентации. Здесь именно так написано, то есть мы берем, строим совершенно случайный проектор, затем решаем систему линейных уравнений и получаем результат. Ну, казалось бы, вот оно ведро с болтами лететь не может. Они хотели показать, что качество сравнимое с СВМ качество оказалось лучше. Обучение шло, прямо скажем, не то, что быстро, оно шло практически мгновенно, но современные компьютеры системы линейных уравнений решают живенько. Они сделали это в седьмом году, в восьмом году они написали работу, в которой они обосновали рамки, то есть сколько нам нужно именно случайных фич для того, чтобы получить нужную точность. И в конечном итоге они опять же говорят, что можно использовать, не обязательно использовать ведро с косинусами, как они тут сделали, просто косинусы ортогональны друг другу, поэтому их удобно использовать. Можно использовать любую комбинацию, композицию гладких функций. И, собственно, почему возник спор? Потому что Али утверждает, что современные глубокие сети – это то же самое ведро с болтами. Ян Ликун, конечно, не согласен с такой оценкой. Ну и, в общем, сериал в самом разгаре, они переписываются в Фейсбуке. Не такой глубокий пример. Есть прекрасная статья на Хабри и две статьи англоязычные старые, по которым написано «Устойчивая к растанию приличных моделей о регрессиях с единичными коэффициентами». О чем это все? Предположим, у нас есть большой-большой такой обучающий набор, некотериальный у нас числа в нем. Мы стандартизируем наши фичи, например, делим на стандартные отклонения, то есть также можно делить на разброс. И затем думаем, первая колонка, она скорее в плюс или в минус? Ну, наверное, в плюс. Дадим ей коэффициент плюс единицы. Вторая скорее в плюс или в минус? Ну, наверное, в минус. Дадим ей минус единицы. Третья, не знаем, ну, дадим ноль. Без всякого обучения, произвольно, на основании знаний о доменной области, мы расставляем плюс единицы, минус единицы и ноль. И оно работает. Оно, честное слово, работает. Оно работает хуже, чем Random Forest. Оно работает немножко хуже, чем линейная регрессия. Скорость обучения зашкаливает. В смысле, времени нужно столько, сколько написать нули и единицы поверх таблицы. Все. Можно еще раз? Да. Значит, еще раз. Вот соответствующая научная работа. Ссылки будут в презентации. Вы на них ссылаетесь или вы так сделали? Я попробовал. Оно работает. И вот в этой статье о устойчивой окраске неприличных моделей они работают с данными Титаника, и я попробовал на недвижке. Вот. На анализе недвижимости. Еще раз. Попробовать вот как. Мы берем наши фичи. Мы делим их на стандартные отклонения. Затем мы сидим и думаем, так, а вот эта фича, она увеличивает наши показатели или уменьшает? Умножаем ее на единичку. А это увеличивает или уменьшает? Нет, мы не смотрим, мы думаем. Мы спрашиваем менеджеров по продажам, мы спрашиваем аналитиков, которые уже работали с этим. Типа вот если, например, мшина произведена в Германии, это ей в плюс или в минус? Наверное, она стоит дороже. Если какой-то продукт, он весит больше килограмм, он скорее всего дороже? Ну да. Да. Это очень старая техника. Да-да-да. Да-да-да-да, именно для скоринга ее изначально и придумали. Да. Я прошу прощения, давайте спикера не перебивать. Нет, почему? Это на самом деле очень хорошее замечание. Этим работам по меньшей мере 30 лет, если я ничего не путаю. Я их привел на самом деле просто как еще одно ведро с болтами. То есть смотрите, что объединяет эти две вещи? По большому счету это научно обоснованная магия. То есть почему она научно обоснованная? Потому что под ней есть строгая математика. Почему это магия? Потому что можно вообще не думать, почему она работает, брать и использовать. И вот это и есть ключевой момент. Это магия. Проще относитесь к жизни. Ищите артефакты, которые отзываются на вашу магию. Как в компьютерных играх или в сказках. Вы ходите, смотрите, камень засветился. Пробуйте разные техники. Смотрите, с чем у вас начинает получаться. Изучайте математику, которая лежит под этим. Не парьтесь по поводу того, что вы не понимаете остальную часть машинленинга. Ищите то, что отзывается на вашу магию. Ну и, в общем, просто берите и делайте. А теперь непосредственно про поле боя АСУ. Что делает АСУ? Чем оно занимается? Вообще говоря, в цифры тоже есть АСУ. В некотором смысле Иван тоже АСУшник, только АСУшник в продуктовой компании. Его мы исключаем из рассмотрения. Но есть куча предприятий, оптовая торговля, производство, не-ИТ-услуги для бизнеса, издательство, агентство недвижимости, разного рода сервисные сети, транспортная компания, не федеральная, да и, в общем-то, и федеральная тоже. Внутри них обычно есть пара комнат или одна, где сидят угрюмые мужики, все заставлено серверами, туда на всякий случай не ходит начальство, и там, собственно говоря, создаются конкурентные преимущества. Заходим туда и видим следующую картину. Тысяча товаров. Практическая задача, пример того, как это все там бывает. 20 тысяч клиентов B2B, менеджеры смотрят в этих клиентов, в эти товары, думают, наверное, вот это можно продать этому. Звонят, их посылают нафиг. Они звонят, их посылают нафиг. Так 99% из 100 бизнес идет успешно. Если помните, Чичваркин говорил, если в 99% тебя посылают нафиг, значит у тебя все хорошо. Это действительно успешный бизнес. Но менеджеры хотят зарабатывать больше, бизнес хочет зарабатывать больше, а давайте мы сразу, как в том анекдоте, начнем с пятой булочки. Давайте мы сразу позвоним тому клиенту, который купит. Будем подбирать пары клиентов, товар, по которым велика вероятность продажи. Отсортируем их по вероятности заключения сделки, дадим менеджерам. Тут есть проблема. Во всех наших рекомендательных системах мы обычно берем матрицу и считаем строчку, либо столбец. Тут нам нужна вся матрица. То есть нужны все пара сочетаний. Берем, делаем функцию, в которую мы складываем товар, купец, то есть фичи товара, фичи клиента. Он нам возвращает вероятность сделки. Считаем все эти 20 миллионов вариантов, включаем уже сделанное предложение, досчитываем все, фильтруем, внедряем. На этапе внедрения мы сталкиваемся с тем, что на самом деле этот CRM сервер, на нем 8 гигабайт оперативной памяти, на нем крутятся две базы данных, на нем крутятся 10 микросервисов, на нем крутится RabbitMQ сервер, и еще они хотят своего файлопомойку делать, для которого они добавили тоже скидиск. Это совершенно реальная ситуация. Вот. И вот там же будет крутиться эта рекомендательная система. Желательно, чтобы она ничего не трогала. Здорово. Хорошо. Самое время поговорить про ML здорового человека и ML курильщика. Вот. Ну, на самом деле так, да. Ну и ладно. В соответствии с бизнес-правилами мы выкинем маловероятное сочетание клиент-товар, выкинем те, что предлагалось уже в течение полугода, посчитаем вероятность, оставим только тех, у которых вероятность больше 90%, будем рассчитывать прогноз ночью, раз в час сохранять его в базу данных, чтобы он был закэширован, чтобы он не считался, когда менеджер делает запрос, а прямо выбирал оттуда, да. Я описываю, как работает ASU для тех, кто внезапно там не варился. Я варюсь там с детства, на самом деле, так или иначе. Вот. Но вы не зря подняли руку, вы просто тоже видели этот кошмар. Да, на самом деле многие его видели, но по Фрейду мы вытесняем это травмирующее воспоминание из сознания. Вот. Так вот. Мы рассчитываем прогноз раз в час, обучаемся ночью раз в сутки, когда сервер не загружен. Да. Ну и теперь это надо дело внедрять. Большой ошибкой было бы сразу это все дело внедрять. Нет. Мы не будем это дело внедрять. Мы сначала распечатаем это на бумажке, сохраним это в ваш ТМЛ, найдем лояльного нам продавца, дадим ему список, и говорим, слушай, ну вот тут наш искусственный интеллект искусственно придумал пару сочетаний. Он говорит, ну и фигню же ты принес. Впрочем, оставь. Через два дня приходит и говорит, да, слушай, дай мне еще вот такой же листочек. А что, хорошо продавался? Да нет, ты понимаешь, после обеда такой тупняк был, я что-то голова уже не варит, взял, подшел к твоему списку, продалось, да. Ладно, вот, хорошо, делаем, спрашиваем его, а были там глупые варианты? Он говорит, ну да, вот этот вот вариант не работает. Хоп, вытащил фичу, добавил в расчет, улучшил. Когда к вам придет второй продавец за этим листочком, вот тут уже идите к начальству, добивайтесь разрешения на внедрение, внедряете, запускаете в продакшн. А есть еще одна проблема. Продажа – это такая вещь, где все меняется каждый день. То есть, грубо говоря, мы не можем обучить алгоритм и оставить его жить. У нас все время доменная область уплывает. Мы должны переучивать нашу модель раз в сутки. При этом, на самом-то деле, мы ОСУ, у нас должны быть, мы режем косты, по-хорошему она должна учиться сама новому, и делаем вот как. Каждую ночь она обучается на 90% данных, на 10% считает тест, записывает эту характеристику. Если тест оказался сильно хуже, чем мы ожидали, классификатор не обновляется, нам присылают алерт, мы сидим и разбираемся, что случилось, они работают со старой версией классификатора. По итогам дня мы считаем лог-лоз от сделанных предложений и наших прогнозов для них. Мы ходим, расспрашиваем продавцов, подкручиваем фичи, посматриваем на графики теста, итоги дня, ну, в общем, вот она вот нормальная, цивилизованная жизнь. Наш классификатор обучается, за 2-3 месяца он выходит на такой прекрасный вариант, что потом, когда он внезапно ломается, все прибегают и говорят, у нас продажа в стале, твой классификатор не работает. Вот. Но. Нам, для того, чтобы это все было внедрить, нам нужен был еще один волшебный артефакт гигаметрика, которую мы показываем высокому начальству, далекому от математики. В гигаметрике важно что? Во-первых, она должна быть абсолютно точна, потому что ее будут проверять. Во-вторых, она должна быть проста к пониманию, и в-третьих, она всегда должна показывать, что вы молодец. А у нас такая гигаметрика, это по какому проценту успешных сделок, у нас был прогноз больше 90%. Она абсолютно бесполезна для обучения, тестирования, она очень полезна при внедрении, потому что ее приходишь, говоришь, вот у тебя хорошие показатели. Это само сбывающееся пророчество. Почему? Потому что менеджеры идут по сделкам, которые вы рекомендовали. Все сделки, которые они сделали, сделали по вашему списку, все их вы рекомендовали, таким образом там не может быть сделок, для которых у вас был прогноз меньше 90%, только случайно. Вот. Поэтому этот показатель всегда показывает, что у вас все хорошо. Это даже не мегаметрика, это гигаметрика, но надо понимать, что это экспортный вариант. Вот. В том смысле, что вы сами не обязаны в нее верить. Вообще говоря, если возвращаться сюда, по-моему, у меня есть страшное подозрение, мы внедряли эту систему, что основная польза этой системы состоит не в том, что она предсказывает хорошие варианты. Она предсказывает хорошие варианты, особенно спустя 3 месяца подкрутки. Польза ее в том, что она снимает с менеджера головняк по вот этой вот комбинаторике. И у него голова холодная, и он фантазирует, когда звонит клиенту, он лучше продает просто за счет того, что с него сняли комбинаторику. Вот. То, что у нас есть классификатор, который что-то оценивает, ну, здорово, да, конечно. Хорошо. Это о сумме. Мораль третьей части – делайте прототип тайком, отслеживайте метрики, ищите понятную менеджменту показателей, вербуйте сторонников, графьте караваны, ну, в общем, все как всегда. Вот. Часть четвертая. У кого процессор толщин? Мы все умеем тут застекать XGBoost. Многие из нас, не только лишь все, умеют построить мир. Кому-то на работе выдали 4, а то и 8 титанов. Мне рассказывали такое, что вот титанами. Но на самом-то деле у Microsoft, Nvidia, Google, Amazon, IBM мощностей все равно больше. Вот. И они выкатывают облачные сервисы, каждый месяц новые, куда вы можете сложить данные, не разделяя их на трейн-тест, не проверяя переобученность. Ничего, вы просто сваливаете кучу данных, и они вам дают хороший прогноз временного ряда, они вам дают хороший... Я хотела сказать, что каждые данные, которые вы складываете на сервер, вы зарабатываете деньги им. Да. Но дело в том, что к этому поводу как раз есть у меня слайд. Вот. У них больше данных, больше серверов, больше инженеров, больше денег. Вот. Для всего есть API. Я не буду читать слайд в слух, но просто поверьте, API есть для всего, и оно, как правило, достаточно хорошее. Для чего его нет, оно скоро будет. Вот. Работа с возражениями. Мы же с продавцами работаем. Да, она стоит денег, но на пробу можно взять на самом-то деле. Иногда осушник может на пробу взять его карман и со своей зарплатой оплатить сервис, когда он заработает, прикискает «смотрите, я вот так вот». Я в свое время, когда-то давно, так провел интернет в контору. Я за свои деньги сделал интернет-канал в контору, и когда месяц все на нем в конторе сидели, я пришел к генеральному слушаю и говорю, а вот давай в контору интернет пробросим. Это был 97-й год. Он говорит, а где взять-то? Я говорю, да вот, я провел, только платить за него надо. Вот. И мы не стартап, осушники мы, я говорю. Нам не важна интеллектуальная собственность. То есть от того, что мы разработаем какой-нибудь чудо-классификатор, никому не станет не хорошо, не плохо, мы просто потратим деньги нашего работодателя. Вот. Мы не продуктовка, нам не важен контроль над инфраструктурой. Вот. И нам нужно внедрить это все как можно быстрее, пока это все еще дает хоть какие-то конкурентные преимущества. Дело в том, что очень быстро все вещи, которые мы можем за машин леунинг, становятся комодити и они уже есть у всех, и мы не бежим быстрее соседа от медведя. Вот. Мы бежим с одинаковой скоростью, а в бизнесе это очень-очень плохо. Вот. И часть пятая, я немедленно выпил, все уже украдено до нас, то есть на сайте любого крупного вендора тут IBM, но то же самое есть у NVIDIA, у Microsoft. Есть каталоги типовых решений, как создать свой блокчейн, как сделать анализ нагрузки, как построить прогноз по финансовому тикету и так далее и тому подобное. У IBM, кстати, есть прямо учебник, как создать блокчейн, как создать страховую компанию на основе блокчейна и так далее. Вот. Соответственно, надо брать и немедленно делать, потому что скоро каждый один из разработчик сможет сделать то, что вы сейчас задумываете в своих мечтах двумя строчками кода на 1С. На 1С, люди. Вот. Успейте до него, делайте прямо сейчас. Трех человек дней достаточно для того, чтобы сделать большинство machine learning прототипов. Все есть. Вот. Ну и в любой непонятной ситуации читайте правила от Google, ссылка есть, это прекрасная книга. В общем-то, можно было презентацию не рассказывать, просто ее озвучить. Вопросы? АПЛОДИСМЕНТЫ АПЛОДИСМЕНТЫ АПЛОДИСМЕНТЫ Можно вопрос? Когда я была девятнадцатилетней курсницей и училась на третьем курсе, я быстро буду кратко, на третьем курсе университета, мне еще не читали страшные виды теории вероятности, которые потом я писала диплом, я попала в компанию МТС. Там мне сказали очень просто. Вот SAS. Три версии. SAS для статистиков, SAS для рядов временных и SAS по machine learning. Вот таблички. Вот ты сюда строишь нейронную сеточку, вот здесь ты строишь сеть Кахонина, и у тебя есть все. Все, что тебе нужно, это быстро делать модели. Я была в ужасе. Я в ужасе до сих пор. Сейчас я мечтаю закончить какой-нибудь математический вуз и работать просто преподавателем математики. Я не хочу не в Рамблер, я не хочу на Фейсбук, я не хочу в Гугл, потому что мой муж мне быстро объясняет, чем он заканчивает. Но я больше хотела поработать на ВАЗ. Я вас прерву. В Рамблере, кстати, очень хорошее кафе. Вы зря туда не хотите. Спасибо. Спасибо вам за доклад. У меня сейчас вопрос. Вначале вы рассказываете насчет того, что вы используете фичи разные фичи. А вы имеете в виду поведенческие? То есть когда успешная сделка была или когда неуспешная? Либо то, что вы собираете дополнительно? Если я правильно понимаю, вы спрашиваете вот об... При построении матрицы и все. Вот об этом, да? Это вообще-то недвижка. То есть здесь у нас объекты коммерческой недвижимости и бизнесы, которые хотят их арендовать. У объекта коммерческой недвижимости есть характеристики. Причем у него есть свои характеристики и есть характеристики, которые мы ему придумываем. То есть мы смотрим, сколько у нас на расстоянии допустим 100 метров автобусных остановок, метро, каков трафик, какова конкуренция. То есть мы пространственные характеристики смотрим. Мы смотрим историю объектов. Типа вот бывает, что объекты, на которых просто не родится кокос и все. Вот здесь не будет жить магазин по торговле радиотоварами. Никогда. Все пытаются, ни у кого не получается. Вот. И есть фичи самого места. Есть фичи бизнеса, который туда может сесть. То есть у него есть опять же свои собственные фичи. То есть это оборот, как что-то еще. И фичи наслоенные. То есть он принадлежит допустим к вот такому поколению хлебопекарин. И у них есть общий набор фич. Ну вот примерно так. То есть сами все фичи довольно сложные, но ничего военного. Ну да. Я как понимаю, получается, от самого продукта, айтема, вы, получается, еще и дополнительно используете поведенческие. То есть вы же сразу знаете, какое один соединится с другим. Я вам скажу, что я использую все, до чего могу дотянуться. Моя политика такая. В кулакском хозяйстве все пригодится. То есть мы периодически с помощью хи-квадрат-теста выкидываем совсем левые данные, но мне кажется, что чем больше, тем лучше. Как те таблетки от жадности. И еще тогда последний вопрос. Это вот касательно вашей метрики. Вы показывали log-loss. Вы ее минимизируете. Но там было разделение просто по n. Мы его не минимизируем. Мы по нему отслеживаем, насколько у нас классификатор работает. Это, кстати, ключевой момент, потому что мы подобрали параметры один раз, модели, закинули его в production, и дальше она летит, а мы просто смотрим за ним, чтобы она летела более-менее правильно. Мы крутим фичи. По большому счету в большинстве задач несоревновательных фичи определяют. Есть хорошая статья, в которой взяли 10, по-моему, классификаторов разных на хорошем наборе фич, и все показали примерно одинаковые результаты. Поэтому мы крутим фичи, а гиперпараметры мы в данном случае почти их не трогаем. Вот конкретно здесь она light-gbm с кросс-валидацией. А сейчас мы полюбили catbost, в котором ты можешь запустить бустер, передав ему обучающую выборку, валидационную выборку и тестовую выборку, и сказать ему учись там, допустим, 50 эпох, а потом выбери тот уровень, на котором ты еще не переобучился, все остальное отбрось. И получается, что как таковое настройка гиперпараметров на реальных данных, в реальном продакше, ну это опять же осу, не так она и важна. В соревнованиях, в продуктовке, там может быть, да, здесь все фичи рулят. Вопрос в микрофон, пожалуйста, задавайте. На самом деле их пересматривают раз в два месяца, просто это здесь не написано. Следующий вопрос. Да, спасибо за доклад. Интересно, очень хорошая классификация. Но вот вы рассказали про KPI, ну или там про метрику, которую вы продаете руководству, но так они сказали, для себя вы какую метрику используете и какой у вас там uplift на самом деле есть какой-то или нет от этой модели? Мы вообще-то для себя считаем правильной метрикой продажи. Мы, у нас есть данные о объеме сделок, мы считаем, что мы неопределяемы, мы не главный в них фактор, но мы считаем, что если продажи идут вверх, значит что-то мы правильно и делаем в глубине души. И за счет чего это достигнуто, это не суть важно, до тех пор, пока мы помогаем бизнесу растить продажи, бизнес будет делиться с нами деньгами. Собственно, это главное для нас. У меня вопрос попроще. Куда уж проще. Вот там у вас был на слайде, на крайнем, по-моему, что если любая ML модель, прототип, делается за три дня. Если прототип не делается за три дня, то это плохой прототип или ты дурак? Это, скорее всего, означает, что вы слишком большой кусок взяли для прототипирования. То есть, если... У вас ездите? Нет. Вот, когда будут, вы заметите, что человек учится следующим образом. Он не способен научиться чему-то далекому. То есть у него есть белая зона, где он все знает, есть серая зона, до которой он, в принципе, может дотянуться, но не очень понимает, есть черная зона. Если вы ему начнете рассказывать что-то из черной зоны, он не поймет этого никогда. Учить можно только тому, что человек видит, но еще не понял. И в принципе, если вы... Буквально вчера ситуация была на планерке. Я говорю, люди, если вы получили задачу и чувствуете, что она не делается за день, я специально об этом не сказал, возвращайтесь и допрашивайте меня. Вот. То есть если этот прототип не делается за три человека дня, это не прототип. Это научное исследование. Отрежьте от него кусочек, чтобы он делался за три человека дня. То есть, либо ты это делаешь, либо предоставляешь гигантам типа Гугла, у которых есть такая возможность, чтобы отряд ученых нанять и заставить работать. Нет, на самом-то деле есть вещи, которые требуют огромного времени на подготовку. То есть вообще, вот эта вещь, кстати, она была сделана именно в продакшн, запихнута за несколько дней. Но когда мы первый раз подошли к снаряду, мы обнаружили, что данных, на которых мы могли бы учиться, не существует. Мы наладили сбор данных и ушли на другие задачи на, по-моему, 8 или 9 месяцев. А когда... И все это время мы отлаживали сбор данных, чтобы они были чистые и хорошие. И в какой-то момент, когда данных накопилось, мы хлопнули, побежали, сделали, распечатали, принесли продавцу и дальше я рассказывал. То есть на самом-то деле политика это искусство возможного, а разработка это как раз искусство увидеть, какую часть пропасти вы можете в один прыжок перепрыгнуть. То есть найдите то место, где вы можете стать ближе к цели за один прыжок и его прототипируйте. Его пытаетесь продать, по нему пытаетесь построить конечные показатели. То есть в большинстве случаев если вам нужно сделать очень много прыжков через пропасть, где-нибудь вы упадете. Понятно, спасибо. Какие-то, может быть, еще вопросы? Спасибо, Дима, за интересное провокационное в неком смысле сообщение. Все-таки понятно, что спор в чем-то, провокациям. А где вы находитесь в этом споре между Ликуном и Али? Мне все-таки, если кратенько про себя, я, конечно, на стороне добра. Я тоже на стороне добра, но что у нас добру? Я лично придерживаюсь следующего подхода, что если ружье стреляет, не так важно, почему оно стреляет, но если ты кормишься от ружья, ты должен знать его до малейших деталей. То есть имеет смысл пробовать различные техники, смотреть, что у вас работает, но если оно у вас начало работать, будь добер, разбери его до винтиков и знай, почему каждая деталь работает, почему горит порох, почему бьет ударник. То есть вот такая история. Примерно так. То есть это такое добро, но со штрихом. То есть все-таки как бы ML побеждает? ML побеждает зло, а вот где тут добро, я не знаю. Я очень кратенько скажу. Я разговариваю с одним специалистом по машин-лёгким деталям, который сейчас живет в Абу-Даби, с которым развелась работа, потому что он уехал в Абу-Даби из Даби. Он мне сказал очень простую вещь. Настенька, запомни, специалисты по ML живут в дворцах, а статистики в лачугах. Вот. Поэтому добро, бабло на стороне машин-лёгким. Я вам советую, попробуйте блокчейн. Они живут в пентхаусах на дворцах. Они живут в пентхаусах. Я за статистику. Я, к сожалению, человек бедный, но сексуальный, как в Берлине говорят. Себе хорошо. Вот. Ну, ещё вопросы? Так. Большое спасибо, господа и дамы. Дима, большое спасибо.