Закат программистов? Нет, эра архитекторов AI. // Сергей Марков

Краткое введение в слоноведение в двух томах.

Есть же искусственный интеллект.

Просто синтезировать голос и пожалуйста.

Вот это очень хорошо показывает реальное состояние дел в технологиях искусственного интеллекта.

Можно генерировать фейки, можно фейки детектировать.

Парадокс заключается в том, что вот в эпоху такого очень быстрого прогресса технологий как раз наиболее востребованным оказываются человеческие качества.

Ну это вот какой-то такой синтез науки и искусства.

Сегодня на подкасте Сергей Марков.

Сергей Марков — это исследователь в области машинного обучения и искусственного интеллекта.

Я бы это объединил всё в искусственный интеллект.

Руководитель команды исследователей в Сбере.

Это автор одной из сильнейших шахматных программ в своём времени.

Вы меня поправляете, Сергей, если вдруг... Это было давно.

Это было давно, но так или иначе в своё время она была одна из сильнейших.

Автор книги «Охотный электровец».

И, Сергей, вам слово, может быть, вы дополните тогда мое представление?

Ой, я сразу на одну часть дисклеймера, потому что я, конечно, не настоящий ученый, потому что я помню, я выступал на ученых против мифов, и мне там говорят, Сергей, ну что это вы?

Вы же не настоящий ученый.

Ну да, у меня там...

хирш какой-то стыдноватый в целом наверное да там пятерки вот но я в основном последние много лет занимаюсь тем что руковожу командами исследователей и в большей мере даже командами инженеров которые вот выстраивают мостик между исследованиями и созданием уже прикладных продуктов и сервисов то есть это такая прикладная наука и

Конечно, там в последнее время больше смелых, так сказать, гипотез, которые мы проверяем, но в целом я там больше 20 лет занимаюсь технологиями искусственного интеллекта.

Я занимаюсь еще популяризацией науки, и моя книжка, над которой я 6 лет работал, это один из продуктов этой моей деятельности.

Вот помимо этого я там читаю много очень популярных лекций, вот.

И я много читаю, скажем так, научной литературы, гораздо больше, чем пишу.

И с 2016 года я так активно лекционной деятельностью занимаюсь.

Давайте мы книжку покажем.

У меня вот так получилось, что она есть.

Давайте, да, и мы ещё к тому же разыграем.

Чтобы все понимали, что такое шесть лет, это вот такая вот книжка-двухтомник.

Она очень красивая, такая вот новая.

Краткое введение в слоноведение в двух томах.

Книга тяжёлая.

Тяжёлая по весу, не тяжёлая по восприятию.

Сергей, а вы фанат «Бегущего по лезвию».

Я вообще не фанат ничего, наверное.

Вообще фанатизм очень противоречит моей, наверное, натуре.

Но в целом, конечно, я люблю классику киберпанка, люблю Филиппа Дика.

Но, кстати говоря, в названии этой книги отсылка сразу к двум произведениям.

Второе просто может быть менее заметно.

Это отсылка к «Охоте на овец» Мураками.

Так что, может быть, это в какой-то мере...

Указание на сочетание и физической, и лирической компоненты, потому что в этой книге на самом деле довольно много написано о людях, которые создавали современные технологии искусственного интеллекта, и об их творчестве, об их отношениях с окружающим миром, начиная с экономических, заканчивая политическими.

Поэтому это какой-то такой синтез науки и

искусства.

А что вас подвигло на написание этой книги?

Как вы к этому пришли?

Раздражение, наверное.

Раздражение тем, что пишут в желтой прессе про искусственный интеллект.

И на самом деле последней каплей была лекция одного популяризатора науки из области искусственного интеллекта.

Я не буду на всякий случай говорить его фамилию.

Человек активно живет и действует.

Он прочитал лекцию, в которой затронул мою область шахматное программирование.

И

работы человека которого я хорошо знал там по форумам эти лая с которым это много переписывались и я там был в курсе у работы да и в общем это научит пляжной лекции было переверну все что только можно и я разозлился и решил что так дальше жить нельзя нужно чтобы все-таки но исследователи

рассказывали о своей работе в широкой публике, потому что иначе люди будут о нашей отрасли делать выводы, исходя из такой горе популяризации.

Вот, поэтому, вот, наверное, это было последней каплей, почему я стал заниматься популяризацией.

Как вы вообще относитесь, вот мы сегодня много будем говорить про искусственный интеллект и в части про ЛЛМ, ГНИ и все сопутствующие термины.

Как вы вообще к терминам относитесь, которые вводят?

Вы как-то говорили и упоминали, что вот даже в книге, мне кажется, это было представлено, про термин общего искусственного интеллекта, он такой достаточно коммерческий, можно так сказать.

Я бы сказал, что он скорее даже не столько коммерческий, сколько такой концептуально-философский.

Вообще Марк Губрут в своей статье 1997 года, посвященной, кстати говоря, нанотехнологиям и международной безопасности, вот он там впервые предложил этот термин,

Зачем он был введен?

Он был введен для того, чтобы обозначить некий полюс в технологиях.

Все существовавшие тогда системы искусственного интеллекта, они, безусловно, тяготели к полюсу узкого искусственного интеллекта, или прикладного, слабого, много есть терминов для обозначения этого края.

Но нужно было как-то обозначить другой край, абсолютно гипотетический на тот момент времени.

Такие системы, которые смогут решать неопределенно широкий круг интеллектуальных задач, подобно тому, как это делает человеческий разум.

И был введен этот термин, который в общем-то...

В бизнес-литературе потом оформился очень простую формулу, что это системы, которые могут решить любые задачи, подвластные людям, интеллектуальные.

Но очень важно понимать, что время, когда этот термин был предложен, оно было с технологической точки зрения очень далеко от создания даже отдаленных прототипов подобных систем.

И по мере того, как мы стали двигаться в этом направлении, и появились большие языковые модели, фундаментальные модели вообще, к этому определению возник ряд вопросов, потому что оно было недоопределено.

Хорошо, могут решать любые задачи, которые подвластны людям.

Каким людям?

Люди разные вообще.

Есть эксперты, есть неэксперты.

Мы на кого ориентируемся?

Мы ориентируемся на задачу, которую вот, может быть, есть какая-то задача, которую вообще только один человек в мире может решить.

Мы должны включать ее в бенчмарк, условно говоря, или нет?

Вот.

Второй вопрос.

Что значит решать задачу, да?

Если мы говорим о нахождении корней квадратного уравнения, тут все понятно, да?

А если задача генеративная, да?

Давайте, ну, не знаю, напиши продающий текст про цветные вантузы, да?

И вот машина напишет такой текст.

А насколько он хорош?

Можем ли мы зачесть это решение и сказать, что успех достигнут, да?

Что такое успешно решать?

Не совсем ясно.

Следующий момент – это в рамках каких ресурсов решать.

Очень легко написать шахтную программу, которая будет делать идеальные ходы.

Просто надо написать программу, которая перебирает все возможные.

ходы и выбирает дальше ход с максимальной оценкой.

И она абсолютно точно будет идеальные ходы совершать.

Проблема только в том, что на поиск этого хода у нее там идут миллиарды лет.

И следует ли признать, что такая машина, которая решает шахматы подобным образом, она вот

Ну, достигла успеха, да, всё, она может играть в шахматы, да.

Но такую программу можно было написать в 40-е годы XX века, вот, и сказать, всё, задача игры в шахматы решена, эта программа обыграет любого человека в условиях отсутствия ограничений времени, да.

Вот, значит, и так далее, да, то есть с этим, как только мы пытаемся это определение превратить в конкретный definition of done, в конкретную процедуру оценки того, является или не является созданная система AGI, у нас возникают проблемы.

Вот, и...

Естественно, что стало происходить?

Ну, что обычно происходит.

То есть разные исследовательские команды бросились доопределять это определение.

И апофеозом этого, я считаю, стала вот эта знаменитая утечка из переписки OpenAI и Microsoft, где они договорились, что EGI — это система, которая может 500 миллиардов долларов заработать, да,

Вот, мне это всегда, нет, напомнило сразу, помните, в «Маленьком принце» там есть такой разговор о том, что взрослые, они не впечатлительные, и как рассказать взрослому, что это красивый дом, да, то есть, ну, нужно сказать, что этот дом стоит, там, миллион долларов, да, ну, вот там.

У Экзюпери сумма была там какая-то, понятное дело, не в долларах, но не суть, да?

А значит, и вот тогда-то взрослые скажут, о, да, это прекрасный дом, вот.

Но это на самом деле и смешно, и грустно, вот.

И я считаю, что делать этого не надо, потому что...

Ну, вот это уже как раз такая чисто маркетинговая история, потому что ясно, что, ну, как бы, та компания, которая первая объявит, что она создала AGI, да, там, типа, ее этот, заявление ее это будет достаточно весомым, она там, ее акции взлетят, да, она там...

Пожнет урожай богатый, денежный, вот, и поэтому, конечно, окей, но в ближайшие годы вы услышите много заявлений о создании EGI, да, но только это будет EGI определенный по-своему, да?

Да, они сами его определили.

Для исследовательской сферы это абсолютно непродуктивная история, потому что какие-то люди вели свое определение общепринятого термина и теперь пытаются его использовать в маркетинговых целях.

Поэтому мы предпочитаем говорить, что...

Вот у нас есть концепция там практичного agile, да, значит, мы, говоря, не переопределяем термины agile, которые все используют, там, вводим, ну, там, свой термин, да, чтобы вот обозначить ту точку, куда мы стремимся, к которой мы идем, да, и стремимся здесь дать определение, из которого можно будет сделать там.

Четкий definition of done, бенчмарки, whatever.

А мы прошли вот этот этап революции в искусственном интеллекте или пока рано об этом говорить?

А вот типа революция это что?

Революция это какой-то серьезный качественный скачок в развитии чего бы то ни было.

И в этом смысле все, что происходит в области искусственного интеллекта, это постоянная революция.

Если разделять два термина «эволюция» и «революция» в этом контексте.

Там, как всегда, начинается проблема с метриками.

Какой скачок считать резким?

Мне кажется, что вот 22-й год, да, ноябрь 22-го года, когда вышел чат ЖПТ, вот он был в каком-то смысле революцией, потому что он не столько исследовательскую часть изменил, сколько восприятие этих всех моделей и вот вообще понимание, что такие модели есть и что они умеют делать во всем мире.

Ну, это вот вопрос, насколько эта революция имеет технологический характер, насколько...

революция в общественном сознании.

И, на мой взгляд, скорее второе, потому что до чат GPT было, слава богу, GPT-2, GPT-3.

И все наблюдали за этим прогрессом, все специалисты видели, как эти модели становятся умнее, как они генерируют все более...

о смысле текста, как они все более универсальными становятся, да, вот в отношении GPT-3, например, концепция промптинга там, да, появилась, вон там Гверн Бренуэн запустил огромный сайт с кучей там каких-то примеров, была куча восторгов и тоже как бы, ну,

Но когда выкатили сервис, который мог пощупать каждый в мире, основная эта революция была именно в этом.

Грубо говоря, если бы запустили бы то же самое, но на основе GPT-3 чуть пораньше, или дали бы

ребятам из Google запустить мину свою, например, или ребятам из Facebook свой, как у них, Барт назывался.

Значит, революция была бы такая же, скорее всего, примерно.

Здесь вот какой фактор важный сработал.

И тот же Brennan, он там на трехлетие, по-моему, или двухлетие, не помню, GPT-3, он сказал, что ни одна крупная компания...

не осмелится релизить сервис на основе этих моделей, потому что, ну, он там как-то, я не помню, это объяснял, не объяснял, но интуитивно это опасное мероприятие было, потому что все помнили там какого-нибудь 14-й год с Майкрософт и ботом Тэй, который там что-то расистом стал, обучавшись на текстах из Твиттера.

Неудивительно, что здесь именно OpenAI выступил таким

смелым игроком, потому что, ну, а что такое было OpenAI на момент, там, запуска ChatGPT?

Ну, конечно, классная лаборатория, одна из лучших в мире, но лаборатория, то есть, ну, сколько она там, словно стоила, сколько в ней людей было, ну, но какая-то технологическая революция, ну,

там были важные все равно шаги вперед, нельзя сказать, что там нет технологического шага вперед, потому что создатели чат-ботов до OpenAI, они целились очень сильно в голосовой домен, то есть для них как бы болталка, это все время был такой вот чат-чат, да, то есть вот, ну, поговорить о чем-то коротко, да, там, ну, типа поддержать смолтолк, вот, а вот что можно сделать чат-бота, которому ты вот прям сформулируешь условия интеллектуальной задачи, и он будет решать, да, это вот полноценно...

У этого были непонятные продуктовые перспективы.

То есть в умную колонку это запихнуть трудно, потому что ты будешь слушать две страницы текста, которые тебе будут где-то говорить.

То есть где, на какой поверхности, в каком виде это запустить.

Такого продукта, как современные чаты с генеративными моделями, их тогда не существовало.

И вообще было неясно, копят люди это или не копят.

И вот гениальная, конечно, догадка была, что давайте мы все-таки диалоговую модель учить не просто болтать, а вот прям решать какие-то задачи в режиме диалога.

И вторая вещь.

Ну вот ее, кстати, за нее вначале все ухватились и сказали «О!»

Типа, вот он, секретный соус RLHF, да, значит, и тут не последнюю роль сыграло то, что незадолго до запуска ChatGPT вышел пейпер по InstructGPT, и все-таки стали искать, а что, что OpenAI публиковало-то за последнее время, и натолкнулись на эту работу про InstructGPT.

и, значит, увидели, что там RLHF, стали говорить, вот, да, они как бы совершили прорыв, они соединили RL с NLP, да, что долгое время не удавалось, да, то есть работ было много, попыток было много, но вот они вроде как, ну, смогли, вот, и вот они придумали, значит, вот это вот PPO там, что мы сейчас там как-то затюним модель, там, преференсы, прогнозировать людей, да,

Но по факту мы сейчас спустя несколько лет понимаем прекрасно, что это, конечно, nice to have штука, но у нас сейчас есть куча моделей, которые умнее, чем GPT-3.5, и в которых никакого RLHF нет.

То есть это важный момент.

То есть это не...

там, когда появилась Charge 5.7, казалось, что, типа, нельзя сделать, условно говоря, такую же штуку без RLHF, а на самом деле можно, вот, а RLHF прям капризная штука, и это прям было такое, я не знаю, ну, можно даже в шутку сказать, что диверсия, да, там, от OpenAI, потому что куча людей потом потратили на этот RLHF время, а он прям капризный, то есть его вот обыкновен не сделает, вам нужны прям классные спецы, чтобы они смогли, там,

этот РЛЧ в каком-то виде запустить, да, и самое главное, что потом там оказалось, что, в общем, ГПО не надо делать, да, там можно ДПО сделать, что-то гораздо проще, эффект будет не особо-то хуже, а где-то и лучше, вот, поэтому, но очевидно, что гораздо более важные технические инновации за последние, там, 15 лет, это было, там, появление трансформеров, да,

Почему это было важно довольно революционно?

Я помню, как переводчики тогда поменялись.

Это было просто какое-то скачкообразное изменение.

Благодаря трансформерам куча чего появилось.

Многие задачи, которые до этого решались плохо, в первую очередь генеративные, их стали решать хорошо.

Почему?

Потому что трансформер позволил более эффективно использовать параллельные вычисления.

Потому что, ну, типа классическая там RNN-ка, ну, или даже там LSTM-ка, да, они, ну, вот там, чтобы сгенерить следующий токен, да, нужно там обработать предыдущий, да, всегда.

И вы как бы не можете Loss нормально посчитать, вам нужно вот элемент by элемент, да, считать этот Loss.

А тут вы получаете модельку, которая обрабатывает все элементы последовательности в параллели, и поэтому вы теперь можете построить гигантский кластер и на нем запустить гигантскую модель, обучаться, и это вычислительно эффективно окажется.

Эта моделька дала возможность использовать распределенные вычислительные кластеры с GPU для...

того, чтобы действительно большие создавать генеративные сетки.

Что до этого?

До этого глубокое обучение как таковое.

И, в принципе, есть термин «революция глубокого обучения».

Вот там AlexNet в 2012 году.

Но с AlexNet история ведь какая была?

Ну, типа...

Это не первая сверточная сетка.

Это не первая модель, которая училась на GPU.

Это даже не первая модель, которая в какой-то задаче достигла сверхчеловеческого уровня, потому что там, не знаю, за год до этого кто-то из аспирантов Шмидтхубера, как всегда, Дэн Черешан, по-моему, он учил на соревнованиях сетку распознавать дорожные знаки.

Там, правда, размер картинки маленький был, по-моему, 32 на 32 пикселя, если мне память не изменяет.

но там был прям сверхчеловеческий уровень достигнут.

Ну, а понятное дело, что до этого там на Мнисте он был, условно говоря, достигнут, неразличимый с людьми, по крайней мере.

Вот.

И, ну, типа, что именно было-то новацией?

А новацией было то, что, ну, типа, появился зрелый пайп, да, то есть, типа, появилась зрелая технология, которая все это объединила, да, типа, учим сверточную сетку на GPU, да,

Правильно инициализируем, берем много данных, опять же ImageNet появился, и смотрите, мы теперь уверенно обгоняем любые другие методы распознавания образов с большим количеством индуктивного байса, заложенного у них.

Мы просто теперь сделали глубокую сетку.

Но за появлением этого стека стояли усилия очень многих ученых, очень многих исследователей, и современные ML-щики, они часто даже не знают и не понимают, в чем секрет-то был, почему, ну типа, камон, рекуррентные сетки какие-нибудь или сверточные, но...

концептуально были придуманы очень давно, да, то есть, ну, в том смысле, что не надо думать, что они появились там в 86-м году, да, там когда-то ДНН или СНН, или Куна появились, потому что саму там операцию свертки применять, ну, блин, ну, неокогнитрон, фукушима там, да, вот, всякие локально связанные сетки Розенблата, примерно та же идея, описанная еще там в принципах нейродинамики в 62-м году,

То есть это все идеи очень старые, но такие сетки стали учиться.

Почему?

Потому что, а, научились использовать GPU для обучения, это дополнительный буст, и в принципе машины стали быстрее, но еще и появились процессоры, которые умеют хорошо векторные матричные операции быстро выполнять.

Много данных появилось.

Это был мощный лимитирующий фактор.

В 70-е годы, в 60-е, когда Розенблат свои эксперименты проводил, не было оцифрованных картинок столько и текстов.

Откуда?

То есть пока не появилась цифровая фотография, пока не появилась ОСР, а ОСР, ну, типа персоналки появились, соцсети появились, еще интернет, в принципе.

То есть все, что привело к увеличению количества оцифрованных данных, там много было шагов.

Вот, потом, в плане моделей, мало сделать сверточную сетку, ну или там глубокую, надо ее уметь учить, чтобы ее уметь учить, оказывается, дело даже не только в бэкпропе-то как таковом, а еще правильно инициализировать веса, вот это очень часто этот момент упускается, и почему там, не знаю, в начале 2000-х Хинтон долбался с этими Deep Belief Networks, да,

И обучал послойно, в духе, как и Вахненко это делал в 60-е.

Почему?

Да потому что оно не летело.

Глубокая сетка, в ней очень быстро затухали градиенты.

Что решило, когда появились правильные способы инициализации, когда нормы случайных инициализаций в разных слоях разными стали.

Оказалось, что вот это секретный соус, который позволяет уйти от вот этих сложных, там, послойных каких-то историй, да, и прям сразу end-to-end точить большую сетку, просто правильно ее инициализировать.

Вот, опять же, там, современные градиентные методы тоже оформились.

То есть здесь сошлось очень много таких вот звезд, да, и с точки зрения мат-моделей, и с точки зрения данных, с точки зрения вычислений, чтобы это все в сумме дало появление вот этой

уже мощные технологии.

Вот.

И что точно можно сказать, что там, ну, можно привязывать или не привязывать это к Алекснету, это дело вкуса, да, но важно, что действительно за последние там полтора десятилетия очень многие задачи, которые были таким крепким орешком для старого доброго искусственного интеллекта, да, они оказались решены.

То есть вот в том же машинном перевозе долгое время, ну, в общем...

В значительной степени стагнация была, да, ну окей, вот у нас тема на рулах, вот у нас там модель, смысл, текст, вот мы там что-то делаем, да, очень быстро у нас наши антологии распухают, да, люди эту сложность контролировать не могут, там какие-то внутренние противоречия появляются в этой антологии, и все, как бы порог сложности, который люди не могут преодолеть,

И только большие конъекционистские модели смогли перешагнуть, когда выросли, когда стали большими, этот порог.

А так, ну и много-много других задач.

Генеративные, пожалуйста.

Появились трансформеры, прорыв произошел в области генеративного искусственного интеллекта.

И я надеюсь, что это не последний такой серьезный прорыв.

Ну, вот сейчас, вот текущее, да, какой вот прорыв можно считать появлением резонинга, правильно?

То есть можно отнести к некому прорыву?

Вообще сама идея резонинга и там Chain of Thought, она тоже не новая, и она вообще-то появилась еще в до-трансформерную эпоху, как-то не странно, да, то есть еще с теми старыми языковыми моделями, там на LSTM-ках идея-то была.

И более того, история с резонингом, она вообще с цепочками рассуждений, она сама по себе является костылем.

Почему?

Потому что, смотрите, если на современный трансформер посмотреть, он состоит на самом деле из двух частей.

Первая не ростевая конъекционистская, вот эта моделька, которая вам распределение вероятности токенов.

генерирует.

А второе — это сэмплирование, которое, на секундочку, символьный механизм, набор рулов.

Ну, то есть, типа, сейчас мы там нуклеус сэмплинг, то есть, это не дифференцируемые части модели.

То есть, вообще-то, трансформер — это нейросимвольная модель, когда сидят там

А когда там появится ли нейросимвольная модель?

Ну так мы ими пользуемся.

То есть трансформер нейросимвольная модель, токенизатор в нем символьная часть, и сэмплер в нем тоже символьная часть.

Проблема в чем?

Трансформер обычный, ванильный, не универсальный, это фитфорвард сетка.

У нее количество слоев, как вы понимаете, конечно.

И из этого следует вот что.

Что на генерацию следующего токена

мы расходуем фиксированное количество вычислений, вот типа во флопсах, да.

Что из этого, в свою очередь, проистекает?

Ну, что есть какие-то задачи, у которых для того, чтобы найти на них ответ, нужно больше потратить вычислений.

Вот попросим нашу языковую модель решить задачи Камево и Жора с числом городов, ну, там побольше-побольше, да.

Ну и дать прям одним токеном ответ.

Очевидно, что это не сработает.

Не сработает, почему?

Потому что при достижении какого-то размера этой задачи у нас количество вычислений, которые выполняет наш трансформер, оно окажется меньше необходимого количества для решения вот этой там expect-time-complete задачи.

Я специально взял такой крайний пример, но мы должны понимать, что многие задачи,

чисто прикладного характера, они ведь тоже могут быть, ну, как бы, transcomputational, да, в некотором роде, для вот этого трансформера, для генерации одного токена.

И, как бы, никакой тьюринг-полноты, естественно, тут нету, да, никакой рекуррентности нету, нет рекуррентности, нет тьюринг-полноты.

Ну, то есть, а как цикл организовать?

Никак.

Модель ограничена, что делать?

Ну, можно рекуррентность добавить.

Буквально через полгода, по-моему, после ванильного трансформера вышла работа, посвященная универсальному трансформеру.

Давайте мы центральную часть сделаем, какое-то количество блоков внимания, через которые активации будем гонять циклю.

И это, в принципе, проблему решает.

Вот.

Но на самом деле нет, потому что мы не умеем хорошо рекуррентные сетки учить.

Вот.

А поэтому возникла идея.

А давайте мы, ну, тоже какую-нибудь костыль придумаем.

А костыль будет в чем заключаться?

Мы будем просить модельку решать задачу по частям.

То есть если моделька сможет...

решить задачу разделения задачи на подзадачи, а каждая из этих подзадач, она окажется уже внутри вычислительного лимита нужного.

И таким образом, вуаля.

Хорошо, у нас в наших там притрейн-корпусах есть какие-то примеры решения задач по...

шаг за шагом, школьные учебники, в которых пример шаг за шагом решают, или учебник по логике, в котором как только мы начинаем отклоняться от чего-то, что похоже на цепочки рассуждений для типовых задач,

Там, конечно, перформанс падает таких моделей.

И что пытаются делать?

Пытаются как-то бустануть этот членов сот путем синтетики всякой, путем создания специализированных сетов.

И дальше скрестим пальцы и будем надеяться, что произойдет какой-то перенос знаний.

Если мы научимся строить цепочки рассуждений в математике и логике, мы потом такие же цепочки рассуждений сможем строить где-нибудь...

в других областях, в других символьных системах и так далее.

Работает это?

До некоторой степени да, но не так хорошо, как хотелось бы.

И проблема в том, что тут нет полноценного возможности это полноценно дообучать, потому что недифференцируемая часть есть.

То есть сэмплер недифференцируемый.

Эту проблему все понимают, ее пытаются по-разному решить, но пока такого хорошего решения нет.

Но с точки зрения потребителей, даже то, что есть, то, что мы имеем в каких-нибудь арифметических, логических задачках, цепочки рассуждений, генерить банальную...

логику применять для анализа какой-нибудь ситуации, это очень зрелищно.

Ну, то есть, типа, о, Reasoner, там, смотрите, он, еще и важно, что он на понятном человеку языке, да, вроде бы как генерирует цепочку, которая является вот решением какой-то задачи, и в этом смысле это такой вот explainable AI для бедных.

Но на практике это, ну, не так много это докидывает к метрикам, объективно говоря, ну, типа, посмотрите, это единицы процентных пунктов там на основных бенчах.

Ну, это, в принципе, как бы, опять же, удобный способ, ну, там, делать то, что называется сейчас test-time compute, да, типа, потратить compute уже после обучения модели для улучшения, да, там.

Есть, в принципе, такой, как бы, более широкий подход, как скафолдинг, и в рамках, там, скафолдинга, там, строительство почек, там, деревьев, графов и whatever, осуждение — это важная штука.

А скоро, я думаю, что next big thing — это еще и добавление визуальной модальности, скоро у нас модельки будут.

Не только строить рассуждения, но и рисовать на доске что-нибудь.

Какие-нибудь визуальные представления в процессе рассуждения.

Архитектуру какого-нибудь решения.

Ну и да, да.

Это и есть работа «Child's Board of Thought», по-моему, она называется.

Короче, это классно выглядит.

С прикладной точки зрения это способ потратить еще много компьютера, чтобы чуть-чуть улучшить метрики.

В некоторых областях это прям дает хороший буст, если вам там надо символьный reasoning сделать где-то.

Ну да, там это прям полезно и хорошо.

In general...

Ну, я бы не переоценил.

То есть мне кажется до сих пор, что это в изрядной степени костыль.

Пока для этой штуки не появится хороший способ end-to-end это учить.

Поэтому все, конечно, гонятся за всякими Q-стартом.

Давайте мы там будем какие-то траектории генерить для тех задач, где мы решения знаем.

Потом эти траектории будем как-нибудь использовать для какого-нибудь контрастивного обучения.

Пока что мы находимся на такой стадии активного и экстенсивного улучшения технологий, и очень много идей срабатывает.

Вы уже говорили, что есть определения, зима и весна в искусственном интеллекте.

Вы как-то говорили, что сейчас лето искусственного интеллекта.

Лето не только с точки зрения инвестиций, а еще и с точки зрения технологий и увлеченности людей в исследования в этой области.

Концепция зимы-весен, она просто меня всегда очень забавляла, ну и, ну типа, во-первых, что это у вас за такой порочный годовой цикл, где типа зима, потом весна, потом опять зима, вы вообще видали какое-нибудь такое?

Вот, такого не бывает.

Вот.

А во-вторых, ну, она, очевидно, надуманная.

То есть, когда ты начинаешь именно работать с историческим материалом и пытаться там понять, ну, там есть упрощенная такая картина, которую вот в «Плохом ночь в попе» вам всегда расскажут.

Она такая, значит, что вот Фрэнк Розенблат там сделал свой перцептрон, и вот там ему стали давать много денег от государства, а потом...

Пришел Минский с Пеппертом, и они написали книжку «Перцептроны», где разгромили все эти перцептроны, и тогда у Розенблата отняли все его деньги, и Розенблат тогда с горя утопился, да, и наступила зима искусственного интеллекта, в 70-е годы ничего не делалось, да.

Это чушь от начала до конца, и каждое утверждение не соответствует действительности, потому что уменьшение бюджетов на исследование Розенблата произошло до выхода книги Перцептрона, никак с ней не связано.

А произошло оно по одной простой причине, что после 1957 года, когда Советский Союз запустил первый искусственный спутник Земли, на американских ученых, конечно, пролился...

Золотой дождь в хорошем смысле этого.

Но в конце 60-х была принята бюджетная поправка, которая ограничила военным возможности расходовать средства на перспективное исследование без конкретного прикладного результата на известном горизонте.

Вот.

И это была причина, почему по линии военных Розенблату уменьшилось его финансирование.

Но снижение этого финансирования, оно вообще-то никак всерьез на его исследование не повлияло, потому что все равно он продолжал в своей ИТАКе в университете заниматься фоноперцептрон, его последний там проект Тоберморе, значит, эта вот система.

При этом параллельно нейростивые исследования, конечно же, велись много где.

В частности, ну там под

супервизии того же Розенблата в СРАЙ,

велись исследования по прикладному применению перцептронов.

И там были созданы тогда первые OCR-системы.

И вообще система МИНОС, МИНОС-2, которая разрабатывалась в СРА, для распознавания танков на данных аэрофотосъемки, для распознавания значков на картах.

Это все делалось, это все продолжалось делаться.

И после смерти Розенблата...

Продолжало делаться вовсю.

Никто не бросал это занятие.

Ну и как бы что, в 70-е годы очень много чего происходило в нейростевой сфере, и, может быть, к этому меньше было медийного внимания приковано, но...

Кунихиков, Кусима своим когнетроном, неокогнетроном — это 70-е.

Эсэрай — это 70-е.

Штейнбук — 70-е.

К 70-е к нейростевым исследованиям Уидро вернулся.

То есть один из тоже очень важных пионеров нейростевого направления.

Вот.

В Советском Союзе, естественно, тоже не прекращались исследования в этой сфере.

Поэтому, типа, говорить, что 70-е были какой-то там зимой, ну, типа, с чего вдруг, да?

То есть, объективно, нет.

Слушай, а вот если говорить, в принципе, про развитие этой темы с искусственным интеллектом, это больше роль какой-то личности в истории?

То есть, двигают историю отдельной ниней?

Двигают историю технологий?

Двигают историю количества, которые переходят в качество?

Лена, ты вот

Как учебник по эстмату не читал.

Ну как, диалектика, понимаешь?

Объективные факторы двигают.

Но эти объективные факторы все равно проводниками их являются конкретные люди.

Поэтому вот, когда возникают точки бифуркации, тогда фактор субъективный выходит на первое место.

То есть, когда...

объективное состояние созрели.

Перегретая вода такая.

Начинается кипение с одного какого-то центра.

Поэтому

Так вот и получается, что, конечно, субъективный фактор в каждый конкретный момент очень важен.

Но чтобы этот субъективный фактор мог стать важным, для этого нужны объективные предпосылки.

Вас безумно интересно слушать.

Мне кажется, книга не будет в аудиоформате выходить?

Её даже озвучивать не надо.

Есть же искусственный интеллект.

Просто синтезировать голос и пожалуйста.

Вот это очень хорошо показывает реальное состояние дел в технологиях искусственного интеллекта.

Потому что дистанция между «мы опубликовали классный пейпер в классном журнале и на классной конференции показали» до момента, когда мы получили промышленно работающую технологию.

Дистанция очень большая.

То есть, ну как вот принцип Парета, иногда называют шуткой, что на первые 80% прогресса 20% времени тратится.

В чем проблема с автоматическим изготовлением аудиокниг?

Казалось бы, нейронки, которые там... Не знаю, мне вот ребята нейронку, которая моим голосом говорит, еще там, не помню, в 19-м году на день рождения подарили, да?

Вот.

Ну, а мы там в восемнадцатом году активно пилили всякие наши эти стекотроны, и вот сам по себе синтез, он не ростевой, он в продакшене работает.

С девятнадцатого-двадцатого года все более-менее перешли на технологии синтеза речи на нейронках, но...

С чем вы столкнетесь, пытаясь запихнуть в такой алгоритм, в такую систему, такую книжку размером с «Войной мир»?

У вас будет на стыках предложений прыгать очень сильная интонация.

у вас будет много всяких ошибок произнесения, потому что как там правильно ударение в фамилии поставить, это никто вообще не знает.

Это можно, как говорится, вилька и тарелька пишется без мягкого знака, а солфа-сол с мягким, это невозможно понять, это можно только запомнить.

И у вас, конечно, получится, что у вас дефектов так много в этом автоматическом синтезе, что вам проще, блин, вручную переозвучить.

Ну, переозвучивать фрагменты, ну, типа, будет разным голосом разные фрагменты.

Будет очень много постобработки, которая, ну, типа, увы.

Мы хотим, честно, создать технологию, которая будет делать аудиокниги, вот.

Для этого надо сказать, что сейчас, конечно, активно изучаются и системы синтеза, которые не по предложениям синтезируют, а синтезируют весь монолит Left to Right.

Это еще Fast Pitch, по-моему, уже такой был.

Интересно, что в продакшене очень много где до сих пор наследники токотрона живут.

Особенно там, где важно быстро это делать.

А в бизнес-задачах для вас еще очень важный фактор — уметь в реал-тайме синтезировать.

Вот мы заговорили про голосовые технологии, про речевые технологии.

Как вы оцениваете сейчас вообще доверие населения к искусственному интеллекту, потому что существует уже какая-то статистика, что люди не любят общаться с роботами так или иначе, то есть они не отвечают на звонки и хотят слышать живого человека.

А если в общем посмотреть на искусственный интеллект, какой сейчас уровень доверия?

Ну, это, понимаете, как вот такой уровень доверия к математике, какой уровень доверия к перемножению матриц.

То есть мы же понимаем, что технологии искусственного интеллекта — это очень широкий спектр всяких разных вещей.

Вот вы там фотографию делаете при помощи своего телефона, у вас обработкой этой картинки тоже занимается нейронка, которая в вашем телефоне работает.

В общем, благодаря этому в основном прогресс с качественной фоткой происходит.

Оптика-то не меняется никак.

Вот.

Значит, доверяют люди этим технологиям?

Конечно, доверяют.

Они даже и не знают, что они там есть.

Но каждый предпочитает сфоткать, конечно, смартфон в основном, а не на фотоаппарат Zenit.

Есть люди, которые любят второй, но их мало.

Поэтому доверяют до 100%.

А то, что там им нейрон какому-нибудь памятнику зрачки дорисует, ну, это...

Ладно, мелочи жизни, не будем обращать на это внимание.

Вот.

Значит, ну, другие какие-то модели, да, которыми мы пользуемся.

Ну, вот поисковик, да, за любой поисковой системой тоже стоят нейронки, да, там, современные.

То есть это штука, которая позволяет вам из всего там гигантского объема там интернета найти, вычленить релевантные вашему запросу документы.

А доверяют люди?

Ну, доверяют, да, то есть...

Но есть какие-то применения технологии искусственного интеллекта, которые людей раздражают или пугают.

И там, конечно, уже отношение другое.

То есть художники хейтят тексту имидж-модели.

Мне как-то понравился комментарий у вас в Телеграм-канале.

Кстати, у Сергея Маркова есть свой Телеграм-канал, поэтому вы можете на него подписаться.

Там очень много интересного.

Я бы сказал, вы нужите.

Вы должны.

Мы категорически рекомендуем.

Мы категорически рекомендуем на него подписаться.

Там очень много интересных мемов.

И я как-то увидел смешной мем, где мы вложили миллионы долларов для того, чтобы узнать, как гамбургер, по-моему, ест картошку или что-то вот такое.

И там был смешной мем.

Ну, смешная картинка сгенерирована как раз искусственным интеллектом.

Ну да, вот здесь, знаете, некоторые технологии, они все-таки требуют времени, чтобы общество к ним привыкло и стало воспринимать их по-нормальному.

Ну, в XIX веке, например, художники очень боялись фотографию.

Что вот сейчас придет фотография, и живопись будет уничтожена.

Ну, реально там избивали фотографов.

Что мы видим?

Что мир оказался гораздо сложнее по факту, по итогу.

Ну, во-первых,

Оказывается, создание визуального контента — это не игра с нулевой суммой.

У современного человека там своих портретов фотографических обычно сотни, не знаю, в телефоне есть селфаков.

А в XIX веке люди, у которых было 100 собственных портретов, в основном обитали уже в сумасшедших домах.

Вот.

Значит, то есть как бы от того, что появилась технология, которая позволяет фотореалистичное изображение ваше создать, да, и вообще реальности, оказывается, можно просто больше потреблять визуального контента, да.

Значит, и теперь, когда изготовление некоторых видов этого контента стало гораздо проще, оказалось, что люди больше стали кушать этого контента.

Во-вторых, возникло фотоискусство, да, то есть оказалось, что можно не просто фотку сделать, а можно потом с этой фоткой что-то делать, да, то есть можно там специально там, оказывается, творить можно не только на холсте, но и там правильно расставлять предметы или находить правильный момент, в который нажать там спусковой, спусковое устройство фотоаппарата, да, а потом еще какой-нибудь фотоколлаж сделать и еще что-то, да, потом еще цифровой появился.

Вообще песня и сказка.

Вот, то есть это появилось просто целое новое направление, которого не было до этой технологии.

художники, их стало больше.

То есть оказалось, что прогресс технологий приводит к тому, что нужно меньше людей, чтобы производить жизненно необходимые продукты всякие.

Теперь можно высвободить свободное время людей, и они будут рисовать картины не потому, что им не умереть надо, а потому что как хобби.

Ну и в принципе, даже профессиональных художников сейчас больше, чем их было в XIX веке.

Это тоже произошло благодаря прогрессу технологий, но, правда, косвенно, не этих технологий, а других, но мир нестационарный.

Это тоже важно.

Потом оказалось, что есть какие-то ниши, откуда никакая технология художников никогда не вытеснена.

Почему?

Потому что я хочу, чтобы у меня на стене висела картина, которую нарисовал настоящий кожаный.

Я могу себе позволить.

Вы там будете себе фотопостеры вешать, а я вот найму человека, который там в масле поизвозюкается и мне нарисует мой портрет.

Портрет с фотографией, замечу отдельно.

Да, это еще и вот...

В чем оригинал от копии отличается, да, вот философские вопросы.

Вспомним Вальтера Бень именно с его искусством в эпоху его технической воспроизводимости и так далее.

Вот, значит, ну, то есть вот я предлагаю такой еще термин «органик арт».

Есть люди, которые органик фуд едят, что мы не хотим от курочки с фабрики яйцо, мы хотим от счастливой курочки, которая гуляет по траве, под солнышком.

А я хочу, чтобы настоящий кожаный мне нарисовал.

Это органик арт.

И только богатые люди могут себе позволить.

Признак статуса, что у тебя картина нарисована человеком, а не машиной.

Вот.

Значит, такое тоже, да, есть и будет.

И производительность труда во сколько раз увеличилась?

Ну, в сотню раз, наверное, да, то есть, типа, теперь за ту же единицу времени разработчик может создать в сто раз больше функциональности, чем мог в конце сороковых годов.

Вот в конце сороковых годов в мире было там сто программистов.

Если бы это была бы игра с нулевой суммой, то какой бы мир сейчас мы наблюдали?

Остался бы один программист, который бы выполнял бы ту работу, которую выполняет 100 программистов тогда.

Остальных бы мы уволили.

Экономический эффект этой автоматизации был бы равен зарплате 99 человек.

Окупилось бы.

Что вы делаете?

Зачем вы занимаетесь автоматизацией в своем программировании?

Ваши языки высокого уровня.

Зачем это все?

Сколько вы заработаете?

99 человек уволите?

И такие сейчас тоже есть люди, которые говорят, зачем вы развиваете технологию искусственного интеллекта?

Как вы окупать-то это будете?

Вы что, уволите людей из колл-центров?

Ну хорошо.

И сколько они зарабатывают?

Где деньги-то?

Где экономический эффект?

А экономический эффект, он возникает там, где, естественно, возникают целые новые индустрии, целый новый продукт.

Экономическая зона просто новая появляется.

Да, да.

Поэтому, конечно же, эффект автоматизации не сводится к тому, что женщину вынули, автомат засунули.

Это все, конечно, иногда неплохо, но основной экономический эффект не там достигается.

Так вот, я, собственно, к тому, что люди-то видят, что те же программисты, они стали использовать в своей работе всякие копайлоты.

Но это же не приводит к замене программистов, да и к уменьшению их числа не приводит.

Потому что просто увеличивая... Если у вас теперь за единицу времени можно еще больше функциональности налобать, это значит, что расширяется область применения софтверной инженерии.

Значит, теперь можно создавать, например, более сложные системы, чем раньше, когда у вас есть такие помощники, которые вам там и баги выявляют, и автотесты за вас пишут, да.

Это значит, что в некоторых областях, где раньше было дорого автоматизацию сделать, теперь её можно будет, да, это значит, там, снижение порога входа, да, какой-то, так сказать, программерский фастфуд, сделать простую штуку элементарную теперь можно, оказывается, вообще без участия человека, да, ну вот.

Но это приводит к большому расширению самой сферы применения этих технологий, и сумма людей, которые заняты этой областью, она, скорее всего, будет увеличиваться, а не уменьшаться.

То есть программистов будет больше.

И, конечно, их работа будет другой, не такой, как у программиста сегодня.

И с точки зрения, не знаю, программиста 40-х годов или 50-х, современный программист, ну, пффф.

Ну, какие это программисты, это какие-то менеджеры, там, не знаю, ну, они не знают, даже не знают, там, какое latency-усложение на том процессоре, который у них стоит, вот, ну, и так далее, да, то есть, ну, как?

Ну, да, мы раньше там мыслили, условно, серверами, то есть про облачную технологию говорить, а теперь мыслим виртуальными машинами, и мало кто уже там...

идёт к серверам.

И мы даже с коллегами из Арии общались, это в контексте того, что искусственный интеллект, он скорее усиление человека, нежели чем его замена в какой-то степени в большинстве профессий, что для того, чтобы нарисовать хорошую картину с помощью ИИ, тебе как минимум нужно знать основы

Ну, в медицине, например.

И в медицине, да.

Ну, просто, как бы, понимаете, наличие технологии генерации картинки по тексту, оно задает, ну, типа, базовый уровень, там, уровень ноль, да, ну, типа, то, что доступно каждому.

Ну, и как это будет цениться?

Ну, никак.

То есть, как раньше ценилось, не знаю, там, накорябанный каракуль чьи-то, который может любой там сделать, да?

Вот.

И все равно, как бы, даже и отношение публики к этому будет такое, что, ну, типа...

Ты оформил просто сгенерёнными картинками, даже не потрудившись, не знаю, с десяткой генераций лучше выбрать.

Сейчас вот часто сталкиваюсь с тем, что когда начинаю говорить про то, что смотри, у нас есть целые исследовательские команды, эти команды учат Foundation Model, это вообще так важно.

Говорят, да это какая-то хрень, ты вообще вот что делаешь?

Ты вообще зачем про это думаешь?

Вот там есть лама, там есть демпсик, там опенсорс, это сила.

Нафига тратить вот эти деньги, ресурсы на то, чтобы учить фундейшн моду?

И у тебя как раз вот в канале была такая недавно очень жаркая дискуссия, я прям не отвечаю, почитала её.

И вот тут, знаешь, вот...

А вот твоя точка зрения, зачем вообще это нужно?

Зачем нам, вам, стране, миру разные вот эти базовые модели, зачем разные страны в это вкладывают невероятную кучу денег, ресурсов?

Тут важно еще сказать, что Сбер по факту осталась единой.

В России, да, единственная команда осталась, которая учит фундейшн-мод.

Если вы отказываетесь от развития определенных технологий, с этим связаны определенные риски.

Риски стратегические, а еще и они очень большие, потому что технологии...

Искусственный интеллект современный, это, конечно, очень, они очень мощным потенциалом дизрапта обладают, они могут целые индустрии трансформировать, да, создавать, вот это все, ну, типа, денежный эффект от этого всего потенциально очень большой.

И когда вы полностью зависите от поставщика каких-то принципиально важных компонент, это риски, которые нельзя быстро при их реализации быстро компенсировать, да, то есть вот если вы становитесь на рельсы, там, все, мы там берем чужие веса, да,

Ну, хорошо, а следующая версия этой модельки, она не будет опубликована вместе с весами, да, ну вот OpenAI там сколько лет не публикует веса своих моделей, да, ну, а почему вы думаете, что в условиях там интенсификации конкуренции все будут продолжать там для топовых моделей веса публиковать, да?

с чего вы взяли это вообще.

И у вас при этом будет ликвидирована, по сути, компетенция в командах по созданию такой модели с нуля.

Вот.

А на самом деле это не так безобидно, как кажется.

То есть, когда говорят, давайте мы сейчас вот возьмем Квена, его еще там... Да учим так, как будто бы мы его с нуля учили.

На самом деле...

Ну, проблема доучивания модели, которая уже там 15 токенов видела, ну, там, знаете, катастрофическая забывчивость, есть такая штука.

Ну, доложили мы туда какой-то там русскоязычный тесет.

Да, конечно, от этого модели начинают там более грамотно по-русски говорить, да, там генеративных задачах прокачиваются, это да.

Но ценой какой?

Ну, типа, ваша эта модель что-то, ну, забывает из того, что она выучила в притрейне.

И это, ну, в целом, капитуляция такая.

То есть, типа, мы не знаем, как сделать такую модель, как Квен, да, поэтому мы будем ее там брать готовую, да, учивать.

Ну, типа, вы признали поражение, что у вас, вот, вы не умеете.

Вот.

При этом мы видим, что в мире тенденции прямо противоположны.

То есть, китайские команды, которые...

Ну, типа, да 3-4 года назад все же смеялись над китайским ML.

Работы по китайцам, блин, да.

Они там какие-то плохие работы, которые не воспроизводятся.

Вот это все, оно и до сих пор, кстати, так говорят.

И правда, там много невоспроизводящихся работ.

Ну, и у нас тоже.

У всех.

Это во всем мире такое.

Ну, попробуйте там какое-нибудь западное тоже воспроизвести работу не самых топовых команд.

Да и даже топовых иногда.

вот, плохо там все с воспроизводимостью, все смеялись, говорили, что, и что мы видим, да, мы видим, что команда, ну, DeepSeek, которая, в общем-то, находится там с российскими командами в одной весовой категории, ну, конечно, там всех, вот, смотрите, у них там 300 человек в соавторах написано, там, ну, что, у нас нету 300 ML-щиков в Яндексе или в Сбере, да есть, больше есть, конечно, вот,

Значит, ну вот они уникальные чуваки, они там типа квантовые трейдеры, они там, значит, сделали низкоуровневую оптимизацию.

Ну что у нас, нету спецов по низкоуровневой оптимизации?

Ну есть, я лично знаю многих, да, и

У нас есть какие-то там стартапы, что оптимизируют на низком уровне, все тоже прекрасно, да и, ну, типа, когда мы вообще в плане алгоритмов сильно кому-то уступали, на всех олимпиадах мы...

за последние несколько десятилетий уж там постоянно топовые места занимали, да, то есть, ну, грех жаловаться, то есть, что вам не хватает-то?

Ну, типа, какая будет плата там за утрату технологического суверенитета в этой области?

Она потенциально будет большой, вот.

Потому что завтра, когда вам нужно будет совсем не развалиться, вам нужно будет делать модель, которая будет отставать хотя бы не больше, чем на год от лидеров.

От этого, например, постепенно эти модели становятся частью огромного количества бизнес-процессов.

Ну, есть задачи, в которых там гигачат для русского языка лучше, чем там топовые модели.

Их там может не супер там гигантское какое-то количество таких задач, но они есть, да, то есть мы знаем там по нашим внутри сберовским применениям, да.

Опять же, у нас есть люди, которые правильно эту модель умеют готовить, умеют на ее основе решать разные бизнес-задачи.

Вот.

Завтра, если мы вступим в эру окончательной регионализации и закрытости, да, когда там и китайцы перестанут публиковать свои модели, и западные компании, чем будем делать?

А еще и в условиях каких-нибудь санкций не дадут.

Но это будет грустная история, поверьте.

Вот.

И важно... Некоторые исследования еще важно вести в каком смысле?

Вот иногда тоже появляется такой нарратив, что вот вы там распыляетесь, вы там делаете, не знаю, там, горох какой-то, да, там, у вас вот и этим люди занимаются, и тем, и веломотки на фото, гребля и охота, вот.

Значит, да, но благодаря тому, что вы чуть-чуть хотя бы этой темой занимаетесь, если она становится мейнстримом завтра, вы не на ровном месте начинаете масштабирование.

У вас есть там ядро команды, у нее есть данные, у нее есть сетап собранный, понимание, и

вы ее можете, скорость масштабирования этой команды, она будет гораздо больше, чем если у вас нет вообще никого.

То есть если у вас есть два человека, которые эту тему ковыряют пять лет, вы из этих двух человек сделать команду 100-200 сможете сравнительно быстро.

Если у вас есть ноль, то... Найти тех двух ключевых, на базе которых это можно построить, это, мне кажется, прямо отдельно.

Да.

Вот, поэтому то, что современные технологии — это дорого, да, современные технологии — это дорого, но фактор научно-технического прогресса, он сейчас является ключевым для долгосрочной устойчивости бизнеса, потому что любые технологические достижения, которые есть уже...

они обесцениваются с огромной скоростью.

То есть скорость технологической инфляции, она огромная.

Поэтому мы не можем себе не позволить играть в долгую.

Это слишком рискованная стратегия, не играть в долгую, а сейчас быстро срубить купоны, заработать на текущих технологиях, отказаться от всех перспективных исследований и так далее.

Эта стратегия очень быстро приведет к краху.

И очень многие вещи, которые мы делали, которые сейчас являются частью корр-бизнеса, они возникали как...

Абсолютно полный дизрап, который непонятно, зачем делать, кому нужен и так далее.

Ну, куча наших всяких электронных онлайн-сервисов и, не знаю, модели, которые лежат в основе принятия решений в основных банковских бизнес-процессах.

Сейчас, кстати, LLM-ки уже даже, я слышал, в скоринговых системах начинают использоваться активно.

Ну да, они просто довольно специфически используются.

Важно понимать, что в задачах малой размерности с малым количеством факторов, там, конечно, классические методы ML работают лучше.

Но когда вам нужно не структурированные данные анализировать, у вас другого инструмента-то нет, кроме LLM.

А у вас куча данных о контрагентах, о сделке, о макроэкономических факторах, она...

Не существует в структурированном виде.

Вам нужно из кучи неспецифических, неструктурированных данных изготовить факторы, которые вы могли бы потом уже кормить в какую-то модель на основе бустинга.

Поэтому в целом все очень активно используют гибридные модели, когда мы...

выдергиваем какие-то факторы, анализируя тонны всяких документов, не знаю, там, новостей, что-то еще, да, и потом кормим их уже в узкоспециализированной модели.

Вот.

Но я хочу сказать, что

Сейчас даже в анализе транзакций банковских, в анализе разной специфической финансовой информации тоже большой прорыв произошел благодаря фундаментальным моделям.

Потому что фундаментальная модель хороша тем, что она...

умеет переносить знания между доменами.

И вот да, у вас ваша конкретная скоринговая модель, обученная на конкретно вашем кредитном продукте, вроде бы имеет там большую точность, но проблема ее в том, что данные ограничены, на которых она учится, а у данных у них там есть какие-то факторы,

внешние, которые трудно учесть.

И оказывается, что если вы возьмете гораздо больше данных со стороны, не относящихся к вашей задаче, а из каких-то смежных областей и так далее, то большая модель

обучившись на вот этих огромных объемах информации, потом доучиваясь на вашей специфической сдаче, гораздо лучше перформанс демонстрирует, чем модель узкая, которая учится только на ваших данных из этой области.

То есть она находит какие-то аналогии в других процессах, в других задачах и успешно эти аналогии использует, решая вашу задачу.

И это особенно классно помогает в условиях, когда данных прям совсем мало на вашей целевой задаче, и когда вам нужно иметь устойчивые результаты out of sample, out of time.

Вот тут, конечно, фундаментальные модели очень сильно лучше специализированных, и я вижу сейчас, как постепенно даже в таких задачах

которые, казалось бы, были всегда таким оплотом классического email, постепенно влияние фундаментальных моделей растет.

То есть мы уже нашли бизнес-применение, то есть если даже сейчас оно где-то скрыто за глазами обычных пользователей, консюмеров, то бизнес уже активно используется.

Ну конечно, прямые эффекты от применения современных технологий искусственного интеллекта, даже внутри core бизнеса звера, они огромные.

Понятно, что мы там не все кейсы можем рассказывать наружу, но они правда очень большие.

Но представьте себе, с кем количеством информации наш банк работает, с кем количеством текстов, документов, чего угодно, коммуникаций с людьми, транзакций, чего угодно.

И для того, чтобы в этом море вычленить полезную и нужную информацию, нужные данные,

какие-то подпорки человеческому интеллекту.

Мы верим в гигачат.

Мы активно коллегам тоже рассказываем про то, какие успехи у вас есть.

Мы потихоньку завершать будем.

У меня два вопроса.

Небольшой блиц.

Коротко.

Самый безумный миф про искусственный интеллект, который вы слышали?

Зашкаливающий градус безумия.

Я помню, один профессор, причем нейрохирург известный, сказал, что искусственный интеллект нельзя сделать, потому что в мозге постоянно связи меняются.

То есть чуваку не научили в курсе электротехники, что там еще есть переключатели, знаете, такие вот, можно...

нажать кнопочку, и свет зажжется.

Ничего не перепаивает.

Забавно.

И еще один вопрос, последний.

Где бы вы не видели вообще применение искусственного интеллекта или не хотели бы?

Да я радикал в этом смысле.

Везде.

Везде надо или везде не надо?

Нет, смотрите, у меня, наверное, скорее позиция вот какая.

для плохих тел не надо применять, для хороших надо.

Любая технология такая универсальная, как система искусственного интеллекта, она обоюдоустрый меч.

Вы можете ее применять и

во благо и во зло.

И зависит это все от людей.

Потому что даже простым молотком можно заколачивать гвозди, строить дома, а можно проламывать чьи-то головы.

И поэтому мы не хотим, чтобы молотком головы проламывали, хотим, чтобы дома строили.

Поэтому любые применения, не знаю, мошеннических целях, применения для

чтобы сделать бедных еще беднее, богатых еще богаче, да, вот, которые в принципе ухудшают качество жизни людей.

Ну, конечно, такие применения не хочется видеть, вот, но технология, она, к сожалению, или к счастью, нейтральна, да, то есть и, ну, можно в том числе эти технологии применять во зло, да, но хорошая новость заключается в том, что эти же технологии можно применять и

— Для противодействия плохим людям, да.

— Да, да, ну то есть можно генерировать фейки, можно фейки детектировать, да, можно, значит, обманывать людей при помощи генеративных моделей, а можно при помощи таких же моделей выявлять такой обман, да, и…

людей ограждать от мошенничества.

И такие системы активно создаются.

Допустим, применение в кибербезопасности Сберии современных технологий искусственного интеллекта очень много.

Если бы не было таких продвинутых технологий искусственного интеллекта в Сберии,

объемом атак вообще всяких разных и там социальных техники с привлечением технологических средств которыми там наш банк подвергается каждый день и выставили вот поэтому в целом просто здесь скорее это вопрос к тому что мы считаем

Правильным и неправильным от нас с вами зависит, как эти технологии будут применяться.

И в этом смысле парадокс заключается в том, что в эпоху такого очень быстрого прогресса технологий как раз наиболее востребованным оказываются человеческие качества.

То, как мы распорядимся этими технологиями, зависит не от технологий, а от нашей с вами приверженности гуманизму и человеческим идеалам.

Мы заканчиваем.

Сергей, спасибо вам большое.

Спасибо вам, что позвали.

За этот замечательный подкаст.

Спасибо тебе, что пришел с тобой разговаривать.

Конечно, это наслаждение.

Спасибо тебе за это.

Это просто большое наслаждение.

Перехвалите здесь.

Да, ну нет, нет.

Невозможно, я тебя давно знаю.

Мы просто подытожим.

Я тут подготовил небольшую такую речь.

Мы говорили сегодня про людей, которые скептически относятся, у них низкий уровень доверия к искусственному интеллекту.

И помните, если вы каждый день ищете что-то в поисковике или смотрите фильмы на око, то так или иначе вы пользуетесь искусственным интеллектом, даже этого не подразумевая.

Потому что искусственный интеллект — это широкая область науки и технологии.

Всем спасибо и подписывайтесь на канал Сергея Маркова, подписывайтесь на мой канал и подписывайтесь на канал Алены Дробышевской.

Мы все ссылки приложим.

Всем пока.

Всем пока, ребят, спасибо.