Наука должна доходить до продакшена

Наставники — это коллеги

Если меня спрашивают о наставниках, я отвечаю не совсем привычно: мои наставники — это мои коллеги. Не обязательно люди выше по должности. Иногда человек формально является твоим подчиненным, но в каком-то смысле тоже становится наставником, потому что ты у него учишься.

Мне очень повезло работать с Натальей Байгаровой, специалистом высокого класса по компьютерному зрению. Я помню, как в команде молодые ребята использовали современные на тот момент методы, а Наташа предлагала: может, все-таки попробуем нейронные сети? Ей отвечали, что это старье. А потом оказалось, какой виток сделали нейронные сети и насколько сильно они изменили всю область.

Самое большое влияние на меня оказал Илья Сегалович. Для меня он был человеком редкого типа — болельщиком науки. В спорте без болельщиков трудно представить большую игру: спортсмены чувствуют поддержку. В науке часто выходит так, что учёные будто играют сами для себя. Илья не был учёным в формальном смысле, не строил карьеру через публикации, но он постоянно следил за мировой наукой, радовался победам, понимал, кто где опубликовался, кто выиграл челлендж, какая работа преодолела новый барьер.

Вот эта способность болеть за науку, радоваться чужому прорыву и внимательно следить за тем, что происходит в мире, очень сильно на меня повлияла. Я надеюсь, что хотя бы в небольшой степени эту интонацию унаследовал.

Разработчик в ИИ обязан жить рядом с наукой

Современная разработка в машинном обучении очень близка к передовой науке. В нашей области достижения из мировых статей очень быстро переползают в продакшен. В Яндексе нормальный срок — несколько месяцев от выхода статьи до работающего внедрения. Но бывает и быстрее.

Один из рекордов на моей памяти — два дня от публикации статьи до внедрения. Это была статья про batch normalization, решение, которое сильно ускоряло обучение. У нас был свой нейросетевой фреймворк, и команда внедрила идею буквально за два дня.

Смысл здесь не только в скорости. Это показатель культуры. Если ты хочешь быть актуальным в искусственном интеллекте, тебе нужно постоянно смотреть, что происходит в мировой науке: читать статьи, разбирать их, устраивать внутренние семинары, проверять, что из этого может работать в продукте.

Разница между учёным и разработчиком в нашей области невелика. У исследователя цель — публикация и научный результат. У разработчика — внедрение в продакшен. Но источник знаний у них общий. Бывает, что разработчик публикуется, а исследователь внедряет. Если компания хочет делать продукты мирового уровня, ей невозможно обойтись без науки.

Поиск по картинке: когда продукт опережает время

Один из любимых проектов, в которых я участвовал, — поиск по загруженной картинке в Яндексе. Сейчас людям это кажется естественным: сфотографировал объект, загрузил, система нашла, что это такое. Но когда мы начинали, нейросети ещё не дали того эффекта, который потом перевернул компьютерное зрение.

Сначала все делалось на более старых методах: локальные признаки, bag of words, склейка дубликатов, поиск жестких объектов, обложек книг, архитектуры. Это работало, но ограниченно. Когда нейросети выстрелили, мы быстро стали делать свой нейросетевой фреймворк, и к 2014 году поиск по изображению на нейронных сетях заработал.

Это была магия. Ты фотографируешь объект, а среди миллиардов изображений система находит тот же объект или семантически близкий — не просто похожий по цвету или линии, а близкий по смыслу. Долгое время качество такого поиска у Яндекса было очень сильным, и даже мировые игроки не сразу могли приблизиться.

Потом поиск по картинке перерос в более сложную задачу: соединить изображение и текст в общем пространстве, улучшить текстовый поиск изображений, добавить новые факторы и фичи. Так продукт становится не разовым решением, а постоянно развивающейся технологической системой.

Команда: нанимать мотивированных и отдавать ответственность

Мне кажется неправильным набирать людей, которых потом все время нужно мотивировать. Лучше работать с теми, у кого уже есть внутреннее желание добиваться результата, делать что-то в мире, спорить с невозможным и злиться, если не получается.

Задача руководителя — не ежедневно заводить людей как механизм. Задача — дать им пространство, цель, ответственность и возможность владеть своим куском продукта. Даже стажер может отвечать за маленький участок полностью. Нужно минимально лезть в этот участок, помогать, подсказывать, но оставлять человеку право принимать решения и ошибаться.

Когда человек понимает, что это его кусок продукта, меняется отношение. Он уже не просто выполняет задание. Он защищает решение, ищет улучшения, думает о пользователе, чувствует собственную ответственность. Без такого владения сильная команда не появляется.

Хороший машинлейнер ищет ошибку

В машинном обучении очень важна критичность. Не надо никому ничего принимать на веру — не потому, что все вокруг обманывают, а потому что ошибка может быть где угодно. В статье с великими фамилиями. В эксперименте сильной команды. В твоём собственном результате.

Есть простой признак. Плохой машинлейнер получает неожиданно прекрасный результат и радуется. Хороший машинлейнер получает неожиданно прекрасный результат, огорчается и идёт искать, где произошла ошибка. И очень часто находит.

Это не культура вечного критиканства. Это культура проверки. Мир полон открытий, которые случились потому, что кто-то пересмотрел вроде бы очевидную истину, нашел исключение, заметил неточность, не прошел мимо странности. В ИИ это особенно важно: эффект может быть красивым, метрика может выглядеть потрясающе, но сначала нужно понять, не обманули ли мы сами себя.

ИИ ещё не уперся в стену

Я думаю, что мы только в начальной стадии большого рывка. Конечно, когда-нибудь кривая роста замедлится, но пока технология развивается очень быстро и ещё не уперлась в стену. Будут появляться новые сервисы, компании, продукты, которые сейчас могут казаться слишком простыми или очевидными, а потом станут огромными.

Есть области, которые пока обработаны намного слабее текста: изображения, видео, робототехника, взаимодействие ИИ с реальным физическим миром. Когда воплощенный ИИ начнёт лучше получать информацию через роботов, сенсоры, движение, прикосновение, это даст новый уровень мультимодальности.

Ещё одна важная тема — синтетические данные. Хорошие современные модели уже способны генерировать объяснения и тексты, которые часто лучше подавляющей части того, что написано людьми в интернете. Если такая качественная синтетика будет использоваться для обучения, это может стать дополнительным ускорителем. Но опять же: все зависит от культуры проверки и постановки задачи.

ИИ в образовании: сначала понять, чего ты хочешь

Искусственный интеллект — потрясающий универсальный помощник в обучении. Если человек хочет получать знания, разбираться, развиваться, ИИ ему очень поможет. Но если человек хочет просто замаскировать незнание, получить нормальную оценку и ничего не понимать, ИИ поможет и в этом тоже.

Поэтому главный вопрос не в инструменте, а в намерении. Чего ты хочешь? Стать сильнее или выглядеть сильнее? Разобраться или сдать? Построить понимание или спрятать пустоту?

Детей можно и нужно знакомить с использованием ИИ довольно рано, потому что они и так будут пользоваться такими инструментами. Но создание ИИ — это другое. Здесь сначала нужна база: математика, аналитическое мышление, понимание данных. Всем полезно понимать, что такое математическое ожидание и как анализировать происходящее, даже если человек потом не станет специалистом в ИИ.

Не нужно пытаться сделать специалистов из всех. Но у каждого ребенка, у которого есть тяга и способности, должна быть возможность углубленно заниматься математикой и искусственным интеллектом. Важно, чтобы этот один из тысячи отобрался не потому, что у него богатые родители или удобный город, а потому что у него действительно есть интерес и возможность расти.

Свободное время и работа руками

Свободного времени мало, но в редкие моменты мне нравится делать что-то руками: инструменты, строительство, какие-то практические вещи. Ещё люблю для себя поиграть на гитаре. Это другой тип внимания. После технологий, моделей, команд, продуктов и постоянного чтения статей важно иногда вернуться к физическому действию, где результат виден руками.

В этом тоже есть связь с инженерным мышлением: не только рассуждать, но и делать. Не только смотреть на чужие достижения, но и пробовать самому. В ИИ это, пожалуй, самое важное: читать науку, понимать ее, проверять и превращать в работающий продукт.