Согласно данным
В этой статье расскажем, как выглядит работа ML-инженера, какие навыки ему требуются и сколько он зарабатывает. Материал будет полезен начинающим специалистам по машинному обучению и тем, кто хочет сменить область в IT или освоить новую специальность.
Полина Колосова
Автор-фрилансер
В материале
Благодарим Даниила Корогодского, главного исполнительного директора Essai и преподавателя курса «
Машинное обучение (от английского machine learning, ML) — научная область на стыке алгоритмов и математической статистики. С помощью ML можно создавать программы, которые ищут закономерности в данных о реальном мире и решают задачи бизнеса.
Программы бывают разными: от классификации изображений по какому-либо признаку до сложных систем, выявляющих рак по рентгеновским изображениям.
Это простая задача классификации изображений: модели нужно научиться отличать фотографии собак от картинок с едой
Здесь задача посложнее: модель учат выявлять злокачественные опухоли по изображениям. На снимке — результат УЗИ, где программа успешно выделила новообразования. Источник:
Главные компоненты машинного обучения — данные, признаки и алгоритмы.
Сегодня машинное обучение активнее всего использует бизнес. С помощью моделей компании улучшают пользовательский опыт, оптимизируют внутренние процессы и получают технологическое преимущество перед конкурентами.
Reels в Instagram* работают по принципу рекомендательных систем. Приложение формирует для пользователя умную ленту и показывает видео на основе предыдущих оценок. Например, смешные ролики про работу
* Instagram — проект Meta Platforms, Inc., деятельность которой в России запрещена.
На скриншотах — чат с виртуальным помощником Алисой от Яндекса. Алиса тоже существует благодаря машинному обучению. Программа может распознавать естественную речь, имитировать живой диалог, решать задачи, писать тексты и предлагать идеи
Специалист по машинному обучению создаёт, обучает и тестирует ML-модели. Этот процесс можно условно разделить на пять больших этапов:
Работа с данными. Первым делом ML-инженер собирает данные для обучения и очищает их от некорректных значений, пропусков и лишней информации, в некоторых случаях — дополняет их и размечает.
Потом специалист делит массив данных на тренировочный, валидационный и тестовый датасеты. Тренировочный используется для первоначального обучения модели, валидационный — для настройки параметров и отладки процесса, а тестовый — для окончательной оценки производительности.
Выбор модели и признаков. Следующим шагом инженер выбирает модель и определяет признаки, которые лучше всего подойдут для её обучения. Выбор модели зависит от цели работы, а выбор фич — от специфики алгоритма и поставленных задач.
Представим, что специалист хочет научить программу давать рекомендации пользователю на основе его локации. Подходящей моделью для такой задачи станет один из методов обучения с учителем. Компьютер будет искать закономерности в полностью размеченных данных с переменными, две из которых — номера пользователей и названия городов.
Чтобы алгоритму было легче воспринимать признаки, специалист закодирует текстовую информацию в комбинацию цифр 0 и 1. Выглядеть это будет так:
Это фрагменты датасета без спроектированной фичи — и с ней. Источник:
Обучение. На этом этапе специалист учит модель определять паттерны в тренировочном наборе данных. Обучаясь, алгоритм постепенно корректирует свои ответы, чтобы минимизировать ошибку между предсказанными и фактическими значениями.
Затем модель проверяют на валидационной и тестовой выборках. Это позволяет оценить, насколько хорошо программа обобщает найденные закономерности.
Оценка и улучшение результатов. После ML-инженер оценивает эффективность модели, опираясь на заданные метрики. На основе результатов оценки он улучшает производительность алгоритма и в случае необходимости корректирует его работу.
Интеграция и мониторинг. Готовую модель специалист внедряет в существующие бизнес-процессы, продукты или сервисы. Затем ему остаётся поддерживать непрерывную работу алгоритма и время от времени проводить повторное обучение.
Конкретные задачи ML-инженера могут сильно различаться в зависимости от его уровня и направления работы самой компании. Например, вот чем предстоит заниматься начинающему инженеру в компании GraviLink:
Источник:
А это — задачи программиста уровня сеньор в компании Nedra Digital:
Источник:
Чтобы качественно справляться с рабочими задачами, ML-инженер должен обладать крепкой базой. Специалисту нужно:
Ключевой стек технологий программиста — языки Python и SQL, фреймворки NumPy, Matplotlib, Pandas, Sklearn, PyTorch и Tensorflow. Также важно знать английский язык: почти все научные статьи, новости и интересные материалы в отрасли выходят именно на нём.
Зачастую этих навыков достаточно, чтобы претендовать на позиции для кандидатов уровня джуниор.
Так выглядят требования к джуниор-специалисту в ML-команду Самарского государственного медицинского университета. Источник:
А так — в команду GraviLink. Источник:
Среди основных софт-скиллов для ML-инженера можно выделить:
Даниил Корогодский
Главный исполнительный директор Essai, преподаватель курса «ML-инженер» Нетологии
Главный софт-скилл для ML-инженера — умение оценивать сроки и ментальные ресурсы для выполнения задачи. Не для босса, коллег или друзей, а для самого себя. Работы всегда достаточно, и если специалист не понимает собственных пределов — он окажется на верном пути к выгоранию.
Согласно данным
ML-инженеров ищет как крупный бизнес: Сбер, Яндекс, Тинькофф, Циан — так и небольшие компании.
Даниил Корогодский
Главный исполнительный директор Essai, преподаватель курса «ML-инженер» Нетологии
ML-инженеры нужны почти всем большим технологическим компаниям, даже если их основные продукты не созданы на базе искусственного интеллекта. Технологическое отставание в этой нише сегодня крайне невыгодно. Небольшие компании тоже охотно берут специалистов.
Зарплаты в отрасли в перспективе будут расти. В последние годы мир переживает бум интереса к машинному обучению, создаются новые рынки и меняются старые. Например, на базе одного лишь ChatGPT уже появились стартапы суммарно на два миллиарда долларов.
Кроме того, сейчас у ML-инженеров много возможностей для работы на международном рынке. Поэтому российские компании постоянно индексируют зарплату, чтобы оставаться конкурентоспособными в найме.
Конкретные зарплатные вилки зависят от опыта и навыков специалиста, масштаба компании и уровня задач.
ML-инженеру уровня джуниор в компании GraviLink предлагают до 2 000 долларов в месяц: по курсу на 13 июля 2023 года — около 180 000 рублей. Специалисту предстоит работать над погодоустойчивыми беспилотниками.
Источник:
Разработчик систем компьютерного зрения и видеоаналитики Tevian готов платить начинающим инженерам c небольшим опытом чуть больше — до 200 000 рублей в месяц. Основные задачи специалиста будут касаться систем распознавания.
Источник:
В университете ИТМО мидл-специалист может получать от 175 000 до 285 000 рублей до вычета налогов. Задача кандидата — разрабатывать, оптимизировать и валидировать модели, а также проводить эксперименты.
Источник:
В компании Alliesverse, где создают универсальную платформу управления бизнесом, программисту среднего уровня предлагают вилку от 250 000 до 300 000 рублей ежемесячно. ML-инженеру в команде нужно будет работать с языковыми моделями.
Источник:
В Циане ML-инженеру уровня сеньор обещают платить от 350 000 рублей в месяц. Специалисту предстоит разрабатывать и внедрять в продакшн модели машинного обучения, координировать работу команды и развивать процессы MLOps.
Источник:
В Сбере главному ML-инженеру готовы платить от 250 000 до 500 000 рублей в месяц. Специалист займётся разработкой и внедрением алгоритмов в области рекомендательных систем.
Источник:
Самые высокие зарплаты — в иностранных компаниях. В американском стартапе Intelas специалист с опытом от шести лет может получать до $10 000 до вычета налогов: по курсу на 13 июля 2023 — около 906 000 рублей.
Источник:
Получить профессию можно несколькими способами ↓
Самостоятельное обучение — долгий и сложный, но всё же вполне возможный вариант для будущего ML-инженера. Начать стоит с основ алгебры, теории вероятности, статистики, алгоритмов и основных принципов проектирования в программировании. После можно приступать к изучению теории самого машинного обучения и осваивать стек технологий.
Даниил Корогодский
Главный исполнительный директор Essai, преподаватель курса «ML-инженер» Нетологии
Новичку важно освоить основной стек ML-инженера: язык и фреймворки. Также стоит сделать несколько pet-проектов — собственных разработок, работа над которыми поможет закрепить изученный материал.
Изучить машинное обучение и пополнить портфолио реальными кейсами можно в бакалавриате
Альтернатива высшему образованию и Школе Яндекса —
Курс длится 13 месяцев. За это время студенты осваивают Python для работы с данными, учатся строить основные модели машинного обучения и внедрять их в продакшн, обучать нейронные сети и лидировать Data Science-проекты. Итоговая работа на курсе — построение и локальный запуск обученной модели в контейнере Docker.
Профессия
Узнать больше
Книги и конспекты
Telegram-каналы и блоги
Даниил Корогодский
Главный исполнительный директор Essai, преподаватель курса «ML-инженер» Нетологии
Рекомендую:
ML-инженер — это специалист, который пишет и обучает модели машинного обучения. Модели, созданные специалистом, помогают бизнесу внедрять в работу новые решения, оптимизировать процессы и выдерживать технологическую конкуренцию.
Зарплата ML-инженера — одна из самых высоких на российском рынке труда. В среднем начинающий специалист может рассчитывать на оклад в 80 000 — 100 000 рублей. Опытные инженеры получают от 250 000 рублей в месяц.
Для качественной работы ML-инженер должен знать английский язык, хорошо понимать основы математики, компьютерных наук и предметной области, а также владеть широким набором инструментов. Изучить профессию можно самостоятельно, в бакалавриате вузов и профессиональных школах, а также на онлайн-курсах.
Читать также
Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши
Полина Колосова
Автор-фрилансер
The post
You do not have permission to view link please Вход or Регистрация
, профессия ML-инженера занимает шестое место среди самых высокооплачиваемых IT-профессий в России. Специалисты в этой отрасли помогают бизнесу быстро решать сложные задачи с помощью моделей машинного обучения.В этой статье расскажем, как выглядит работа ML-инженера, какие навыки ему требуются и сколько он зарабатывает. Материал будет полезен начинающим специалистам по машинному обучению и тем, кто хочет сменить область в IT или освоить новую специальность.
Полина Колосова
Автор-фрилансер
В материале
You do not have permission to view link please Вход or Регистрация
You do not have permission to view link please Вход or Регистрация
You do not have permission to view link please Вход or Регистрация
You do not have permission to view link please Вход or Регистрация
You do not have permission to view link please Вход or Регистрация
You do not have permission to view link please Вход or Регистрация
You do not have permission to view link please Вход or Регистрация
Благодарим Даниила Корогодского, главного исполнительного директора Essai и преподавателя курса «
You do not have permission to view link please Вход or Регистрация
» Нетологии, за помощь в подготовке материала.Что такое машинное обучение
Машинное обучение (от английского machine learning, ML) — научная область на стыке алгоритмов и математической статистики. С помощью ML можно создавать программы, которые ищут закономерности в данных о реальном мире и решают задачи бизнеса.
Программы бывают разными: от классификации изображений по какому-либо признаку до сложных систем, выявляющих рак по рентгеновским изображениям.
Это простая задача классификации изображений: модели нужно научиться отличать фотографии собак от картинок с едой
Здесь задача посложнее: модель учат выявлять злокачественные опухоли по изображениям. На снимке — результат УЗИ, где программа успешно выделила новообразования. Источник:
You do not have permission to view link please Вход or Регистрация
Главные компоненты машинного обучения — данные, признаки и алгоритмы.
- Данные. Для предсказания курса акций нужна история цен, а для определения интересов пользователя — лайки и репосты. Качество результата напрямую зависит от качества и количества данных: чем они разнообразнее, тем проще машине найти закономерности и тем точнее выходит результат.
- Признаки, или фичи — переменные, которые описывают отдельные характеристики объекта, важные для обучения.
- Алгоритмы, или модели — методы решения задачи. От выбора метода зависит точность, скорость работы и размер готовой модели.
Сегодня машинное обучение активнее всего использует бизнес. С помощью моделей компании улучшают пользовательский опыт, оптимизируют внутренние процессы и получают технологическое преимущество перед конкурентами.
Reels в Instagram* работают по принципу рекомендательных систем. Приложение формирует для пользователя умную ленту и показывает видео на основе предыдущих оценок. Например, смешные ролики про работу
* Instagram — проект Meta Platforms, Inc., деятельность которой в России запрещена.
На скриншотах — чат с виртуальным помощником Алисой от Яндекса. Алиса тоже существует благодаря машинному обучению. Программа может распознавать естественную речь, имитировать живой диалог, решать задачи, писать тексты и предлагать идеи
Чем занимается ML-инженер
Специалист по машинному обучению создаёт, обучает и тестирует ML-модели. Этот процесс можно условно разделить на пять больших этапов:
Потом специалист делит массив данных на тренировочный, валидационный и тестовый датасеты. Тренировочный используется для первоначального обучения модели, валидационный — для настройки параметров и отладки процесса, а тестовый — для окончательной оценки производительности.
Представим, что специалист хочет научить программу давать рекомендации пользователю на основе его локации. Подходящей моделью для такой задачи станет один из методов обучения с учителем. Компьютер будет искать закономерности в полностью размеченных данных с переменными, две из которых — номера пользователей и названия городов.
Чтобы алгоритму было легче воспринимать признаки, специалист закодирует текстовую информацию в комбинацию цифр 0 и 1. Выглядеть это будет так:
Это фрагменты датасета без спроектированной фичи — и с ней. Источник:
You do not have permission to view link please Вход or Регистрация
Затем модель проверяют на валидационной и тестовой выборках. Это позволяет оценить, насколько хорошо программа обобщает найденные закономерности.
Конкретные задачи ML-инженера могут сильно различаться в зависимости от его уровня и направления работы самой компании. Например, вот чем предстоит заниматься начинающему инженеру в компании GraviLink:
Источник:
You do not have permission to view link please Вход or Регистрация
А это — задачи программиста уровня сеньор в компании Nedra Digital:
Источник:
You do not have permission to view link please Вход or Регистрация
Какие знания и навыки требуются ML-инженеру
Чтобы качественно справляться с рабочими задачами, ML-инженер должен обладать крепкой базой. Специалисту нужно:
- хорошо понимать основы математики — математический анализ, теорию вероятностей, линейную алгебру и статистику;
- знать главные положения компьютерных наук — принципы объектно-ориентированного программирования, алгоритмы, шаблоны и паттерны проектирования;
- разбираться в машинном обучении — основах классического и глубокого обучения, компьютерного зрения и обучения с подкреплением, работе современных нейронных сетей.
Ключевой стек технологий программиста — языки Python и SQL, фреймворки NumPy, Matplotlib, Pandas, Sklearn, PyTorch и Tensorflow. Также важно знать английский язык: почти все научные статьи, новости и интересные материалы в отрасли выходят именно на нём.
Зачастую этих навыков достаточно, чтобы претендовать на позиции для кандидатов уровня джуниор.
Так выглядят требования к джуниор-специалисту в ML-команду Самарского государственного медицинского университета. Источник:
You do not have permission to view link please Вход or Регистрация
А так — в команду GraviLink. Источник:
You do not have permission to view link please Вход or Регистрация
Среди основных софт-скиллов для ML-инженера можно выделить:
- Аналитическое мышление. Для работы с алгоритмами ML-инженеру важно уметь оценивать и структурировать информацию, находить взаимосвязи и делать выводы.
- Навыки коммуникации. Подавляющее большинство проектов в машинном обучении выполняют команды. Для качественной работы специалисту нужно уметь договариваться, сотрудничать и доносить свою точку зрения.
- Инициативность. Машинное обучение активно развивается — специалист должен не только разбираться в основах, но и быть готовым постоянно учиться, актуализировать навыки и следить за новостями в отрасли.
Даниил Корогодский
Главный исполнительный директор Essai, преподаватель курса «ML-инженер» Нетологии
Главный софт-скилл для ML-инженера — умение оценивать сроки и ментальные ресурсы для выполнения задачи. Не для босса, коллег или друзей, а для самого себя. Работы всегда достаточно, и если специалист не понимает собственных пределов — он окажется на верном пути к выгоранию.
Где работает и сколько зарабатывает ML-инженер
Согласно данным
You do not have permission to view link please Вход or Регистрация
, средняя зарплата ML-инженера в России — 212 600 рублей. На момент подготовки статьи для специалистов открыто более 1 000 вакансий на сайтах интернет-рекрутинга.
ML-инженеров ищет как крупный бизнес: Сбер, Яндекс, Тинькофф, Циан — так и небольшие компании.
Даниил Корогодский
Главный исполнительный директор Essai, преподаватель курса «ML-инженер» Нетологии
ML-инженеры нужны почти всем большим технологическим компаниям, даже если их основные продукты не созданы на базе искусственного интеллекта. Технологическое отставание в этой нише сегодня крайне невыгодно. Небольшие компании тоже охотно берут специалистов.
Зарплаты в отрасли в перспективе будут расти. В последние годы мир переживает бум интереса к машинному обучению, создаются новые рынки и меняются старые. Например, на базе одного лишь ChatGPT уже появились стартапы суммарно на два миллиарда долларов.
Кроме того, сейчас у ML-инженеров много возможностей для работы на международном рынке. Поэтому российские компании постоянно индексируют зарплату, чтобы оставаться конкурентоспособными в найме.
Конкретные зарплатные вилки зависят от опыта и навыков специалиста, масштаба компании и уровня задач.
ML-инженеру уровня джуниор в компании GraviLink предлагают до 2 000 долларов в месяц: по курсу на 13 июля 2023 года — около 180 000 рублей. Специалисту предстоит работать над погодоустойчивыми беспилотниками.
Источник:
You do not have permission to view link please Вход or Регистрация
Разработчик систем компьютерного зрения и видеоаналитики Tevian готов платить начинающим инженерам c небольшим опытом чуть больше — до 200 000 рублей в месяц. Основные задачи специалиста будут касаться систем распознавания.
Источник:
You do not have permission to view link please Вход or Регистрация
В университете ИТМО мидл-специалист может получать от 175 000 до 285 000 рублей до вычета налогов. Задача кандидата — разрабатывать, оптимизировать и валидировать модели, а также проводить эксперименты.
Источник:
You do not have permission to view link please Вход or Регистрация
В компании Alliesverse, где создают универсальную платформу управления бизнесом, программисту среднего уровня предлагают вилку от 250 000 до 300 000 рублей ежемесячно. ML-инженеру в команде нужно будет работать с языковыми моделями.
Источник:
You do not have permission to view link please Вход or Регистрация
В Циане ML-инженеру уровня сеньор обещают платить от 350 000 рублей в месяц. Специалисту предстоит разрабатывать и внедрять в продакшн модели машинного обучения, координировать работу команды и развивать процессы MLOps.
Источник:
You do not have permission to view link please Вход or Регистрация
В Сбере главному ML-инженеру готовы платить от 250 000 до 500 000 рублей в месяц. Специалист займётся разработкой и внедрением алгоритмов в области рекомендательных систем.
Источник:
You do not have permission to view link please Вход or Регистрация
Самые высокие зарплаты — в иностранных компаниях. В американском стартапе Intelas специалист с опытом от шести лет может получать до $10 000 до вычета налогов: по курсу на 13 июля 2023 — около 906 000 рублей.
Источник:
You do not have permission to view link please Вход or Регистрация
Как стать ML-инженером
Получить профессию можно несколькими способами ↓
Изучить самостоятельно
Самостоятельное обучение — долгий и сложный, но всё же вполне возможный вариант для будущего ML-инженера. Начать стоит с основ алгебры, теории вероятности, статистики, алгоритмов и основных принципов проектирования в программировании. После можно приступать к изучению теории самого машинного обучения и осваивать стек технологий.
Даниил Корогодский
Главный исполнительный директор Essai, преподаватель курса «ML-инженер» Нетологии
Новичку важно освоить основной стек ML-инженера: язык и фреймворки. Также стоит сделать несколько pet-проектов — собственных разработок, работа над которыми поможет закрепить изученный материал.
Поступить в профильный вуз
Изучить машинное обучение и пополнить портфолио реальными кейсами можно в бакалавриате
You do not have permission to view link please Вход or Регистрация
,
You do not have permission to view link please Вход or Регистрация
и
You do not have permission to view link please Вход or Регистрация
. Углубить знания помогут магистерские программы этих же вузов.Пройти курс «ML-инженер» от Нетологии
Альтернатива высшему образованию и Школе Яндекса —
You do not have permission to view link please Вход or Регистрация
. Программа подойдёт аналитикам, начинающим программистам и опытным разработчикам.Курс длится 13 месяцев. За это время студенты осваивают Python для работы с данными, учатся строить основные модели машинного обучения и внедрять их в продакшн, обучать нейронные сети и лидировать Data Science-проекты. Итоговая работа на курсе — построение и локальный запуск обученной модели в контейнере Docker.
ML-инженер
Узнать больше
- Освоите востребованную профессию на стыке Data Science и инженерии данных
- Будете учиться у экспертов из Amazon, Яндекса, Сбера. На практике разберётесь, как строить ML-модели и выводить их в продакшн
- Добавите более 7 проектов в портфолио и сможете начать искать работу уже через 6-7 месяцев обучения
Что почитать ML-инженеру
Книги и конспекты
-
You do not have permission to view link please Вход or РегистрацияЗакари Липтона, Му Ли, Александра Смола и Астона Чжана. Учебник по глубокому обучению для начинающих программистов.
-
You do not have permission to view link please Вход or РегистрацияМарка Питера Дейзенрота и Чэн Сун Онг. Пособие по математическим основам главных концепций машинного обучения.
-
You do not have permission to view link please Вход or РегистрацияКристофера Бишопа. Учебник по теории распознавания образов.
-
You do not have permission to view link please Вход or РегистрацияДжакоба Вандерпласа. Учебное пособие по Python, IPython, NumPy, Pandas, Matplotlib, SkLearn и другим связанным инструментам.
-
You do not have permission to view link please Вход or РегистрацияАллена Дауни. Введение в байесовскую статистику с использованием вычислительных методов.
-
You do not have permission to view link please Вход or РегистрацияАллена Дауни. Практическое руководство по языку Python.
-
You do not have permission to view link please Вход or РегистрацияАллена Дауни. Введение в статистический анализ в программировании.
-
You do not have permission to view link please Вход or РегистрацияРичарда Саттона и Эндрю Барто. Описание ключевых идей и алгоритмов обучения с подкреплением от истории основ области до последних разработок.
-
You do not have permission to view link please Вход or Регистрацияот Школы анализа данных Яндекса. Пособие по классической теории и тонкостям реализации алгоритмов.
-
You do not have permission to view link please Вход or Регистрация. Открытая библиотека с учебной литературой и конспектами лекций по машинному обучению и смежным областям.
Telegram-каналы и блоги
-
You do not have permission to view link please Вход or Регистрация. Ресурс о машинном обучении и больших данных.
- «
You do not have permission to view link please Вход or Регистрация». Разборы актуальных научных статей про новинки в области искусственного интеллекта и нейронных сетей.
Даниил Корогодский
Главный исполнительный директор Essai, преподаватель курса «ML-инженер» Нетологии
Рекомендую:
-
You do not have permission to view link please Вход or Регистрация. Блог о науках о данных и машинном обучении.
-
You do not have permission to view link please Вход or Регистрация. Огромное количество примеров кода от Джейсона Браунли, магистра и доктора наук в области искусственного интеллекта.
Резюмируем
ML-инженер — это специалист, который пишет и обучает модели машинного обучения. Модели, созданные специалистом, помогают бизнесу внедрять в работу новые решения, оптимизировать процессы и выдерживать технологическую конкуренцию.
Зарплата ML-инженера — одна из самых высоких на российском рынке труда. В среднем начинающий специалист может рассчитывать на оклад в 80 000 — 100 000 рублей. Опытные инженеры получают от 250 000 рублей в месяц.
Для качественной работы ML-инженер должен знать английский язык, хорошо понимать основы математики, компьютерных наук и предметной области, а также владеть широким набором инструментов. Изучить профессию можно самостоятельно, в бакалавриате вузов и профессиональных школах, а также на онлайн-курсах.
Читать также
You do not have permission to view link please Вход or Регистрация
You do not have permission to view link please Вход or Регистрация
You do not have permission to view link please Вход or Регистрация
Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши
You do not have permission to view link please Вход or Регистрация
. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к
You do not have permission to view link please Вход or Регистрация
.
Полина Колосова
Автор-фрилансер
The post
You do not have permission to view link please Вход or Регистрация
first appeared on
You do not have permission to view link please Вход or Регистрация
.
