Исследование.
От теоретической концепции до технической реализации

Что понимается под исследованием (или discovery phase)? В традиционной разработке программного обеспечения этап discovery phase используется для формирования требований к разработке программного обеспечения, но при создании решений с нейросетями исследования имеют более важную роль.

Разработка нового программного продукта начинается с гипотезы, что использование нового процесса сможет принести бизнесу улучшения. Любая программа в своей основе должна иметь экономическое обоснование, то есть ее внедрение должно принести пользу.

Программные продукты имеющие в основе алгоритмы машинного обучения состоят из двух больших частей:

 

Исследования для разработки нейронных сетей.

Во-первых, нужно разобраться так ли необходимы столь сложные инструменты для решения задачи? Чтобы ответить на этот вопрос можно проконсультироваться с нашими аналитиками или запросить оценку задачи.

Например, использование анализа текста иногда можно заменить регулярными выражениями или изменением бизнес-логики системы. Наша команда поможет определиться какой путь решения задачи лучший: как по сложности реализации, так и с точки зрения экономии времени и ресурсов.

Во-вторых, нужно понять обладает ли заказчик необходимыми данными для создания нейронной сети. Успех во многом состоит из того, насколько качественные данные находятся в распоряжении команды и насколько хорошо они размечены. На этапе исследования мы предлагаем и описываем несколько подходов к работе с данными:

  1. сбор данных самостоятельно Заказчиком.
    В рамках исследования мы описываем рекомендации по сбору данных: какое качество, какой формат, какая достаточность экземпляров, как нужно валидировать данные, как разделить данные на тренировочную и тестовые выборки и так далее. Вы получаете пошаговый план по сбору и разметки данных. Этот путь можно назвать приоритетным, так как доступ к данным полностью находится под Вашим контролем;
  2. сбор данных силами наших дата-инженеров и асессоров.
    Описываем процесс, при котором мы своими силами собираем и подготавливаем данные;
  3. внешние способы сбора данных.
    Зачастую бывает, что данные проще купить или собрать с помощью компаний, которые специализированно занимаются работой с данными (Яндекс.Толока, Amazon Mechanical Turk и т.д.). В исследовании мы описываем процесс работы, стоимость различных вариантов, помогаем выбрать лучший, даем рекомендации и помогаем построить эту работу.

Кроме того, будучи продуктовой компании, мы накопили собственные наборы данных, которые могут быть полезны для решения Ваших задач. (обращайтесь по поводу лицензий).

Архитектуры и при-трейн модели

На следующем этапе наши аналитики подготовят отчеты о наиболее успешных известных архитектурах. Использование при-трейн моделей с открытой лицензией позволит сократить время и деньги и отлично подходит для подтверждения гипотезы. Мы изучаем несколько подходов, выбираем то, что может дать лучший результат.

Мы разрабатываем нейронные сети сами и это важно. Подтвердив жизнеспособность гипотезы, мы создаем собственную нейронную сеть. Собственные разработки значительно повышают качество работы моделей по ключевым метрикам. В исследовании мы подробно описываем, выбранную архитектуру, обосновываем выбор и предлагаем ознакомится с результатами предварительных экспериментов. Вам будет доступно наглядное сравнение нескольких решений для выбора лучшего.

Обучение модели на имеющихся данных.

В ходе тестов и экспериментов мы понимаем, каким образом можно добиться лучшего результата (SOTA-подход), мы добавляем или убираем слои, изменяем характеристики слоев. Эти гипотезы подробно описываются в исследование. На данном этапе мы можем прогнозировать ожидаемое качество работы модели.

Требуемые ресурсы

Важным этапом исследования является описание необходимых вычислительных ресурсов. Важно понимать, что работа нейронных требует вычислительных затрат как на этапе проведения экспериментов, так и инференса на конечном устройстве. В исследованиях мы особое внимание уделяем оптимизации моделей машинного обучения. Мы можем предложить локальные и облачные варианты расположения ресурсова и спрогнозировать затраты на вычисления в продуктовой версии продукта. Кроме того, обладая большим опытом разработки смарт-устройств можем предложить и варианты, при которых нейронные сети работают на эмбеддед-устройствах, в том числе и носимых, используя передовых методы оптимизации и новейшие библиотеки.

Мы являемся официальными партнерами

NVIDIA Inception programm
Яндекс Облако
Amazon.Cloud

Проводим консультации и исследования. Оставьте заявку и мы обсудим ваш проект!

about left

Наши решения для начала работы с ML

Консультирование

Внедрение нейросетей - не универсальное решение всех проблем. Наши специалисты готовы обсудить с вами применимость ML-решений в вашем конкретном случае.

Исследования

Применение нейросетей требует тщательной подготовки и оценки. Специалисты Estesis соберут актуальную информацию и сформируют для вас подробный тематический отчет.

Наши кейсы с исследованиями

Artificial intelligence solutions!

Решения с ML, HighLoad проекты и RnD на благо вашего бизнеса.

В нашей команде есть ученые с мировым именем в области науки о данных, более 25 научных публикаций, 3 инновационных продукта прошли государственную регистрацию.

Руководители проектов готовы работать с вами на русском, английском и китайском языках.

    Заполните форму для связи с нами

    В течении суток с Вами свяжется менеджер.

    Registration

    Forgotten Password?