Система оповещения
для лиц с нарушением слуха

Устройство для классификации сигналов окружающей среды и уведомления владельца.

 
 

Коротко о проекте

Смарт устройство, помогающие людям с нарушением слуха получать уведомления об изменении обстановки в пространстве. 

Клиент

EnvSound

Сфера

Startups

Срок

5 месяцев

О клиенте

Стартап родом из Тайваня. Лидер проекта имеет большой опыт корпоративного управления в крупных международных компаниях. Данный проект направлен на решение социально значимой проблемы для людей с нарушением слуха. Проект прошел несколько стадий инвестирования. 

Задача

Нарушение слуха ведет к невозможности корректного выполнения ряда бытовых функций и лишает возможности быстрого реагирование на сигналы опасности.  

EnvSound – это система, состоящая из комплекса устройств: станция с 7-ю разнонаправленными микрофонами и стороннее смарт устройство, например, смарт-часы (любой марки с поддержкой операционных систем WatchOS, WearOS, TizenOS) и программная начинка: софт управления и ядро машинного обучения для распознавания звуков.  

Нашей командой реализованы следующий задачи:

Аналитика

Сагрегированы требования и сформирована техническая спецификация

Разработка

Написан софт управления устройством

ML-ядро

Разработаны и обучены модели машинного обучения по нескольким архитектурам

Hardware

Доработана hardware часть: за основу взята плата ReSpeaker

Решение

Порядок работы решения:

Станция устанавливается в квартире в месте наилучшего покрытия пространства микрофонами. Система обучена распознавать определенные наборы звуков (порядка 25 классов), такие как лай собаки, шум воды, крик, плач ребенка и отправлять уведомление об опасности на устройство пользователя. Микрофон работает в фоновом режиме, постоянно прослушивая пространство квартиры. Производится классификация по предобученному набору звуков, что снижает возможность ложных срабатываний системы. 

Основные функции:

Данный набор сервисов работает локально (не требует интернет подключения) на плате ReSpeaker, это очень важно, так как к минимуму сводит риск недоступности сервиса, что является жизненной необходимостью и гарантией безопасности. 

Команда проекта:

ML-модуль

Технологии и инструменты:

Технологии: Python, GO, Pytorch, ReSpeaker, Swagger, Flutter, Docker.

Инструменты: Docker, Apollo, Hasura, Figma, Click Up.

1
в этом году решение передано заказчику
1
типов шума окружающей среды различает устройство
1
направленных микрофонов в устройстве
0.1
% accuracy у классификации на требуемом наборе данных

Результат

Основным критерием успешности проекта, являлась метрика точность (accuracy) – это доля правильных ответов алгоритма. Точность классификации на требуемом наборе данных составил более 97%. Данный результат был высоко оценен клиентом и подтверждает высокое качество работы алгоритма.

Результатом работы стал программно-аппаратный комплекс:

Инсайды

Область применения подобных устройств с применением машинного слуха достаточно обширна. С помощью обработки аудиосигналов, можно не только восполнять потерянный человеком слух, но и анализировать обстановку на разнообразных объектах, предотвращать опасность и предсказывать поломки аппаратов и деталей механизмов. 

Artificial intelligence solutions!

Решения с ML, HighLoad проекты и RnD на благо вашего бизнеса.

В нашей команде есть ученые с мировым именем в области науки о данных, более 25 научных публикаций, 3 инновационных продукта прошли государственную регистрацию.

Руководители проектов готовы работать с вами на русском, английском и китайском языках.

    Заполните форму для связи с нами

    В течении суток с Вами свяжется менеджер.

    Registration

    Forgotten Password?