Устройство для оповещения
лиц с нарушением слуха


Анализ звуков в помещении и отправка уведомлений на смарт-устройство клиента

Коротко о проекте

Смарт-устройство, помогающее людям с нарушением слуха получать уведомления об изменении обстановки в пространстве. 

Клиент

Под NDA

Сфера

Startups, HealthTech

Трудозатраты, ч

1000

Страна

Тайвань

О клиенте

Стартап родом из Тайваня. Лидер проекта имеет большой опыт корпоративного управления в крупных международных компаниях. Данный проект направлен на решение социально значимой проблемы для людей с нарушением слуха. Проект прошел несколько стадий инвестирования. 

Задача

Нарушение слуха ведет к невозможности корректного выполнения ряда бытовых функций и лишает возможности быстрого реагирование на сигналы опасности.  

Система состоит из комплекса устройств: станция с 7-ю разнонаправленными микрофонами и стороннее смарт устройство, например, смарт-часы, а также программная начинка: софт управления и интеллектуальное ядро распознавания аудиосигналов.  

Нашей командой реализованы следующий задачи:

Аналитика

Собраны требования и разработана техническая спецификация

Веб и мобильное приложение

Созданы софт управления устройством и пользовательское приложение

Интеллектуальный сервис

Разработан модуль распознавания аудиосигналов

Устройство

Доработана “железная” часть, в основе плата ReSpeaker

Решение

Как это работает?

Станция устанавливается в квартире в месте наилучшего покрытия пространства микрофонами. Система распознает наборов из 25 звуков, такие как лай собаки, шум воды, крик, плач ребенка и отправлять уведомление об опасности на устройство пользователя. Микрофон работает в фоновом режиме, постоянно прослушивая пространство квартиры. Производится классификация по предобученному набору звуков, что снижает возможность ложных срабатываний системы. 

Основные функции:

Данное устройство не требует постоянного подключения к интернету. Это очень важно, так как к минимуму сводит риск недоступности сервиса, что является жизненной необходимостью и гарантией безопасности. 

Команда проекта:
Технологии и инструменты:

Технологии: Python, GO, Pytorch, ReSpeaker, Swagger, Flutter, Docker.

Инструменты: Docker, Apollo, Hasura, Figma, Click Up.

1
микрофонов покрывают площадь комнаты
1
типов звуков распознает устройство
0.1
% точность распознавания звуков

Результат

Основным критерием успешности проекта, являлась метрика точность (accuracy) – это доля правильных ответов алгоритма. Точность классификации на требуемом наборе данных составила более 97%. Данный результат был высоко оценен клиентом и подтверждает высокое качество работы системы.

Результатом работы стал программно-аппаратный комплекс:

Инсайды

Область применения подобных устройств с применением машинного слуха достаточно обширна. С помощью обработки аудиосигналов, можно не только восполнять потерянный человеком слух, но и анализировать обстановку на разнообразных объектах, предотвращать опасность и предсказывать поломки аппаратов и деталей механизмов. 

Разработка интеллектуальных систем для решения Ваших задач

Заполните форму и менеджер проконсультирует о том как реализовать проект. Ваша идея для нас ценность, а партнерство превращается в дружбу

    Заполните форму для связи с нами

    В течении суток с Вами свяжется менеджер