Прорыв в области слуховых аппаратов: теперь они обладают «зрительным» восприятием звука
Группа ученых представила инновационный прототип слухового устройства
Группа выдающихся ученых из Национального университета Ченг Кунг, возглавляемая профессором И-Чуном Ду, представила инновационный прототип слухового устройства, переворачивающего представление о возможностях ассистивных технологий.
Это устройство представляет собой уникальный синтез передовых технологий, включая компьютерное зрение, интеллектуальные алгоритмы и микрофонные решетки.
Профессор Ду подчеркнул, что точное определение источника звука имеет фундаментальное значение для улучшения качества жизни и безопасности людей с нарушениями слуха.
«Мы нацелены на внедрение этого инновационного устройства в повседневную жизнь людей, сталкивающихся с проблемами слуха, с тем, чтобы радикально улучшить их общую жизнь», - отметил профессор.
Устройство включает в себя революционный двухслойный микрофонный массив, дислоцированный на ушах, а также портативное устройство с видеокамерой и системой компьютерного зрения, установленное на шее. Специализированные алгоритмы обеспечивают распознавание лиц в поле зрения камеры для точного определения направления звука. Даже в тех случаях, когда источник звука выходит за пределы видимости камеры, применяется другой алгоритм, опирающийся на анализ угла прибытия звуковой волны и временные задержки.
Специальный алгоритм микширования регулирует звуковые волны в наушниках, обеспечивая точное определение направления звука и динамическую настройку громкости для создания впечатления полного погружения в звуковое пространство.
Результаты тестирования на 30 пациентах с нарушениями слуха свидетельствуют о впечатляющей эффективности устройства. Система компьютерного зрения демонстрировала высокую точность в 94% при определении источника звука на расстояниях, типичных для общения (до 160 см). Даже при отсутствии использования камеры, алгоритмы, основанные на микрофонных данных, обеспечивали точность более 90%.
Специализированный алгоритм микширования успешно корректировал громкость левого и правого звуковых каналов в наушниках, что значительно повысило точность определения направления звука. В дополнительных исследованиях с использованием комбинированных технологий удалось достичь 100% успешных попыток по тестированию направления звука среди пожилых участников.
Несмотря на ограниченный угол обзора видеокамеры (75 градусов), который нельзя сравнить с углом человеческого зрения (120 градусов), команда ученых активно рассматривает внедрение широкоугольных объективов или дополнительных камер для расширения зоны распознавания и создания более комфортного устройства для повседневного использования.
Исследователи также ведут переговоры с потенциальными партнерами о коммерциализации этой передовой технологии, а также планируют дальнейшие исследования, включая интеграцию функций распознавания лиц и голосов для автоматического определения собеседников в поле зрения камеры.
Эти инновации могут значительно улучшить комфорт и качество восприятия окружающего звукового пространства для пользователей
Это устройство представляет собой уникальный синтез передовых технологий, включая компьютерное зрение, интеллектуальные алгоритмы и микрофонные решетки.
Профессор Ду подчеркнул, что точное определение источника звука имеет фундаментальное значение для улучшения качества жизни и безопасности людей с нарушениями слуха.
«Мы нацелены на внедрение этого инновационного устройства в повседневную жизнь людей, сталкивающихся с проблемами слуха, с тем, чтобы радикально улучшить их общую жизнь», - отметил профессор.
Устройство включает в себя революционный двухслойный микрофонный массив, дислоцированный на ушах, а также портативное устройство с видеокамерой и системой компьютерного зрения, установленное на шее. Специализированные алгоритмы обеспечивают распознавание лиц в поле зрения камеры для точного определения направления звука. Даже в тех случаях, когда источник звука выходит за пределы видимости камеры, применяется другой алгоритм, опирающийся на анализ угла прибытия звуковой волны и временные задержки.
Специальный алгоритм микширования регулирует звуковые волны в наушниках, обеспечивая точное определение направления звука и динамическую настройку громкости для создания впечатления полного погружения в звуковое пространство.
Результаты тестирования на 30 пациентах с нарушениями слуха свидетельствуют о впечатляющей эффективности устройства. Система компьютерного зрения демонстрировала высокую точность в 94% при определении источника звука на расстояниях, типичных для общения (до 160 см). Даже при отсутствии использования камеры, алгоритмы, основанные на микрофонных данных, обеспечивали точность более 90%.
Специализированный алгоритм микширования успешно корректировал громкость левого и правого звуковых каналов в наушниках, что значительно повысило точность определения направления звука. В дополнительных исследованиях с использованием комбинированных технологий удалось достичь 100% успешных попыток по тестированию направления звука среди пожилых участников.
Несмотря на ограниченный угол обзора видеокамеры (75 градусов), который нельзя сравнить с углом человеческого зрения (120 градусов), команда ученых активно рассматривает внедрение широкоугольных объективов или дополнительных камер для расширения зоны распознавания и создания более комфортного устройства для повседневного использования.
Исследователи также ведут переговоры с потенциальными партнерами о коммерциализации этой передовой технологии, а также планируют дальнейшие исследования, включая интеграцию функций распознавания лиц и голосов для автоматического определения собеседников в поле зрения камеры.
Эти инновации могут значительно улучшить комфорт и качество восприятия окружающего звукового пространства для пользователей