У світі живе близько 360 млн людей, які через суттєве зниження слуху спілкуються за допомогою мови жестів. Це викликає проблеми, якщо потрібно поговорити з тими, хто не знає жестів. Microsoft допомагає долати цю перешкоду, розвиваючи проект перекладача на базі контролера Kinect. А щоб така технологія стала більш функціональною та швидше прийшла в маси, компанія започаткувала спільноту Kinect Sign Language Working Group. Вона покликана прискорити профільні наукові розробки та створення споживчих гаджетів.

На першій зустрічі Kinect Sign Language Working Group

Проект Kinect Sign Language Translator – це спільний проект Microsoft Research Asia, Академії наук Китаю, пекінського університету Union. Він розпочався два роки тому, а вже в 2013 році науковці показали перший робочий прототип.

Система працює наступним чином: глухоніма людина показує жестами слова, а датчики контролера Kinect записують їх, аналізують та перетворюють на звуки. Kinect Sign Language Translator також перекладає в зворотному напрямку: він записує голос користувача та перетворює його на мову жестів за допомогою тривимірного віртуального персонажа, який відображається на моніторі. Уся робота проходить у реальному часі, що прокладає міст між світами глухонімих і тих, хто розмовляє.

Однак прототип технології – це лише перший крок на шляху її доступності користувачам. Для розробки фінальних версій потрібні додаткові дослідження та розробки, і їх силами одних Microsoft, Академії наук Китаю та пекінського університету Union не виконати. Тому минулого місяця вони створили спільноту Kinect Sign Language Working Group, яка стимулює обмін даними та інформацією при роботі над перекладачем для глухих. Вона має , а перша зустріч її учасників пройшла в Інституті комп’ютерних технологій при Академії наук Китаю.

Мета новоствореної групи – прогрес у розпізнаванні мови жестів

 Спільнота ставить собі завдання поглибити дослідження в розпізнаванні знаків. Тому до неї можуть приєднуватися спеціалісти з інших установ: наукових інститутів, шкіл для глухих та недержавних організацій.

У свою чергу Microsoft відкриває наукові спільноті доступ до бази DEVISIGN, яка містить в собі жести китайської мови знаків. Її скомпонувала група Visual Information Processing and Learning (VIPL) при Інституті комп’ютерних технологій за спонсорства Microsoft Research Asia. DEVISIGN містить близько 4400 стандартних слів китайської мови жестів, які базуються на 331 050 одиницях словарної інформації від 30 джерел (13 чоловіків та 17 жінок). До неї входять відеофайли у форматі AVI, а також інформація про глибину у форматі BIN. З DEVISIGN дослідники матимуть набір даних для тренування своїх алгоритмів, які вони потім втілять у практичних розробках.

У найближчому майбутньому ця база інформації про мову жестів розшириться з допомогою нових учасників. Це допоможе в розвитку технологій перекладу з китайських жестів та інших діалектів. Окрім цього, Microsoft планує організувати майданчик, на якому будуть публікуватися алгоритми від дослідників з усього світу.

Директор Microsoft Research Asia Тім Пан (Tim Pan) очікує, що проект Kinect Sign Language зможе створити дешевий та надійний спосіб спілкування між здоровими та глухими людьми

«У довготривалій перспективі, – каже директор Microsoft Research Asia Тім Пан (Tim Pan), – учасники спільноти будуть співпрацювати разом, щоб перетворити свої ідеї на реальність. Ми сподіваємося, що Kinect Sign Language надасть дешевий та надійний спосіб комунікації для глухих і тих, хто чує».