Сурдофон - программное средство мгновенного анимированного сурдоперевода

В Новосибирске, в Центре информационных технологий создали новейшее средство коммуникации, призванное устранить барьеры между слышашими и неслышащими собеседниками. Этот аппарат называется сурдофон.  

  Сурдофон поможет неслышащим использовать для функций сурдоперевода теле- и радиопрограмм, кинофильмов или потокового видео, а так же любых публичных выступлений, лекций и т.п.

фото   http://lomcap.ru
фото http://lomcap.ru

Описание продукта:

SaaS - облачный сервис, функционирующий как сурдопереводчик, пользовательский интерфейс которого встроен в мобильное устройство. Может быть использован для удаленного или непосредственного общения глухого и слышащего человека.

 

На экране мобильного устройства отображается жестовый язык, визуализированный посредством анимационного аватара. Анализ, обработка и преобразование звучащей речи ведется на удаленном сервере, используя разработанное ПО, через Интернет.

 

Основой (ядром) продукта является программный код, основанный на уникальном алгоритме смыслового анализа текста и преобразования звучащего языка в жестовый язык. Алгоритм использует международно-признанную Гамбургскую Систему Нотаций (HamNoSys) жестового языка и может быть доработан для сурдоперевода на любые жестовые языки мира.

 

Продукт возможно использовать для функций сурдоперевода теле- и радиопрограмм, кинофильмов или потокового видео, а так же любых публичных выступлений, лекций и т.п. lomcap.ru

Аналогов у нашего программного обеспечения, насколько нам известно, нет. В свое время был запущен проект по созданию компьютерного сурдопереводчика, который финансировала IBM. В нем принимали участие и российские специалисты. Но идея развития не получила. Последние известия о проекте были в 2007 году, и с тех пор о нем ничего не слышно. Думаю, они споткнулись о ключевую проблему, которую нужно было решить для реализации этой идеи, — как перевести смысл звучащей речи на язык жестов. Ее решение — технологическое ядро всех наших дальнейших разработок. Работа с семантическим блоком была самым сложным этапом. У нашей программы есть своя стратегия перевода — среди возможных вариантов она выбирает оптимальный. И делает это именно по правилам языка глухонемых, а не так, как обычно переводят на язык жестов: кто-то произнес какое-то слово — его показали. Люди, которые говорят на жестовом языке, не понимают такую речь.

Андрей Старков, исполнительный директор УК «Ломоносов Капитал», SmartNews

 

Уже через полгода создатели планируют вывести революционный продукт на рынок. С его помощью может быть решен целый спектр более чем актуальных проблем.

Самый очевидный вариант использования программы — создать плагин для телестудий. Телередакторы смогут загружать письменный текст передач, программа будет переводить его на язык жестов, а виртуальный сурдоперводчик в углу экрана телевизора переведет текст для зрителей с ограниченными возможностями.

Подавляющее большинство каналов на отечественном телевидении не утруждает себя сурдопереводом. И в итоге лишенные возможности слышать люди оказываются в информационном вакууме. Разве справедливо, что они не могут узнать, что им хочет сказать президент России?

Николай Кондратьев, председатель Красноярского регионального отделения Общероссийской общественной организации инвалидов «Всероссийское общество глухих», SmartNews

 

Инновационная разработка откроет инвалидам по слуху доступ на публичные лекции и выступления. Текст, который лектор или политик произносит в микрофон, после программной обработки можно будет синхронно выводить на большой экран. Что особенно важно, дети с ограниченными возможностями смогут не только полноценно воспринимать уроки в коррекционной школе, но даже посещать обычную школу.

То, как у нас сейчас проходят уроки в коррекционных школах для детей, лишенных слуха, — огромная проблема. Учителя не знают языка глухонемых, в классах работают сурдопереводчики. Грамотных специалистов катастрофически не хватает, возникают трудности перевода. В результате дети не могут понять, что им говорит учитель. О каком качестве обучения может идти речь? С таким образованием они не то что русский язык, даже язык жестов зачастую выучить нормально не могут.

Николай Кондратьев, председатель Красноярского регионального отделения Общероссийской общественной организации инвалидов «Всероссийское общество глухих», SmartNews

 

На следующем этапе создатели программы по сурдопереводу планируют создать desktop-приложение, которое позволит инвалидам по слуху пользоваться интернет-радио.

Одним из наиболее социально значимых результатов использования программы может стать установка в госучреждениях специальных коммуникаторов. Государственные служащие, к которым обращается инвалид по слуху, смогут с его помощью донести до него всю нужную информацию. Госслужащие будут произносить нужный текст в коммуникатор, а виртуальный переводчик на большом экране коммуникатора перескажет на языке глухонемых все, что они говорят. Это поможет решить поставленную государством стратегическую задачу – сделать государственные услуги доступными для всех слоев населения.

Сегодня инвалиды по слуху вынуждены при каждом обращении в государственное учреждение брать с собой сурдопереводчика. Максимум, на что они способны самостоятельно, – это отнести какую-нибудь справку. А вот с врачами, нотариусами, работниками ЖКХ, сотрудниками милиции, прокуратуры, суда, регистрационной палаты люди с ограниченными возможностями без посторонней помощи объясниться не могут. На сегодняшний день каждый инвалид по слуху по закону имеет право на 40 часов бесплатных услуг сурдопереводчика в год. Иметь-то он имеет, но вот только сурдопереводчиков на всех не хватает. Да и что такое 40 часов? Это очень мало. Приходится просить о помощи родственников, друзей. А если человек одинок? Или семья состоит из двух инвалидов по слуху? Что им тогда делать? Если новосибирская разработка поможет решить эту наболевшую проблему, то я считаю, ее создателям надо Нобелевскую премию дать!

Николай Кондратьев, председатель Красноярского регионального отделения Общероссийской общественной организации инвалидов «Всероссийское общество глухих», SmartNews

 

По замыслу разработчиков программы, финальным этапом станет создание мобильного приложения для смартфона. Установив его, человек, лишенный слуха, сможет принять звонок – он будет преобразован в видеоизображение.

Вот такие фантастические перспективы открывает изобретение ООО «Сурдофон». И это только в первом приближении – с началом коммерческого использования программы наверняка появится множество новых идей, как и где ее применить.

Все идеи и технологии, использованные при разработке программного обеспечения по переводу на язык жестов, принадлежат российским ученым.

Единственное программное обеспечение, которое разработано не нами – это открытый сервис Google по переводу звучащей русской речи в письменную. Если раньше с ним возникали проблемы, то теперь оно работает все лучше и лучше. Ошибок при переводе устной речи в письменную практически нет. Все остальные разработки – наше ноу-хау. И главной проблемой было, разумеется, создание программного обеспечения для перевода письменного текста в язык жестов. Это наша главная ценность, то, на чем базируются все последующие разработки. Ведь в чем здесь сложность? Нужно сохранить семантику предложений и одновременно вычленить наиболее значимую информацию, чтобы минимизировать количество движений аватара-переводчика. Анализ текста основан на принципах математической лингвистики и состоит из трех основных этапов. Первый – синтаксический, на котором анализируется структура предложения. Второй – морфологический, когда вычленяются корни слов. Третий — сопоставление корней со словарем словоформ языка глухонемых, который на данный момент включает в себя порядка 110 000 слов, поиск аналогов в словаре жестов. Огромные сложности при переводе создает то, что русский разговорный язык и язык жестов основаны на совершенно разных принципах. У них разный синтаксис. Когда мы говорим, мы можем употреблять слова практически в любом порядке. А в языке жестов порядок слов жестко закреплен.

Евгений Гайслер, директор УК «Ломоносов Капитал», SmartNews

 

Много времени и усилий ушло у новосибирских ученых и на создание виртуального сурдопереводчика. Первоначально использовалась готовая компьютерная кукла, но как выяснилось, она не совсем подходила для перевода на язык глухонемых.

Готовая виртуальная кукла-переводчик была недостаточно управляемой. Поэтому мы создали собственного аватара, который может работать на разной скорости, у него более проработанные жесты, и особенно пальцы. Это очень важно при передаче языка глухонемых. Потом нам пришлось работать над совершенствованием системы нотаций – системы описания жестов. Таких систем несколько, мы использовали Гамбургскую Систему Нотаций (HamNoSys). Оказалось, этого языка описания пока не хватает, чтобы передать реальные жесты живого переводчика. Поэтому мы поставили цель расширить систему нотаций и достигли ее.

Евгений Гайслер, директор УК «Ломоносов Капитал», SmartNews


Видео

Видео: НГС Новости на YouTube

 

Новосибирский сурдопереводчик

   Над решением этих задач работает целая команда специалистов из разных областей, более 20 человек. Самой идее создания программного обеспечения по сурдопереводу уже 10 лет, но до ноября прошлого года работа продвигалась медленно. И только в ноябре этого года, после того как было создано ООО «Сурдофон» и компания получила возможность работать в новосибирском Академпарке, наступил переломный момент. Менее чем за год новосибирские ученые прошли путь от начальных математических разработок до действующего прототипа программы.

Уже полгода опытный образец программы тестируется в НГТУ на факультете социальной реабилитации, разработчики вносят в программу необходимые изменения в соответствии с замечаниями специалистов. Впереди – большое будущее, ведь программа легко может быть адаптирована для любого из мировых языков.

Комментарии: 9
  • #9

    step (Четверг, 15 Январь 2015 18:23)

    Доброго вам времени суток! Пожалуйста, помогите приобрести программу СУРДОФОН. Очень нужен. Помогите.

  • #8

    Александр. (Понедельник, 14 Октябрь 2013 17:50)

    Я,поздно потерявший 100% слух.Учить сурдопереводные движения по возрасту нет желания и не получится.яякто учить ещё будет.А вот если бы электроника помогла,т.е. программа преобразующая русский голос в текст ( синтезатор ) на электронное устройство типа планшета или нетбука.

  • #7

    Jeritom (Воскресенье, 01 Сентябрь 2013)

    Android всегда буду, чем других.

  • #6

    1965 (Воскресенье, 01 Сентябрь 2013 11:04)

    хотелось бы чтоб эта программа была на Андроиде

  • #5

    1965 (Воскресенье, 01 Сентябрь 2013 09:10)

    Айпад и Айфон дорогие. Они не всем глухим по карману.У некоторых глухих будет лишена эта программа?не устраивает как то

  • #4

    Олег Колачев (Суббота, 31 Август 2013 18:08)

    Программа тестируется, если все будет в порядке, то ЦИТ сам сообщит всем о возможности установки этой программы в гаджеты

  • #3

    зенит (Пятница, 30 Август 2013 21:52)

    Как скачать на тел айфоне? Какой сайт для установки?

  • #2

    Олег Колачев (Пятница, 30 Август 2013 19:52)

    Судя по снимку - программа работает на IOS ( IPHONE или IPAD)

  • #1

    1965 (Пятница, 30 Август 2013 19:12)

    только на Андройде?