Уникальная разработка российских ученых! Звук превращается в жест!


В мире по разным оценкам насчитывается от 3000 до 7000 языков. Точное их количество посчитать довольно трудно, так как у учёных нет единого подхода, что считать языком, а что диалектом. На одних языках говорит большая часть населения земного шара, на других – несколько сотен человек. Но есть особые люди, для которых родным языком является язык жестов. В России, например, на этом необычном языке разговаривают более 120 тысяч человек. Сразу оговоримся, что мы говорим о русском жестовом языке, ведь в каждой стране есть свой язык жестов.

Общение слышащих и неслышащих людей с друг другом всегда представляло определённую трудность. Сегодня можно с радостью сказать, что эта ситуация изменилась в лучшую сторону! Новосибирские учёные разработали уникальную программу «Сурдофон», которая делает автоматический синхронный перевод звучащей речи на язык жестов.

Используя данное приложение, люди, имеющие проблемы со слухом, смогут легко общаться с обычными людьми. Работает это следующим образом. Например, данная программа установлена на мобильном телефоне (пока это только в перспективе). Когда слышащий разговаривает с неслышащим, программа трансформирует его речь в бегущую строку на экране. Помимо этого, специальный анимационный аватар языком жестов показывает с экрана то, что говорит собеседник на другом конце провода. Можно общаться и наоборот. Видеокамера телефона считывает жесты глухого и переводит их в звучащую речь, которую и слышит не владеющий сурдопереводом собеседник.

Разработка подобного сурдопереводчика началась ещё в конце 90-х годов. Создателям потребовалось более 10 лет, чтобы создать программу, которая на данный момент не имеет аналогов в мире. Учёные не останавливаются на достигнутом, и сейчас разработки продолжаются.

Над созданием программы трудились специалисты из разных областей знаний. Работа с семантическим блоком была самым сложным этапом. Российским специалистам удалось решить ключевую задачу – перевести смысл звучащей речи на язык жестов. Сложность здесь заключается в том, что нужно сохранить семантику предложений и одновременно вычленить наиболее значимую информацию, чтобы минимизировать количество движений аватара-переводчика. Анализ текста основан на принципах математической лингвистики и состоит из трёх основных этапов. Первый этап – синтаксический. На этом этапе анализируется структура предложения. Второй – морфологический, вычленяются корни слов. Третий — сопоставление корней со словарём словоформ языка глухонемых и поиск аналогов в словаре жестов.

К слову сказать, словарь словоформ языка глухонемых включает в себя порядка 110 000 слов. Также большие сложности в работе виртуального сурдопереводчика создаёт то, что русский разговорный язык и язык жестов основаны на совершенно разных принципах, у них разный синтаксис. Когда мы говорим, мы можем употреблять слова в любом порядке, а в языке жестов порядок слов строго закреплён. В работе программы «Сурдофон» используется тот же принцип, что и при переводе с одного иностранного языка на другой – перевод не получится, если просто перевести слова по порядку. Так и русское предложение дословно не переводится в жесты, поэтому нужно делать перевод всей фразы. Сначала программа определяет части речи в предложении, потом синтаксис высказывания, и затем самое сложное – его семантику.

В работе программы большое внимание уделено тому, что бы программа правильно понимала смысл сказанного и передавала информацию без искажений. Как известно в любом языке одно и то же слово может иметь несколько значений. Например, всем знакомый со школьной скамьи «ключ скрипичный» и «ключ гаечный».  Компьютерный переводчик должен правильно понять значение слова и в соответствии с этим верно выбрать жест из двух-трёх вариантов, имеющихся в словаре. Значение слов становится ясно переводчику из контекста.

Также учёными проделана большая работа по разбиению слов на классы. Ведь русский язык богат в том числе и разнообразными синонимами, но на несколько синонимов у глухонемых может быть только один жест. Может быть и наоборот. Например, на языке жестов слово «двигаться» для человека, машины, рыбы, змеи и самолёта будет показано по-разному.

Жесты сурдоязыка с дисплея передаёт мультипликационный персонаж – девушка по имени Зоя. На её создание ушло три года. Зоя может работать на разной скорости, также перевод можно приостановить или повторить. Достоинством куклы-аватара являются хорошо проработанные жесты и особенно пальцы. Это очень важно для языка глухонемых. Серьёзно учёным пришлось поработать над совершенствованием системы нотаций – системы описания жестов. Таких систем несколько, в данной программе используется Гамбургская система нотаций (HamNoSys). Но как выяснилось, этого языка описания не хватает, чтобы передать реальные жесты живого переводчика. Это не остановило учёных, и они расширили действующую систему нотаций. Также через Гамбургскую систему нотаций программа может переходить на другие жестовые языки мира.

Данное изобретение является очень своевременным, и уже сейчас есть множество вариантов его применения. На базе программы «Сурдофон» возможно создание коммуникаторов для государственных учреждений, учреждений системы образования, социальных служб, правоохранительных органов, поликлиник и больниц, магазинов, вокзалов, аэропортов.

Инвалиды по слуху смогут свободно посещать публичные лекции и выступления. Текст, который лектор говорит в микрофон, после программной обработки можно будет синхронно выводить на большой экран. Дети с ограниченными возможностями смогут полноценно воспринимать уроки не только в коррекционной школе, но и в обычной. Одним из наиболее социально значимых вариантов использования программы является установка специальных коммуникаторов в государственных учреждениях. Это поможет сделать государственные услуги доступными для всех слоёв населения.

С помощью программы «Сурдофон» можно адаптировать книги для понимания глухих. Ведь неслышащие люди все слова пишут в начальной форме, они привыкли к речи без словоформ и не читают книги из-за ограниченного словарного запаса. Совместно с лингвистами учёные разработали для программы систему правил, которые позволяют сложные словесные конструкции преобразовывать в простые. Например, причастный оборот программа разбивает на несколько простых предложений, сохраняя первоначальный смысл.

Также в будущем учёные планируют создать desktop-приложение, которое позволит инвалидам по слуху пользоваться интернет-радио. В планы разработчиков входит и создание мобильного приложения для смартфонов, которое будет действовать по принципу, описанному в начале статьи. Заключительной идеей проекта является создание отдельного гаджета-телефона, который работал бы, когда звонят глухонемому человеку. Пользователь нажимает кнопку «принять», и на экране видит анимационное изображение того, что говорят на том конце условного провода.

Уже сейчас телевизионным каналам доступен продукт «Сурдофон-ТВ», позволяющий сопровождать выпуски новостей виртуальным анимированным сурдопереводчиком в углу экрана.

Верится, что эти новаторские разработки станут ещё одной ступенькой к объединению людей. Ведь в современном обществе, где активно навязывается искусственное раздробление между людьми, даже два здоровых человека, разговаривающих на одном языке, не могут понять друг друга. Но мало кто задумывается над тем, что для всех людей на планете существует один общий язык, понимая который люди из разных уголков планеты смогут жить в единении и дружбе. Уникальная информация о том, как научиться понимать друг друга без слов (в прямом смысле!) содержится в самой сенсационной книге нашего времени «АллатРа». Книга вышла из-под пера современной писательницы Анастасии Новых в 2013 году и уже объединила тысячи людей по всему миру. Вы можете скачать эту удивительную книгу совершенно бесплатно на нашем сайте, кликнув по цитате под статьёй или перейдя в соответствующий раздел сайта.

Автор: Андрей Засыпкин

Читайте об этом подробнее в книгах Анастасии Новых (кликните на цитату, чтобы бесплатно скачать книгу целиком):

Глубинные чувства — это и есть особый язык, отличный от человеческого. Когда человек преодолевает в себе низменное, работает над собой в каждом дне, развивается, духовно преобразовывая себя как человеческое существо, он становится просветлённым.

… Поэтому о божественном прямо не скажешь, так как всякая мысль будет лишь аллегорией. Ибо божественное — это иной язык, язык не ума, но глубинных чувств, который понимает Душа всякого. Это и есть единый язык Душ человеческих. Это и есть язык Истины.

—  Анастасия НОВЫХ - АллатРа

Автор поста: Сокровенник

Нравится  

Ваш отзыв

Вы должны войти, чтобы оставлять комментарии.

Также Вы можете войти используя: ВКонтакте Facebook Twitter Google Yandex Mail.ru Одноклассники Livejournal Webmoney Rambler flickr flickr

Похожие посты