В Московском Политехе учат компьютер языку жестов

В Московском Политехе учат компьютер языку жестов

Время чтения: 4 мин

В Московском Политехе учат компьютер языку жестов

Время чтения: 4 мин

31 октября в России отмечается День сурдопереводчика. По статистике, на 100 000 людей с нарушением слуха в нашей стране приходится всего один переводчик. В разное время в разных странах жестовый язык игнорировали или запрещали, объясняя это попыткой эффективнее интегрировать глухих в мир слышащих. В России профессию сурдопереводчика признали лишь в 1992 году, когда по ходатайству Центрального правления Всероссийского общества глухих (ВОГ) она была внесена Министерством труда РФ в тарифно-квалификационный справочник. Тем не менее сейчас квалифицированных специалистов по этому профилю катастрофически не хватает.

Поэтому к проблеме подключились программисты. Они создают специальные сайты и приложения для автоматического перевода с аудиального языка на жестовый, а также учат языку жестов человекоподобных роботов и другие машинные системы. Благодаря таким разработкам, с одной стороны, глухим людям легче ориентироваться в мире слышащих. С другой, скоро мы сможем, например, включать чайник щелчком пальцев или наслаждаться играми с дополненной реальностью. А еще эти разработки используются в лингвистике, машино- и приборостроении, на транспорте и в космосе, системах безопасности, медицине, образовании и социальных технологиях.

А в чем, собственно, проблема?

Вопреки расхожему мнению, слышащие люди не придумывали язык жестов, чтобы облегчить жизнь глухим. Напротив, он возник естественным путем в среде глухонемых и в каждой стране имеет свою разновидность, формируя вокруг себя уникальную культуру. С интеграцией глухих в современный мир всё не так просто, как может показаться на первый взгляд. Недостаточно использовать на телевидении бегущую строку, при личном общении медленно и четко произносить слова, а в случае непонимания писать фразы на бумаге. Не все глухие могут виртуозно читать по губам и не все могут быстро считывать письменный текст, синхронно переводя полученную информацию на свой язык. Не говоря уже о типичных трудностях перевода — фразу с переносным значением нельзя перевести буквально, нужно время и определенные навыки, чтобы грамотно адаптировать ее для носителя другой культуры.

Письменная форма русского языка носителю русского варианта жестового языка так же непонятна, как японский иероглиф непонятен представителю европейской нации без специального образования. Попадая в мир слышащих, глухой человек испытывает такой же стресс, как и мы, когда приезжаем в чужую страну с минимальным запасом слов для общения. Поэтому для интеграции нужны переводчики — специалисты, которые понимают не только язык, но и психологию человека с нарушениями слуха, вызывают доверие у таких людей и могут представлять их интересы.

Ученые приходят на помощь

После признания жестового языка возник вопрос, как помочь глухим учиться и работать на родном языке и как упростить коммуникацию между глухими и слышащими в условиях острой нехватки специалистов. Кроме социальной функции, такая задача имеет огромный научный потенциал. На данный момент жестовый язык разных национальностей изучают лингвисты по всему миру. Помогают им в этом не только сурдопереводчики и психологи, но и программисты. Современные информационные технологии позволяют создать онлайн-переводчик вроде Google Translate или облачную систему наподобие Siri, в которых вместо звукового и текстового интерфейса будет использован визуальный. Помните популярный видео ролик, где лифт с голосовым управлением американского производства довел до исступления двух шотландцев, потому что не распознавал их акцент? Возможно, распространение жестового языка позитивным образом скажется не только на коммуникации людей друг с другом, но и на общении человека с техникой.

Команда исследователей факультета информационных технологий Московского Политеха не первый год занимается разработками на стыке программирования, лингвистики, робототехники и психологии. На данный момент учеными разработана информационно-программная среда, которая позволяет осуществлять автоматический компьютерный сурдоперевод. Анимированные 3D-аватары, с одной стороны, помогают людям общаться друг с другом. С другой стороны, «научив» систему считывать жест и мимику, человек сможет управлять компьютером при помощи жестомимических команд.

Это направление разработок хорошо знакомо нам из-за растущей популярности всевозможных систем дополненной и виртуальной реальности, а также «умного дома» и интернета вещей. Тем не менее, распространенные системы распознавания жестов (Kinect, Creative Senz3D и др.) имеют ряд недостатков. Например, определяют крупные движения предплечья и кисти, но не дают возможности анализировать точное положение пальцев. Если решить эту проблему, можно будет движением руки включить чайник или любой другой бытовой прибор.

Также разработка сделает возможным бесконтактное использование устройств и приложений в нестандартных или экстремальных ситуациях. А лингвисты при помощи сервиса смогут не только более эффективно изучать язык, но и улучшить инструментарий исследований. Например, ученому будет проще отследить механику жеста вплоть до того, какие именно мышцы и суставы задействованы в его воспроизведении или как на его отображение влияет движение лица. Сейчас для этого используется видео-ресурсы, но при помощи информационных технологий можно получать более точные данные, а используя алгоритм — разделять основные и побочные черты жеста.

Этим исследованиям, а также обучению человекоподобных роботов посвящена работа магистерской программы IT-факультета Московского Политеха «Жестомимический интерфейс — SurdoJet». Основное направление прикладных разработок магистрантов, по словам профессора кафедры Инфокогнитивных технологий IT-факультета Московского Политеха Юрия Филипповича, — это система поддержки речевого и жестового взаимодействия людей (сурдоперевода, распознавания и синтеза мимики и жестов). Полученные знания магистранты могут применять для создания человекоподобных роботов, видеоконференций, компьютерных игр и систем распознавания поведения человека в общественных местах.

Возможно, со временем технологии шагнут далеко вперед и всем глухим людям можно будет установить ушной протез — кохлеарный имплантат. Кохлеарная система устанавливается хирургическим путем и позволяет при помощи электродов донести до нервной системы звуковую информацию, минуя поврежденный орган. Сейчас этот способ подходит далеко не всем и имеет довольно тяжелый период реабилитации, но кто знает, что будет через десятки лет. Возможно, в будущем человечество полностью решит проблему потери слуха. Если не будет носителей жестового языка, то и сама уникальная языковая система исчезнет. Но и в таких условиях жестомимические информационные системы останутся востребованы — с их помощью люди будут общаться с роботами.

Чтобы сообщить об ошибке, выделите текст и нажмите Ctrl+Enter
К комментариям
Комментариев пока нет
Отправить
Больше статей