Нейросеть поможет врачам понять глухих пациентов
Людям с нарушениями слуха обычно трудно объяснить врачу, на что они жалуются. Иногда им помогает сурдопереводчик, но, как правило, приходится брать на прием знакомых. Это создает дополнительные трудности. К тому же не все хотят, чтобы об их болезнях знал кто-то, кроме доктора. Как раз для них — разработка российских ученых.
В Санкт-Петербургском федеральном исследовательском центре разработали программу, которая распознает язык жестов и преобразовывает его в текст. Прежде всего, электронный сурдопереводчик нужен для первичной консультации у терапевта в поликлинике.
Принцип работы прост: видеокамера фиксирует жесты, программа их считывает, переводит в текст и выводит его на экран перед врачом. Точность системы превышает 90 %, пишут разработчики в статье, вышедшей в журнале «Научно-технический вестник информационных технологий, механики и оптики». Сейчас они сосредоточены на создании удобного интерфейса для приложения.
Сколько в мире языков жестов?
Известно более чем о 100 языках жестов, используемых в разных странах. При этом есть и универсальные. В середине прошлого века был разработан международный язык — жестуно (Gestuno). На нем, например, общаются слабослышащие участники конференций, соревнований и других подобных мероприятий.
Структурно языки жестов независимы от разговорных звуковых. Их родственные связи не совпадают с аналогичными связями национальных языков. Так, жестовый язык российских глухих и некоторых стран СНГ родственен аналогичному во Франции.
В мире существует более 100 жестовых языков
Фото: © Elnur / Shutterstock / FOTODOM
Существует два типа жестовой речи: разговорная и калькирующая. Первая — это самобытная лингвистическая система со своими законами. Вторая просто повторяет построение предложений по правилам русского или любого другого языка, а жесты выступают эквивалентами слов, которые проговаривает человек. При вербальном общении со слышащими людьми глухие читают по губам — это называется «маусинг» (от англ. mouthing). Но если рта говорящего не видно, как в случае с врачом в медицинской маске, такое общение будет невозможно.
Большинство баз данных для автоматического распознавания русского языка жестов основаны на калькирующей речи. Петербургские ученые пошли дальше и внесли в свою разработку слитные высказывания и элементы разговорной. Для этого они записали на видео 85 жестовых высказываний, сделанных 12 дикторами в пяти вариантах. Чтобы программе было легче их распознать, съемка проводилась с разных ракурсов. Оказалось, что некоторые элементы жестового языка зависят от пола и возраста. Эту особенность учли. На основе собранной информации ученые и обучили нейросеть.
