Microsoft створила мобільний додаток, який дозволяє вводити текст очима

16:15, 28 лютого 2017

Дослідники з Microsoft Research реалізували зручний і недорогий метод введення тексту поглядом, зробивши його значно доступнішим для людей з вадами рухової здатності (наприклад, страждають боковим аміотропічним склерозом, який діагностовано у Стівена Хокінга).

Спеціальне обладнання, що дозволяє паралізованим пацієнтам «друкувати очима», існувало і раніше. Зазвичай воно працює так: користувач, котрий сидить перед камерою, спершу переводить погляд у бік однієї з кількох груп літер, а другим рухом очей вибирає конкретну літеру в групі, потім повторює це з кожною наступною буквою. Для відстеження напрямку погляду в таких системах використовуються інфрачервоні датчики, які погано працюють при світлі, а вартість всього комплекту може становити п'ять-десять тисяч доларів, зазначило видання Cossa.

На противагу подібним складним рішенням програма Eye-gaze працює на звичайному смартфоні і стежить за очима через його камеру. З додаткового обладнання знадобиться лише картинка з літерами, а сам смартфон навіть не потрібно закріплювати на штативі. Відмова від інфрачервоних датчиків також означає, що Eye-gaze можна використовувати при яскравому сонячному світлі, йдеться у прес-релізі Microsoft Research.

Програма сканує і захоплює зображення очей за допомогою технології розпізнавання зображень Microsoft, після чого співвідносить кожен рух очей з відповідними командами. Всього в Eye-gaze чотири групи літер, і користувачеві достатньо вибирати лише групу, але не букву в ній. Для видалення введеної літери потрібно моргнути лівим оком, а щоб прийняти запропонований варіант – правим. Асистент, що тримає в руках телефон з Eye-gaze, бачить список підказок і може допомагати вводити слова, вибираючи варіанти, які найбільше підходять до контексту.

Такий метод помітно прискорює і спрощує комунікацію людям з обмеженими руховими можливостями. В середньому на друк речення за допомогою Eye-gaze йде приблизно півтори хвилини, тоді як введення того ж речення на дорогій і складній системі e-tran займає понад дві хвилини. Опитування учасників тесту показало, що вони вважають Eye-gaze менш складним і більш приємним способом введення.