Клавіатуру Gboard навчать розуміти мову жестів через камеру смартфона

21 липня 2026 р. 03:51

21 липня 2026 р. 03:51


Google готує масштабне оновлення для своєї клавіатури Gboard, яке може стати справжнім проривом у сфері інклюзивності. Компанія розробляє функцію Sign-to-Text, що дозволить перетворювати рухи рук безпосередньо у письмовий текст за допомогою камери смартфона.

Про це пише видання Android Authority .

Магія штучного інтелекту в дії

Дослідники Google DeepMind тривалий час розробляли інструменти штучного інтелекту для інтерпретації мови жестів, і тепер ці напрацювання з’явилися в останній бета-версії Gboard.

Нова система базується на просунутій моделі SignGemma, яку фахівці анонсували минулого року. Вона поєднує можливості машинного зору та потужність нейромереж для розпізнавання складних жестів у реальному часі.

Приватність і технічні нюанси

Google обрала гібридну схему роботи для забезпечення конфіденційності користувачів:

  • смартфон обробляє відео безпосередньо на пристрої, щоб виділити лише «сирі» дані про рухи та жести;
  • потім ці координати надсилаються в хмару Google для фінального аналізу та вилучення слів.

Такий підхід гарантує, що реальне відео з обличчям та оточенням людини не залишається в пам’яті телефона, що значно посилює захист приватних даних.

Під час аналізу коду програми знайшли службові повідомлення, які допоможуть правильно налаштувати процес: «відійдіть трохи далі», «перемістіться у світліше місце» або «тримайте руки в кадрі для кращої видимості».

Поки залишається відкритим питання підтримки різних регіональних варіантів, адже американська мова жестів (ASL) суттєво відрізняється від української, британської чи інших версій, що існують у світі.

Попри те, що функція ще перебуває на стадії розробки, вона обіцяє стати найважливішим інструментом доступності в історії Gboard, відкриваючи нові горизонти для вільного спілкування мільйонів людей.

Також за темою

Інвестори почали зменшувати ставки на виробників ШІ-чипів

У Китаї вперше імплантували комерційний нейроінтерфейс в мозок людини

Vivo офіційно представила X300e з батареєю на 7200 мАг і камерами Zeiss

Попит на гібридні автомобілі в Україні зростає: найпопулярніші моделі

Що заборонено наносити на індивідуальні номерні знаки — МВС

Google затримує випуск своєї найпотужнішої ШІ-моделі

Клавіатуру Gboard навчать розуміти мову жестів через камеру смартфона

Джерело: finance.ua