ИИ от Google помогает управлять устройствами естественным языком

Новая модель ИИ позволяет управлять устройствами (в первую очередь, мобильными телефонами), с помощью естественного языка. Эта функция будет полезна для слабовидящих пользователей.

Компания Google представила новые модели на основе ИИ, с помощью которых смартфонами можно будет управлять естественным языком. Об этом указано в отчете с конференции Ассоциации вычислительной лингвистики (ACL) 2020 года, где исследователи предлагают метод для обучения моделей, который в первую очередь будет полезен для людей с нарушениями зрения.

Исследователи создали исходную базу команд для ИИ, которая могла бы помочь во взаимодействии с устройствами. Они обрабатывают входящий запрос, предсказывают последовательность действий приложения, а также экраны и интерактивные элементы для перехода с одного экрана на другой.

Они, с помощью ИИ, уже создали три набора инструкций, которые можно применять для многоступенчатой работы со смартфонами. Кроме того, у ученых уже есть почти 300 тыс. одношаговых команд, которые относятся к пользовательскому интерфейсу, они будут работать практически на всех устройствах Android.

Ученые рассказали, что во время экспериментов ИИ смог переводить естественную речь пользователя в действия с точностью в 89,21%. Однако по мере усложнения шаблонов речи или создания искусственных помех во время проговаривания команд эффективность ИИ резко упала до 70,59%. В Google уверены, что дальше модель будет справляться со своей задачей лучше.

Исследователи выложат все наборы данных, модели и результаты в открытый доступ на GitHub. Они приглашают к участию других ученых и надеются, что это станет первым шагом для решения проблемы управления устройствами с помощью естественного языка.

Читать также:

Комета NEOWISE видна в России. Где ее увидеть, куда смотреть и как сделать фото

Выяснилось, что заставило цивилизацию майя покинуть свои города

На 3 день болезни большинство больных COVID-19 теряют обоняние и часто страдают насморком