Существует множество различных приложений, которые напомнят вам что-либо сделать, если вы не забудете их об этом спросить. На ICRA 2016 (International Conference on Robotics and Automation), проходящей в Стокгольме, Швеции, ученые из Корнельского и Стенфордского университета представили проект под названием Watch-Bot, который сам может изучить ваш стиль ведения домашнего хозяйства, чтобы предложить вам полезные напоминания.

Если вы оставили молоко на столе или забыли выключить монитор, или забыли еду в микроволновой печи, робот выяснит сам, что вы забыли что-то сделать и аккуратно вам об этом напомнит. С помощью лазера.

Watch-Bot состоит из 3D датчика (в данном случае это Кинект), камеры, которая может наклоняться и поворачиваться, переносного компьютера и лазерного указателя. Робот был установлен на кухне и в офисе и целую неделю наблюдал за тем, как люди ведут свои дела. Он собрал 458 видео привычной человеческой деятельности, которое включало 21 различное действие, 23 типа объектов, и на 222 видео кто-то забывал (сознательно, в учебных целях) что-то сделать.

В целях обучения роботу были показаны видео, где люди помнили, что надо что-либо сделать, потом видео, где люди забывали это сделать, но роботу не было сказано, какой порядок действий правильный или где то видео, где люди забыли что-то сделать. Он выяснял это сам с помощью вероятностных моделей обучения, способных обнаружить закономерности и отношения непосредственно с данных камеры и Кинекта.

Этот метод машинного обучения (machine learning) разработчики искусственного интеллекта называют «обучение без учителя» (unsupervised learning). Что же делаетWatch-Bot, как только он замечает забытую вещь? В качестве напоминания он направляет свой лазерный указатель на эту вещь.

Во время испытаний Watch-Bot смог понять, что человек забыл что-то сделать (и успешно ему напомнил об этом) в 60% случаев. Из них: поставить книгу на полку после прочтения, выключить монитор после работы за компьютером, положить молоко в холодильник и достать еду из микроволновой печи. По мнению разработчиков и людей, принимавших участие в исследованиях, робот очень полезен в повседневной жизни.

Важно отметить, что робот не имеет никакого понятия, что происходит: он не знает, что такое микроволновая печь или что молоко может испортиться, у него нет смыслового понимания происходящего. Все, что он делает, с помощью алгоритмов обучения без учителя, это отслеживает вероятностные модели для выявления забытых действий: он видит, что кто-то берет какой-либо объект из холодильника, затем ставит его обратно, так что если вы этого не сделаете, он напомнит вам, указав на этот объект.

В некотором смысле, именно отсутствие понимания ситуации и делает робота полезным. Не вникая в проблему, он может адаптироваться к новым ситуациям и выявлять новые модели поведения, становясь все более полезным с течением времени, особенно в новых условиях, где у него нет опыта. В настоящий момент, ученые работают над тем, чтобы робот смог обучаться, используя онлайн видео, в том числе и из пользовательского контента на YouTube в рамках соответствующего проекта под названием RoboWatch.

Пока Watch-Bot далек от совершенства. Но это нормально. Сейчас это не готовый продукт, а скорее доказательство концепции базовых технологий, которая может быть внедрена в большинство роботов, которые снабжены RGB-D датчиком (типа Кинект) и лазерным указателем. Даже если он не будет работать все время, в любом случае, это полезная функция, за которую стоит заплатить.

Watch-Bot состоит из датчика Kinect v2 RGB-D, который отслеживает человеческую деятельность, переносного компьютера, который обнаруживает забытые действия и связанные с ним объекты и поворотно-наклонной камеры с лазерным указателем, которая идентифицирует и указывает на объект. Чтобы обнаружить забытые действия, система проходит через ряд этапов.

Во-первых, она использует обучающую модель, чтобы обнаружить забытые действия и объекты с помощью Кинект. Затем вид с Кинект она переносит в камеру так, чтобы прямоугольная рамка, ограждающая объект отобразилась в объективе камеры. И наконец, камера регулирует поворот и наклон до тех пор, пока лазерное пятно не попадет на целевой объект.