Инженеры из Массачусетского технологического института разработали роботизированную систему для работы с продуктами. Устройство сочетает в себе компьютерное зрение и «нежный» роботизированный захват для упаковки различных предметов. Робот может собирать покупки, чтобы одни товары не повредили другим.
RoboGrocery использует комбинацию камер RGB-D, сервоприводов с замкнутым контуром управления и мягких тактильных датчиков, чтобы определять различные формы и размеры продуктов. Согласно статье исследователей, камеры предоставляют информацию о глубине и цветные изображения для точного определения форм и размеров объектов по мере их перемещения по конвейерной ленте.
Двигатели руки обеспечивают точное управление и обратную связь, позволяя захвату регулировать захват в зависимости от характеристик объекта. Благодаря встроенным датчикам в пальцы захвата робота он может измерять давление и деформацию объекта, что, по словам исследователей, дает ценные данные о жесткости и хрупкости.
Чтобы протестировать систему, исследователи поместили 10 неизвестных роботу объектов на продуктовый конвейер. Продукты варьировались от деликатных продуктов, таких как виноград, хлеб, капуста, кексы и крекеры, до гораздо более твердых, таких как консервные банки, коробки и ведра мороженого.
При работе на первом этапе система компьютерного зрения определяет товары, которые нужно собрать и планирует свою работу. После этого роботизированный захват проверяет свойства и хрупкость объекта. Например, касаясь винограда, датчики давления в пальцах определяют, что их не стоит класть на дно пакета. Проверка консервной банки, напротив, показывает, что ее можно положить под другие продукты.
Хотя система пока не готова к коммерческому внедрению, исследователи отмечают важность сочетания разных методов анализа для роботизированных систем. Ученые продолжат совершенствовать работу компьютерного зрения и захвата. В перспективе разработку можно будет использовать не только на пищевых производствах и в продуктовых магазинах, но также, например, для сортировки мусора.