♻️ Заказчик: Компания Ренью.

📑 Цель проекта: разработать модель для трекинга объектов на конвейерной ленте мусороперерабатывающего завода.

• Задача проекта: Обучить трекер для отслеживания движущихся объектов (пластиковые бутылки разных типов) на ленте конвейера мусороперерабатывающего завода.

📌 Сроки проекта: 19/08/24 - 09/09/24.

💻 Стек технологий: cv2, ultralytics, YOLO8, BoT-SORT, ByteTrack, SORT, DeepSORT.

На мусороперерабатывающем заводе над конвейерной лентой установлена камера, которая фиксирует движение пластикового мусора. Данные в потоке передаются детектору и трекеру, которые определяют тип мусора и координаты bounding box.

Необходимо улучшить работу трекера:

• получить более точные координаты bounding box;
• обеспечить устойчивость прослеживания объекта без смены ID;

📌 Требования заказчика:

• в течении 2х недель разработать решение для отслеживания объектов на ленте конвейера;
• скорость обработки должна быть не более 100мс на кадр;
• добиться наилучшего значения метрики MOTA;
• подготовить отчет о работе.

⚒️ Работа велась в команде DS:

• Альбина
• Татьяна
• Павел

Консультант, вдохновитель и торопитель

• Ирина

Пример работы трекера DeepSORT:

Для улучшения работы отслеживания объектов на ленте было протестировано 4 трекера:

Наилучшие показатели ключевой метрики были получены трекером DeepSORT.
Результат MOTA на всём размеченном участке (9000 фреймов) = 0.9553.

MOTA измерена с помощью motmetrics при гиперпараметре max_iou=0.5.

Опираясь на визуальный контроль, можно сказать что все испытанные трекеры хорошо справляются с задачей.
Однако, при смазанных видео трекинг значительно ухудшается: не идентифицируются многие объекты, теряются треки.

Специфика работы детектора приводит к тому, что в начале и в конце движения объекта треки меняют направление.
Трек находится в центре bbox'а. При появлении и исчезновении объекта габариты bbox'а меняются, и следовательно его центр.

Также одна из основных проблем процесса "отлова" объекта и переноса манипулятором в соответствующую корзину - перекатывание круглых предметов.

Рекомендации:

• применять трекер DeepSORT совместно с детектором YOLO;
• использовать чёткое несмазанное изображение; хорошо подсветить место работы камеры и контролировать чтобы был нормальный фокус;
• для передачи в манипулятор брать координаты после остановки объекта (трек - прямая) и не доходя некоторого расстояния до исчезновения объекта из кадра, например 10% от высоты изображения;
• необходима достаточно длинная лента, чтобы круглые объекты успевали остановиться; также можно применить рельефную ленту.