Безопасность вокзалов, аэропортов, станций метро и промышленных предприятий зависит от физиологического состояния диспетчеров – сотрудников единых информационных центров. «Компьютерное зрение» поможет снизить риски опасных ситуаций на этих объектах. Работу над проектом вели сотрудники Санкт-Петербургского Федерального исследовательского центра (СПб ФИЦ) РАН, Санкт-Петербургского государственного университета и Новосибирского государственного университета.
«Компьютерное зрение» – это новое программное обеспечение, которое с помощью нейросети анализирует такие состояние человека, как сонливость, усталость, голод. Оно поможет выявить случаи переутомления диспетчеров и повысить безопасность на промышленных и транспортных объектах.
«Мы разработали программное обеспечение, которое при помощи «компьютерного зрения» по ряду параметров позволяет распознать степень утомляемости оператора компьютера. В первую очередь такая программа поможет избежать ошибок и снижения качества работы для специалистов критически важной для общества и государства инфраструктуры», — рассказывает старший научный сотрудник СПб ФИЦ РАН Алексей Кашевник.
Отметим, что ученые СПб ФИЦ РАН последние годы ведут проект по разработке и внедрению системы Drive Safely. Его цель — с помощью «компьютерного зрения» предотвращать аварийные ситуации, контролируя состояние водителя по таким параметрам, как прием пищи, сонливость, непристегнутый ремень и агрессивность манеры вождения.
Для работы «компьютерного зрения» используются нейросети openpose и selflow, которые ищут человека в кадре и строят оптический поток. На основе этого создаются графики движения ключевых точек на теле человека, затем оно анализируется. По сути, компьютерное зрение распознает объекты на видеоматериалах, при этом способно замечать признаки, которые соответствуют определенному поведению (например, когда человек утомился).
В новом проекте исследователи увеличили набор параметров для определения усталости оператора (ранее это были зевота, частота вдохов и выдохов и доля времени, в течение которого глаза водителя были закрыты в единицу времени).
Ученые при помощи специального датчика-трекера изучили стратегию движения глазного яблока оператора, которая показывает утомление центральной нервной системы. Такая стратегия складывается из ряда факторов: скорость перемещения взгляда, кривизна его траектории и так далее.
«Мы научили программу распознавать стратегии по данным с трекера. И сейчас система работает так: мы загружаем в нее собранную информацию. Затем программа ее размечает и анализирует. На выходе получаем суммарную оценку и рекомендации о том, насколько сильно оператор нуждается в отдыхе. В ближайшее время мы оптимизируем разработку таким образом, чтобы она могла анализировать данные в режиме реального времени», — поясняет Алексей Кашевник.
Сейчас научная группа ведет поиск индустриальных партнеров для внедрения системы.
Результаты исследования опубликованы в научном журнале Sensors.
Исследование проведено при поддержке гранта Российского научного фонда (№ 18-71-10065).
