Студенты радиофизического факультета ТГУ победили в НейроХакатоне с программой для определения эмоций по мимике лица. Она помогает анализировать результаты мониторингов, научных исследований с участием людей, сеансы психотерапии и другие ситуации. Команда получила денежный приз от Сколковского института науки и технологий и приглашение на остров Русский. Там в ходе мартовской сессии будут обсуждать этические вопросы киборгизации, упрощенные режимы внедрения новых технологий в медицину, способы привлечения иностранных компаний и применения их разработок в России. В команде работали студенты РФФ ТГУ Андрей Косторной и Артем Берзин, а также Андрей Масалев, Андрей Соболев, Дамир Маметов из СибГМУ.
—Нейросеть анализирует видео и, опираясь на большие объемы данных, которые она анализировала в процессе обучения, говорит о том, что человек испытывает такую-то эмоцию, — рассказал Андрей Косторной. — На суд жюри мы представили программу-ассистента для психотерапевта. Она записывает видео сеанса, отслеживает изменения в поведении. Когда врач подает определенный стимул (вопрос, анекдот, картинка, провокация, звуки, видео), пациент меняет свое состояние, реагирует на изменение мимикой. В этот момент программа обнаруживает перемену и делает вырезки фрагмента видео, которую в режиме реального времени поставляет врачу. У специалиста появляется возможность упрощенного дополнительного анализа ситуации.
Как пояснил радиофизик, этот программно-аппаратный комплекс можно применять в медицине (психология, телемедицина), научных исследованиях (мониторинг состояния испытуемых во время эксперимента), экономике, социальной работе и сфере развлечений — везде, где требуются разного рода мониторинги.
Дорабатывать проект студенты планируют, приняв участие в акселераторе AI & BIGDATA IN MEDICINE.
НейроХакатон, организованный СибГМУ и Томским Нейронет-центром, прошел в рамках томской Недели науки. Задачи в области нейротехнологий решали более 30 студентов томских вузов.
