Интересная статья от Google о том, как они научили нейросеть распознавать глубину на видео.
Как минимум, это может понадобится для более качественного размытия фона на телефонах.
Это довольно сложная задача, люди умеют распознавать фигуры и расстояния к объектам очень легко благодяра бинокулярному зрению, восприятию освещения предмета и многих других мелочей.
В автоматических системах возникала сложность распознавания глубины для движущихся предметов. Google смогли обучиь нейросеть на видео с людьми, потому что это одно из самых интересных направления в дополненной реальности.
В обучении нейросети основной проблемой является источник данных. И Google решили эту проблему гениально: они взяли видео с Youtube, которые относятся к популярному Манекен-челенджу. В нем люди замирали, а камера постоянно двигалась вокруг.
Теперь нейросеть может менять глубину экрана в любом моменте видео, или двигаться в 3д пространстве на статичном кадре (как объемные фото в фейсбуке, но более качественные).
Как минимум, это может понадобится для более качественного размытия фона на телефонах.
Это довольно сложная задача, люди умеют распознавать фигуры и расстояния к объектам очень легко благодяра бинокулярному зрению, восприятию освещения предмета и многих других мелочей.
В автоматических системах возникала сложность распознавания глубины для движущихся предметов. Google смогли обучиь нейросеть на видео с людьми, потому что это одно из самых интересных направления в дополненной реальности.
В обучении нейросети основной проблемой является источник данных. И Google решили эту проблему гениально: они взяли видео с Youtube, которые относятся к популярному Манекен-челенджу. В нем люди замирали, а камера постоянно двигалась вокруг.
Теперь нейросеть может менять глубину экрана в любом моменте видео, или двигаться в 3д пространстве на статичном кадре (как объемные фото в фейсбуке, но более качественные).