Forward from: МГУ имени М.В.Ломоносова
«При помощи нейронных сетей мы можем восстановить частично поврежденные материалы, улучшить разрешение и качество изображений, преобразовать черно-белые материалы в цветные, – рассказал преподаватель курса «Нейронные сети и их применение в научных исследованиях», разработанного при поддержке фонда «Интеллект», Артем Васильев. – Например, благодаря нейронным сетям можем устроить образовательный показ цветной реконструкции короткометражного фильма «Прибытие поезда на вокзал Ла-Сьота» 1896 года в разрешении 4k. Кроме того, решения на основе нейронных сетей позволяют автоматически анализировать огромные объемы данных, облегчая систематизацию информации и делая возможным быстрый поиск.
Имея фрагмент цифровой видеозаписи без дефектов, можно с легкостью его «состарить», внеся в него искусственные дефекты. Скажем, эффект повреждения киноплёнки можно достичь, просто окрасив некоторую часть площади определённых кадров, белым цветом.
Обратное же преобразование, переход от «состаренного» изображения обратно к исходному неповреждённому, невероятно сложен. Но мы можем аппроксимировать такое сложное преобразование при помощи искусственной нейронной сети, показав ей во время обучения огромный объём примеров пар искажённых и неискажённых фрагментов видеозаписи.
В процессе обучения нейронная сеть «запоминает» как вообще может выглядеть неповреждённая киноплёнка, «понимает», как использовать информацию о соседних с поврежденным фрагментом кадра областях изображения и данные из соседних кадров для заполнения маскированных областей. Обученная на большом количестве таких «искусственных» тренировочных ситуаций нейронная сеть может быть теперь использована для восстановления фрагментов видеозаписей с «настоящими» дефектами.
Использование искусственных нейронных сетей для анализа аудиовизуальных архивов вписывается в общую методологию исследований «коллекция как датасет» (Collections as Data, CAD). Благодаря превращению физических коллекций в наборы данных, исследователи получают возможность использовать ИИ для автоматизации некоторых этапов исследовательского процесса, на выполнение которых у людей ушло бы много часов или которые люди даже не могут выполнить вручную».
#фондИнтеллект
Имея фрагмент цифровой видеозаписи без дефектов, можно с легкостью его «состарить», внеся в него искусственные дефекты. Скажем, эффект повреждения киноплёнки можно достичь, просто окрасив некоторую часть площади определённых кадров, белым цветом.
Обратное же преобразование, переход от «состаренного» изображения обратно к исходному неповреждённому, невероятно сложен. Но мы можем аппроксимировать такое сложное преобразование при помощи искусственной нейронной сети, показав ей во время обучения огромный объём примеров пар искажённых и неискажённых фрагментов видеозаписи.
В процессе обучения нейронная сеть «запоминает» как вообще может выглядеть неповреждённая киноплёнка, «понимает», как использовать информацию о соседних с поврежденным фрагментом кадра областях изображения и данные из соседних кадров для заполнения маскированных областей. Обученная на большом количестве таких «искусственных» тренировочных ситуаций нейронная сеть может быть теперь использована для восстановления фрагментов видеозаписей с «настоящими» дефектами.
Использование искусственных нейронных сетей для анализа аудиовизуальных архивов вписывается в общую методологию исследований «коллекция как датасет» (Collections as Data, CAD). Благодаря превращению физических коллекций в наборы данных, исследователи получают возможность использовать ИИ для автоматизации некоторых этапов исследовательского процесса, на выполнение которых у людей ушло бы много часов или которые люди даже не могут выполнить вручную».
#фондИнтеллект