Нейросетевой преобразователь снов в видео, 2019
В сотрудничестве с Екатериной Пряничниковой
Описание
Сновидение — субъективное восприятие образов (зрительных, слуховых, тактильных, вкусовых и обонятельных), возникающих в сознании спящего человека. Сновидения считаются связанными с фазой быстрого движения глаз - это фаза сна, характеризующаяся повышенной активностью головного мозга. Механизм смены фаз сна до конца не изучен, но есть исследования, согласно которым смена фаз сна может происходить благодаря нейронному переключателю, находящемуся в продолговатом мозге. Во время фазы быстрого сна головной мозг «фильтрует» полученную за день информацию, отбрасывает ненужную, второстепенную, и в качестве побочных продуктов этой технической задачи возникают образы и ощущения.
СНОУМ - сеть нейронов объективации умственной мыследеятельности - нейросеть, обученная слушать и показывать сны. Она мимикрирует под механизмы генерации сновидений сознанием человека во время сна. СНОУМ представит и покажет образы из снов наяву, стоит лишь зайти в комнатку и начать описывать вслух увиденные во сне сюжеты. Зеркальное повторение ритуала псевдослучайности, благодаря рассказу сновидения нейросети, превращает сон в реальность. Происходит некое нанизывание образов из сна друг на друга, пропущенное сквозь призму мира нейросети, которое создает странную картину из едва узнаваемых образов. Грубое опредмечивание содержимого сна при помощи конвертации изображений в слова, а из слов снова в изображение.
Техническая информация
Инсталляция представляет собой темное небольшое помещение, где зритель один на один с нейросетью и в процессе рассказа своего сна видит абстрактные иллюстрации, сгенерированные обученной слушать сны нейросетью.
Мы использовали нейросеть AttnGAN обученную на наборе данных CoCo dataset, и связали её с облачным сервисом Google Speech Recognition.
Протестировано на оборудовании:
CPU: 2,9 GHz Intel Core i7
GPU: GTX 1060
Memory: 8 GB 1600 MHz DDR3
