СНОУМ

Нейросетевой преобразователь снов в видео, 2019

В сотрудничестве с Екатериной Пряничниковой

Описание

Сновидение — субъективное восприятие образов (зрительных, слуховых, тактильных, вкусовых и обонятельных), возникающих в сознании спящего человека. Сновидения считаются связанными с фазой быстрого движения глаз - это фаза сна, характеризующаяся повышенной активностью головного мозга. Механизм смены фаз сна до конца не изучен, но есть исследования, согласно которым смена фаз сна может происходить благодаря нейронному переключателю, находящемуся в продолговатом мозге. Во время фазы быстрого сна головной мозг «фильтрует» полученную за день информацию, отбрасывает ненужную, второстепенную, и в качестве побочных продуктов этой технической задачи возникают образы и ощущения.

СНОУМ - сеть нейронов объективации умственной мыследеятельности - нейросеть, обученная слушать и показывать сны.  Она мимикрирует под механизмы генерации сновидений сознанием человека во время сна. СНОУМ представит и покажет образы из снов наяву, стоит лишь зайти в комнатку и начать описывать вслух увиденные во сне сюжеты. Зеркальное повторение ритуала псевдослучайности, благодаря рассказу сновидения нейросети, превращает сон в реальность. Происходит некое нанизывание образов из сна друг на друга, пропущенное сквозь призму мира нейросети, которое создает странную картину из едва узнаваемых образов. Грубое опредмечивание содержимого сна при помощи конвертации изображений в слова, а из слов снова в изображение.

   

   

Техническая информация

Инсталляция представляет собой темное небольшое помещение, где зритель один на один с нейросетью и в процессе рассказа своего сна видит абстрактные иллюстрации, сгенерированные обученной слушать сны нейросетью.

Мы использовали нейросеть AttnGAN обученную на наборе данных CoCo dataset, и связали её с облачным сервисом Google Speech Recognition.

Протестировано на оборудовании:

CPU: 2,9 GHz Intel Core i7

GPU: GTX 1060

Memory: 8 GB 1600 MHz DDR3