Технология виртуальной реальности стала обрисовываться уже давно, с появлением 3D-моделирования, но до последних лет просто не было удобных и недорогих в производстве технологий, которые позволили бы сделать VR медиумом для массмаркета. С появлением гарнитуры Oculus Rift, а затем и беспроводной Oculus Go эта проблема почти исчезла. Технология виртуальной реальности используется сейчас в основном для индивидуального потребления развлекательного контента: игр, квестов и видео, но и некоторые театральные компании используют VR для экспериментов в области перформативных искусств. В чём главное отличие любого контента в VR – виртуальная реальность вмещает в себя больше событий и пространства на единицу времени, а вместе с этим не обладает тоталитарной характеристикой привязки взгляда зрителя к определённому месту, а предоставляет свободу взгляда на 360˚. К тому же VR-гарнитуры обеспечивают эффект потери телесности, что, с одной стороны, помогает ещё сильнее влиться в смоделированную реальность, а с другой – усиливают отчуждение человека от самого себя, и так формирующееся онлайн-средой. Если мы вспомним об основной функции театра как передатчика новых чувств и впечатлений, потенциал VR просто огромный, потому что опыт виртуальной реальности – это опыт масштабного обмана собственного мозга и собственных телесных ощущений; в ряде текстов про виртуальную реальность даже утверждается, что это новый тип иммерсивного театра.
В 2015 году к юбилею Большой канадской библиотеки в Квебеке театральный режиссёр Робер Лепаж сделал проект The Library at Night. Это можно назвать спектаклем весьма условно – это скорее инсталляция, но её показывают на театральных фестивалях, хотя она и располагается, как правило, в музейных пространствах. Проект устроен следующим образом: в комнату запускают сорок человек в час, каждому выдаётся VR-гарнитура с наушниками. Для каждой страны, в которой проходит проект, какой-либо национальный актёр записывает на местном языке всю аудиоисторию. История очень простая: в гарнитуре зрителя ждёт экскурсия по десяти крупнейшим библиотекам мира – в каждой виртуальной комнате смоделированы их интерьеры и внутри происходят разные события, представляющие историю конкретной библиотеки.
В 2017 году британская театральная компания 59productions, специализирующаяся на видеодизайне и объёмном мэппинге, открыла VR-проект My Name is Peter Stillman. Это короткометражный виртуальный опыт, нарратив которого основан на первом тексте американского писателя Пола Остера. Проект создан в поддержку спектаклю City of glass, который также был полностью сделан этой компанией и имеет отношение к достижениями в видеомэппинге – в нём используются фанерные «болванки» декораций, которые преображаются от одного пространства к другому при помощи проекции. My Name is Peter Stillman показывается бесплатно перед и после спектакля, как бы вводя в основную историю. Весь контент сводится к тому, что зритель помещается в комнату с анимированным человеком, печатающим текст на машинке. Чем ближе к концу, тем больше лицо человека трансформируется. Другая британская компания Curious Directive, которая заявляет своей основной целью взгляд на искусство через науку, в том же 2017 году поставила спектакль Frogman, который совмещает в себе живое исполнение и некоторые сцены в виртуальной реальности. То есть буквально в какой-то момент спектакля вам предлагают надеть шлемы, и действие продолжается объёмно в пространстве 360˚. Ещё один британский дуэт – Gibson / Martelli – занимается виртуальной реальностью на стыке с перформативностью. В основном они делают игры и инсталляции, но опыт погружения в проекте 2014 года White Island сравним с театральным. Внутри VR зритель оказывается в корзине воздушного шара, парящего над Арктическим кругом. История этого путешествия воссоздана на основе реальной экспедиции и реального крушения воздушного шара в Арктике в 1897 году.
Добрался VR и до оперы: Национальная опера Уэльса в 2017 году предложила зрителям инсталляцию с VR-гарнитурой, надев которую можно было оказаться в рисованном 3D-мире с персонажами двух опер – «Волшебная флейта» и «Мадам Баттерфляй». Участник инсталляции мог не просто смотреть, но и влиять на перемещение героев. А в мобильной театральной компании Dutch Touring Opera в 2016 году запустили проект Weltatem («Мировое дыхание»). В нём 30 зрителям предлагается надеть VR-гарнитуры и начать петь. Рядом с обычными зрителями расположились профессиональные оперные певцы – все вместе распевают партии из Вагнера, Брамса и Деймона Албарна. В пространстве VR участники могут видеть условные позиции своих ног, от которых при извлечении звука расходятся круги. Круги под ногами и другие фигуры в пространстве управляются непосредственно пением – таким образом зрители превращаются в полноценных исполнителей, но при этом не видят итогового результата спектакля, а могут только быть его частью.
Что касается дополненной реальности (AR, augmented reality), то в каком-то смысле к ней относится всё тот же видеомэппинг – поверхностный цифровой слой прибавляется к физическому пространству. Однако в настоящее время AR принято понимать как медиа, которое воспринимается через экраны мобильных устройств или умные очки. Smart glasses пока не так распространены, чтобы их использование проникло в театр, а вот дополненная реальность для телефонов и планшетов вполне себе используется в перформативных практиках и особенно активно в современном искусстве. Штефан Кэги, один из лидеров швейцарской театральной группы Rimini Protokoll, пионеров мобильного и документального экспериментального театра, в интервью, специально данном для этой книги, говорит, что с AR он связывает гораздо большие надежды, чем с VR. В чём заключается технология дополненной реальности: при помощи компьютерного моделирования и отслеживания координат физических объектов в реальном пространстве, на экране устройства появляется дополнительная информация или виртуальные объекты.
Пионеры мобильного и документального экспериментального театра, Rimini Protokoll, в 2013 году специально для Рурской триеннале сделали проект (его с трудом можно назвать спектаклем в конвенциональном смысле этого слова) Situation Rooms. В искусственно созданном ультрареалистичном помещении, объединяющем несколько комнат, 20 зрителей с айпадами в руках исследуют истории 20 реальных людей, жизнь которых так или иначе была определена войной или оружием. Зрители изредка пересекаются между собой, но в основном перемещаются по комнатам в одиночку. На экране айпадов и в наушниках им транслируются реальные видео, связанные с жизнью этих людей, и даются инструкции по перемещению. Длится всё это дело на протяжении 70 минут и, как все проекты Rimini Protokoll, разрывает границы жанров: ты и на спектакле, где зритель равен исполнителю, и внутри компьютерного шутера, и на журналистском задании одновременно.
Перформанс worlds, сделанный[3] в коллаборации нескольких крупных канадских университетов и показанный в 2015 году в Ванкувере на конференции Международного общества электронного искусства, сочетает технологии AR и real-time motion capture. В одной из сцен перформанса цирковая актриса выполняет акробатическую пластику на обруче, подвешенном к потолку. Перформерка одета в костюм с гиросенсорами, данные с которых фиксируются камерами в реальном времени и передаются на компьютер с программой, моделирующей AR. На экранах мобильных устройств зрителей, которые наводят камеры на актрису, она демонстрируется в миниатюрной копии, без всяких канатов двигающаяся в нарисованной пирамиде.
Есть совсем неожиданные примеры: Британский национальный театр в 2017 году совместно с компаниями Epson и Accenture внедрил для некоторых спектаклей возможность просмотра субтитров прямо поверх самого действия, не отвлекаясь на экраны над или сбоку сцены. Для этого используются очки дополненной реальности Epson Moverio и специальное программное обеспечение, которое выводит текст субтитров. Технология была внедрена для увеличения доступности театра людям с ограничениями или повреждениями слуха.
Технология motion capture начала назревать в 70-х годах и в 80-х получила первое реальное применение. Интересно, что кинематограф добрался до mo-cap несколько позже, чем театр, современный танец и академическая музыка. Так, в 1989 году композитор Марк Кониглио разрабатывает систему MidiDancer, которая в беспроводном формате передаёт на компьютер данные от тензорезисторов (датчиков сгиба или flex sensors), прикреплённые на сгибах конечностей перформера. Информация, считываемая с этих сенсоров, была запрограммирована Кониглио и его коллегами на управление предзаписанными видео-фрагментами, модификацию музыки в онлайн-режиме и регулирование осветительных приборов.
В 1999 году хореограф Мерс Каннингем, которому к тому моменту было уже 80 лет, впервые показал балет BIPED – название дублировало имя одной из программ, использованных при создании спектакля. Этот балет стал одной из тех эпохальных точек, которые обозначили появление цифрового перформанса и ещё сильнее запустили процесс апроприации технологий театром. Спектакль состоял из двух частей – собственно живое исполнение танцовщицами на сцене хореографической партитуры, а также видеопроекция, которая частично включала в себя абстрактные анимированные фигуры, а частично – анимированные видео рисованных танцовщиц, проецирующиеся на прозрачный суперзанавес. Для этой анимации на трёх танцовщиц Каннингема навешали сенсоры в виде белых шаров, которые фиксировали камеры, расставленные по периметру студии, в которой девушки танцевали. Движения, зафиксированные камерами, переводились в 3D-модели человеческих силуэтов, нарисованных карандашными штрихами, а затем выводились на проекционный занавес, вступая в разнообразные отношения с живыми танцорами на сцене – то синхронизируясь с их партиями, то работая в контрапункт.
В 2016 году английский театр Royal Shakespear Company поставил дико технологичную версию шекспировской «Бури». Этот спектакль был создан в коллаборации с Intel и главной его особенностью стало использование актёра с mo-cap сенсорами по всему телу и лицу, с помощью которого в онлайн-режиме создавался цифровой аватар Ариэля, духа воздуха, который с помощью 27 проекторов выводился на разные плоскости на сцене. Этот спектакль стал первым в мире живым перформансом, в котором использовались технологии онлайн-захвата мимики да и вообще, пожалуй, первым спектаклем, в котором mo-cap использовался таким образом для создания дублированного персонажа. Актёр в спектакле носит 17 гиросенсоров, данные с которых управляют аватаром, созданным с 336 цифровыми суставами, что почти равно количеству суставов у живого человека. Этот спектакль – очередной повод поразиться тому, как мощнейшие технологии в театре используются для создания абсолютно тухлого произведения. «Бурю» RSC можно целиком увидеть онлайн – это три часа невыносимой архаической тягомотины: в исторических костюмах и декорациях, сделанных вручную, актёры декламируют текст, а над всем этим парит цифровое привидение, на создание которого потратили два года.
Обычно объёмное моделирование используется для производства видео или анимации, которая затем может использоваться или независимо, или как часть спектакля, проецирующаяся на поверхность. Однако есть примеры, когда с помощью моделирования спектакли создавались с нуля (не говоря уже об огромной роли этой технологии в разработке сценографии и декораций).
Особенное развитие 3D-моделирование получило в современном танце. Ещё в 1968 году на выставке Cybernetic Serendipity был представлен хореографический проект компьютерного центра Питсбургского университета, в котором все танцевальные движения были сгенерированы компьютером на основе случайного выбора комбинаций, хотя это и не совсем имело отношение к 3D-моделированию в современном понимании. Зато в 1990-х появляются сразу несколько программ с возможностью создавать объёмные фигуры с установленными параметрами и программировать их перемещения в пространстве – Life Forms и Dance Forms. Уже упоминавшийся выше Мерс Каннингем стал первым, кто использовал 3D-моделирование для постановки танца, что только усилило степень неестественности танцевальных и пластических движений, и так присущей этому хореографу. В 1991 году появляется его танец Beach Birds for Camera, весь построенный на резких, угловатых, изломанных движениях. Спектакли Hand-Drawn Spaces и Loops также частично основаны на движениях, смоделированных с помощью этих программ.
Не всегда такого рода опыты бывают удачными. Режиссёр Роберт Уилсон в коллаборации с композитором Филипом Глассом в конце 90-х задумали очередную совместную оперу, она получила название Monsters of Grace. Как обычно, перед постановкой Уилсон рисовал визуальную книгу спектакля – его идеи к этой постановке были мегаломанические: гигантская рука должна была вытягивать меч из океана, вертолёт должен был пролетать над Великой Китайской стеной. Уперевшись в нереализуемость проекта в реальном пространстве, Уилсон обратился к 3D-моделированию. Технологии на тот момент были понятно какие, у креативной группы ушёл целый год, чтобы в черновом варианте нарисовать видео по эскизам и сценарию Уилсона, судя по доступным скриншотам, получилось это довольно средне. Оперу показывали несколько раз: ансамбль играл музыку Гласса на сцене, а одновременно с этим на проекционный экран сверху давали 3D-видео. Проект явно сильно опередил своё время. Уилсон в интервью The New York Times позже с ужасом отмечал, что он ненавидит этот проект и что это была одна из самых стыдных вещей в его жизни.
Фейс-хакингу в его современном виде чуть меньше трёх лет. В августе 2014 года японский художник и видеограф Нобумичи Асаи запустил проект OMOTE (что с японского переводится как лицо или маска) и записал видеоролик, демонстрирующий возможности проецирования динамического изображения на движущееся лицо. В феврале 2016-го совместно с Intel Асаи выпустил работу Connected Colors, в которой использовал более изощрённую (и более «природную») видеографику, которая то расходилась волнами по лицу модели, то заполняла его как татуировка. Это всё выглядело выразительно, но существовало только в качестве экспериментальных работ на видео. В том же месяце проходила 58-я церемония вручения премий Грэмми, где Intel совместно с Асаи в качестве технического и креативного директора впервые продемонстрировали фейс-хакинг вживую на большую аудиторию: в первые минуты выступления Леди Гаги с трибьютом Дэвиду Боуи на её лице растекалось что-то похожее на лаву, затем у глаза сформировался узнаваемый красный зигзаг, после чего на лице появился паук. Правда, на видео очевидно торможение проекции по отношению к резко дёргающемуся лицу исполнительницы: на тот момент технология была ещё не так точна.
Заметный прогресс можно было увидеть уже весной 2017 года: в марте Асаи выпустил очередную работу с фейс-видеомэппингом, в котором приняли участие две японские танцовщицы, составляющие популярный дуэт AyaBambi. Не говоря о том, что качество и динамичность видеографики сильно продвинулись вперёд, стоит также отметить, что в движениях головы объекты мэппинга стали более свободны: даже при резких поворотах вбок или взмахах вверх проекция на затормаживает и не срывается с контура. К тому же в этой работе площадкой для мэппинга стали сразу два человека; в некоторых местах проекция на лица синхронная, в некоторых – нет.
В общем виде технология выглядит следующим образом. Прежде всего необходимо создать 3D-модель лица человека, на которое будет осуществляться проекция. Нобумичи Асаи, в частности, физически накладывает разные виды макияжа на лицо, фиксирует его на фото, а затем с помощью фотограмметрии уточняет параметры «лицевого ландшафта» для создания объёмной цифровой модели лица. Имея 3D-модель и видеографику, созданную специально под неё, лицо человека очищают от макияжа, клеят на него несколько инфракрасных маркеров, после чего ряд из пяти ИК-камер способен фиксировать движения лица и сопоставлять их с компьютерной моделью. Дальше всё зависит только от мощностей компьютера, способных с высокой скоростью обрабатывать сенсорный трекинг.
Самое интересное касается проектора, формирующего графику на лице. Та высокая точность при быстром перемещении маркеров, которую можно было видеть в видеоработе INORI, была достигнута благодаря коллаборации с лабораторией Ishikawa Watanabe Токийского университета. Там ещё в 2015 году был разработан революционный проектор DynaFlash, который впервые в мире был способен учитывать изменение и движение плоскости, на которую падает проекция. На демонстрационном видео понятно, о чём идёт речь: если растянуть или перевернуть плоскость, те же самые манипуляции произойдут и с проекционным изображением. Главной особенностью DynaFlash является кадровая частота: он способен проецировать видео со скоростью 1000 кадров в секунду. Именно эта его характеристика в сочетании с трекинг-системой Асаи позволила создать технологию проекции на объекты, движущиеся с высокой скоростью. Как уже было сказано, примеров использования технологии в театре пока не замечено – это объясняется дороговизной проектора и необходимыми вычислительными мощностями, но вообще-то фейс-хакинг работает именно на революцию в перформативных практиках, полностью укладываясь в тренд визуального разъятия и цифрового преображения перформера в современном театре.
Использование звуковых технологий в театре относится в основном к категориям саунд-дизайна, то есть создания сложной и насыщенной звуковой среды, которая может играть поддерживающую роль или главную, но которой не определяется существование и развитие спектакля. И всё-таки есть примеры, когда работа со звуком – самое интересное, что в спектакле есть.
Один из таких примеров – спектакль британского режиссёра Саймона Макберни The Encounter, поставленный по мотивам романа Петру Попеску «Сияющая амазонка». Спектакль повествует об одном путешествии через джунгли; повествование устроено следующим образом. В зале, где проходит показ, к каждому зрительскому месту прикреплены стереонаушники, их обязательно следует надеть перед началом. На сцене находится единственный перформер – он же режиссёр, – его окружают аскетичные декорации в виде стола и каких-то коробок; задник обклеен серым поролоновым материалом. На сцене расположен пластмассовый макет головы на железной стойке – это специальный бинауральный стереомикрофон, на котором выделаны копии человеческих ушных раковин. Что, собственно, происходит в спектакле? Саймон Макберни ходит по сцене и, грубо говоря, надиктовывает аудиокнигу, воспроизводя текст по памяти, – то есть рассказывает историю, иногда осуществляя хитрые манипуляции с предметами, из которых получаются любопытные звуковые эффекты. На сцене кроме пластмассовой головы расположено много других микрофонов, которые записывают бинауральный звук и в онлайн-режиме отправляют его в наушники зрителям. К слову, с бинауральным звуком работают также и Rimini Protokoll – в одном из самых популярных их проектов Remote X, о котором мы подробно говорим в главе про театр без людей.
Другой пример, относящийся скорее к музыкальному театру, – спектакль швейцарского режиссёра Тома Луца Unusual Weather Phenomena Project. В этом спектакле Луц обращается к книге физика Уильяма Корлиса «Настольная книга необычных погодных явлений», в которой тот описывает свидетельски зафиксированные факты странных явлений природы. Книгу, напрашивающуюся в жанр «театра художника», Луц разбирает средствами театра музыкального. Перформеры в этом спектакле – одновременно и формальные функции визуального языка, и исполнители партий на музыкальных инструментах, сделанных музруководителем постановки Матиасом Вейбелем, постоянным коллегой Луца. Спектакль очень похож на сновидение: своей спокойной завораживающей красотой и крупными, ясными формами, которые в нем используются, – плотный свет, дым, огромные белые шары. Хватает тут и изобретательности, связывающей работу с современной академической музыкой: например, шары, наполненные гелием, на магнитных лентах надеваются на бобины магнитофона и кинетической силой прокручивают ленты, воспроизводя звуки, на них записанные.