Когда из чаши достают один шар и несут его через комнату, он начинает воспроизводить записанное сообщение. Если пользователь хочет удалить сообщение, он может просто вытащить его из шара и выбросить в корзину. На шарик можно даже записать ответ и отправить его автору сообщения. Если сообщение необходимо сохранить, нужно просто переложить шарик в другую чашу.
Конечно же, сам по себе шар не воспроизводит звук, это иллюзия. Это обычный шарик, а колонки, встроенные в стены, воспроизводят звук так, что кажется, будто он исходит из самого шара. Мюллер говорит: «Идея заключается в том, что все объекты сами по себе абсолютно обычные и не являются инструментами».
В другом примере Мюллер описывает, как непрочитанные электронные письма могут принять форму стаи птиц, сидящих или парящих в комнате с новыми сообщениями и срочными письмами, пролетающими прямо над пользователем, и все они также создают направленный звук. Различным отправителям можно присвоить разные звуки чириканья птиц. Если пользователь хочет прочитать сообщение, он может подойти к птице, «коснуться» ее в полете, и сообщение будет прочитано голосом. Также можно отвечать или пересылать электронные письма, поймав и направив птицу в соответствующем направлении.
Дополненный звук может создавать новые способы взаимодействия с нашим повседневным миром. И это не столько об автоответчике-шарике или о стае птиц, отправляющих ваши электронные письма, сколько о разработке новых парадигм взаимодействия, которые раньше не были возможны. Такое творческое и художественное переосмысление привычных действий вдохновляет на переосмысление того, как мы взаимодействуем с информацией и какие новые уникальные типы взаимодействия можно придумать.
Для интеграции BoomRoom в повседневную жизнь необходимо, чтобы панели с колонками стали достаточно дешевыми для встраивания их в стены вашего дома. На данный момент прототип заставляет задуматься о том, как мы можем применять дополненный звук для общения и взаимодействия с окружением, используя движения тела.
Воображение и игра со звуком
Японским стартапом в сфере носимых технологий Moff Band
[77] было разработано устройство для детей, в котором сочетание движений и звуков способствует развитию воображения во время игр и чтения. Надеваемый браслет подключается к приложению на вашем смартфоне или планшете через Bluetooth и использует встроенный акселерометр и гироскопические датчики для определения того, какие движения делает ребенок. Выбранные звуковые эффекты воспроизводятся в реальном времени в зависимости от движений ребенка и включают такие звуки, как, например, барабаны и гитара, лязг японских мечей или звуки, относящиеся к различным видам спорта. Moff Band может распознать два отдельных движения: перемещение руки влево-вправо и вверх-вниз. Вы можете находиться на расстоянии до 10 метров от устройства, и оно будет реагировать на вас, издавая звуки.
Двое детей (или взрослых) могут использовать Moff Band, чтобы играть вместе. Например, повторяя движения, совершаемые во время игры в теннис, вы будете слышать звуки отскакивающего теннисного мяча, взмахивая в воздухе воображаемой ракеткой. Кроме того, вы услышите восторженные крики виртуальных зрителей. Moff Band сочетает технологию с физической активностью: дети прыгают и двигаются, чтобы проигрывать звуки.
Moff Band в сотрудничестве с телеканалом PBS KIDS запустили приложение PBS KIDS Party. Это приложение (для детей 5-8 лет) предназначено для того, чтобы помогать в обучении через творческие игры и движения при ношении браслета. Приложение включает в себя игры Freeze Dance
[78] и Piñata Party
[79], а также игру, развивающую счет, и позволяет записывать свои собственные звуки.
Konstruct
[80] – это AR-приложение, разработанное Джеймсом Аллибаном в 2011 году, и основанное на технологии лондонской компании String
[81]. Эта технология позволяет создавать виртуальные скульптуры с помощью смартфона и вашего голоса. Это еще один способ применения дополненного звука: вместо того, чтобы использовать звук для дополнения визуального восприятия, делая его более реалистичным, Konstruct создает абстрактные визуальные эффекты с помощью вашего голоса. По аналогии с Moff Band, оно реагирует на звуки, которые вы производите: речь, свист и даже если вы просто подуете на микрофон. Вы можете комбинировать различные трехмерные фигуры, цветовые палитры и настройки для создания бесконечного набора виртуальных образов. Уровень громкости также влияет на размер фигур.
Как Moff Band, так и Konstruct создают виртуальные образы, позволяющие экспериментировать со звуком при помощи вашего воображения, в результате чего каждый раз получаемые образы могут быть персонализированными, настраиваемыми и уникальными. Одной из причин, позволяющих этой технологии создавать эффект погружения, является создание уникальных образов для каждого конкретного пользователя.
Дополненный звук и персонализация
RjDj, стартап, основанный в Лондоне в 2008 году соучредителем Last.fm Майклом Брейденбрюкером, в котором он реализовал разработанную им нелинейную музыкальную форму под названием реагирующая музыка. Эта музыка реагирует на слушателя и его среду в реальном времени с помощью приложения для смартфонов. Надев наушники, пользователь слышит персонализированную звуковую дорожку, созданную из звуков его физического окружения, которые были записаны с помощью встроенного в смартфон микрофона и микшированны в реальном времени. Хотя в 2013 году сайт RjDj был закрыт и приложение было удалено из открытого доступа, созданные компанией инновации и сегодня остаются актуальными в области дополненного звука.
Мы все знакомы с идеей персонализированных плейлистов (Last.fm разработала такой сервис), но RjDj выходит за обычные рамки, персонализируя музыку и песни, чтобы они реагировали на вас и ваше окружение. «Потребовалось почти 10 лет для того, чтобы моя первоначальная идея, благодаря новым технологиям, обрела форму и стала RjDj», – говорит Брейденбрюкер
[82].
Приложения RjDj используют новые способы взаимодействия, доступные с iPhone, такие как встроенные элементы, сенсоры, портативность, и создают музыкальный сервис, который раньше был невозможен. Креативный директор RjDj Роберт Томас рассказывает о технологии этих приложений:
