Обучение мозга видеть посредством звука
Это устройство обладает способностью сканировать окружающую среду и описывать посредством звука то, что находится вокруг. Другой подход применяется в таких визуальных технологиях как vOICe
[23] и EyeMusic
[24]. Вместо того, чтобы использовать машинное обучение и рассказывать пользователю, на что он смотрит, эти технологии анализируют возможности обучения человеческого мозга взаимодействию с миром при помощи других органов чувств – изучая, например, как можно видеть с помощью звука.
Нейробиолог Амир Амеди задается вопросом: «Что, если мы найдем способ, как можно передать визуальную информацию в мозг людей с ослабленным зрением, обойдя проблемы с глазами стороной?» Исследования построения мозгом визуальных образов, проведенные Амеди и его командой, показывают, что у слепых от рождения людей при использовании устройств на базе vOICe или EyeMusic активизируются те же области мозга, что и у зрячих. Однако сигнал поступает в мозг не через участок, отвечающий за зрительные образы, а через другой, соответствующий восприятию звуков, но в конечном счете сигналы все равно достигают цели в соответствующем отделе мозга.
Система vOICe (от англ. OIC = «Oh, I See», в пер. «О, я вижу») преобразует изображения, фиксируемые камерой, в звуковые сигналы, чтобы помочь слепым от рождения людям видеть. Система vOICe, разработанная Питером Мейджером, состоит из пары солнцезащитных очков с небольшой встроенной камерой, подключенной к компьютеру и двум наушникам. (Сист ему также можно использовать на смартфоне, загрузив специальное программное обеспечение и используя встроенную камеру.)
Программное обеспечение vOICe преобразует ваше окружение в «звуковой пейзаж». Камера непрерывно сканирует среду слева направо, преобразуя каждый пиксель в звуковой сигнал: частота представляет собой положение по вертикали, а громкость каждого звукового сигнала представляет собой яркость пикселя. Более яркие объекты производят более громкие звуки, а частота указывает на то, является ли объект высоким или низким.
Амеди совместно со своими коллегами обучили слепых от рождения людей способности «видеть», используя vOICe и EyeMusic, более современное приложение, разработанное Амеди, которое также способно различать цвета и передавать соответствующую информацию звуками. Для передачи цветов используются различные типы инструментов. Например, синему соответствует труба, красному – аккорды органа, желтому – скрипка. Белый озвучивается человеческими голосами, а черный – тишиной.
По словам Амеди, для того, чтобы научить свой мозг пользоваться такой технологией, требуется около 70 часов. Пользователям рассказывается, как идентифицировать большие категории объектов, включая лица, тела и пейзажи. Каждая из таких категорий обрабатывается в зрительной зоне коры головного мозга. «Все думают, что информация в мозге формируется под влиянием чувств, но наши исследования показывают, что это не так, – говорит Амеди
[25], – человеческий мозг более гибок, чем мы думали».
Исследования и изобретения, подобные тем, которые создали Амеди и Мейджер, показывают нам, что привычное определение зрения изменяется. И оно будет продолжать меняться, поскольку компьютеры и человеческий мозг учатся видеть по-новому.
Выберите свою собственную реальность
Возможность видеть и распознавать наше окружение с помощью компьютерного зрения также позволяет отфильтровывать нашу реальность и избирательно видеть (или не видеть) мир вокруг нас. Это включает и возможность удаления из нашей реальности объектов, которые мы не хотим видеть.
В эпизоде «Белое Рождество» (2014) популярного сериала «Черное зеркало», в сатирической манере обыгрывающего современные технологии, создатели показали, как выглядела бы наша жизнь, если бы людей можно было убирать из нее одним нажатием кнопки. На месте человека, которого вы «блокировали», образовывалось пустое место, издающее приглушенные звуки, а удаленный человек при этом продолжал видеть обычную картину. В 2010 г оду японский разработчик Такаюки Фукацу продемонстрировал технологию, практически не отличающуюся от той, что показали в «Черном зеркале». Используя Kinect и OpenFrameworks, Оптический Камуфляж
[26] Фукацу демонстрирует, как человеческая фигура сливается с фоном, становясь невидимой.
Доктора Стива Манна, профессора электротехники и информатики в Университете Торонто (Канада), некоторые называют «отцом встроенных в одежду компьютеров». Манн дал определение термину «настраиваемая реальность» в 1990-х годах. Он говорит: «настраиваемая реальность отличается от виртуальной реальности (и дополненной реальности) тем, что она позволяет нам отфильтровывать то, что мы не хотим видеть». По мнению Манна, встроенные в одежду вычислительные устройства предоставляют пользователю «созданное по своему усмотрению личное пространство». Манн использовал настраиваемую реальность для добавления личных заметок и указаний вместо рекламы.
Современный медиа-художник Джулиан Оливер назвал работу Манна источником вдохновения для своего проекта Artvertiser, начатого в 2008 году совместно с Дэмианом Стюартом и Артуро Кастро. Artvertiser
[27] – это программа, заменяющая рекламу на щитах произведениями искусства. Она работает по принципу распознавания компьютерами рекламных объявлений, которые затем преобразуются в виртуальный холст, на который художники могут проецировать изображения или видео. Работы можно увидеть, используя небольшое устройство, которое выглядит как бинокль.
Оливер считает, что Artvertiser не относится к AR, а является примером «улучшенной реальности».
Он описывает проект, как переход общественных пространств от платформ по принципу «только для чтения» к принципу «чтение—запись». Artvertiser является примером прорывного подхода, заключающегося в том, чтобы скорректировать пространства, в которых преобладает реклама.
Brand Killer
[28] (2015) – это современный проект, основанный на работе Манна и Оливера. Brand Killer был создан группой студентов Университета Пенсильвании (США) – Томом Катулло, Алексом Критсом-Кристофом, Джонатаном Дубином и Ридом Розенблатом – с целью убрать рекламу в зоне видимости пользователя. Студенты задаются вопросом
[29]: «Что, если бы мы жили в мире, где потребители не видели бы излишества корпоративного брэндинга?» Brand Killer – это размещаемый на голове дисплей, использующий обработку изображений OpenCV для распознавания и скрытия брэндов и логотипов, которые встречаются на пути пользователя. Это «AdBlock
[30] для реальной жизни», заявляют создатели.
