* * *
В начале 1980-х годов нидерландский физик Питер Мейер принял эстафету в разработке теории, рассматривающей ухо как средство трансляции мозгу зрительной информации. Эхолокация его не занимала, зато сильно интересовал вопрос, возможно ли преобразовать в звук входной поток видеоданных.
Мейер знал о работах Бах-и-Риты по преобразованию видеоданных в тактильные ощущения, однако небеспочвенно подозревал, что человеческое ухо наделено большей способностью вбирать и усваивать информацию. Его недостатком в данном контексте выступала меньшая интуитивность преобразования зрительных сигналов в слуховые. При использовании устройства на основе стоматологического кресла Бах-и-Риты формы окружности, лица или человеческой фигуры непосредственно прорисовывались на коже и потому были легко распознаваемы. А как преобразовать в звук сотни пикселей изображения?
Тем не менее к 1991 году Мейер разработал версию системы на персональном компьютере, а к 1999 году сконструировал комплект из встроенной в очки миниатюрной камеры и носимого на поясе компьютера. Свою систему он назвал vOICe: все буквы складывались в слово «голос» (англ.), а три средние служили аббревиатурой возгласа Oh, I see! — «О, я вижу!»32. Заложенный в систему алгоритм обрабатывал звук по трем измерениям: высоту объекта передавала частота, положение в горизонтальной плоскости передавалось панорамированием стереовхода (представьте, что звук перемещается из левого уха в правое, как если бы вы скользили взглядом, разглядывая картину или сценку), о яркости объекта давала представление сила звука. Система позволяла получить визуальное представление об объекте в градациях серого цвета с разрешением порядка 60 × 60 пикселей33.
Попробуем представить опыт эксплуатации таких очков. Сначала мы слышим лишь какофонию звуков. Затем, двигаясь по помещению, — чуждые уху бессмысленные жужжания и завывания. Через некоторое время мы начинаем соображать, как руководствоваться этими звуками, чтобы перемещаться, не налетая на предметы. На данной стадии приходится выполнять когнитивное упражнение: мы с мучительным трудом учимся переводить хаос из разрозненных звуков в подсказки для успешного перемещения.
Важные перемены происходят чуть позже. По прошествии недель или месяцев незрячие пользователи vOICe осваиваются и начинают передвигаться вполне успешно34, но не потому, что запомнили значение того или иного звука, — напротив, теперь слепые могут в некотором смысле видеть. Они переживают зрительный опыт, используя прибор с необычно низкой разрешающей способностью35. Женщина, потерявшая зрение в 20 лет, так описала свои впечатления от применения устройства:
«Недели за две-три у тебя развивается представление о звуковом ландшафте. Примерно месяца через три или около того ты начинаешь видеть нечто вроде вспышек в окружающей обстановке и уже можешь различать предметы, просто глядя на них… Это в общем-то зрение. Я знаю, что такое зрение. Я помню, каково это»36.
Решающее значение имеет непрерывная неукоснительная тренировка. Как и в случае с кохлеарными имплантатами, могут потребоваться многие месяцы, прежде чем мозг приспособится извлекать смысл из звуковых сигналов устройства. К этому моменту изменения в мозге уже измеримы методом нейровизуализации. Вполне определенный участок (латеральная затылочная кора) в норме реагирует на информацию о форме предметов, и неважно, определяется ли она зрением или осязанием. После нескольких дней ношения очков этот участок коры начинает реагировать на звуковой ландшафт37. Рост эффективности пользования устройством происходит параллельно с масштабами церебральной реорганизации38.
Иными словами, мозг придумывает, как извлечь информацию о форме предметов из входных сигналов, по каким бы проводящим путям — через зрение, осязание или слух — они ни поступали в его святая святых. Какой именно орган чувств посылает их — второстепенная подробность. Самое главное — поступающая в мозг информация.
В первые годы XXI века ряд исследовательских лабораторий начали использовать широкие возможности мобильных телефонов и принялись разрабатывать мобильные приложения, преобразующие входящие визуальные данные в исходящие аудиоданные. Незрячие люди направляют камеру телефона на пространство перед собой, а приложение преобразует зрительную картину в звуковую и транслирует им в наушники. Приложение vOICe, например, можно бесплатно скачать на мобильник в любой точке мира.
Отметим, что vOICe не единственная технология замещения визуальных сигналов звуковыми; в последние годы подобные технологии появляются в изобилии. Например, разработано приложение EyeMusic, которое использует музыкальные тоны для отображения положения объектов в вертикальной плоскости: чем выше располагается пиксель изображения, тем выше музыкальный тон. Для обозначения правого или левого положения пикселя используется временной интервал: ноты, зазвучавшие раньше, указывают, что объект слева; позже — справа. Система даже умеет передавать цвета через звук разных музыкальных инструментов: белый — звучит вокал, синий — труба, красный — орган, зеленый — дудочка, желтый — скрипка39. Применяются также имитирующие эхолокацию технологии, модуляция громкости в зависимости от расстояния до объектов и многие другие идеи40.
Повсеместное распространение смартфонов позволило человечеству отойти от громоздких компьютеров и приобрести колоссальную вычислительную мощь в кармане. Смартфоны дают не только выигрыш в эффективности и скорости, но и шанс в глобальном масштабе улучшить ситуацию с помощью устройств сенсорного замещения, в особенности с учетом того, что 87 % людей с нарушениями зрения проживают в развивающихся странах41. Недорогие мобильные приложения для сенсорного замещения можно распространить по всему миру, поскольку это не требует постоянных издержек на производство, физическое распространение или пополнение запасов, как и не вызывает неблагоприятных побочных эффектов. В этом смысле вдохновленный нейробиологией подход можно считать малозатратным, быстро развертываемым и применимым для решения глобальных проблем здоровья человека.
* * *
Если вас удивляет, что незрячие люди могут «прозреть» за счет языка или звуков в наушниках смартфона, вспомните, как они учатся читать шрифт Брайля. Поначалу под кончиками пальцев не чувствуется ничего, кроме странных, хаотически рассыпанных бугорков. Но вскоре хаос перерастает в нечто намного большее: мозг перестает обращать внимание на необычность средства доставки сигналов (осязание выпуклых точек кончиками пальцев) и сосредоточивается на смысле образуемых ими символов. Опыт чтения брайлевского текста аналогичен вашему, когда вы ведете глазами по этим строчкам: хотя буквы имеют произвольную форму, вы обходите стороной частные подробности данного средства передачи информации (форма букв) и напрямую усваиваете смысл нарисованного ими узора.
Новичку, в первый раз применяющему наязычный дисплей или наушники с системой замещения видеоданных звуковыми, требуется переводить входные сигналы в что-то осмысленное: звуки, генерируемые визуальной картинкой (скажем, собакой, входящей в гостиную с косточкой в зубах), мало что говорят о происходящем вокруг. Это аналогично тому, как если бы ваши нервные волокна вдруг начали транслировать мозгу послания на иностранном языке. Но при достаточной практике мозг способен обучиться переводить звуки в зрительные образы. И как только он этому научится, создаваемая звуками визуальная картинка станет вам понятна и очевидна.
