У многих проектов двойное назначение, они не только выполняют собственные задачи, но и могут использоваться в других проектах. Например, базу данных с вариантами интонации голоса можно использовать в программном обеспечении и устройствах с голосовым интерфейсом. Систему, собирающую настроение группы, можно задействовать в приложениях для соцсетей или в эпидемиологических исследованиях.
Одна из групп, «Эмоциональное общение при аутизме», занимается проектами, изучающими базовые проблемы в вербальном общении, в том числе расстройства аутического спектра13. Люди с такими расстройствами могут быть внешне спокойными, а внутренне находиться на грани срыва. Подобные устройства могут определить приближение опасного момента и помочь тем, кто заботится о больных аутизмом, предотвратить срыв.
Гальвактиватор, одна из первых эмоциональных технологий, вышедших из лаборатории, развивался на протяжении нескольких версий и поколений и становился все более сложным и удобным в качестве портативного устройства. Такие устройства, известные как сенсоры кожно-электрической активности, измеряют и отслеживают электропроводность кожи. (Название «гальвактиватор» произошло от более раннего термина «кожно-гальваническая реакция».) Первоначально гальвактиватор напоминал перчатку с обрезанными пальцами и проходил испытания в различных группах. В некоторых испытаниях участвовали и предоставляли свои данные более тысячи человек одновременно. Позже, в 2007 году, на основе гальвактиватора был выпущен браслет iCalm. Это бюджетное маломощное беспроводное устройство отслеживало изменения нескольких автономных процессов, таких как кожно-электрическая активность и сердцебиение. Устройство применялось для отслеживания ритма сна, снижения веса, уровня стресса, физической активности, обучения при аутизме, тестирования программных продуктов и даже интерфейсов видеоигр.
В статье для Института инженеров по электротехнике и радиоэлектронике Пикард описала случай Джоди, молодой женщины, страдающей аутизмом, которая выступала на ежегодной встрече аутистов14. Джоди, как и многие люди с расстройствами аутического спектра, испытывала сильный стресс, когда происходило что-то неожиданное, поэтому Пикард надела на нее браслет. Он отслеживал три биометрических сигнала: электропроводимость кожи, движение и температуру. Из-за изменений в расписании Джоди переволновалась. Браслет показал, что Джоди нервничает и пытается каким-то образом приспособиться к ситуации. Полученные данные позволили команде Пикард определить поведение, которое помогло Джоди избежать аутической истерики, крайне тяжелого и опасного состояния.
Группа эмоционального программирования выдвинула множество идей и создала множество проектов и изобретений, но одним из самых действительно важных результатов ее работы в лаборатории стали ее партнерские связи. В группе работало множество невероятно талантливых людей, и у многих из них сложились важные деловые отношения. В частности, одно партнерство послужило началом ряда новых технологий и коммерческих предприятий.
Рана эль Калиуби родилась и выросла в Каире, Египет, и там же получила степень бакалавра и магистра. Во время учебы в магистратуре у нее появилась идея использовать компьютеры, чтобы изменить связи людей друг с другом. Примерно в то же время ее жених Уаэль Амин, основавший технологический стартап в Каире, дал ей прочесть отзыв на знаменитую книгу Пикард 1997 года. Эль Калиуби заказала книгу и – через четыре месяца получив книгу – прочла ее. Она посчитала работу Пикард вдохновляющей, не в последнюю очередь потому, что ее написала женщина-инженер, которая стала для нее образцом для подражания, а позже учителем. Благодаря книге Пикард эль Калиуби решила, что будет заниматься разработкой систем, способных читать выражения лиц.
После магистратуры – темой диплома была система слежения за выражением лица – эль Калиуби приехала в Англию. Она собиралась получить докторскую степень в Кембриджском университете, но оказалось, что там никто не знал об эмоциональном программировании. Ее засыпали вопросами о том, почему она выбрала именно это направление. На одной из ее презентаций присутствовавший в аудитории молодой человек рассказал, что ему знакомы некоторые проблемы, возникшие перед эль Калиуби, потому что у его брата такие проблемы возникают каждый день. Его брат был аутистом.
Эль Калиуби ничего не знала об аутизме и начала исследования в этой области, поскольку надеялась найти подсказки. Когда она начала работу, директор Центра исследования аутизма, эксперт в области когнитивной нейробиологии Саймон Барон-Коэн сам работал над созданием видеокаталога выражений человеческого лица. Проект должен был помочь людям, страдающим расстройствами аутического спектра, распознавать выражения лица, поскольку неспособность читать человеческую мимику – широко распространенная проблема среди аутистов. Каждый видеоролик оценивала коллегия из двадцати специалистов. В результате в рамках проекта собрали свыше четырехсот одобренных видеороликов, которые эль Калиуби могла использовать для обучения своих программ. Алгоритмы машинного обучения обрабатывали все видеоролики, снабженные меткой отдельной эмоции – например, радости или смущения, – а затем находили общие черты в лицах, показанных во всех роликах. Программа знала, как выглядит то или иное выражение лица, и могла обучаться за счет дополнительных примеров и обратной связи.
Однажды настанет время, когда во все устройства будет встроен эмоциональный чип. Ваше устройство будет реагировать на ваши эмоции и приспосабливаться к ним.
В результате эль Калиуби разработала первый «протез» социальных навыков – очки с вмонтированной веб-камерой, которая выводила изображение на диодные дисплеи, обращенные к пользователю. Во время беседы устройство определяло выражение лица слушателя и предоставляло владельцу обратную связь в режиме реального времени. Светодиодный экран светился зеленым, желтым или красным цветом в зависимости от того, заинтересован собеседник в разговоре, настроен нейтрально или ему скучно. К концу пребывания в Кембридже эль Калиуби разработала систему, которая с точностью 88 % распознавала не только базовые эмоции, но и достаточно большой спектр выражений. Она дала устройству название MindReader.
В 2004 году, когда эль Калиуби разрабатывала MindReader в рамках работы над докторской диссертацией, ее лабораторию в Кембридже посетила Розалинд Пикард. Женщины очень быстро нашли общий язык15. Сложность и стабильность системы эль Калиуби произвели такое впечатление на Пикард, что они вместе усовершенствовали MindReader. Эль Калиуби попросила Пикард дать оценку ее докторской диссертации, а Пикард пригласила эль Калиуби в группу эмоционального программирования при Междисциплинарной исследовательской лаборатории. В 2006 году, получив докторскую степень, эль Калиуби присоединилась к группе. Они успешно работали вместе и вскоре получили от Национального научного фонда около миллиона долларов на разработку iSET, «протеза» эмоциональных навыков, на основе созданной эль Калиуби программы FaceSense.
Пикард и эль Калиуби сотрудничали по ряду проектов, основанных на технологиях iCalm и MindReader. На протяжении пяти лет они разрабатывали и тестировали свои устройства на детях в Гроден-центре и центре исследования аутизма в Провиденсе, Род-Айленд. Они просвещали людей, испытывающих проблемы с переживанием и распознанием эмоций, и работа в этой области была успешной.
