Когда я был мальчиком, я втайне надеялся, что открою скрытую внутри себя какую-то удивительную сверхспособность - скажем, рентгеновское зрение или способность читать мысли людей. Такие сны снятся многим детям. Но даже мой плодородный молодой мозг не мог представить, что однажды я помогу воплотить такие сверхспособности в реальность. Я также не мог представить себе возможность, что продемонстрирую эти способности президенту Соединенных Штатов. И все же два десятилетия спустя именно это и произошло.

Конечно, здесь не было никакой магии или научной фантастики, только новые алгоритмы и умная инженерия с использованием беспроводной технологии, которая воспринимает отражения радиоволн, исходящих от ближайшего передатчика. Подход , которого придерживаемся мои коллеги из Массачусетского технологического института , основан на недорогом оборудовании, которое легко установить - не сложнее, чем настроить маршрутизатор Wi-Fi .

Эти результаты теперь применяются в реальном мире, помогая медицинским исследователям и клиницистам лучше оценивать прогрессирование заболеваний, влияющих на походку и подвижность. И устройства, основанные на этой технологии, скоро станут коммерчески доступными. В будущем их можно будет использовать для наблюдения за пожилыми людьми дома, чтобы посылать оповещения, если кто-то упал. В отличие от пользователей сегодняшних медицинских систем оповещения, людям, за которыми ведется наблюдение, не нужно носить браслет или подвеску с радиооборудованием. Эту технологию также можно использовать для мониторинга дыхания и сердцебиения новорожденных, не соприкасаясь с чувствительной кожей младенцев.

Вы, наверное, задаетесь вопросом, как работает эта технология обнаружения на основе радио. Если да, читайте дальше, и я объясню, рассказав историю о том, как нам удалось подтолкнуть нашу систему к возрастающим уровням чувствительности и сложности.

Все началось в 2012 году, вскоре после того, как я стал аспирантом Массачусетского технологического института. Мой научный руководитель Дина Катаби и я работали над тем, как позволить сетям Wi-Fi передавать данные быстрее. Мы установили устройство Wi-Fi на мобильного робота и позволили роботу перемещаться к тому месту в комнате, где скорость передачи данных была самой высокой. Время от времени наши показатели пропускной способности загадочным образом падали. В конце концов мы поняли, что, когда кто-то шел по соседнему коридору, присутствие человека нарушало беспроводные сигналы в нашей комнате.

Мы должны были это предвидеть. Беспроводные системы связи, как известно, уязвимы для электромагнитных шумов и помех, которые инженеры работают трудно бороться. Но, увидев эти эффекты воочию, мы стали думать о наших исследованиях совершенно по-другому. Мы задавались вопросом, может ли этот «шум», создаваемый прохожими, служить новым источником информации об окружающей среде. Можем ли мы взять устройство Wi-Fi, направить его на стену и увидеть на экране компьютера, как движется кто-то за стеной?

Мы подумали, что это должно быть возможно. В конце концов, стены не блокируют беспроводные сигналы. Вы можете получить соединение Wi-Fi, даже если роутер находится в другой комнате. А если по ту сторону стены находится человек, беспроводной сигнал, который вы посылаете с этой стороны, будет отражаться от его или ее тела. Естественно, что после того, как сигнал пройдет через стену, отразится и снова пройдет сквозь стену, он будет очень ослаблен. Но если бы мы могли каким-то образом зарегистрировать эти мельчайшие отражения, мы в некотором смысле смогли бы видеть сквозь стену.

Использование радиоволн для обнаружения того, что находится по ту сторону стены, применялось и раньше, но с использованием сложного радиолокационного оборудования и дорогих антенных решеток. Мы хотели использовать оборудование, мало отличающееся от того, которое вы использовали бы для создания локальной сети Wi-Fi у себя дома.

Эллиптические рассуждения о местонахождении
Время, необходимое для прохождения радиосигнала от передающей антенны до отражающего объекта (здесь, человека) и обратно до приемной антенны, можно использовать для ограничения положения этого объекта. Зная время прохождения между одной такой парой антенн, вы можете определить, что рефлектор расположен где-то на эллипсе, в фокусах которого находятся две антенны (эллипс представляет собой набор точек, для которых расстояния до двух фокусов суммируются до постоянное значение) [вверху]. С двумя такими парами антенн вы можете лучше определить местоположение отражателя, который должен находиться на пересечении двух эллипсов [в центре]. С еще большим количеством пар антенн можно определить, где расположены два или более отражающих объекта. Яркие цвета на нижних диаграммах [внизу] показывают расположение двух человек в комнате, если смотреть сверху.
imgimg
Изображения: Fadel Adib
Когда мы начали экспериментировать с этой идеей, мы обнаружили множество практических сложностей. Первый исходил от самой стены, отражение которой было в 10–100 000 раз сильнее, чем любое отражение, исходящее от нее. Еще одна проблема заключалась в том, что беспроводные сигналы отражаются не только от стен и человеческого тела, но и от других объектов, включая столы, стулья, потолки и полы. Поэтому нам пришлось придумать способ нейтрализовать все эти другие отражения и уберечь их только от тех, кто находится за стеной.

Для этого мы изначально использовали два передатчика и один приемник. Сначала мы отправили сигнал от одного передатчика и измерили отражения, которые вернулись к нашему приемнику. В принятом сигнале преобладала большая часть отражения от стены.

То же самое проделали и со вторым передатчиком. В полученном сигнале также преобладали сильные отражения от стены, но величина отражения и задержка между переданным и отраженным сигналами были немного разными.

Затем мы отрегулировали сигнал, испускаемый первым передатчиком, так, чтобы его отражения гасили отражения, создаваемые вторым передатчиком. Как только мы это сделали, приемник не зарегистрировал гигантское отражение от стены. Регистрируются только отражения, которые не были погашены, например, от кого-то, движущегося за стеной. Тогда мы могли бы усилить сигнал, посылаемый обоими передатчиками, не перегружая приемник отражениями от стены. Действительно, теперь у нас была система, которая подавляла отражения от всех неподвижных объектов.

Затем мы сконцентрировались на обнаружении человека, когда он или она двигались по соседней комнате. Для этого мы использовали метод, называемый радаром с обратной синтезированной апертурой , который иногда используется для морского наблюдения и радиолокационной астрономии. С нашим простым оборудованием эта стратегия была достаточно хороша для определения того, движется ли человек за стеной, и даже для определения направления, в котором он двигался. Но он не показал местонахождение человека.

По мере развития исследования и расширения нашей команды, в которую вошли сокурсник Захари Кабелак и профессор Роберт Миллер , мы модифицировали нашу систему, чтобы она включала большее количество антенн и работала не так, как маршрутизатор Wi-Fi, а больше как обычный радар.

Люди часто думают, что радар излучает короткий радиоимпульс, а затем измеряет задержку возвращающихся отражений. Может, но это технически сложно сделать. Мы использовали более простой метод, называемый частотно-модулированным радаром непрерывного действия , который измеряет расстояние, сравнивая частоту передаваемой и отраженной волн. Наша система работала на частотах от 5 до 7 гигагерц, передавала сигналы, мощность которых составляла всего 0,1 процента от мощности Wi-Fi, и могла определять расстояние до объекта с точностью до нескольких сантиметров.

Использование одной передающей антенны и нескольких приемных антенн, установленных в разных положениях, позволило нам измерить радиоотражения для каждой пары приемо-передающих антенн. Эти измерения показали, сколько времени требуется радиосигналу, чтобы покинуть передатчик, достичь человека в соседней комнате и отразиться обратно в приемник - обычно несколько десятков наносекунд. Умножение этого очень короткого временного интервала на скорость света дает расстояние, пройденное сигналом от передатчика до человека и обратно до приемника. Как вы могли вспомнить из урока геометрии в средней школе, это расстояние определяет эллипс с двумя антеннами, расположенными на двух фокусах эллипса. Человек, создающий отражение в соседней комнате, должен находиться где-то на этом эллипсе.

С помощью двух приемных антенн мы могли нанести на карту два таких эллипса, которые пересекались в месте нахождения человека. Имея более двух приемных антенн, можно было определить местонахождение человека в 3D - например, можно было определить, стоял ли человек на полу или лежал. Все становится сложнее, если вы хотите таким образом определить местонахождение нескольких людей, но, как мы позже показали, с достаточным количеством антенн это выполнимо.

Придумать приложения для такой системы несложно. Умные дома могли отслеживать местонахождение своих обитателей и регулировать обогрев и охлаждение разных комнат. Вы можете наблюдать за пожилыми людьми, чтобы убедиться, что они не упали или не остановились иным образом, не требуя от этих пожилых людей носить радиопередатчик. Мы даже разработали способ для нашей системы отслеживать жесты рук, позволяя пользователю управлять освещением или приборами, указывая на них.

Следующим естественным шагом для нашей исследовательской группы, в которую к этому времени также входили аспиранты Чен-Ю Сю и Хунцзи Мао и профессор Фредо Дюран, было запечатлеть силуэт человека через стену.

Фотография, показывающая, как машина передает частоты объекта через стену 
Фото: Фадель Адиб
Через стену: используемые радиочастоты без проблем проникают через обычные стены, что позволяет датчику находиться в комнате, отличной от объекта.
Основная проблема заключалась в том, что на частотах Wi-Fi отражения от некоторых частей тела отражались от приемной антенны, в то время как другие отражения уходили в других направлениях. Таким образом, наше беспроводное устройство обработки изображений могло захватывать одни части тела, но не другие, и мы не знали, какие это части тела.

Наше решение было довольно простым: мы агрегировали измерения с течением времени. Это работает, потому что когда человек движется, разные части тела, а также разные точки зрения одной и той же части тела подвергаются воздействию радиоволн. Мы разработали алгоритм, который использует модель человеческого тела для сшивания серии снимков отражения. Затем наше устройство смогло восстановить грубый человеческий силуэт, показывая расположение головы, груди, рук и ног.

Хотя это не рентгеновское видение славы Супермена, низкое разрешение можно считать особенностью, а не ошибкой, учитывая опасения людей по поводу конфиденциальности. Позже мы показали, что призрачные изображения имели достаточное разрешение, чтобы идентифицировать разных людей с помощью классификатора машинного обучения. Мы также показали, что систему можно использовать для отслеживания ладони пользователя с точностью до пары сантиметров, что означает, что когда-нибудь мы сможем обнаруживать жесты рук.

Изначально мы предполагали, что наша система может отслеживать только движущегося человека. Затем однажды я попросил испытуемого не двигаться на этапе инициализации нашего устройства. Наша система точно зафиксировала его местоположение, несмотря на то, что мы разработали ее так, чтобы игнорировать статические объекты. Мы были удивлены.

Призрак в машине
Можно сформировать призрачный силуэт человека, отражающий радиоволны [см. Верхний набор изображений]. Первый шаг - просто сформировать тепловые карты, которые показывают, от чего отражается радиоэнергия при движении объекта [верхний ряд]. Поскольку эти изображения получаются, когда человек находится на разном расстоянии от антенн, необходимо внести поправку, чтобы учесть геометрическое распространение радиоволн [средний ряд]. Скорректированные изображения затем объединяются с моделью головы, туловища и конечностей человека, чтобы сформировать окончательное изображение. Для сравнения, Kinect использовался для измерения движений человека [нижний ряд].
img 
Изображение: Фадель Адиб
Посмотрев более внимательно на выходной сигнал устройства, мы поняли, что грубое радиоизображение нашего объекта появлялось и исчезало с периодичностью, соответствующей его дыханию. Мы не осознавали, что наша система может улавливать человеческое дыхание в типичных помещениях, используя такие маломощные беспроводные сигналы. Причина, по которой это работает, конечно же, заключается в том, что легкие движения, связанные с расширением и сокращением грудной клетки, влияют на беспроводные сигналы. Понимая это, мы усовершенствовали нашу систему и алгоритмы для точного отслеживания дыхания.

Более ранние исследования в литературе показали возможность использования радара для обнаружения дыхания и сердцебиения, и после более тщательного изучения принимаемых сигналов мы обнаружили, что мы также можем измерять чей-то пульс. Это потому, что когда сердце перекачивает кровь, возникающие в результате силы заставляют различные части тела тонкими способами колебаться. Хотя движения крошечные, наши алгоритмы могут увеличивать их масштаб и отслеживать их с высокой точностью даже в средах с большим количеством радиошумов и с множеством движущихся объектов, чего ранее исследователи не достигли.

К этому моменту стало ясно, что существуют важные практические приложения, поэтому мы были рады создать компанию, которую назвали Emerald , для коммерциализации наших исследований. Надев наши изумрудные шляпы, мы участвовали в конкурсе предпринимателей MIT с бай-ином $ 100 000 и вышли в финал. Хотя мы не выиграли, в августе 2015 года нас пригласили продемонстрировать наше устройство на «Демо-день» в Белом доме - мероприятии, которое президент Барак Обама организовал, чтобы продемонстрировать инновации со всех концов Соединенных Штатов.

Было очень интересно продемонстрировать нашу работу президенту, который наблюдал, как наша система обнаруживала мое падение и отслеживала мое дыхание и сердцебиение. Он отметил, что из этой системы можно будет сделать хорошую радионяню. Действительно, один из самых интересных тестов, который мы сделали, был со спящим младенцем.

Видео на обычной радионяне показывает мало. Но, оснащенный нашим устройством, такой монитор мог без труда измерять дыхание и частоту сердечных сокращений ребенка. Этот подход также можно использовать в больницах для мониторинга жизненно важных показателей новорожденных и недоношенных детей. У этих младенцев очень чувствительная кожа, поэтому прикрепить к ним традиционные датчики проблематично.

Около трех лет назад мы решили попробовать ощущать человеческие эмоции с помощью беспроводных сигналов. И почему бы нет? Когда человек возбужден, его сердцебиение увеличивается; в блаженном состоянии частота сердечных сокращений снижается. Но мы быстро поняли, что одного дыхания и частоты сердечных сокращений недостаточно. В конце концов, наша частота пульса также высока, когда мы злимся, и понижена, когда нам грустно.

Изучая прошлые исследования в области аффективных вычислений - области исследования, которая пытается распознавать человеческие эмоции по таким вещам, как видеопотоки, изображения, голос, электроэнцефалография (ЭЭГ) и электрокардиография (ЭКГ), - мы узнали, что самый важный жизненно важный признак для распознавания человеческие эмоции - это миллисекундные вариации интервалов между ударами сердца. Это намного сложнее измерить, чем среднюю частоту сердечных сокращений. И в отличие от сигналов ЭКГ, у которых есть очень острые пики, форма сигнала сердцебиения на нашем беспроводном устройстве не известна заранее, и сигнал довольно зашумленный. Чтобы преодолеть эти проблемы, мы разработали систему, которая изучает форму сигнала сердцебиения по шаблону беспроводных отражений, а затем использует эту форму для восстановления длины каждого отдельного удара.

Используя особенности этих сигналов сердцебиения, а также модели дыхания человека, мы обучили систему машинного обучения классифицировать их по одному из четырех основных эмоциональных состояний: грусть, гнев, удовольствие и радость. Печаль и гнев - это отрицательные эмоции, но грусть - это спокойная эмоция, а гнев связан с волнением. Удовольствие и радость, как положительные эмоции, одинаково связаны со спокойным и возбужденным состояниями.

Наша система могла точно уловить эмоции в 87% случаев, когда тестирование и обучение проводились по одному и тому же предмету.
Тестируя нашу систему на разных людях, мы продемонстрировали, что она может точно улавливать эмоции в 87% случаев, когда тестирование и обучение проводились на одном и том же предмете. Когда он не был обучен на данных субъекта, он все равно распознавал эмоции человека с точностью более 73 процентов.

В октябре 2016 года мой сокурсник Минмин Чжао , Катаби и я опубликовали научную статью [PDF] об этих результатах, которая была подхвачена в популярной прессе. Несколько месяцев спустя наше исследование вдохновило нас на создание эпизода американского ситкома « Теория большого взрыва» . В этом эпизоде ​​персонажи предположительно заимствуют устройство, которое мы разработали, чтобы попытаться улучшить эмоциональный интеллект Шелдона.

Хотя маловероятно, что беспроводное устройство могло когда-либо помочь кому-то таким образом, использование беспроводных сигналов для распознавания основных психических состояний человека может иметь и другие практические применения. Например, это может помочь виртуальному помощнику , такому как Amazon Alexa, распознать эмоциональное состояние пользователя.

Есть много других возможных приложений, которые мы только начали изучать. Сегодня прототипы Emerald находятся в более чем 200 домах, где они следят за сном и походкой подопытных. Врачи Boston Medical Center , Brigham и женской больницы , больницы общего профиля Массачусетса , и в других местах будет использовать данные исследования прогрессирования заболевания у пациентов с болезнью Альцгеймера, Паркинсона и рассеянный склероз. Мы надеемся, что в недалеком будущем любой желающий сможет приобрести устройство Emerald.

Когда кто-то спрашивает меня, что будет дальше с беспроводным зондированием, я люблю отвечать, спрашивая, какая у них самая любимая сверхспособность. Вполне возможно, что именно в этом и будет развиваться эта технология.