Загляни за угол по-научному

Версия для печати

Специалисты по компьютерному зрению обнаружили мир тайных оптических сигналов: по еле заметным движениям можно понять, о чем говорят в комнате, а по нечетким изображениям на углу здания — что находится за углом.

В 2012 году, во время отдыха на побережье Испании, специалист по компьютерному зрению Антонио Торральба заметил на стене своего номера беспризорные тени: что их отбрасывает, было неясно. Через некоторое время ученый понял, что темные участки на стене — вовсе не тени, а нечеткое перевернутое вверх ногами изображение террасы за окном. Окно сыграло роль отверстия в камере-обскуре (в статье используется термин pinhole camera — прим. Newочём). Это простейшее устройство для получения изображений . Оно работает по следующему принципу: световые лучи проходят через небольшое отверстие, и на противоположной стороне создается перевернутое изображение. На освещенной стене изображение было практически незаметно. Ученого осенило: мир полон оптических сигналов, недоступных человеческому глазу.

В тему: Фантастический кадр: световое шоу, устроенное серией молний в Гранд-Каньоне

«Эти изображения не видны, но они все время вокруг нас», – рассказывает Торральба.

Тот случай привлек внимание Торральбы и его коллеги Билла Фримена (оба преподают в Массачусетском технологическом институте — MIT) к повсеместности так называемых случайных камер. Окна, углы, комнатные растения и другие самые обычные предметы создают едва заметные изображения всего, что их окружает. Эти изображения обычно не видны невооруженным глазом: их яркость в тысячу раз меньше по сравнению с другими объектами. «Мы придумали, как получать эти изображения и делать их видимыми», — объяснил Фримен.

Ученые обнаружили, как много визуальной информации скрывается буквально у всех на виду. В своей первой статье Фримен и Торральба показали, что если обработать фотографии одной и той же стены в комнате при разных условиях освещения, можно получить вид из окна этой комнаты. Осенью прошлого года вместе с другими коллегами ученые сообщили о том, что если снять пространство на углу здания, можно отследить движение объекта за ним. Этим летом они продемонстрировали, что по фотографии комнатного растения, а точнее по теням от его листьев, можно восстановить трехмерное изображение всего помещения. А можно превратить листья в «оптический микрофон»: усилив вибрации листьев, услышать, о чем говорят вокруг.

Терраса гостиничного номера, в котором Антонио Торральба заметил, что окно выступило в роли случайной камеры-обскуры (1). Расплывчатое изображение террасы на стене (2) можно сделать более четким (3), если закрыть большую часть окна картоном и таким образом уменьшить размер отверстия, через которое проходит свет. Если изображение перевернуть (4), станет видно расположение предметов снаружи. Антонио Торральба и Уильям Т. Фримен

В 2014 году был проведен эксперимент. В помещении со звуконепроницаемым окном находился человек. Он произносил строчки из детской песенки «У Мэри был барашек...» (Именно эти слова Томас Эдисон первыми записал на фонограф в 1877 году). Также в комнате находилась пустая упаковка из-под чипсов. Речь человека была восстановлена по записанным на камеру вибрациям упаковки.

Изучение способов заглянуть за угол и получить информацию о том, чего не видно (визуализации объектов вне поля зрения), началось в 2012 году со статьи Торральба и Фримена о случайных камерах и еще одной прорывной работы независимой группы из MIT под руководством Рамеша Раскара. В 2016 году, под впечатлением от этих результатов и по ряду других причин, Управление перспективных исследовательских проектов Министерства обороны США (DARPA) запустило программу REVEAL (англ. Revolutionary Enhancement of Visibility by Exploiting Active Light-fields — ‘Революционное улучшение видимости с помощью активных световых полей’) с бюджетом в $27 млн для финансирования новых лабораторий по всей стране. С тех пор благодаря притоку новых идей и математических приемов визуализация объектов вне поля зрения становилась все более эффективной и практичной.

Помимо очевидного применения этой технологии в вооруженных силах и в разведке, ученые рассматривают возможность ее использования при создании беспилотных автомобилей, систем технического зрения роботов, в диагностической визуализации, в астрономии, в космических исследованиях и при проведении поисково-спасательных операций.

Как вспоминает Антонио Торральба, в самом начале у них с Фрименом не было никаких идей по поводу применения технологии. Они просто пытались разобраться в том, как появляется изображение, и что представляет собой камера. Это естественным образом вылилось в более полное исследование поведения света и его взаимодействия с окружающими предметами и поверхностями. Они смогли увидеть то, что никто и не думал искать. Торральба отмечает, что, согласно психологическим исследованиям, «люди очень плохо распознают тени. Может быть потому, что большая часть того, что мы видим, и не тени вовсе. Глаза оставляют попытки найти объяснение некоторым явлениям».

Случайные камеры

Лучи света, передающие изображение предметов вне нашего поля зрения, постоянно отражаются от стен и других поверхностей и попадают в глаза. Но почему эти явления так незаметны? Проблема в том, что лучей слишком много и перемещаются они в разных направлениях: изображения расплываются.

Для формирования изображения необходимо строго ограничить количество световых лучей, попадающих на поверхность, чтобы видны были только нужные. Именно в этом заключается эффект камеры-обскуры. В 2012 году разработки Торральба и Фримена начались с идеи о том, что нас окружает множество различных предметов, естественным образом ограничивающих количество световых лучей и образующих изображения, расплывчатые для глаза, но достаточно четкие для компьютера.

Чем меньше отверстие камеры-обскуры, тем четче получаемое изображение, поскольку только один луч света от каждой точки изображаемого объекта пройдет через отверстие под нужным углом. Окно в гостиничном номере было слишком велико для формирования четкого изображения, и Торральба с Фрименом поняли, что функциональные случайные камеры-обскуры встречаются редко. Вместе с этим они обнаружили, что камеры с обратным действием: мелкие предметы, которые препятствуют прохождению света, — создают изображения повсеместно (в статье используется термин pinspeck camera — прим. Newочём).

Билл Фримен (слева) и Антонио Торральба — специалисты по компьютерному зрению из MIT. Неоднократно проводили совместные исследования. Лилли Пакетт / Инженерный факультет MIT

Представьте, что смотрите через объектив камеры на внутреннюю стену комнаты через щель в жалюзи. Почти ничего не видно. Вдруг в ваше поле зрения попадает чья-то рука. Сравнив интенсивность света на стене, когда рука есть и когда ее нет, можно получить информацию о помещении. Световые лучи, попадающие на стену в первом кадре, блокируются рукой в следующем. Если вычесть данные второго изображения из данных первого, объясняет Фримен, «можно увидеть то, что закрывала рука» — световые лучи, создающие изображение части комнаты. «Если замечать не только предметы, пропускающие свет, но и те, что свет заслоняют, можно увеличить количество ситуаций, при которых появляются изображения как в камере-обскуре».

Вместе с исследованиями случайных камер, в ходе которых используются незначительные изменения интенсивности световых лучей, Фримен и его коллеги разработали алгоритмы для обнаружения и усиления слабых изменений цвета (например, когда кровь приливает к лицу и отливает от него), а также микроскопических движений (в них секрет говорящей упаковки из-под чипсов). Теперь они могут легко заметить движения даже в одну сотую пикселя, которые обычно теряются в шуме. Их метод заключается в том, чтобы математически преобразовать изображение в конфигурацию синусоид. Важно отметить, что в преобразованном пространстве сигнал не подавляется шумом, так как синусоида состоит из средних значений нескольких пикселей, поэтому шум равномерно распределяется между ними. Таким образом, ученые, двигаясь от кадра к кадру, могут обнаруживать изменения в положении синусоид, усиливать эти изменения, а затем преобразовывать изображение в исходный формат.

В тему: Невероятное зрелище из окна самолета: шторм, озаряемый лучами солнца

Они уже начали использовать эти разработки для получения скрытой визуальной информации. В октябре прошлого года, во время исследования под руководством тогда еще аспирантки Фримена, Кэти Буман (сейчас она работает в Гарвард-Смитсоновском центре астрофизики), ученые выяснили, что углы зданий выступают в качестве камер: создают нечеткие изображения происходящего за углом.

Края и углы ограничивают пропуск световых лучей по тому же принципу, что и камеры. С помощью стандартного записывающего оборудования, и даже iPhone, Буман с коллегами при дневном свете снимала на углу здания полутень — темноватую область, которую освещает подгруппа световых лучей, исходящих из невидимого пространства за углом. К примеру, если там пройдет человек в красной рубашке, рубашка спроецирует на полутень небольшое количество красного света, который будет скользить по полутени вслед за человеком. Это незаметно невооруженным взглядом, но после обработки становится прекрасно видно.

Если снять область полутени на земле на углу здания (1), можно понять, что находится за углом (2). Когда объекты вне поля зрения перемещаются, свет, который они отражают по направлению к полутени, движется под разными углами по отношению к стене. Незначительные изменения интенсивности и цвета, как правило, не видны невооруженным глазом (3), но их можно усилить с помощью алгоритмов. Самые простые видеозаписи света, отраженного под разными углами от области полутени, выявляют перемещение одного (4) и двух (5) человек за углом. Антонио Торральба, Уильям Т. Фримен и др.

В июне Фримен с коллегами опубликовал новаторскую работу, в которой ученые воссоздали световое поле комнаты (картину интенсивности и направления движения световых лучей), используя тень густого растения у стены. Листья действуют как обратные камеры-обскуры, каждая из которых блокирует свой пучок световых лучей. При сопоставлении тени от одного листа с остальными выявляется недостающий пучок лучей, а вместе с ним и изображение части невидимого помещения. Сделав поправку на параллакс, исследователи собирают все кусочки воедино.

Подход с использованием светового поля дает гораздо более четкие изображения по сравнению со случайными камерами, поскольку в алгоритмы заранее внесены данные о внешней среде. Форма комнатного растения, допущения о характеристике естественных изображений и другие заранее известные детали позволяют исследователям делать выводы о зашумленных сигналах, за счет чего удается повысить резкость изображения. По словам Торральбы, метод светового поля требует обширных знаний об окружающей среде, зато предоставляет много информации.

Рассеянный свет

Пока Фримен, Торральба и их протеже занимаются обнаружением самопроизвольных изображений, там же, в кампусе MIT, специалист по компьютерному зрению и спикер TED Рамеш Раскар, прямо заявляющий о готовности «изменить мир», испытывает активную визуализацию. С помощью специальных систем из дорогостоящих камер и лазеров он получает высокочеткие изображения находящихся за углом объектов.

Специалист по компьютерному зрению из MIT Рамеш Раскар разработал метод активной визуализации объектов вне поля зрения. Предоставлено ACM SIGGRAPH 2017

В 2012 году Раскар с командой воплощал в жизнь идею, которая пришла ему в голову за пять лет до этого, и разработал следующую методику. В стену напротив объекта вне поля зрения посылают лазерные импульсы. Небольшая часть рассеянного от объекта света возвращается из-за преграды. Сразу после каждого импульса с помощью электронно-оптической камеры, которая со скоростью миллиард кадров в секунду улавливает отдельные фотоны, ученые определяют, какие из них отскочили от стены.

Измеряя время полета возвращающихся фотонов, исследователи могут вычислить преодоленное ими расстояние и во всех подробностях восстановить трехмерные очертания скрытых за стеной объектов, от которых отразились фотоны. Сложность в том, что для создания трехмерного изображения лазер приходится перемещать по стене как при растровом сканировании. Допустим, за углом стоит человек. «Световые лучи от отдельно взятых точек его головы, плеча и колена могут вернуться к камере в одно и то же время, — объясняет Раскар. — Но стоит мне посветить лазером слегка в другом направлении, и лучи из трех точек уже не смогут вернуться одновременно». Поэтому, чтобы воссоздать трехмерный объект, приходится объединять все сигналы и решать так называемую обратную задачу.

Первоначальный алгоритм Раскара для решения обратной задачи требовал большого количества вычислений, а способный их производить аппарат стоил полмиллиона долларов. Но исследователям удалось упростить выражения, изрядно тем самым сэкономив. Опубликованная в одном из мартовских номеров журнала Nature статья установила новые стандарты эффективной и экономичной визуализации трехмерного объекта за углом (на примере фигурки кролика).

Ученые из Стэнфордского университета: Мэттью О’Тул, Дэвид Линделл и Гордон Вецстайн — разработали мощный алгоритм для решения обратной задачи и использовали сравнительно недорогую SPAD-камеру (англ. single-photon avalanche diode — ‘однофотонный лавинный диод’) — полупроводниковое устройство с более низкой по сравнению с электронно-оптической камерой частотой кадров. Раскар, в прошлом научный руководитель двух других авторов, назвал публикацию «очень толковой» и «одной из самых любимых».

При активной визуализации объектов вне поля зрения свет лазера отскакивает от стены, рассеивается от скрытого объекта и возвращается к камере (слева). Отраженный свет можно использовать для воссоздания трехмерного изображения объекта (справа). 2018 Стэнфордская лаборатория методов компьютерной визуализации

Предыдущие алгоритмы стопорились из-за особенностей экспериментальной процедуры. Как правило, исследователи наблюдали за фотонами, которые возвращались не из тех точек на стене, куда первоначально был направлен лазер (чтобы в камеру не попал рассеянный свет самого лазера). Но направив лазер и камеру практически в одну точку, стэнфордским ученым удалось сделать так, чтобы испускаемые и отраженные фотоны очертили один и тот же световой конус.

Рассеиваясь по поверхности, свет образует расширяющуюся сферу фотонов. В процессе расширения она очерчивает форму конуса. О’Тул (который ныне работает в университете Карнеги Меллон) перевел разработанную в начале 20 века Германом Минковским (учителем Альберта Эйнштейна) физику световых конусов в краткое математическое выражение, связывающее время полета фотонов и расстояние до рассеивающих поверхностей. Этот процесс он назвал преобразованием светового конуса.

В беспилотные автомобили уже встроены системы для прямой визуализации — лидары (англ. Light Identification Detection and Ranging — ‘обнаружение, идентификация и определение дальности с помощью света’). Не исключено, что с помощью SPAD-камер и лазеров они тоже в скором времени смогут «заглядывать за углы». «В ближайшем будущем датчики на основе лазера и SPAD-камер станут переносными», — прогнозирует Андреас Велтен, соавтор статьи Раскара 2012 года, ныне руководитель группы по активной визуализации в Висконсинском университете в Мадисоне. «Сейчас задача заключается в том, чтобы перейти к более сложным конфигурациям предметов и реалистичным сценариям, — рассказывает Велтен. — Обычно мы все старательно выстраиваем: чтобы на черном фоне был белый объект, а хочется просто навести камеру на любое нужное место».

В тему: О том, как обманывают экстрасенсы и на чём основан их обман

Знать, где что находится

Исследователи из группы Фримена начали совмещать пассивный и активный подходы. В статье научного сотрудника Христоса Трампулидиса было показано, что при активной лазерной визуализации и наличии за углом обратной камеры-обскуры заранее известной формы, можно восстановить расположение невидимых предметов и без информации о времени пролета фотонов. «Уверен, что обычной ПЗС-матрицы будет достаточно», — заявил Трампулидис.

Когда-нибудь визуализация объектов вне поля зрения послужит на пользу спасательным отрядам, пожарным и автономным роботам. Велтен сотрудничает с Лабораторией реактивного движения NASA в рамках проекта по дистанционной визуализации внутреннего пространства лунных пещер. А Раскар тем временем использует свой подход, чтобы прочесть несколько страниц закрытой книги и получить изображение объекта в тумане.

Помимо воссоздания звуков алгоритм Фримена может пригодиться в конструкции медицинских приборов и систем безопасности, а также для обнаружения незаметных астрономических движений. «Такой алгоритм — очень хорошая идея, — заявил Дэвид Хогг, астроном и исследователь данных в Нью-Йоркском университете и Институте Флэтайрона (который, как и Quanta, финансируется Фондом Саймонса). — Думаю, нам стоит использовать его в астрономии».

Фримен много размышлял над проблемами конфиденциальности в свете недавних исследований. «Этот вопрос серьезно беспокоит меня на протяжении всей моей карьеры», — признается он. Инженер-очкарик, который с самого детства занимается фотографией, Фримен поначалу не хотел работать над тем, что может найти применение в вооруженных силах и разведке. Но со временем исследователь пришел к выводу, что любая технология — лишь инструмент, который можно использовать по-разному. Если избегать всего, что можно применить в военных целях, не сделаешь ничего полезного. Фримен добавил, что даже на войне «вариантов использования технологий великое множество. Наша технология может спасти кому-нибудь жизнь. И вообще, всегда полезно знать, где что находится».

Однако поражают его не столько технологические возможности, сколько то, что удалось обнаружить явление, скрытое у всех на виду. «В этом мире нам еще столько всего предстоит обнаружить», — уверен Фримен.

—

Автор: Натали Волховер. Оригинал: Quanta Magazine

Редактировал: Александр Иванков

Источник: NEWOCHEM

В тему:

• Насколько дорого выйти сухим из воды?
• Распознавание лиц. Как в Китае готовятся арестовывать за будущие преступления
• На лице все написано. Как расшифровать язык лица
• «Наш разум может оказаться в плену»
• Опасны ли социальные сети? Предположения и доказательства