В 2011 году Марк Андриссен, генеральный партнер венчурной компании Andreessen Horowitz, написал влиятельную статью в The Wall Street Journal под названием « Почему программное обеспечение съедает мир ». Десять лет спустя именно глубокое обучение пожирает мир.

Глубокое обучение, то есть искусственные нейронные сети со многими скрытыми слоями, регулярно ошеломляет нас решениями реальных проблем. И это происходит во все большем количестве сфер, включая обработку естественного языка, обнаружение мошенничества, распознавание изображений и автономное вождение. Действительно, эти нейронные сети становятся лучше с каждым днем.

Но эти достижения достигаются огромной ценой в виде потребляемых вычислительных ресурсов и энергии. Поэтому неудивительно, что инженеры и компьютерные ученые прилагают огромные усилия, чтобы найти способы более эффективного обучения и работы глубоких нейронных сетей.

В этом году на первый план выходит новая амбициозная стратегия, заключающаяся в выполнении многих необходимых математических вычислений с использованием фотонов, а не электронов. В частности, одна компания, Lightmatter , в конце этого года начнет продавать микросхему ускорителя нейронной сети, которая рассчитывает со светом. Это будет доработка прототипа чипа Mars, который компания продемонстрировала на виртуальной конференции Hot Chips в августе прошлого года.

Хотя разработка коммерческого оптического ускорителя для глубокого обучения является выдающимся достижением, общая идея вычислений со светом не нова. Инженеры регулярно прибегали к этой тактике в 1960-х и 1970-х годах, когда электронные цифровые компьютеры были слишком слабы для выполнения сложных вычислений, необходимых для обработки радиолокационных данных с синтезированной апертурой. Таким образом, они обрабатывали данные в аналоговой области, используя свет.

Изображение прототипа платы Lightmatter.
Фото: Lightmatter
Plug and Play: прототип платы Lightmatter использует обычную шину PCI.
Из-за того, что последующий закон Мура выиграл в том, что можно было сделать с помощью цифровой электроники, оптические вычисления так и не получили широкого распространения, несмотря на преобладание света как средства передачи данных. Но все это может скоро измениться: закон Мура, возможно, подходит к концу, так же как вычислительные потребности глубокого обучения стремительно растут.

Есть не так уж много способов справиться с этой проблемой. Конечно, исследователи глубокого обучения могут разработать более эффективные алгоритмы, но трудно представить, что этих достижений будет достаточно. «Я призываю вас запереть группу теоретиков в комнате и предлагать им придумывать лучший алгоритм каждые 18 месяцев», - говорит Николас Харрис, генеральный директор Lightmatter. Вот почему он и его коллеги стремятся «разработать новую вычислительную технологию, не использующую транзисторы».

Так на что же тогда он полагается?

Основным компонентом микросхемы Lightmatter является интерферометр Маха-Цендера . Это оптическое устройство было совместно изобретено Людвигом Махом и Людвигом Цендером в 1890-х годах. Но только недавно такие оптические устройства были миниатюризированы до такой степени, что большое их количество может быть интегрировано в микросхему и использоваться для выполнения матричного умножения, используемого в вычислениях нейронных сетей.

Керен Бергман, профессор электротехники и директор Лаборатории световых волн Колумбийского университета в Нью-Йорке, объясняет, что эти подвиги стали возможны только в последние несколько лет из-за созревания производственной экосистемы для интегрированной фотоники. необходимо было сделать фотонные чипы для связи. «То, что вы делали бы на скамейке запасных 30 лет назад, теперь они могут выложить на чип», - говорит она.

Изображение интегрированного моделирования интерферометра Маха-Цендера Lightmatter.
Gif: Материя света
Lightpipe : Lightmatter использует встроенный интерферометр Маха-Цендера, часть которого смоделирована здесь.
Обработка аналоговых сигналов, переносимых светом, снижает затраты на электроэнергию и увеличивает скорость вычислений, но точность не может сравниться с тем, что возможно в цифровой области. «У нас есть 8-битная эквивалентная система, - говорит Харрис. Это ограничивает микросхему его компании вычислениями логического вывода нейронной сети - теми, которые выполняются после обучения сети. Харрис и его коллеги надеются, что их технология однажды может быть применена и для обучения нейронных сетей, но обучение требует большей точности, чем сейчас может обеспечить их оптический процессор.

Не только Lightmatter стремится использовать свет для нейросетевых расчетов. Другие стартапы, работающие в этом направлении, включают Fathom Computing , LightIntelligence , LightOn , Luminous и Optalysis . Один из них, Luminous, надеется применить оптические вычисления для наращивания нейронных сетей, которые используют преимущества того, как нейроны мозга обрабатывают информацию - возможно, это объясняет, почему человеческий мозг может делать замечательные вещи, используя всего дюжину или около того. Вт .

Luminous планирует разработать практические системы где-то между 2022 и 2025 годами . Так что нам придется подождать еще несколько лет, чтобы увидеть, что получится с его подходом. Но многие воодушевлены перспективами, включая Билла Гейтса, одного из видных инвесторов компании .

Однако ясно, что вычислительные ресурсы, предназначенные для систем искусственного интеллекта, не могут расти нынешними темпами, удваиваясь каждые три-четыре месяца . В настоящее время инженеры стремятся использовать интегрированную фотонику для решения этой проблемы с помощью нового класса вычислительных машин, которые кардинально отличаются от обычных электронных микросхем, но теперь практичны в производстве. Бергман хвастается: «У нас есть возможность создавать устройства, о которых раньше можно было только вообразить».