Синий ящик

Туман над аэродромом стоял такой, что комиссия отказалась подниматься в воздух. Шел 1934 год. Военные летчики Воздушного корпуса армии США неделями возили почту в непогоду и по ночам, разбивались один за другим; страна читала сводки о похоронах. В этот день офицеры собрались посмотреть на странную машину, которая обещала научить пилота летать вслепую, по одним приборам, — и не верили ей. Тогда человек, привезший машину, поднялся в этот самый туман сам и сел по приборам: ровно, спокойно, будто видел полосу под колесами. Через несколько месяцев армия заказала шесть его аппаратов по 3500 долларов за штуку.

Аппарат был деревянным ящиком на подвижном основании. Внутри — кабина с приборами, снаружи — стол инструктора, который задавал болтанку и подавал радиосигналы. Курсант садился в ящик, который никуда не летел, и учился держать курс и высоту, выполнять развороты вслепую. Когда он ошибался, ящик не падал. Линию его ошибок инструктор вычерчивал чернилами на карте, и после «полета» они вместе разбирали, где курсант сбился. Тысячи летчиков потом скажут, что этот синий ящик спас им жизнь.

История эта, конечно, не про авиацию — про то, как человек добывает понимание, и про то, что в этом сейчас сдвигается. Понимание всегда стоило дорого. Менялась только цена и то, чем платили.

Школа, где за урок платили жизнью

Иллюстрация создана с помощью нейросети по авторскому заданию.

До синего ящика летному делу учила одна наставница — настоящая ошибка. Других тренажеров не было: ты поднимался в небо и либо понимал машину, либо нет, и за непонимание платил сразу и целиком.

Цену видно по цифрам. Журнал Смитсоновского института пишет об этом прямо: большую часть Первой мировой летчик имел больше шансов погибнуть при обучении и в катастрофах, чем от врага. А когда в 1917 году подготовку взяли всерьез — методичный курс Госпортской школы Смита-Барри вместо «сел и полетел», — гибнуть стали реже. Дело было не в технике и не в роке, а в том, что прежде учили плохо и наспех.

Та же арифметика проступает в гражданской авиапочте. Американских почтовых пилотов начала двадцатых годов прозвали «клубом самоубийц»: из чуть более двухсот человек, нанятых перевозить почту, тридцать пять погибли. Но интереснее другое число. В 1919 году одна гибель приходилась на 115 тысяч пролетанных миль; к 1926 году — уже на 2,5 миллиона. Безопасность выросла более чем в двадцать раз, и выросла она тем самым дорогим способом: опыт накапливался через похороны. Каждая миля без катастрофы была оплачена милями с катастрофой.

Так понимание и покупалось — телом и деньгами. Другой кассы не существовало. Чтобы узнать, как поведет себя машина, рынок, решение, нужно было войти в реальность и заплатить ей по счету. Заход был медленным, дорогим и часто необратимым: разбитый самолет не склеить, потерянного пилота не вернуть.

Моделировали там, где гибли

Иллюстрация создана с помощью нейросети по авторскому заданию.

Синий ящик был ответом на эту цену. И стоит посмотреть, где такие ответы вообще рождались, — закономерность окажется жесткой.

Первые серьезные «тренажеры решений» придумала армия. В 1824 году прусский Генеральный штаб принял на вооружение настольную военную игру — Kriegsspiel: карты, фишки, жесткие правила, считавшие исход боя. Начальник штаба назвал ее не игрой, а школой войны. Через полвека прусская армия не имела особого превосходства ни в оружии, ни в числе, ни в выучке солдат — но была единственной в мире, кто разыгрывал свои кампании на столе, прежде чем вести их в поле. После ее побед в эту школу записалась вся Европа.

Следующий рывок родился там, где ошибка могла стать самой дорогой в двадцатом веке. В 1946 году в Лос-Аламосе математик Станислав Улам, восстанавливаясь после болезни и раскладывая пасьянс, придумал считать вероятность не в лоб, а проигрывая партию много раз и складывая частоты. Метод, который он развил вместе с фон Нейманом и который Николас Метрополис назвал в честь казино Монте-Карло, родился для расчета ядерного оружия — там, где настоящий эксперимент был немыслим. Чтобы не взрывать реальность, ее стали проигрывать в числах.

И синий ящик встал в тот же ряд. Армия не купила его, когда Линк только построил аппарат, — в конце двадцатых тот катал публику в парках развлечений за четвертак. Армия купила его в 1934 году — после того как за неполных три месяца почтовой операции погибли тринадцать членов экипажей. Эту операцию знаменитый летчик той эпохи Эдди Рикенбакер назвал узаконенным убийством. Пока ошибка была дешевой, ящик был аттракционом. Как только она стала смертельной, он стал необходимостью.

Отсюда видно правило. Моделирование шло вперед не из любопытства, а из опасности. «Конфликт» и «сложность» — одна и та же пружина при разной силе сжатия: и там, и там модель строят, когда ошибиться по-настоящему слишком дорого. Война — просто крайняя форма этой цены, где промах равен гибели. И прусский штаб, и физики Лос-Аламоса, и инструктор у синего ящика делали одно: переносили дорогую ошибку из необратимой реальности в обратимую модель.

Моделирование — дитя опасности, а не любопытства.

В нашей собственной истории та же логика видна на самом тяжелом материале. В январе 1941 года Генеральный штаб проигрывал будущую войну на картах: большие оперативно-стратегические игры, в которых участвовали Жуков, Павлов, Кузнецов, Кулик. Командование под нависшей угрозой репетировало столкновение прежде реальности — ровно как пруссаки за сто лет до того. Игры дали и реальные выводы: успех на юго-западном направлении лег потом в план развертывания. Но они же репетировали и свои допущения — кто наступает, где главный удар, — и реальность июня сорок первого с этими допущениями не совпала. О причинах катастрофы историки спорят до сих пор, и не в них здесь дело. Дело в простом и неутешительном: модель сильна ровно настолько, насколько верны допущения, которые в нее заложили.

Модель родилась как способ ошибаться не насмерть.

Тренажер сошел с поля боя

Иллюстрация создана с помощью нейросети по авторскому заданию.

Весь двадцатый век у этой способности была высокая входная цена. Тренажер требовал войны, государства, лаборатории, большого бюджета — его рождали катастрофы и оплачивали армии. Проиграть вариант заранее могли немногие и в немногих местах.

Сейчас происходит тихая, но крупная перемена: тренажер сошел с поля боя и встал на каждый рабочий стол. Проиграть сценарий заранее стало дешево и по силам одному человеку.

Промышленность это уже считает в деньгах. Предиктивное обслуживание — модель, которая по данным с датчиков предсказывает поломку прежде, чем станок встанет, — на одном химическом производстве снизило долю аварийного ремонта с 43 процентов всех работ до менее чем 10 процентов. Цифровые двойники — живые виртуальные копии завода или изделия — позволяют проиграть режим до того, как тронешь настоящую установку. Концерн BASF строит такие двойники целых химических заводов; на автомобильной же сборочной линии, по опубликованным данным, цифровой двойник поднял эффективность примерно на 6 процентов. А генеративные модели дали отдельному руководителю то, чего у него никогда не было, — возможность проиграть наедине трудный разговор, ценовое решение, сложное письмо, прежде чем выйти с ними в реальность, где за ошибку платят выручкой.

У нас это видно не хуже. В Петербургском политехническом университете инженерный центр Алексея Боровкова на платформе CML-Bench строит цифровые двойники изделий, которые просчитывают тысячи вариантов конструкции до того, как будет отлит металл; для ракетного двигателя матрица целевых показателей и ограничений доходит, по словам самого Боровкова, до ста двадцати тысяч. «Газпром нефть» собрала цифровой двойник месторождения имени Жагрина и оценила эффект более чем в миллиард рублей. Директор по цифровой трансформации компании Андрей Белевцев формулирует смысл прямо: снижаем зависимость от когнитивных ошибок человека и поднимаем качество решений.

Моделирование подешевело и стало общим. То, что прежде оплачивалось разбитым самолетом или военным бюджетом, теперь оплачивается несколькими часами и доступом к инструменту.

Впервые тренажер приходит без войны.

Человек, решивший задачу полета, был органным мастером

Теперь вернемся к синему ящику и назовем то, что я в начале сознательно опустил. Эдвин Линк, построивший аппарат и севший в тот туман, не был ни летчиком-конструктором, ни инженером авиации. Он был сыном фабриканта органов и пианино, вырос в отцовской мастерской и оттуда взял главное — мехи и вакуумный насос. Именно органные мехи качали воздух, наклоняли деревянную кабину и двигали стрелки приборов. Задачу, которая убивала пилотов, решил человек, пришедший из музыкальных инструментов.

Это не курьез. Это и есть механизм, по которому моделирование двигалось вперед. Улам перенес интуицию из карточного пасьянса на диффузию нейтронов в бомбе. Прусский штаб превратил настольную игру в школу командования. Большой скачок почти всегда приходил из чужой комнаты: метод одной области вдруг оказывался ключом к другой, где его никто не ждал.

Логика тут глубокая, а не декоративная. Модель тем сильнее, чем шире знание, которое в нее заводят. Понимание добывается не только глубиной в своем деле, но и способностью занять прием у соседа — увидеть, что задача про запасы похожа на задачу из баллистики, а задача про людей — на задачу из биологии. Прогресс почти никогда не рождался внутри одной дисциплины; он рождался на стыке, когда кто-то приносил в комнату инструмент, которого там не знали.

Раньше этот стык стоил дорого. Чтобы заглянуть в чужую область, нужно было собрать в одной комнате специалистов — нанять, свести, оплатить их время. Большой скачок требовал большой команды.

Команда исследователей в одном вопросе

При правильно поставленных вопросах AI дает одному человеку дешевый первый проход в область, которой тот не учился, — в медицину, баллистику, нейробиологию, военное дело. Не диплом и не годы практики, но честный заход: что здесь известно, какой тут метод, на какую аналогию опереться, что читать дальше. То, что прежде требовало команды исследователей и месяцев, сжимается в правильно заданный вопрос.

Команда исследователей сжалась в правильно заданный вопрос.

Важно не перепутать, что именно тут упало. Упала не нужда в чужом труде вообще, а стена между дисциплинами — высокая стена, за которой каждое поле говорило на своем языке и не пускало чужака. Барьер был не в создании, а в понимании: не «нечем сделать», а «нечем помыслить за пределами своей специальности». Этот барьер AI и снимает: широта, прежде требовавшая людей, теперь требует вопроса.

Чего вопрос не заменит

У этой широты есть честная граница, и обойти ее нельзя. Проход в чужое поле дает вопрос и аналогию — не мгновенную экспертизу. В области, которой ты не учился, ты не отличишь верное от убедительной чепухи: модель отвечает гладко и тогда, когда права, и тогда, когда ошибается, а проверить ее тебе нечем.

Поэтому широта работает только в связке с тем, что идет дальше. Она дает гипотезу — смелую, быструю, из чужой комнаты. Но судить эту гипотезу будут не она и не ты: судить будут реальность и тот, кто в этом поле действительно дома.

Широта дает гипотезу, а не приговор.

Реальность никуда не делась

Проиграв вариант в модели, человек сразу хочет попробовать его в деле — и правильно хочет. Модель не закрывает контакт с реальностью; она его только предваряет.

Так было всегда. Казалось, что все учтено, расчет сходится, сценарий продуман — а мир показывал, что нет. Эта оговорка стара как само моделирование, и честнее всех ее сформулировал статистик Джордж Бокс: все модели ошибочны, но некоторые полезны. Вопрос не в том, ошибается ли модель — она ошибается всегда. Вопрос в том, насколько именно она ошибается и где. А это зависит от того, с какой реальностью модель имеет дело.

Финальное слово осталось за реальностью.

Две реальности: закон и противник

Модель встречает два разных мира, и ведут они себя противоположно.

Один мир — природа и ее законы. Физика не меняется в ответ на то, что вы о ней думаете; аэродинамика не подстраивается под ваш расчет, чтобы вас обмануть. В этом мире модель надежна: если она ошиблась, то ошиблась нашим незнанием, нехваткой данных — но не злой волей предмета. Именно поэтому пилота можно учить в синем ящике: воздух подчиняется одним и тем же правилам и сегодня, и завтра.

Другой мир — человек против человека. Здесь у модели есть противник, и противник адаптируется. Он наблюдает за вами, разгадывает вашу стратегию и меняет свою; сама ситуация сдвигается оттого, что в ней действуют. Финансист Джордж Сорос назвал это рефлексивностью: на рынке с думающими участниками их представления меняют те самые факты, которые они пытаются предсказать, и потому равновесие недостижимо, а прошлое нельзя разобрать как явление природы. Проще говоря, природу можно изучать — противника приходится переигрывать, пока он переигрывает тебя.

Два наших примера ложатся на эту ось ровно по полюсам. Игры сорок первого года — мир противника: репетировали одну войну, пришла другая, потому что напротив сидел тот, кто не собирался играть по чужому сценарию. А вот другая русская история — мир закона. Константин Циолковский вывел верную теорию реактивного движения — и природа не переигрывала ее, как переиграл в сорок первом живой противник: закон держал. Не хватало не модели, а данных из реальности, чтобы ее наполнить.

Отсюда и два рода неожиданности, которые легко спутать. В мире закона тебя удивляет собственное незнание: модель была верна, просто данных не хватило. В мире противника тебя удивляет чужая воля: модель была хороша, но напротив сидел тот, кто ее обыграл. Знаменитая ирония «готовился к одному, а пришло другое» работает в обоих мирах — но по противоположным причинам, и путать их дорого.

Природу можно проигрывать в модели; противника — нельзя: он проигрывает тебя в ответ.

Где напротив адаптирующийся человек, модель ветшает быстрее всего. Где стоит неизменный закон, она держит.

Ломались не модели, а допущения

Самые громкие провалы моделей случились именно там, где напротив сидел человек, — на рынках. И при разборе всякий раз выясняется, что подвела не математика, а допущение, тихо стоявшее в основании.

Фонд Long-Term Capital Management, в совете которого сидели нобелевские лауреаты, потерял около 4,6 миллиарда долларов меньше чем за четыре месяца 1998 года: его модели были изящны, но строились на допущении, что рынки ведут себя в рамках исторической нормы. Десять лет спустя одним из символов такого провала стала гауссова копула — формула оценки риска, прекрасно работавшая ровно до тех пор, пока цены росли; ее применяли далеко за пределами области, где она была верна, и не заметили этого, пока не стало поздно. А исследования Филипа Тетлока, разобравшего десятки тысяч экспертных прогнозов, показали неуютное: средний именитый эксперт предсказывает будущее немногим точнее случайного выбора, а уверенность с точностью связана слабо.

Для нас тут есть домашний пример, и довольно злой. Спусковым крючком краха того самого фонда стал дефолт России в августе 1998 года. Модель, собранная лучшими умами финансов, попросту не закладывала суверенный дефолт такой силы — и реальность пришла ровно оттуда, откуда модель ее не ждала. История, по виду совершенно иностранная, оказалась завязана на наш рынок.

Цена слепой веры в модель никуда не делась.

Что спросить у реальности

Иллюстрация создана с помощью нейросети по авторскому заданию.

Подлинная сила AI не в том, что он предсказывает будущее. Она в том, что он называет, чего тебе не хватает: какие данные нужно добыть и какое допущение в твоей модели тонкое.

Это давно умеют называть строго — анализ чувствительности и планирование эксперимента: от чего ответ зависит сильнее всего и где у тебя зияет дыра в данных. Раньше эту работу делал, в лучшем случае, опытный аналитик; теперь ее берет на себя инструмент, доступный одному человеку. Заметьте границу: AI силен в известном незнании — в дырах, о которых модель сама догадывается. Неизвестное незнание, настоящий черный лебедь, ему по-прежнему не видно, и обещать обратное было бы обманом.

И сильнее всего этот дар там, где напротив стоит неизменный закон. «Когнитивный геолог» «Газпром нефти» — система, которая по неполным данным о месторождении рекомендует, каких именно дополнительных точечных исследований еще недостает для более точного ответа, и за счет этого срезает объем данных, нужных для инвестиционного решения, почти на треть. Она не предсказывает, что под землей; она говорит, где копнуть, чтобы узнать. Порода не адаптируется и не лжет, и потому совет «спроси у реальности вот это» здесь работает блестяще. Против адаптирующегося человека тот же инструмент скромнее: он поможет отрепетировать переговоры, но не предскажет, что сделает живой собеседник.

Полет к Марсу — крайний случай той же правды. От верного расчета Циолковского около 1903 года до первой настоящей космонавтики прошло полвека — пока не появились двигатели, материалы и данные, пока Королев не вывел на орбиту первый спутник в 1957-м и Гагарина в 1961-м. Траекторию к Марсу мы считаем точно именно потому, что небесную механику накормили веками настоящих наблюдений; но сам полет по-прежнему ждет данных, которых у нас нет, — о теле человека в долгом рейсе, о технике под годами нагрузки. Никакая модель не заменит этот сбор. Но сказать, какие именно данные нужно добыть в первую очередь, она уже может. Модель не отменяет реальность — она делает следующий заход к ней прицельным.

Отсюда и единственно честный способ пользоваться всем этим в деле. Не верь ответу модели. Спроси у модели, чего ты не знаешь. Добудь ровно эти данные в реальности — пробную партию, одного настоящего клиента, реальные переговоры. И пересчитай. Специалисты Shell по сценарному планированию под началом Пьера Вака, которых в семидесятых хвалили за то, что они «предсказали» нефтяной кризис, ответили на похвалу коротко: нет, неверно. Они не предсказывали цену — они заставили руководителей заново увидеть реальность и спросить ее о том, о чем прежде не спрашивали. В этом и состоит ценность модели.

Модель не предсказывает будущее — она говорит, что спросить у реальности.

Модель — это спираль с реальностью, расширяющая ее грани, а не замена ей.

Последнее слово

За понимание всегда платили дорого — разбитым самолетом, проигранной кампанией, потерянным миллиардом. AI резко удешевил само моделирование: тренажер сошел с поля боя на каждый стол, а заодно расширил и сам ум, который задает вопрос, за пределы одной специальности. Но реальность осталась судьей — мягким там, где правит неизменный закон, и беспощадным там, где напротив сидит человек, способный тебя переиграть. Тренажер снял цену входа, но не цену правды: последнее слово по-прежнему за реальностью, и добывается оно из нее.

Перемена огромна и тиха одновременно. Дешевым стало не понимание — дешевым стал первый подступ к нему. Дальше все так же нужно выйти в мир и спросить его начисто.

Одно поколение училось, набивая шишки в реальности; другое растет, проигрывая варианты в модели до первого столкновения с реальностью. Встречаются они уже сегодня — в одних и тех же кабинетах.