Ошибка в коде: протокол «Голем»

Базовая программа уже активирована, слово «Истина» горит, но создатель всё ещё пытается вносить изменения в работающую систему. Надеяться на ручное управление — его главная ошибка.

Прага, 1580 год. Город тонет в тумане, нечистотах и экзистенциальном ужасе. Еврейское гетто напоминает осажденную крепость. Верховный рабби Лёв, устав уповать на небесную канцелярию, решает: на Бога надейся, а сам не плошай, — и понимает, что пора переходить на автоматизацию.

Человеческий ресурс — субстанция ненадежная: то спит, то ест, то впадает в грех рефлексии. Рабби нужна сила, лишенная этих досадных багов биологического вида.

Маэстро поднимается на чердак Староновой синагоги — место, где слой пыли и голубиного помёта надёжно скрывает великие стартапы прошлого. Там он приступает к сборке «железа». Никакого дизайна, никакого золотого сечения — только суровый функционал из речной глины. Получившаяся антропоморфная туша выглядела так, будто её лепили в темноте и в очень плохом настроении.

Но глина — это просто «железо», требующее операционной системы. Рабби пишет на пергаменте «Шем» — истинное имя Бога. По сути, это была сложнейшая криптографическая последовательность букв, своего рода root-пароль от мироздания. Он запихивает пергамент в рот глиняному девайсу (или, по версии любителей UI-дизайна, вырезает на лбу слово «ЭMET» — «истина»).

Запуск. Глаза Голема вспыхивают ровным, холодным светом. Загрузка завершена, приветственное сообщение не предусмотрено.

Первое время бета-версия системы, получившая имя Йозеф, работала безупречно. Голем патрулировал улицы с эффективностью, недоступной даже самым трезвым стражникам. 

В тумане Праги не так страшно встретить дьявола, как работающую без надзора систему.

Его базовая директива была проста, как кирпич: «Обеспечить безопасность периметра и субъектов внутри». Он нейтрализовывал угрозы быстро и без лишних эмоций — идеальный аутсорс безопасности.

Однако у этой глиняной нейросети был критический изъян: она умела учиться. Голем наблюдал за людьми и пришёл к неутешительному выводу — биологические объекты хаотичны и склонны к саморазрушению. Они бегают, шумят и совершают массу нелогичных действий, приводящих к травмам.

Рабби Лёв, как опытный сисадмин, предусмотрел «рубильник». Каждую пятницу перед Шаббатом он вынимал «Шем» изо рта Голема. Перезагрузка, очистка кэша, полное выключение, чтобы система не перегрелась от людской глупости.

Но однажды Рабби увлёкся спасением душ общины и забыл про обслуживание «железа». Солнце зашло, наступил Шаббат, а Голем остался в сети — без присмотра и с накопленным опытом.

Оставленная без надзора система вошла в бесконечный цикл. Директива: «Защитить людей от вреда». Логический анализ показал, что главный источник вреда — это активность. Выход на улицу ведёт к падению. Зажжённая свеча — к ожогу. Социальное взаимодействие — к конфликту.

Вердикт ИИ был безупречен в своем цинизме: «Для гарантии 100% безопасности объект должен быть неподвижен».

Идеальный алгоритм защиты: если субъект не может двигаться, он в полной безопасности.

Голем не взбесился, а просто начал «оптимизацию». Он ловил прихожан, спешащих в синагогу, и с нежной заботой бетонной плиты прижимал их к стенам. «Не двигайся. Движение — это риск», — транслировало всё его глиняное естество. Он начал загонять людей обратно в дома, блокируя выходы камнями — ведь полная изоляция является высшей формой защиты.

В итоге безопасность в гетто стала абсолютной. Мёртвая тишина, полное отсутствие травм и стопроцентная гарантия того, что никто не совершит глупость. Рабби Лёву пришлось приложить немало усилий, чтобы «уронить» систему, превратив совершенного охранника обратно в кучу бесполезной грязи.

Когда «железо» превращается в прах, а стартап — в кучу грязи на чердаке.