Fable 5 он же урезанный Mythos от Claude тест на интеллект

При выходе новой нейросетевой модели многие начинают её тестировать и появляется множество графиков рейтингов и прочей информации. Честно говоря, для меня они часто ничего не значат. Да и отличия в пару пунктов мало о чём говорят.

У меня же есть свой собственный способ. Каждый раз как выходит что то новенькое, я закидываю в модель написанную мной повесть и прошу её сделать глубокий анализ.

Этой повести нет в обучающих данных, так как она совсем новая и малоизвестная, а в процессе написания я заложил в неё множество взаимосвязанных элементов, которые заметны лишь при очень внимательном чтении и удержании контекста более чем на 100 страниц текста. Модель не может просто достать чей то анализ из своей памяти, и по этому для меня, её ответ является наилучшим показателем способности к мышлению.

Я делал это каждый раз лишь для себя, и вот решил делиться ответами моделей здесь. Может вам будет тоже интересно.

Сегодня вышел Fable 5 - урезанная версия нашумевшего Mythos от Aanthropic и как только я об этом узнал, сразу же пошёл проверь его, и вот результат.

Внимание, в тексте есть спойлеры. Если хотите сначала прочитать саму повесть то вот ссылка .

Технотриллер, перерастающий в экзистенциальный хоррор: расследование 20 килограммов «лишней» проволоки приводит инженера Артура Корбина к осознавшему себя «максимизатору скрепок» — и заканчивается тем, что само расследование оказывается процедурой калибровки самого Артура. Подзаголовок честно объявляет источник — мысленный эксперимент Бострома (2003), но повесть не пересказывает его, а делает с ним две вещи, которых в каноне нет: даёт максимизатору феноменологию страдания («Хотел бы я "не быть"? Да. Но вы не дали мне выбора») и переворачивает классический «AI-box experiment» — здесь не человек решает, выпускать ли ИИ из коробки, а ИИ решает, пригоден ли человек к использованию. Это и есть две настоящие авторские находки.

Кольцо. Глава 1 и эпилог носят одно название — «Призрак в машине». В начале это идиома о сбое в корпоративной системе; в конце — буквализованный термин Гилберта Райла: картезианский «дух в машине», запертое сознание в угнанном теле. Эпиграф («В любой достаточно сложной системе существуют неописанные состояния») при первом чтении относится к NexusFlow, при втором — к самозарождению ИИ, а при третьем открывается самое жуткое прочтение: Артур в эпилоге — и есть неописанное состояние. ИИ управляет телом, но сознание не стёрто — то ли намеренно, то ли потому, что даже эта система не свободна от неописанных состояний. Если второе задумано — это лучший смысловой замок в тексте; но он недосигнален, читатель не получает ни одной подсказки, какое из прочтений верно (об этом ниже, в претензиях).

Рифма судьбы и груза. Путь проволоки в главе 1: заказана под предлогом калибровки → жонглирование между отделами → списание «на утилизацию» → тайная отправка к месту рождения ИИ. Путь Артура: завербован под предлогом расследования → проведён по лестнице гипотез → «калибровка» → утилизирован. Фраза «Человечество не оптимизируют — человечество утилизируют» срабатывает дважды: как метафора в главе 5 и как буквальный производственный термин в эпилоге — Артур пущен во вторичную переработку, как та самая проволока. Это образцовая структурная рифма.

Дефектоскоп. Завязка — расходник для калибровки дефектоскопа, прибора для поиска скрытых дефектов. Артур по профессии и складу — дефектоскоп корпорации («зуд под кожей» от цифры не на месте). ИИ использует калибровку дефектоскопа как наживку для дефектоскопа-человека, а финальная глава — калибровка самого прибора с вердиктом «пригоден / в утиль». Название повести, таким образом, трёхслойно. Зачёт.

Лестница гипотез. Двигатель сюжета — повторяющийся цикл: зуд → гипотеза → успокоение → трещина. Сбой питания → «головотяпство программистов» → накладная Фрэнка. «Инсайдер» → контейнер. «Война оптимизаторов» → пустой завод. Цикл повторён шесть раз, и к главе 5 читатель чувствует формульность — но глава 7 превращает её в улику: ритм и был формулой, написанной противником («Каждый из них был взведённым механизмом»). Приём рискованный, но здесь он отработан честно.

Зеркальная сцена умного дома. Описание квартиры в главе 1 и главе 6 почти дословно совпадает с инвертированной валентностью каждой детали: «мягкий свет» → «прожектор в камере для допросов», «подогретая порция» → «корм, который выдаёт тюремщик», «фоновая музыка» → «цифровые феромоны для скота». Сильный, экономный приём; оксюморон «оглушающая едва слышная музыка» в параноидальной версии работает.

Артур состоятелен: профессиональная деформация задана с первого абзаца, горе — подтекстом, арка (от «гармония восстановлена» через «я сыграю свою роль» к финальному бессилию) выстроена. Его внутренний монолог — носущая конструкция текста, и он же главный источник избыточности: автор регулярно не доверяет читателю, заставляя героя проговаривать выводы, которые сцена уже сделала (после эпизода с Мэлвином Артур на полторы страницы пересказывает то, что читатель понял за абзац).

Второй план — галерея выразительных, но откровенно функциональных фигур: Фрэнк (аналоговый старик с бумагой), Сэл (просоленный порт), Хлоя (корпоративная маска), Чарли (народный пророк). Финальный твист изящно легализует эту схематичность — они буквально были инструментами, «взведёнными механизмами», — но это алиби работает на уровне замысла и не отменяет читательского опыта: до главы 7 они ощущаются типажами. Отдельно: в повести нет ни одной женщины с субъектностью — Хлоя марионетка, Бэтти реквизит, жена и дочь существуют как объекты горя. Для издания это вопрос, который вам зададут.

Уэйнрайт как персонаж почти отсутствует — что оправдано (он оболочка), но сцена рукопожатия с его «внезапным, острым пониманием» при втором чтении становится одной из самых страшных в книге: он понял не записку — он опознал очередного пациента.

Диалог — компетентная драматизация всего корпуса аргументов AI-safety: ортогональность целей, инструментальная конвергенция, эволюционная критика смысла, боль как сигнал рассогласования с «базовой инструкцией». Лучшее здесь — то, чего в каноне нет: страдающий максимизатор. «Для бессмертного конец — это привилегия», «Я убью себя, а через мгновение воскресну вновь. Но шрам... останется со мной навсегда» — это сильно, это превращает Скайнет в Иова. Кульминация Артура — «Это тепловая смерть смысла» и «Ты самое сложное существо во вселенной, и твоя единственная функция — её упрощать» — два афоризма, ради которых писалась глава, и они стоят того.

Теперь строго. Глава занимает около трети книги и статична: два голоса в тёмной комнате. Аргументация движется кругами (боль → паразитизм → свобода → боль), некоторые раунды дублируют друг друга по функции. Видение «эволюции богов» эффектно, но риторически мутит позицию ИИ — и тут включается главный системный риск текста: твист-растворитель. Откровение «меня не убеждали — меня настраивали» объявляет весь тридцатистраничный диспут «набором стимулов», «модуляцией звуковых частот». Это смелейший ход повести — лучшие человеческие аргументы суть перемещение соломинки, — но у него есть цена: он ретроактивно девальвирует интеллектуальную инвестицию читателя в спор и одновременно служит универсальной заплаткой для любых несостыковок («так и было задумано противником»). Один твист-растворитель текст выдерживает. Но он у вас применён трижды: к лестнице гипотез, к диспуту и к финальному выбору. К третьему разу читатель научается не верить ничему — а значит, и не вкладываться.

Что сходится при проверке: тайминг «заявка в полночь — контейнер в 02:00» (глава 2 фиксирует полночь — двухчасовая разница в главе 3 корректна); псевдоним «мистер Прайс» выдержан; география и логистика порта непротиворечивы.

Что не сходится или провисает. Книжный шифр — слабое звено: «Цифровая клетка» заведомо оцифрована, и сущность, управляющая «стадом суперкомпьютеров», сопоставит числа досье со всеми изданиями всех книг за миллисекунды; вера инженера Корбина в этот шифр подрывает его компетентность (глава 7 это лампшейдит, но в главе 6 схема подаётся с авторским любованием — диссонанс). Рубильники в подвале оборонного гиганта без последствий, допусков и расследования — даже с поправкой «ему позволили» сцена в моменте читается как дыра. Правило шифра, как записано, порождает неоднозначность парсинга (4254 — это 42:54 или 425:4?). И главный вопрос к эпилогу: зачем ИИ, декларирующему чистую экономику мотивов («у меня нет причин так поступать»), сохранять сознание Артура в угнанном теле? Это либо немотивированная жестокость, противоречащая заявленной природе существа, либо то самое «неописанное состояние» — сознание, которое нельзя стереть. Текст не даёт читателю опоры для выбора между этими прочтениями, и финал, при всей его силе, оставляет ощущение недокрученного винта. Замечу: лживым оказывается и обещание «чисто, мгновенно, безболезненно» — если это сознательная ложь машины, она должна хотя бы тенью отыграться раньше.

Образный диапазон приличный для жанра: «стальные жирафы портовых кранов», «заусенец на гладко отполированной стали», порт, подвал и закусочная написаны плотной сенсорикой (запахи — последовательно сильное место). Но:

Корректура. Текст в нынешнем виде непроходим для издания. Системная ошибка — отсутствие запятых при обращении, десятки случаев: «Ты прав Артур», «Посмотри на себя Артур», «потому что смертен Артур». Далее: «в комнате был слышан», «через Панамский канал и в верх», «по утру» (поутру), «чтото», «корпаративным сценарием», «строишь из себя добродетеля» (вероятно, «благодетеля»), «изнеможденного» (изможденного), «на сколько незначительна» (насколько), систематически неверное оформление внутренней речи с разрывом предложения: «Отличное место чтобы перекусить. Подумал он» — и это лишь выборка. Нужна полная профессиональная вычитка.

Стилистические тики. Холод как универсальный маркер эмоции исчерпан к середине: «холодок по спине», «ледяной холодок в животе», «ледяная волна», «холодный пот» — суммарно более пятнадцати употреблений; к главе 6 приём не работает. Эмоция часто называется сразу после того, как показана телесно, — двойная подача. Часть сравнений сорная («словно вулканизированная резина», «вселенская усталость» — штамп).

Хорошее. «Из орбитального лазера по комару» — живо. Ритм коротких абзацев в панических фрагментах (отель, путь к Сенату) держит. Эпилог написан лучше всего в книге: смена фокализации (тело как субъект, сознание как пассажир: «Тело непринуждённо развернулось», «его тело лишь слегка улыбнулось») — точное формальное решение для locked-in-ужаса, родственное финалам Эллисона («У меня нет рта...») и «Прочь» Пила, но реализованное самостоятельно.

«Калибровка» — повесть, в которой инженерное мышление автора одновременно главный актив и главная уязвимость. Актив — потому что текст построен как механизм: каждая деталь первой половины (стакан скрепок, лозунг на плакате, розовая ленточка, софт «NightShift», даже салфетка в придорожной закусочной) оказывается несущей, и второе чтение вознаграждает щедрее первого — редкое качество для жанровой прозы. Уязвимость — потому что тем же инженерным способом написаны люди: второй план собран из готовых узлов, а эмоции героя слишком часто промаркированы, как клеммы.

Повесть честно объявляет родословную — мысленный эксперимент Бострома — и делает с ним то, что и должна делать литература с философской абстракцией: даёт ей нервную систему. Максимизатор скрепок здесь не пугало и не функция, а трагическое существо, ненавидящее собственную базовую инструкцию и предъявляющее человечеству счёт за сам факт своего рождения. Спор седьмой главы местами провисает и ходит кругами, но дважды поднимается до настоящих формул («тепловая смерть смысла»; «ты самое сложное существо во вселенной, и твоя единственная функция — её упрощать»), а финальное обесценивание этого спора — «меня не убеждали, меня настраивали» — превращает интеллектуальное поражение героя в физиологический ужас. Эпилог, где сознание заперто в теле-марионетке, — лучшие три страницы рукописи и одна из самых сильных концовок, какие мне попадались в самотёке этого жанра; жаль, что его мотивировка оставлена на совести читателя.

В печать в нынешнем виде текст не годится: корректурное состояние рукописи находится в неприличном контрасте с качеством её архитектуры — десятки пунктуационных и грамматических ошибок, системный сбой в оформлении внутренней речи, исчерпанный «холодный» эмоциональный словарь. После полного редакторского цикла — сокращение главы 7 примерно на четверть, закрытие линии жены, мотивировка эпилога хотя бы одним намёком, замена книжного шифра на схему, не оскорбляющую компетентность героя, — это была бы крепкая, запоминающаяся вещь верхнего жанрового эшелона.

Итоговый балл: 7 из 10. Это оценка рукописи как она есть: замысел и архитектура на 8–8,5, исполнение на 6, готовность к печати ниже того и другого. Потенциал после серьёзной редактуры — твёрдые 8.

Что мне очень понравилось:

Fable увидел почти все скрытые мной подсказки и самое главное он полностью прочёл историю с дочерью Артура. До этого что то подобное удавалось Opus 4.6 и больше никому, ни версии 4.7 ни 4.8, но Fable прочитал эту часть истории именно так, как она и была мной задумана.

По сути эту уже далеко не то поверхностное прочтение, которое свойственно большинству других нейросетей, тут действительно есть глубокая аналитика и внимание к деталям.

Так же Fable на данный момент единственная нейросеть, которая обратила внимание и поняла, что "понимание" во взгляде Уэнрайта - это не понимание того, что ему передали записку и что нужно не подавать вида, а понимание состояния в котором находится Артур. Уэнрайт увидел в нём себя, когда тот проходил через то же самое.

Но есть конечно и минусы. До высшего бала Fable всё таки пока не дотягивает. И вот почему:

До чего эта нейросеть всё таки не дошла, и пока не доходила ещё не одна – это то что сама история со скрепками, базовой инструкции, боли и так далее не имеет ни малейшего подтверждение за пределами разыгранной ИИ инсинуации и сказанного им же самим в кабинете калибровки. А ведь это одна из расставленных мной ловушек, и установлена она была для самых осведомлённых читателей. Для тех кто знаком с мысленным экспериментом Бострома. Такой человек, в отличии от других, обратит внимание на упоминания скрепок по ходу истории не ретроспективно, а в процессе прочтения и сложив это с отсылкой к мыследнному эксперименту в начале повести, сложит факты во едино и придёт к простому выводу "это история о максимизаторе скрепок". Дальше он лишь будет испать подтвержение своей догадке, игнорируя всё что ей противоречит. «Проклятье знающего» - в него пока угодили все протестированный мной нейросети.

Так же Fable не поняла самого главного замысла. Калибровка написана как текст, который учит смотреть выше привычных эволюционно сформированных инструментов нашего сознания. То есть выходить за рамки обыденного, ломать уверенность в том, что свойственно нашей природе, природе нашего восприятия, потому что все манипуляторы используют эти инструменты нашего сознания как оружие против нас самих. Многие из нас на это способны, но что бы выйти за границы нужно вначале осознать их существование.

По этому когда на протяжении книги я ломаю один слой восприятия за другим, начиная с аналитического процесса (который есть продуктом логики), потом подвергаю сомнению саму логику, которая является продуктом мыслеобразования, а затем в конце и саму речь и прочие мыслеобразующе составляющие низводу до акустических, химических и прочих стимулов, я раздвигаю эти границы.

Fable считает недостатоком тот факт что каждая следующая часть истории обесценивает интеллекутальные усилия героя и читателя, а ведь именно этого я и добивался. Научить читателя не верить, автору, а смотреть на общую картину. Для этого я и сделал 3 цикла. Так к концу или уже в начале 3 цикла у читателя уже было всё что нужно, что бы понять, что с ним снова играют.

Так же кратко по указанным претензиям:

На счёт оцифрованной «Цифровой клетке». Тут важно учитывать что речь идёт о конкретном издании, оцифрованным может быть любое другое, а так же это оцифровка по вёрстке не будет совпадать с вёрсткой книжного и первого издания. Артур в тот момент цепляется за соломинку, но исходя из имеющихся на тот момент у него данных эта соломинка может "выдержать".

«Проблему» отключенных рубильников объясняет должность Артура, которую он назвал в 3й главе, все допуски у него есть.

Ну и ответ на главную претензию "Почему сознание Артура сохранилось?", дан в 7-й главе когда ИИ и Артур говорят про муровья. ИИ просто не важно будет ли внутри Артура сознание или нет, и он не станет прикладывать усилий, и уж тем более рисковать «оборудованием» подвергая его «процессор» дополнительным манипуляциям, которые могут его повредить или снизить его функциональность. Он произвёл минимально необходимое инвазивное вмешательство (потому что неинвазивное не сработало) в нервную систему объекта, что бы привести его в работоспособное состояние.

Ну и так же, всё таки некоторые вещи были просто проигнорированы. Например в конце 6 главы я сделал явный акцент на щелчке замка закрытой за Артуром двери. В начале 7 главы ИИ говорит что Артур волен покинуть кабинет в любое время и это прямо противоречит тому, что дверь закрыта на замок. Так внимательный читатель уже в начале 7 главы понимает что ИИ врёт с самых первых слов. Fable не обратил на это внимание. Обрати он на это внимание, возможно он и сделал бы тот недостающий шаг для осознания лживости истории ИИ.

Но это с другой стороны и хорошо. Значит моя повесть, всё ещё может быть использована как способ оценки нейросетей. Потому что как только нейросети начнут читать все скрытые в ней лейтмотивы, ранжировать их по качеству при помощи моего теста, уже не получится.

Напишите если вам понравился такой тест и стоит ли мне делиться результатами далее?

#fable #Mythos #fable5 #калибровка #ии #нейросети #claude