10,000 звёзд за 10 дней: обратный инжиниринг Claude Mythos
Недавно на GitHub стал вирусным один проект. Созданный 18 апреля, он набрал более 10,000 звёзд всего за 10 дней. Что удивительно? Автору, Kye Gomez, всего 22 года. Проект под названием OpenMythos весит всего 68 КБ и реализует Recurrent-Depth Transformer, используя исключительно PyTorch. Если кратко, это теоретическая реконструкция архитектуры Anthropic Claude Mythos, основанная на открытых статьях и предположениях сообщества. Почему же проект теоретической реконструкции стал таким популярным? Если оглянуться, это во многом связано с тем, как сам Claude Mythos был выпущен.
7 апреля Anthropic выпустила Claude Mythos Preview. Это было не обычное обновление модели, а новое поколение моделей, более мощное, чем нынешний флагман Opus. Официальные данные показывают, что модель автономно выявила тысячи критических уязвимостей нулевого дня, охватывая все основные операционные системы и веб-браузеры. В тесте CyberGym она набрала 83.1%, превзойдя почти всех ведущих экспертов-людей в области кибербезопасности. Mozilla сообщила, что Mythos обнаружила 271 уязвимость нулевого дня в исходном коде Firefox 148, которые были исправлены в версии 150 Firefox. Однако Anthropic приняла неожиданное решение: отказаться от публичного релиза, сославшись на риски кибербезопасности — способность находить уязвимости также может быть использована для атак.
Я собрал информацию об уязвимостях, раскрытую Anthropic. Модель доступна примерно 40-48 партнёрам через проект Glasswing, включая ключевые инфраструктурные компании, такие как Amazon, Apple, Microsoft, Google, CrowdStrike, Cisco и JPMorgan Chase, исключительно для оборонительных исследований безопасности. Это решение вызвало дебаты в сообществе. Сторонники считают это ответственным шагом, в то время как скептики утверждают, что «нарратив об опасности» может быть преувеличен в маркетинговых целях. Независимые исследовательские учреждения в области безопасности воспроизвели тесты, используя более мелкие открытые модели, и обнаружили, что могут восстановить большую часть анализа, поставив под сомнение уникальность Mythos. Также были сообщения, что из 7000 уязвимостей лишь около 10 являются критическими. Хотя эти сомнения могут не отменять ценность Mythos, они подчёркивают ключевую проблему: Anthropic сохранила все технические детали в тайне, выпустив только три документа: System Card, Alignment Risk Update и Responsible Scaling Policy, не раскрывая дизайн архитектуры.
В интернете было много спекуляций: какую же архитектуру на самом деле использует Mythos? Такие модели, как o1 от OpenAI и R1 от DeepSeek, работают, генерируя «токены размышлений», делая свой процесс рассуждений явным. Но Mythos другой — он выполняет глубокие рассуждения внутри себя, не раскрывая промежуточных шагов. Именно в этом контексте появился OpenMythos и набрал популярность.
Автор выдвигает гипотезу, что Mythos, вероятно, использует Recurrent-Depth Transformer, где один и тот же набор весов используется итеративно. Каждый цикл выполняет итерацию рассуждений в латентном пространстве, но никакие промежуточные результаты не выводятся наружу. Это напоминает то, как люди думают: сначала мы схватываем общую идею, затем углубляемся, заполняем пробелы, многократно уточняем и, наконец, консолидируем и резюмируем ключевые моменты. Конечный ответ кажется лаконичным, но внутренне он был отточен и оптимизирован много раз. Эта гипотеза не беспочвенна — она основана на нескольких недавних статьях, включая «Loop, Think, & Generalize» (2026), «Parcae» (2026) и «Reasoning with Latent Thoughts» (2025). OpenMythos превращает эти теории в исполняемый код.
Традиционные Трансформеры выполняют рассуждение за один проход: модель обрабатывает входные данные через фиксированное количество слоёв и напрямую выдаёт результат, без итеративного уточнения. OpenMythos делит архитектуру на три сегмента: Прелюдия, Рекуррентный Блок и Кода. Рекуррентный блок использует один набор параметров, который может вызываться многократно. С каждым дополнительным циклом внутреннее состояние обновляется, позволяя модели думать глубже и полнее. Основная формула цикла выглядит так: на каждой итерации исходный вход e повторно впрыскивается. Это предотвращает дрейф скрытого состояния в глубоких циклах, подобно тому, как мы периодически возвращаемся к исходной проблеме во время размышлений, чтобы не сбиться с пути.
Хотя проект кажется сложным, установка требует всего одной команды:
pip install open-mythos
Затем вы можете создать простую модель на Python. Для более глубоких рассуждений вы можете настроить параметр n_loops, хотя это потребует больше времени на вычисления. OpenMythos также поддерживает два механизма внимания: GQA и MLA. Слой FFN использует архитектуру смеси экспертов (MoE), разбивая исходный монолитный FFN на множество небольших экспертных модулей. Во время вывода механизм маршрутизации автоматически выбирает k лучших экспертов для каждого токена, избегая необходимости запускать всех экспертов. Помимо выбранных экспертов, небольшое количество общих экспертов остаётся всегда активными, улавливая междисциплинарные общие знания. Механизм маршрутизации MoE работает следующим образом: общие эксперты предотвращают избыточное изучение основ, таких как грамматика и элементарные рассуждения, каждым маршрутизируемым экспертом. Проект предоставляет семь предустановленных конфигураций, от 1B до 1T параметров, охватывая различные потребности от экспериментов до производства. Также предоставляются скрипты обучения, поддерживающие обучение на одном GPU и распределённое обучение на нескольких GPU.
Тем не менее, OpenMythos также вызвал споры в сообществе. Сторонники видят в этом новаторскую работу: первая полная реализация Recurrent-Depth Transformer, основанная на нескольких ведущих статьях, предоставляющая исполняемый код на PyTorch и инструменты для изучения новых архитектур сообществом. Критики указывают, что это всего лишь реализация архитектуры без предобученных весов, требующая огромных ресурсов для обучения с нуля; неясно, действительно ли она приближена к архитектуре Claude Mythos; и у автора, Kye Gomez, уже были проекты серии Open-X, которые некоторые рассматривают как маркетинг альтернатив с открытым исходным кодом проприетарным моделям. Это не совсем обман — в README чётко указано, что это теоретическая реконструкция, не связанная с Anthropic. Но то, как он распространялся… перекликается с полемикой вокруг самого Claude Mythos. Anthropic ограничила публичный релиз Mythos по соображениям безопасности, но критики утверждают, что это может увеличить технологический разрыв. Между тем, ценность OpenMythos нуждается в подтверждении реальными результатами обучения, а не только теоретическими заявлениями.
Конечно, у OpenMythos есть свои ограничения. Без предобученных весов требуется обучение с нуля, что является высоким барьером. Крупномасштабные модели (100B+ параметров) требуют распределённого обучения, а обработка длинных контекстов (1M токенов) требует значительной памяти. Хотя ограничение LTI теоретически стабилизирует обучение и уменьшает колебания, его практическая эффективность должна быть подтверждена обширным тестированием. Кроме того, больше циклов не всегда лучше — чрезмерная глубина может привести к чрезмерным размышлениям и сверх-рассуждениям, в конечном итоге ухудшая точность предсказаний.
В заключение, одна мысль: ранее выяснение архитектуры Claude Mythos было чистым предположением. Поскольку Anthropic скрывала технические детали, сообществу оставалось лишь собирать подсказки из System Card. OpenMythos олицетворяет то, как кто-то превратил теоретические статьи в исполняемый код, сделав абстрактные гипотезы проверяемыми. Когда возможности ИИ достигают определённого порога, решение о выпуске или сокрытии может быть сложнее, чем сама техническая задача. OpenMythos всё ещё находится на ранней стадии, отсутствуют предобученные веса, требуется обучение с нуля. Но направление верное — дать сообществу шанс исследовать новые архитектуры, а не ждать официальных релизов. Если вам интересны Recurrent-Depth Transformers, попробуйте запустить минимальный пример, чтобы почувствовать процесс итеративного рассуждения. Проект открыт по лицензии MIT. Ознакомьтесь с репозиторием GitHub для исходного кода и документации.
Адрес проекта: https://github.com/kyegomez/OpenMythos
