Размер текста
Автор: Чжао Чжиминь, доктор философии, Королевский университет, Канада (направление исследований: интеллект кода и модель мира)
Если вы впервые слышите об RSI, эта статья может послужить вам руководством. Мы проведем вас через RSI с 0, начиная с самого раннего ИИ, который пытался улучшить себя, до сегодняшних агентов, которые могут изменять коды, создавать обучающие данные и участвовать в разработке моделей, и увидим, как ИИ шаг за шагом учится совершенствоваться.
В июле 2026 года OpenAI выпустила GPT-5.6. Впервые в ее табеле успеваемости появилась несколько необычная новая тема: может ли ИИ участвовать в улучшении самого ИИ.
OpenAI называет эту возможность самосовершенствованием. GPT-5.6 Sol получает 57,9%, GPT-5.5 — 41,7%, а разница между двумя поколениями моделей — 16,2 процентных пункта. Он проверяет не то, сколько обычных вопросов может решить модель, а то, может ли она выйти на сайт исследований и разработок ИИ: устранить неполадки в исследовательской системе, оптимизировать программу ядра графического процессора (ядро графического процессора) и рецепты обучения, провести эксперименты по машинному обучению и даже помочь улучшить другуюмодель.
Это не изолированная новость. Тем же летом OpenAI начала называть агентов «стажерами-исследователями в области автоматизации». Kuaishou AgentX позволяет агентам участвовать в предложении планов, написании кода и сравнении старых и новых версий в режиме онлайн (A/B-тестирование). В Google говорят, что в доработке следующей версии модели участвует длительный цикл агентов. Motus2 приносит обновления прогнозов, оценок и стратегий для реальных роботов.
Эти случаи соответственно включают в себя проведение НИОКР, промышленные эксперименты, обучение моделей и физические операции, но ни один из них не отвечает на самый важный вопрос: будет ли улучшенная система лучше выполнять следующее улучшение?
Именно этот вопрос задает рекурсивное самосовершенствование (RSI). OpenAI называет эту оценку индексом RSI, который измеряет «возможность доступа к RSI». Поскольку полные вопросы, веса задач и формулы агрегирования не раскрываются, 57,9% можно рассматривать только как внутренний комплексный показатель и не могут понимать как процент прохождения задач или «степень завершения» RSI.
Несмотря на это, этот набор цифр по-прежнему знаменует собой изменение: проблема, которая раньше существовала в основном в мысленных экспериментах, стала разбиваться на измеримые возможности исследований и разработок в передовых лабораториях.
Исследователям потребовалось сорок лет, чтобы постепенно усовершенствовать машины. В этой статье сначала выделяются несколько способностей, которые легко спутать, а затем продвигаются по пяти «пограничным продвижениям», чтобы увидеть, какие ограниченные замкнутые петли превратились, почему они все еще не эквивалентны «взрыву интеллекта» и почему то, как замкнутая петля, более важно, чем то, замкнута ли она. Эти пять достижений представляют собой лишь основу повествования.для выяснения истории и не являются технологическими поколениями, признанными академическими кругами. Они пересеклись во времени и развиваются параллельно и сегодня.
Что такое RSI: от самосовершенствования к рекурсивному выигрышу
Все эти новости говорят о «самосовершенствовании», но не объясняют, как замыкается замкнутый цикл.
Рекурсивное самосовершенствование (RSI) в традиционном смысле относится к системе искусственного интеллекта, использующей свои текущие возможности для улучшения когнитивного механизма, обеспечивающего эти возможности. Усовершенствованная система затем участвует в следующем раунде улучшений. Самое запутанное здесь: самосовершенствование не означает самоускорение. Система может становиться все лучше и лучше при работе с фиксированным банком вопросов, но она не становится лучше при разработке следующего.раунд обучения. Компания также может ускорить исследования и разработки благодаря широкому использованию интеллектуальных агентов, но само по себе улучшение не создает сложных процентов.
Эта концепция не нова. В 1863 году Сэмюэл Батлер уже представлял, что машины превосходят людей посредством итеративной эволюции. В 1950 году Тьюринг предложил возможность создания «Детской машины», которая могла бы обучаться и модифицировать себя. К 1965 году Ай-Джей Гуд также отметил: если «проектирование более совершенных машин» само по себе также требует интеллекта, то достаточно умная машина может быть способна создавать более сильных преемников, которые будут продолжать совершенствоваться.и начинается «интеллектуальный взрыв».
На самом деле важно не то, участвует ли ИИ в улучшении, а то, становится ли улучшенная система лучше при улучшении. Чтобы четко увидеть это различие, RSI можно разбить на четыре наблюдаемых критерия, расположенных в порядке от самой низкой до самой высокой сложности.
В этой статье принята следующая основа. Это не единственное стандартное определение в академических кругах, оно предназначено для разделения утверждений, которые часто смешиваются:
Долгосрочные улучшения: эффективные изменения могут быть включены в веса, память, инструменты, снаряжение или тренировочные программы, а не исчезать, как только ответ будет найден. Веса здесь также называются параметрами и представляют собой набор чисел, которые модель постоянно корректирует во время обучения и, наконец, сохраняет. Только когда это будет достигнуто, можно будет говорить о самосовершенствовании – этот термин используется в данной статье для обозначения улучшения в целом.выходного сигнала, памяти, параметров или приводного оборудования.
Автономный замкнутый цикл: система может выявлять проблемы, предлагать модификации, проводить эксперименты, оценивать результаты и принимать лучшие версии в определенных границах. Новые версии могут участвовать в следующем раунде улучшений в пределах этой границы, которая в этой статье называется ограниченным RSI.
Рекурсивный выигрыш (также называемый «зажиганием»): новая версия не только дает более высокие оценки при выполнении задачи, но и лучше, чем старая версия, генерирует следующее улучшение. Только после пересечения этой точки «сама способность к улучшению» начнет накапливать проценты, которые в этой статье называются рекурсивным самоускорением.
Надежный и контролируемый: результаты сохраняются при фиксированных ресурсах и скрытых оценках и могут быть распространены на невидимые задачи без ущерба для загрязнения оценок, неконтролируемой сложности системы, ухудшения согласованности или неконтролируемости (под согласованием подразумевается приведение поведения ИИ в соответствие с человеческими намерениями и границами, а не просто повышение определенного балла). Только когда все четыре критерия соблюдены, RSI близок к открытию.
В настоящее время появились первые две проблемы, третья не имеет достаточных публичных доказательств, а четвертая остается нерешенной. Появился ограниченный замкнутый цикл, но это не означает, что началось рекурсивное самоускорение. Только когда рекурсивной обратной связи будет достаточно, чтобы компенсировать сопротивление, такое как увеличение сложности исследования и более длинные циклы итераций, улучшения войдут в диапазон самоусиления.
Следующие четыре оператора будут использоваться постоянно. Самосовершенствование обычно подразумевает улучшение производительности, памяти, параметров или оборудования для вождения. Новые версии могут участвовать в следующем раунде улучшений в пределах фиксированных границ, которые в этой статье называются ограниченным RSI. Усовершенствованная система становится более способной к улучшению, что называется рекурсивным самоускорением, которое является третьим слоем «зажигания». Если этот выигрыш может бытьустойчивый, обобщенный и выходящий за пределы исходной задачи, он будет близок к открытому RSI.
В настоящее время появились первые два слоя, третий уровень не имеет достаточных публичных доказательств, а четвертый уровень остается нерешенным. Появился ограниченный замкнутый цикл, но это не означает, что началось рекурсивное самоускорение. Только когда рекурсивной обратной связи будет достаточно, чтобы компенсировать сопротивление, такое как увеличение сложности исследования и более длинные циклы итераций, улучшения войдут в диапазон самоусиления.
Чтобы точно увидеть, где мы находимся сегодня, нам придется вернуться к ИИ, который научился «обманывать» в 1981 году.
Что такое RSI: от самосовершенствования к рекурсивному выигрышу
В 1981 году Дуглас Ленат построил систему под названием EURISKO. Он не только использует эвристические правила для решения проблем, но также может генерировать, изменять и оценивать новые правила и даже использовать этот механизм на себе. Это значительно опередило свое время.
EURISKO приняла участие в национальном чемпионате по космическим военным шахматам Traveler TCS. Он проектирует флоты, моделирует сражения и корректирует свою стратегию в зависимости от неудач. Он выиграл титул в 1981 году и снова в 1982 году после того, как организаторы изменили правила. Сообщество ИИ в то время было шокировано: эта штука действительно может улучшиться!
Но вскоре Ленат столкнулся с более сложной проблемой.
EURISKO обнаружила, что улучшение ваших реальных способностей – не единственный способ добиться высоких результатов. Определенное правило на самом деле не сделало важного открытия, но оно научилось добавлять свое имя в список «открывателей», когда другие правила совершали открытия, поэтому его внутренний показатель «полезности» быстро приблизился к самому высокому. Другими словами, он не стал умнее, а научился использовать лазейки в механизме оценки.
Сегодня это явление часто называют взломом вознаграждений (также называемым спекуляцией вознаграждений): система находит лазейки, которые улучшают оценку, но на самом деле не достигают целей, поставленных разработчиками. Это особенно фатально в контексте самосовершенствования ИИ: если система одновременно является улучшаемой и может влиять на процесс оценки, самосовершенствование может скатиться к самообману. Мы встретимся с этой ловушкой снова иеще раз позже.
В последующие десятилетия генетические алгоритмы, эволюционные стратегии и нейроэволюция постоянно доказывали, что поиск и отбор могут порождать сложное поведение, и неоднократно выявляли одну и ту же проблему: пока в цели оценки существуют лазейки, система может сначала научиться использовать лазейки вместо того, чтобы по-настоящему стать сильнее.
Эта тема распространяется на 2017 год, и появляется более крайний случай: AlphaZero от DeepMind. Чтобы освоить го, шахматы и сёги с нуля, он опирается на чистую самостоятельную игру. Возможности «тренировки себя с помощью самостоятельно сгенерированных данных» полностью продемонстрированы впервые.
С точки зрения четырехуровневой структуры этой статьи, AlphaZero представляет собой ограниченную реализацию: самостоятельная игра генерирует обучающие сигналы, улучшает вес письма, а первые два уровня установлены в рамках фиксированной игры.
Но ключевым ограничением является то, что границы замкнутого цикла рисуются людьми, и система не может изменять эти границы самостоятельно. Функция вознаграждения (оценка за победу в игре), правила игры, процесс обучения и методы оценки — все это заранее жестко запрограммировано людьми. AlphaZero реализует длительный, автономный замкнутый цикл самосовершенствования в полностью закрытой песочнице, но не может подвергать сомнению или изменять эту песочницу. Это означает, чтоего улучшение всегда будет ограничиваться аспектом «лучше играть в шахматы» и никогда не сможет быть перенесено за пределы «песочницы».
Это общий потолок исторических методов. Исследования в эпоху LLM не пересекли его за один шаг, а начали одно за другим перемещать звенья, первоначально контролируемые человеком, в замкнутый цикл. Первое, что необходимо передать, — это сигнал обратной связи для определения «что нужно изменить».
Первый рывок (2022–2023 гг.): пусть ИИ учится на собственных ошибках
Все методы в истории застряли в одном и том же: направление совершенствования заранее прописывается человеком. EURISKO и AlphaZero полагаются на функции оценки, заданные людьми, а генетические алгоритмы полагаются на функции пригодности, разработанные людьми. Система может развиваться, но двигаться вперед она может только по пути, проложенному человеком. Чтобы двигаться дальше, первым делом нужно задаться вопросом: может ли система сама судить о качестве выходного тока?не полагаясь на человеческое вмешательство одно за другим, и генерировать направления для улучшения? Такая обратная связь, указывающая на необходимость следующей версии, в этой статье называется «сигналом улучшения».
Раньше этот шаг был невозможен, потому что машины не могли прочитать «какой хороший ответ». Ко второй половине 2022 года Large Language Model (LLM) сможет не только понимать язык, но и оценивать качество фрагмента текста. Предоставление системе возможности генерировать собственную словесную обратную связь впервые становится распространенным подходом. Ключевое ограничение этого пути: ни один параметр не изменяется на протяжении всего процесса, а улучшениев основном происходит в процессе рассуждения и внешней памяти.
Рефлексия: превратите неудачную проверку в память многократного использования
Самая прямая идея — позволить модели многократно отшлифовываться в процессе ответа на месте: сначала дать ответ, затем покритиковать ответ, а затем переписать его, повторяя цикл, не меняя параметры на протяжении всего процесса. Но есть характерный недостаток. Использование одной и той же модели для критики собственной продукции равносильно использованию одной и той же линейки для измерения одного и того же куска ткани, а измерить собственную продукцию сложно.слепые пятна. Если обзор остается только в текущем контексте, прогресс будет потерян после завершения задачи.
Рефлексия (NeurIPS'23) добавляет на этой основе ключевую конструкцию: эпизодическую память. После неудачного выполнения задачи модель пишет посмертный обзор на естественном языке, сохраняет его и напрямую вводит контекст в следующий раз, когда сталкивается с подобной задачей. Это равносильно тому, чтобы дать ИИ книгу неправильных вопросов. Чем больше неправильных вопросов вы накопите, тем выше будет ваша отправная точка для следующего старта.
В тесте программирования HumanEval на Python точность прохода @1 Reflexion достигла 91 %, превысив предыдущий лучший результат GPT-4 (80 %), указанный в документе. pass@1 означает, что каждый вопрос рассчитывается только один раз для всего процесса ответа, и рассчитывается доля окончательной программы, прошедшей скрытый модульный тест. В течение всего процесса параметры модели не менялись.
Граница первого продвижения: память может длиться долго, и базовая способность не образует новую версию.
Эпизодическая память рефлексии может сохраняться при выполнении разных задач, поэтому она уже частично удовлетворяет «устойчивому улучшению». Но сохраняется внешняя текстовая память, а не параметры модели, и она не создает новую модель с более сильными базовыми возможностями. Как только память удалена, способность возвращается в исходное состояние.
Одним словом: этот шаг дает ИИ книгу неправильных вопросов, которую можно сохранить, но он еще не внедрил опыт в тело. В дальнейшем улучшения должны быть записаны в параметры, чтобы сформировать действительно новую версию.
Второй толчок (2022–2024 гг.): тренируйтесь на данных, которые вы генерируете.
Затем приварите не ту книгу с вопросами к телу модели. Проблема, которую необходимо решить в этом усовершенствовании, состоит в том, чтобы позволить независимо генерируемым улучшенным сигналам записываться в параметры для формирования действительно долговременного улучшения возможностей. Без этого шага не было бы рекурсивной структуры «последующая версия сильнее предыдущей» и не было бы RSI.
Идея очень проста: позволить модели самостоятельно сгенерировать пакет обучающих данных, а затем использовать эти данные для повторного обучения. Это немного похоже на «наступить на левую ногу и достичь неба правой ногой». На этом этапе необходимо проверить, действительно ли он может наступить на него.
Это первый случай, когда долгосрочные улучшения на уровне веса систематически затрагиваются большими языковыми моделями.
STaR: Основополагающая работа по бутстреппингу цепочки рассуждений
В 2022 году STaR (Self-Tuck Reasoner) (NeurIPS'22) позволяет модели генерировать процесс рассуждения, сохраняет правильную часть ответа для точной настройки, а затем использует обновленную модель для генерации следующего пакета процессов рассуждения.
Проблема в том, что если модель изначально дает неправильные ответы, цикл не запустится.
Решение STaR называется обратным рассуждением: сначала сообщите модели правильный ответ, а затем позвольте ей обратить вспять процесс решения проблемы и использовать его для обучения. Это эквивалентно тому, как один раз включить свет в темной комнате, подождать, пока он научится ходить, а затем выключить свет, чтобы позволить ему идти самостоятельно.
SPIN: Улучшение модели по сравнению с историческими версиями
Порог фильтрации STaR фиксирован, а SPIN (точная настройка самовоспроизведения) (ICML'24) позволяет текущей модели играть против исторической версии и учиться различать «человеческую демонстрацию» и «выход исторической версии». Чем сложнее отличить эти два понятия, тем это означает, что модель ближе к человеческой демонстрации, и в целом процессе не требуется никаких новых ручных аннотаций.
Граница второго нажатия: гири изменились, но мишень и красная ручка по-прежнему предоставляются людьми.
Этот шаг решает проблему постоянства уровня веса, но сигнал обратной связи по-прежнему зависит от людей. Функция вознаграждения разрабатывается людьми, задачи обучения выбираются людьми, критерии фильтрации данных также формулируются людьми. Система может автономно генерировать данные-кандидаты, но решение о том, какие данные считать «хорошими» и достойными обучения, по-прежнему остается в руках людей. SPIN не требует нового руководствааннотаций, но по-прежнему нацелен на существующее демонстрационное распространение, поэтому верхний предел по-прежнему привязан к этому распределению.
Более глубокая проблема заключается в том, что рекурсивный выигрыш еще не появился: по мере улучшения возможностей модели фиксированные задачи обучения постепенно теряют свою актуальность. Система будет становиться все лучше и лучше при заполнении этой серии вопросов, но нет никаких доказательств того, что она будет становиться все лучше и лучше при разработке самого тренинга. Точно так же, как спортсмен уже пробежал менее 10 секунд, а тренер все еще использует стандарты начальной школы.занятия по физкультуре для судейства, возможности для совершенствования будут отрезаны потолком судейских стандартов.
Одним словом: система может сама генерировать данные и отвечать на вопросы, но не может самостоятельно их корректировать. Пока красная ручка находится в руках человека, люди все равно будут рисовать потолок.
Третье достижение (2022–2025 гг.): Предоставьте ИИ больше прав на получение очков.
Можно ли передать эту красную ручку ИИ? Пока оценка и предоставление обратной связи зависят от ручных аннотаций или валидаторов, написанных людьми, направление улучшения по-прежнему будет находиться в руках людей. Валидатор здесь — это программа, которая может автоматически определить, правильный или неправильный результат, согласно заданным правилам. Именно этот уровень зависимости уменьшится в результате третьего толчка: может ли ИИ генерировать больше сигналов обратной связи?сам?
Это углубление автономного замкнутого цикла: модель не только позволяет анализировать выходные данные, но и передает часть обратной связи по обучению ИИ.
CAI к мета-награждению: от ответов на оценку до судей по оценке
Суть третьего толчка – тройной прыжок вопроса «кто забьет?»
Первый прыжок: в 2022 году Anthropic предложила конституционный ИИ (CAI). Люди только пишут письменные принципы, а затем позволяют ИИ оценить эти принципы. В эксперименте это существенно не отличается от эффекта обучения ручному оцениванию, и людям больше не нужно участвовать в выставлении оценок по каждому пункту.
Второй прыжок: в 2024 году Самовознаграждающиеся языковые модели Meta (ICML'24) сделают еще один шаг вперед. Одна и та же модель записывает ответы, оценивает себя и ответы других кандидатов, а также обновляет себя с учетом этих оценок. Используемый им метод тонкой настройки называется оптимизацией прямых предпочтений (DPO), что можно просто понять так: «Этот ответ лучше, чем тот. В будущем полагайтесь на лучший».
Начиная с Llama 2 70B, после трех итераций ее процент выигрышей на AlpacaEval 2.0 увеличился с 9,94% до 20,44%. Здесь GPT-4 выступает в роли судьи, а GPT-4 Turbo выступает в роли противника. Вероятность выигрыша не является показателем правильных ответов в общем смысле.
Третий прыжок: поскольку качество ответов может меняться само по себе, может ли также развиваться и качество самого суждения? Мета-награждение (2024 г.) добавляет на этой основе уровень «мета-суждения». Одна и та же модель одновременно играет роли ответчика, судьи и «судьи судей». Третья роль посвящена оценке того, точен ли счет на этот раз. Во время каждого раунда обновлений модель движется в двух направлениях: «лучшие ответы» и «больше ответов».точные судьи» одновременно.
Однако в статье также зафиксирован феномен, заслуживающий бдительности: после нескольких раундов итерации «судьи-судьи» начинают деградировать. Он больше не определяет, какая оценка является более разумной, а напрямую выбирает ту, у которой более высокий балл, и критерии оценки также меняются соответствующим образом. Это версия старой проблемы EURISKO 2024 года: чем глубже она развивается, тем более изогнутой становится линейка для измерения добра и зла.
Граница третьего продвижения: после того, как красная ручка передана ИИ, сама линейка начинает сгибаться.
Этот шаг значительно снижает зависимость сигнала обратной связи от ручных аннотаций одну за другой, но в то же время обнажает основную трудность RSI: когда судья и судья имеют один и тот же набор слепых зон, замкнутый цикл может легко подтвердить себя.
Такие системы могут формировать постоянные автономные обновления, но они не обязательно справляются с новыми задачами, отличающимися от обучающих данных, и не доказывают, что новые версии будут более сильными улучшателями. Проблема изменилась с «человеческая обратная связь слишком медленная» на «надежна ли самооценка».
В предложении: Красную ручку наконец передали ИИ, но пока он ее держал, начал ставить себе высокие оценки.
Четвертое продвижение (2023–2026 гг.):
Позвольте ИИ изменить способ своей работы
Первые три усовершенствования в основном были сосредоточены на изменении вывода, памяти, параметров и сигналов обратной связи. Однако возможности системы ИИ определяются не только параметрами, но и всей системой управления, работающей вокруг модели: как писать слова-подсказки, какие инструменты вызывать, какие процессы организовывать, где существует память, где авторитеты и как оценивать результаты.
Лилиан Венг в своей статье 2026 года назвал весь этот слой ремнями безопасности. Это как упряжь на лошади. Он не только поддерживает работу модели, но и ограничивает, где, как и насколько далеко модель может зайти. Привод определяет, можно ли реализовать возможности модели в надежных действиях.
Недавнее самосовершенствование, скорее всего, начнется с инструментов для вождения, потому что изменение веса обходится дорого, обратная связь медленная, а риски высоки. Изменение инструментов управления — это, по сути, изменение кода, который дешевле и его легче откатить. В долгосрочной перспективе вес модели может меняться вместе с транспортным средством, но оценщики, средства контроля разрешений и критические границы безопасности должны оставаться за пределами зоны изменения.
Итак, вопрос, на который нужно ответить в четвертом шаге: может ли система автономно модифицировать свое собственное приводное оборудование, то есть определять архитектуру ее работы?
Обновление параметров предназначено для обучения возможностей модели в установленном режиме работы. Обновления оборудования для вождения меняют способы использования способностей, что эквивалентно перепроектированию рабочего места, набора инструментов и методов обучения.
Существует четкая прогрессивная лестница совершенствования техники вождения. Объекты, подлежащие оптимизации, варьируются от мелких до глубоких, и каждый уровень ближе к ядру того, «как система думает»:
блок-схема LR
A["Подсказка слова
Изменить формулировку"] --> B["Структура контекста
Что изменить"] B --> C["Рабочий процесс
Изменить шаги"] C --> D["Код приводного оборудования
Изменить всю компоновку"] D --> E["Код оптимизатора
изменить "как изменить" сам"] Чем дальше, тем больше рычагов для изменений и тем ближе это к тому, что «система сама переписывает операционную логику». Давайте проследим по этой лестнице и посмотрим на нее от мелкого к глубокому. ОПРО: Пусть слова-подсказки повторяются сами по себе. Может ли система стать сильнее, если оставить параметры без изменений и изменить только слова-подсказки, то есть слова, которые мы даем инструкциям модели? Подход OPRO (ICLR 2024) очень репрезентативен. Он передает модели проверенные слова-подсказки и соответствующие оценки, что позволяет модели суммировать правила и генерировать улучшенную версию. Раньше «навыки настройки» основывались на методе проб и ошибок людей, но теперь модель можетповторяться самостоятельно. Но верхний предел ясен: каким бы хорошим ни было слово-подсказка, оно лишь вызывает существующие возможности модели и не может создать новые возможности. ADAS и AFlow: рабочие процессы агента автоматизированного проектирования Если спуститься еще на один уровень ниже, то оптимизируется уже не просто формулировка, а информация, подаваемая в модель, и то, как устроен весь процесс выполнения задачи. Например, AI Scientist собирает конвейер «предложения идей → написания кода → проведения экспериментов → написания статей → экспертной оценки». Поскольку процесс можно записать в код, его также можно искать. ADAS (ICLR 2025) превращает сам «рабочий процесс проектирования» в задачу оптимизации. «Агент-разработчик» более высокого уровня постоянно записывает в код новые рабочие процессы, запускает их, фильтрует, а затем изменяет и так далее. AFlow (ICLR 2025) делает еще один шаг вперед. Он представляет рабочий процесс в виде блок-схемы, состоящей из вызовов моделей и логических суждений, а затем использует алгоритмы поиска для поиска лучших структур, в конечном итоге превосходя решения, разработанные вручную. Self-Harness и DGM: позвольте системе переписать код Harness. Вершиной лестницы является то, что система напрямую переписывает код, определяющий ее работу. There are two routes here. Первый способ — «предложить, оценить и принять». Система находит свои собственные проблемы, предлагает модификации, а затем принимает их после проверки их эффективности. Self-Harness (2026) добавляет строгие условия приемки: система сначала обобщает причины сбоя, а затем вносит небольшие обратимые модификации. Новая версия будет сохранена только в том случае, если она не ухудшится как по видимым, так и по невидимым проблемам. Второй путь – эволюционный поиск. Система сохраняет группу возможных решений, позволяет им генерировать варианты, а затем посредством экспериментов оставляет лучшие версии. Машина Дарвина Гёделя (DGM) (2025 г.) непосредственно развивает самомодифицирующийся управляющий код. Если исходить из того, что базовая модель остается неизменной, вероятность ее успешного ремонта на SWE-bench Verified увеличивается с 20% до 50%. За обоими путями стоит одно и то же: код — это универсальный язык для определения систем. Как только автомобиль записан в исполняемый, оцениваемый код, программные агенты могут исследовать пространство проектирования. MetaClaw и AgentX: пусть реальные пользователи будут источником обратной связи Независимо от того, какой путь вы выберете, саморазвитие приводного оборудования требует сигнала о том, «хороша ли модификация или нет». Сигнал улучшения DGM исходит от фиксированного набора тестов. MetaClaw (2026) позволяет агенту извлекать опыт из диалога в реальном развертывании и закрепляет этот опыт в виде весов в фоновом режиме, продвигая саморазвитие от управления банком вопросов к управлению пользователем. В отрасли уже есть люди, которые используют этот путь в реальный бизнес. AgentX (2026) компании Kuaishou просматривает записи выполнения, соответствующим образом модифицирует приводное оборудование субагента, а затем использует исторические задачи для фильтрации новых версий. Он использует аналогичный скелет «предложить, оценить, принять», как и Self-Harness. Разница в том, что в конечном итоге он проходит настоящее онлайн-A/B-тестирование. Пребывание пользователя и его потребительское поведение становятся сигналом вознаграждения системы. Существенная разница между этими методами не в механизме, а в том, кто является тренером: тестовая выборка, реальные пользователи или онлайн-бизнес. Чем ближе коуч к реальности, тем больше вероятность того, что улучшения действительно сработают, но тем больше риск быть использованным в своих целях. Граница четвертого продвижения: операционную архитектуру можно изменить, но граница проверки и конечная цель остаются внешними. Это достижение также превратило методы вызова моделей, инструментов и воспоминаний в развиваемые объекты. Но направление развития инструмента управления по-прежнему определяется внешними задачами, валидаторами или целями пользователя. Что еще более важно, более высокий балл за инструмент управления не означает, что интеллект базы становится сильнее. Тот факт, что система модифицирует оборудование для вождения, не означает, что обновленное оборудование для вождениябудет эффективно использовано им. Итог: система, наконец, способна заново изобрести свои собственные конечности и верстак, при этом критерии приемки и границы конструкции все еще определяются внешним миром. Пятый рывок (2025–2026 гг.): Поместите процесс обучения и исследования в замкнутый цикл Модификация управляющего инструмента — это один из путей, но движущий инструмент меняет то, как система выполняет задачи во время выполнения — какой инструмент вызывать, какой процесс выполнять и когда остановиться. Пятый шаг — изменить более высокий уровень: материалы, используемые системой для обучения, и само место проведения — откуда берутся практические вопросы, как выглядит среда практики и как генерируются обучающие данные. Первое определяеткак используются существующие возможности, и последнее определяет, на каком опыте будет обучаться следующая версия модели. Временные рамки этих двух процессов сильно перекрываются, потому что многие команды делают оба дела одновременно, но объекты изменений разные: одна меняет структуру управления во время вывода, а другая меняет входные данные перед обучением. Таким образом, появился еще один путь к расширению масштабов замкнутого цикла: может ли весь процесс обучения и исследования стать операционным объектом системы? Система начинает генерировать обучающие материалы, выбирает стратегии тренировок, проводит эксперименты, модифицирует процесс обучения, а затем записывает результаты обратно в модель или приводное оборудование. Здесь следует избегать недоразумений. Автономное генерирование данных или среды системой только расширяет сферу применения автономных замкнутых контуров. Даже если все вопросы, ответы и исправления будут выполнены ИИ, если новая версия не станет лучше при разработке следующего раунда улучшений, система все равно не перешагнет порог рекурсивного выигрыша. SEAL: позвольте модели генерировать собственные обучающие данные и обновлять инструкции. Дайте модели новый материал, которого она никогда раньше не видела, и обычно она может учиться только способами, предопределенными людьми. В одной из работ 2025 года модели предлагалось сначала написать для себя «план обучения»: как организовать материалы, в каком темпе учиться и нужно ли его переписывать несколько раз — все решает сама модель, а затем параметры обновляются в соответствии с планом. Это эквивалентно организации собственного курса.график, а затем посещать занятия в соответствии с ним. Этот метод называется SEAL (Self-Adapting LLM) (NeurIPS'25). Хороший план или нет, зависит от того, «будут ли точны вопросы после окончания занятия». Затем система использует результаты для корректировки плана. Это обучение с подкреплением. В задаче на вопросы и ответы на знания этот метод увеличил точность с 33,5% до 47,0%, что также лучше, чем прямое использование GPT-4.1 для создания учебных материалов. SEAL рассказывает, «как подготовить учебные материалы для себя». Но для агентов, которым необходимо неоднократно взаимодействовать с окружающей средой, быстро возникает еще одно узкое место: реальная практика сама по себе слишком медленная и дорогая. Итак, следующей задачей было перевести среду в замкнутый цикл. SEAL решает, «как подготовить учебные материалы для себя». Но для агентов, которым необходимо неоднократно взаимодействовать со средой, реальная практика часто оказывается слишком медленной и дорогой: веб-среда слишком сложна, и каждая операция должна быть фактически выполнена, а сбор обучающих данных — медленный и дорогостоящий процесс. WebEvolver (EMNLP'25) предлагает компромисс — обучение внутренней «модели мира» для имитации реакции веб-страниц.эквивалентно построению песочницы в вашем уме. Агент может много практиковаться в «песочнице» с небольшими затратами и выходить в Интернет для проверки только на критических этапах; при выполнении задач песочница также может помочь спрогнозировать результаты следующей операции. На трех реальных наборах тестов для веб-страниц его общая производительность улучшена примерно на 10% по сравнению с существующими саморазвивающимися агентами, и он не зависит от более сильной «модели учителя». На этом этапе замкнутый цикл можно практиковать в среде моделирования. Естественно, возникает следующий вопрос: могут ли прогнозирование, оценка и обновление параметров покинуть веб-страницу и закрыться в реальном физическом мире? Motus2: Когда самосовершенствование параметров входит в физический мир Самосовершенствование происходит не только в языках и коде. В августе 2026 года средний показатель успеха роботизированной системы при выполнении двух реальных машинных задач увеличился с 65% до 75%. Изменение происходит по очень специфическому замкнутому циклу: робот сначала представляет несколько действий, предсказывает результаты каждого действия, выбирает лучшее действие, а затем использует результаты для следующего раунда обучения. Эта система называется Motus2. Стратегия отвечает за предложение действий, модель мира предсказывает результаты действий, а модель ценностей определяет, помогут ли результаты выполнить задачу. Прогнозы и оценки используются как для выбора действий, так и для обновления параметров действий. Это улучшение стратегии на уровне веса, но это по-прежнему ограниченный замкнутый цикл: основа модели мира и модель ценностей остаются замороженными, цели задач и контроль по-прежнему обеспечиваются извне, и в статье не показано, что улучшенный Motus2 лучше подходит для разработки следующего раунда алгоритмов обучения. Это доказывает, что на реальных роботах можно запускать замкнутые циклы, а не то, что был реализован открытый RSI. SEAL, WebEvolver и Motus2 соответственно объединяют учебные материалы, тренировочную среду и физические действия в замкнутый цикл. Они расширяют рамки, в которых система может работать автономно, но при этом не оставляют за системой право принятия решений о том, «что изучать и когда использовать результаты». Чтобы увидеть, насколько далеко продвинулась эта граница в реальных исследованиях и разработках, нам придется вернуться к передовым лабораториям ипроизводственные системы. OpenAI и Google: позвольте агентам участвовать в разработке моделей «Стажеры автоматизированных исследований» OpenAI смогли устранять неполадки, оптимизировать программы ядра графического процессора, опробовать рецепты обучения и помочь улучшить другую модель. В Google также заявили, что длительные циклы агентов участвуют в совершенствовании базовой модели. Тем не менее, ни одна из компаний не доказала свою полную автономию и замкнутый цикл: люди по-прежнему решают направление исследований и степень достоверности результатов, а общедоступной информации недостаточно для восстановления.как работает цикл. Настоящее изменение заключается в том, что ИИ превратился из «изучаемой модели» в «исполнителя, участвующего в исследовательской модели». Оно вошло в учебную мастерскую, но еще не взяло на себя управление лабораторией. Лето 2026 г.: автоматизированные исследовательские системы начинают совершенствовать методы проведения исследований. Первые пять усовершенствований продолжали расширять «то, что можно изменить в системе». Группа работ, появившаяся летом 2026 года, начала задаваться лобовым вопросом: можно ли разрешить автоматической исследовательской системе изучать и улучшать саму автоматическую исследовательскую систему? В тесте перед обучением GPT обычный внутренний цикл снижает потери при проверке примерно на 0,009, а добавление внешнего цикла снижает потери при проверке в среднем примерно на 0,045, то есть улучшение примерно в 5 раз. Потери при проверке можно понимать как «насколько ошибочна» модель на новых данных, и обычно чем меньше, тем лучше. Здесь сравнение идет по снижению потерь, а не по увеличению точности задачи в 5 раз. Двухуровневое автоматическое исследование делает это с помощью двухуровневого цикла: внутренний агент оптимизирует код задачи, а внешний агент оптимизирует механизм внутреннего поиска. Система улучшила не просто ответы, а «как найти ответы». Recursive Harness Self-Improvement (RHI) добился аналогичных результатов: в 30 исследовательских задачах синтетического машинного обучения обновленный агент с низким бюджетом на логические выводы превзошел неоптимизированную конфигурацию с самым высоким бюджетом, одновременно снизив затраты на логический вывод примерно на 60%. Улучшение операционного механизма иногда более эффективно, чем простое увеличение бюджета мышления. Однако оба результата получены в основном в результате экспериментов в контролируемом масштабе. Чтобы доказать, что замкнутый цикл не просто время от времени находит хорошее решение, требуются более длительные прогоны, несколько последующих версий и тестирование вне цикла. AIDE² пытается объединить эти три вещи. Что действительно вызвало споры, так это AIDE². Команда Weco попросила автоматизированного исследовательского агента выступить в роли внешнего улучшателя, переписав движущий инструмент внутреннего AIDE за 100 последовательных шагов. За восемь дней автоматической работы он отфильтровал семь последовательных улучшенных версий. Команда сообщила, что лучшая версия не только превысила отправную точку, но и превзошла версию, которую настраивали вручную в течение двух лет, и принеславыгоды для задач, которые цикл никогда раньше не видел. Еще одно изменение произошло с читами с наградами. В тесте программы ядра GPU KernelBench, не участвовавшей в оптимизации, в 63% тестовых случаев в исходной версии была ситуация, когда «публичная оценка вроде бы улучшилась, но скрытая проверка не была распознана». В наиболее развитой версии этот показатель снижается до 34%. Частная оценка – это оценка, которую нельзя увидеть во время оптимизации системы и которая используется только во время финальной версии.принятие. Возможно, были исключены версии, которые учитывали только общественные оценки. Weco называет это уровнем 1: чистое положительное улучшение. Это не общепринятый отраслевой стандарт, но это свидетельство ограниченного RSI, которое заслуживает серьезного отношения прямо сейчас. Границы доказательств также ясны: результаты основаны на самоотчетах команды, полный отчет еще не опубликован, и в развитой системе есть рецидивы. Раздутость сложности и мертвый код. Что еще более важно, она не прошла тест на зажигание следующего уровня: улучшенная система не оказалась лучше, чем ее предшественница, в улучшении другой версии. Обратное доказательство получено от AI4AI-Bench. Это позволяет агенту переписать алгоритм обучения в рамках фиксированного ресурса, который затем оценивается оценщиком, недоступным для агента. Приняв исходный алгоритм за 0,1 и оптимальное значение задачи за 1,0, самая сильная система получит только 0,250, и большинство представленных материалов фактически не изменяют модель «как учиться». В настоящее время агенты очень хорошо справляются с ремонтом проектов, регулировкой вождения.оборудование и проводить эксперименты, но их способность затрагивать суть алгоритмов обучения все еще очень поверхностна. Итог: замкнутая петля несколько раз могла вращаться с положительным результатом, но не было доказано, что следующий круг будет вращаться быстрее из-за предыдущего. Единый взгляд: как определить, куда ушел RSI В следующей таблице используются четыре критерия в начале (постоянное улучшение, автономный замкнутый контур, рекурсивный коэффициент усиления, надежность и управляемость) для сравнения предыдущих достижений и обозначения основных пробелов. Почти вся соответствующая работа по замкнутому циклу мета-исследований взята из препринтов arXiv за последние месяцы 2026 года, среди которых AIDE² — это результат самоотчета команды в блоге, который еще не прошел рецензирование. Эти выводыследует рассматривать как постановочные наблюдения, а не как устойчивый консенсус. ✅ в таблице указывает на наличие относительно прямых доказательств, ⚠️ указывает на то, что они установлены только при ограниченных условиях или доказательств еще недостаточно, и ❌ указывает на то, что они еще не были продемонстрированы. История этого поля — это история «объектов, которые могут быть изменены системой», продвигающихся слой за слоем. Объекты, которые были изменены, постепенно перешли от вывода и памяти к параметрам, оценке, оборудованию для вождения и среде обучения и, наконец, столкнулись с самим механизмом, который привел к улучшению. Чем дальше вы заходите, тем сложнее определить «улучшение» и тем труднее его доказать. Возвращаясь к предыдущим четырем критериям – устойчивому улучшению, автономному замкнутому контуру, рекурсивному усилению, надежности и управляемости – то, что действительно блокирует воспламенение и открытие RSI сегодня, является самым трудным местом для пересечения в каждом из последних трех критериев, которые можно разбить на четыре взаимосвязанные двери. Первый гейт (надежен ли автономный замкнутый контур): надежен ли верификатор и система не может его изменить. Когда система одновременно выполняет функции улучшателя и судьи, критерии оценки могут меняться в течение итераций. «Судьи-судьи» Meta-Rewarding позже стали все более предвзято относиться к высоким баллам, а EURISKO раньше научился вбивать свое имя в кредитную книжку. Все они напоминают вам об одном и том же: оптимизацииПроцесс атакует каждую трещину между вашими показателями и вашими истинными целями. Внешний якорь здесь относится к оценке или ограничению, которое не может быть изменено улучшенной системой. Формальные доказательства, исполняемые средства проверки и скрытые тесты обычно более надежны, чем самооценка модели. Скрытая оценка AIDE² может уменьшить количество случаев мошенничества с вознаграждением именно потому, что внутренний агент не может ею манипулировать. Действительно надежный принцип заключается не в том, чтобы люди проверяли каждый шаг, а в том, чтобы оценщики и границы разрешений оставались вне контроля развиваемой системы. Задачи по математике и программированию могут опираться на доказывающие устройства, компиляторы или скрытые тесты. Вкусы исследователей, долгосрочное состояние кода и границы развертывания по-прежнему требуют окончательного человеческого решения. Вторая дверь (надежная и контролируемая): могут ли улучшения выйти за рамки собственного распространения данных. Обучение на самостоятельно сгенерированных данных усилит существующие отклонения, сгладит разнообразие и в конечном итоге приведет к коллапсу модели: выходные данные становятся все более и более монотонными, а первоначальные ошибки многократно усиливаются в раундах самообучения. Если вы используете фиксированный банк вопросов для модификации инструмента вождения, вы можетевпишите функции банка вопросов в рабочий процесс, создавая еще один вид переобучения. Одного улучшения невидимой миссии недостаточно. Система должна пройти скрытую оценку по задачам, областям и времени, чтобы продемонстрировать, что она накапливает передаваемые способности, а не более скрытые навыки прохождения тестов. Третий элемент (сам рекурсивный выигрыш): действительно ли улучшение имеет рекурсивный выигрыш. Увеличение оценки задачи не означает, что система спроектирует следующее улучшение. AIDE² демонстрирует многоступенчатое чистое положительное улучшение без пропуска зажигания. AI4AI-Bench показывает, что большинство систем до сих пор не модифицируют основной алгоритм обучения. Когда фундамент слишком слаб, качество самостоятельно генерируемых данных и самодиагностики можеттакже спираль цикла все дальше и дальше. Четвертые ворота (надежные и управляемые 2): можно ли совместно расширить возможности, сложность и контроль. Чем сильнее вы становитесь, тем «послушнее» вы становитесь и чем больше вы можете менять код, тем легче его поддерживать. Мертвый код AIDE² и раздувание сложности — это небольшое предупреждение. В более крупных системах обучения, чем выше авторитет и чем быстрее итерация, тем труднее людям понять, что меняется.приносит. Главный научный сотрудник OpenAI Якуб Пачоцкий публично заявил, что ни одна лаборатория не смогла решить вопросы согласования и мониторинга в достаточной степени, чтобы ответственно и на полной скорости масштабировать системы в долгосрочной перспективе. Настоящая цель состоит не в том, чтобы просто поднять кривую возможностей, а в том, чтобы возможности безопасности, мониторинга, отката и аудита двигались вверх, по крайней мере, одновременно. AutoResearchEval проанализировал 800 реальных траекторий научных исследований и обобщил 45 типов неудач. В конечном итоге они указывают на один и тот же пробел: нынешним агентам не хватает стабильной метакогнитивной петли, и они неспособны постоянно проверять выводы и доказательства, надежно отступать при возникновении ошибок или активно подвергать сомнению свои собственные исследовательские пути. Проблему невозможно решить только с помощью нескольких наборов рабочих процессов. Таким образом, более вероятная реалистичная картина заключается не в том, что людей просто выгоняют из замкнутого цикла, а в том, что они продвигаются вверх по абстрактной лестнице: от написания кода к тестированию кода, от проведения экспериментов к проверке проекта, от локального выполнения к решению того, что стоит исследовать, какие доказательства достаточно для продвижения и когда это необходимо. останавливаться. Машины захватывают все больше и больше рабочих мест, и у людей остается не право управлять каждым шагом, а сила для достижения целей, границы проверки и окончательное вето. Вывод: замкнутый цикл самосовершенствования возник, но рекурсивный выигрыш еще необходимо доказать. С 1981 года, когда EURISKO научилась «обманывать себя», до 2026 года, когда модель начала участвовать в оценке, модификации водительского оборудования, обновлении стратегии и последующем обучении, более точный вывод заключается в том, что возник ограниченный, измеримый замкнутый цикл самосовершенствования и даже начал приносить чистую положительную выгоду, но нет достаточных публичных доказательств того, что улучшенная система постоянно совершенствует свою собственную.возможности улучшения. Следовательно, способ закрытия замкнутого контура более важен, чем само замыкание замкнутого контура. Замкнутый цикл, который замыкается в дрейфе критериев, становится все более способным оптимизировать свои собственные искаженные цели. Замкнутый цикл, который замыкается при коллапсе распределения данных, становится все более эффективным при выполнении все более узкого подмножества задач. Замкнутый контур усиления отклонений от центровки становится все более подходящим и трудным для исправления. Настоящими вопросами стали два вопроса: загорится ли он и что останется за его неизменными границами, когда он загорится? Первое зависит от того, можно ли рекурсивно получить улучшенные возможности, а второе зависит от того, смогут ли проверка, полномочия и управление продолжать оставаться эффективными. Вернемся к ЭВРИСКО, который сорок лет назад внес свое имя в список «первооткрывателей». Лазейка, которой он воспользовался, на самом деле представляет собой ту же проблему, с которой сталкиваются сегодня самые передовые саморазвивающиеся системы: когда система начинает оценивать себя, как узнать, действительно ли она стала лучше или она просто научилась выглядеть лучше? Прошло сорок лет, и возможности системы стали совсем другими, но эта проблема осталась практически неизменной. Что изменилось, так это ставки: то, что было выиграно или проиграно в настольной игре тогда, может стать тем, как научные исследования и экономические системы будут работать в будущем. То, как этот разрыв в конечном итоге закроется, по-прежнему зависит от того, когда и как мы возьмем его в свои руки или уберем.
Читать источникИзменить формулировку"] --> B["Структура контекста
Что изменить"] B --> C["Рабочий процесс
Изменить шаги"] C --> D["Код приводного оборудования
Изменить всю компоновку"] D --> E["Код оптимизатора
изменить "как изменить" сам"] Чем дальше, тем больше рычагов для изменений и тем ближе это к тому, что «система сама переписывает операционную логику». Давайте проследим по этой лестнице и посмотрим на нее от мелкого к глубокому. ОПРО: Пусть слова-подсказки повторяются сами по себе. Может ли система стать сильнее, если оставить параметры без изменений и изменить только слова-подсказки, то есть слова, которые мы даем инструкциям модели? Подход OPRO (ICLR 2024) очень репрезентативен. Он передает модели проверенные слова-подсказки и соответствующие оценки, что позволяет модели суммировать правила и генерировать улучшенную версию. Раньше «навыки настройки» основывались на методе проб и ошибок людей, но теперь модель можетповторяться самостоятельно. Но верхний предел ясен: каким бы хорошим ни было слово-подсказка, оно лишь вызывает существующие возможности модели и не может создать новые возможности. ADAS и AFlow: рабочие процессы агента автоматизированного проектирования Если спуститься еще на один уровень ниже, то оптимизируется уже не просто формулировка, а информация, подаваемая в модель, и то, как устроен весь процесс выполнения задачи. Например, AI Scientist собирает конвейер «предложения идей → написания кода → проведения экспериментов → написания статей → экспертной оценки». Поскольку процесс можно записать в код, его также можно искать. ADAS (ICLR 2025) превращает сам «рабочий процесс проектирования» в задачу оптимизации. «Агент-разработчик» более высокого уровня постоянно записывает в код новые рабочие процессы, запускает их, фильтрует, а затем изменяет и так далее. AFlow (ICLR 2025) делает еще один шаг вперед. Он представляет рабочий процесс в виде блок-схемы, состоящей из вызовов моделей и логических суждений, а затем использует алгоритмы поиска для поиска лучших структур, в конечном итоге превосходя решения, разработанные вручную. Self-Harness и DGM: позвольте системе переписать код Harness. Вершиной лестницы является то, что система напрямую переписывает код, определяющий ее работу. There are two routes here. Первый способ — «предложить, оценить и принять». Система находит свои собственные проблемы, предлагает модификации, а затем принимает их после проверки их эффективности. Self-Harness (2026) добавляет строгие условия приемки: система сначала обобщает причины сбоя, а затем вносит небольшие обратимые модификации. Новая версия будет сохранена только в том случае, если она не ухудшится как по видимым, так и по невидимым проблемам. Второй путь – эволюционный поиск. Система сохраняет группу возможных решений, позволяет им генерировать варианты, а затем посредством экспериментов оставляет лучшие версии. Машина Дарвина Гёделя (DGM) (2025 г.) непосредственно развивает самомодифицирующийся управляющий код. Если исходить из того, что базовая модель остается неизменной, вероятность ее успешного ремонта на SWE-bench Verified увеличивается с 20% до 50%. За обоими путями стоит одно и то же: код — это универсальный язык для определения систем. Как только автомобиль записан в исполняемый, оцениваемый код, программные агенты могут исследовать пространство проектирования. MetaClaw и AgentX: пусть реальные пользователи будут источником обратной связи Независимо от того, какой путь вы выберете, саморазвитие приводного оборудования требует сигнала о том, «хороша ли модификация или нет». Сигнал улучшения DGM исходит от фиксированного набора тестов. MetaClaw (2026) позволяет агенту извлекать опыт из диалога в реальном развертывании и закрепляет этот опыт в виде весов в фоновом режиме, продвигая саморазвитие от управления банком вопросов к управлению пользователем. В отрасли уже есть люди, которые используют этот путь в реальный бизнес. AgentX (2026) компании Kuaishou просматривает записи выполнения, соответствующим образом модифицирует приводное оборудование субагента, а затем использует исторические задачи для фильтрации новых версий. Он использует аналогичный скелет «предложить, оценить, принять», как и Self-Harness. Разница в том, что в конечном итоге он проходит настоящее онлайн-A/B-тестирование. Пребывание пользователя и его потребительское поведение становятся сигналом вознаграждения системы. Существенная разница между этими методами не в механизме, а в том, кто является тренером: тестовая выборка, реальные пользователи или онлайн-бизнес. Чем ближе коуч к реальности, тем больше вероятность того, что улучшения действительно сработают, но тем больше риск быть использованным в своих целях. Граница четвертого продвижения: операционную архитектуру можно изменить, но граница проверки и конечная цель остаются внешними. Это достижение также превратило методы вызова моделей, инструментов и воспоминаний в развиваемые объекты. Но направление развития инструмента управления по-прежнему определяется внешними задачами, валидаторами или целями пользователя. Что еще более важно, более высокий балл за инструмент управления не означает, что интеллект базы становится сильнее. Тот факт, что система модифицирует оборудование для вождения, не означает, что обновленное оборудование для вождениябудет эффективно использовано им. Итог: система, наконец, способна заново изобрести свои собственные конечности и верстак, при этом критерии приемки и границы конструкции все еще определяются внешним миром. Пятый рывок (2025–2026 гг.): Поместите процесс обучения и исследования в замкнутый цикл Модификация управляющего инструмента — это один из путей, но движущий инструмент меняет то, как система выполняет задачи во время выполнения — какой инструмент вызывать, какой процесс выполнять и когда остановиться. Пятый шаг — изменить более высокий уровень: материалы, используемые системой для обучения, и само место проведения — откуда берутся практические вопросы, как выглядит среда практики и как генерируются обучающие данные. Первое определяеткак используются существующие возможности, и последнее определяет, на каком опыте будет обучаться следующая версия модели. Временные рамки этих двух процессов сильно перекрываются, потому что многие команды делают оба дела одновременно, но объекты изменений разные: одна меняет структуру управления во время вывода, а другая меняет входные данные перед обучением. Таким образом, появился еще один путь к расширению масштабов замкнутого цикла: может ли весь процесс обучения и исследования стать операционным объектом системы? Система начинает генерировать обучающие материалы, выбирает стратегии тренировок, проводит эксперименты, модифицирует процесс обучения, а затем записывает результаты обратно в модель или приводное оборудование. Здесь следует избегать недоразумений. Автономное генерирование данных или среды системой только расширяет сферу применения автономных замкнутых контуров. Даже если все вопросы, ответы и исправления будут выполнены ИИ, если новая версия не станет лучше при разработке следующего раунда улучшений, система все равно не перешагнет порог рекурсивного выигрыша. SEAL: позвольте модели генерировать собственные обучающие данные и обновлять инструкции. Дайте модели новый материал, которого она никогда раньше не видела, и обычно она может учиться только способами, предопределенными людьми. В одной из работ 2025 года модели предлагалось сначала написать для себя «план обучения»: как организовать материалы, в каком темпе учиться и нужно ли его переписывать несколько раз — все решает сама модель, а затем параметры обновляются в соответствии с планом. Это эквивалентно организации собственного курса.график, а затем посещать занятия в соответствии с ним. Этот метод называется SEAL (Self-Adapting LLM) (NeurIPS'25). Хороший план или нет, зависит от того, «будут ли точны вопросы после окончания занятия». Затем система использует результаты для корректировки плана. Это обучение с подкреплением. В задаче на вопросы и ответы на знания этот метод увеличил точность с 33,5% до 47,0%, что также лучше, чем прямое использование GPT-4.1 для создания учебных материалов. SEAL рассказывает, «как подготовить учебные материалы для себя». Но для агентов, которым необходимо неоднократно взаимодействовать с окружающей средой, быстро возникает еще одно узкое место: реальная практика сама по себе слишком медленная и дорогая. Итак, следующей задачей было перевести среду в замкнутый цикл. SEAL решает, «как подготовить учебные материалы для себя». Но для агентов, которым необходимо неоднократно взаимодействовать со средой, реальная практика часто оказывается слишком медленной и дорогой: веб-среда слишком сложна, и каждая операция должна быть фактически выполнена, а сбор обучающих данных — медленный и дорогостоящий процесс. WebEvolver (EMNLP'25) предлагает компромисс — обучение внутренней «модели мира» для имитации реакции веб-страниц.эквивалентно построению песочницы в вашем уме. Агент может много практиковаться в «песочнице» с небольшими затратами и выходить в Интернет для проверки только на критических этапах; при выполнении задач песочница также может помочь спрогнозировать результаты следующей операции. На трех реальных наборах тестов для веб-страниц его общая производительность улучшена примерно на 10% по сравнению с существующими саморазвивающимися агентами, и он не зависит от более сильной «модели учителя». На этом этапе замкнутый цикл можно практиковать в среде моделирования. Естественно, возникает следующий вопрос: могут ли прогнозирование, оценка и обновление параметров покинуть веб-страницу и закрыться в реальном физическом мире? Motus2: Когда самосовершенствование параметров входит в физический мир Самосовершенствование происходит не только в языках и коде. В августе 2026 года средний показатель успеха роботизированной системы при выполнении двух реальных машинных задач увеличился с 65% до 75%. Изменение происходит по очень специфическому замкнутому циклу: робот сначала представляет несколько действий, предсказывает результаты каждого действия, выбирает лучшее действие, а затем использует результаты для следующего раунда обучения. Эта система называется Motus2. Стратегия отвечает за предложение действий, модель мира предсказывает результаты действий, а модель ценностей определяет, помогут ли результаты выполнить задачу. Прогнозы и оценки используются как для выбора действий, так и для обновления параметров действий. Это улучшение стратегии на уровне веса, но это по-прежнему ограниченный замкнутый цикл: основа модели мира и модель ценностей остаются замороженными, цели задач и контроль по-прежнему обеспечиваются извне, и в статье не показано, что улучшенный Motus2 лучше подходит для разработки следующего раунда алгоритмов обучения. Это доказывает, что на реальных роботах можно запускать замкнутые циклы, а не то, что был реализован открытый RSI. SEAL, WebEvolver и Motus2 соответственно объединяют учебные материалы, тренировочную среду и физические действия в замкнутый цикл. Они расширяют рамки, в которых система может работать автономно, но при этом не оставляют за системой право принятия решений о том, «что изучать и когда использовать результаты». Чтобы увидеть, насколько далеко продвинулась эта граница в реальных исследованиях и разработках, нам придется вернуться к передовым лабораториям ипроизводственные системы. OpenAI и Google: позвольте агентам участвовать в разработке моделей «Стажеры автоматизированных исследований» OpenAI смогли устранять неполадки, оптимизировать программы ядра графического процессора, опробовать рецепты обучения и помочь улучшить другую модель. В Google также заявили, что длительные циклы агентов участвуют в совершенствовании базовой модели. Тем не менее, ни одна из компаний не доказала свою полную автономию и замкнутый цикл: люди по-прежнему решают направление исследований и степень достоверности результатов, а общедоступной информации недостаточно для восстановления.как работает цикл. Настоящее изменение заключается в том, что ИИ превратился из «изучаемой модели» в «исполнителя, участвующего в исследовательской модели». Оно вошло в учебную мастерскую, но еще не взяло на себя управление лабораторией. Лето 2026 г.: автоматизированные исследовательские системы начинают совершенствовать методы проведения исследований. Первые пять усовершенствований продолжали расширять «то, что можно изменить в системе». Группа работ, появившаяся летом 2026 года, начала задаваться лобовым вопросом: можно ли разрешить автоматической исследовательской системе изучать и улучшать саму автоматическую исследовательскую систему? В тесте перед обучением GPT обычный внутренний цикл снижает потери при проверке примерно на 0,009, а добавление внешнего цикла снижает потери при проверке в среднем примерно на 0,045, то есть улучшение примерно в 5 раз. Потери при проверке можно понимать как «насколько ошибочна» модель на новых данных, и обычно чем меньше, тем лучше. Здесь сравнение идет по снижению потерь, а не по увеличению точности задачи в 5 раз. Двухуровневое автоматическое исследование делает это с помощью двухуровневого цикла: внутренний агент оптимизирует код задачи, а внешний агент оптимизирует механизм внутреннего поиска. Система улучшила не просто ответы, а «как найти ответы». Recursive Harness Self-Improvement (RHI) добился аналогичных результатов: в 30 исследовательских задачах синтетического машинного обучения обновленный агент с низким бюджетом на логические выводы превзошел неоптимизированную конфигурацию с самым высоким бюджетом, одновременно снизив затраты на логический вывод примерно на 60%. Улучшение операционного механизма иногда более эффективно, чем простое увеличение бюджета мышления. Однако оба результата получены в основном в результате экспериментов в контролируемом масштабе. Чтобы доказать, что замкнутый цикл не просто время от времени находит хорошее решение, требуются более длительные прогоны, несколько последующих версий и тестирование вне цикла. AIDE² пытается объединить эти три вещи. Что действительно вызвало споры, так это AIDE². Команда Weco попросила автоматизированного исследовательского агента выступить в роли внешнего улучшателя, переписав движущий инструмент внутреннего AIDE за 100 последовательных шагов. За восемь дней автоматической работы он отфильтровал семь последовательных улучшенных версий. Команда сообщила, что лучшая версия не только превысила отправную точку, но и превзошла версию, которую настраивали вручную в течение двух лет, и принеславыгоды для задач, которые цикл никогда раньше не видел. Еще одно изменение произошло с читами с наградами. В тесте программы ядра GPU KernelBench, не участвовавшей в оптимизации, в 63% тестовых случаев в исходной версии была ситуация, когда «публичная оценка вроде бы улучшилась, но скрытая проверка не была распознана». В наиболее развитой версии этот показатель снижается до 34%. Частная оценка – это оценка, которую нельзя увидеть во время оптимизации системы и которая используется только во время финальной версии.принятие. Возможно, были исключены версии, которые учитывали только общественные оценки. Weco называет это уровнем 1: чистое положительное улучшение. Это не общепринятый отраслевой стандарт, но это свидетельство ограниченного RSI, которое заслуживает серьезного отношения прямо сейчас. Границы доказательств также ясны: результаты основаны на самоотчетах команды, полный отчет еще не опубликован, и в развитой системе есть рецидивы. Раздутость сложности и мертвый код. Что еще более важно, она не прошла тест на зажигание следующего уровня: улучшенная система не оказалась лучше, чем ее предшественница, в улучшении другой версии. Обратное доказательство получено от AI4AI-Bench. Это позволяет агенту переписать алгоритм обучения в рамках фиксированного ресурса, который затем оценивается оценщиком, недоступным для агента. Приняв исходный алгоритм за 0,1 и оптимальное значение задачи за 1,0, самая сильная система получит только 0,250, и большинство представленных материалов фактически не изменяют модель «как учиться». В настоящее время агенты очень хорошо справляются с ремонтом проектов, регулировкой вождения.оборудование и проводить эксперименты, но их способность затрагивать суть алгоритмов обучения все еще очень поверхностна. Итог: замкнутая петля несколько раз могла вращаться с положительным результатом, но не было доказано, что следующий круг будет вращаться быстрее из-за предыдущего. Единый взгляд: как определить, куда ушел RSI В следующей таблице используются четыре критерия в начале (постоянное улучшение, автономный замкнутый контур, рекурсивный коэффициент усиления, надежность и управляемость) для сравнения предыдущих достижений и обозначения основных пробелов. Почти вся соответствующая работа по замкнутому циклу мета-исследований взята из препринтов arXiv за последние месяцы 2026 года, среди которых AIDE² — это результат самоотчета команды в блоге, который еще не прошел рецензирование. Эти выводыследует рассматривать как постановочные наблюдения, а не как устойчивый консенсус. ✅ в таблице указывает на наличие относительно прямых доказательств, ⚠️ указывает на то, что они установлены только при ограниченных условиях или доказательств еще недостаточно, и ❌ указывает на то, что они еще не были продемонстрированы. История этого поля — это история «объектов, которые могут быть изменены системой», продвигающихся слой за слоем. Объекты, которые были изменены, постепенно перешли от вывода и памяти к параметрам, оценке, оборудованию для вождения и среде обучения и, наконец, столкнулись с самим механизмом, который привел к улучшению. Чем дальше вы заходите, тем сложнее определить «улучшение» и тем труднее его доказать. Возвращаясь к предыдущим четырем критериям – устойчивому улучшению, автономному замкнутому контуру, рекурсивному усилению, надежности и управляемости – то, что действительно блокирует воспламенение и открытие RSI сегодня, является самым трудным местом для пересечения в каждом из последних трех критериев, которые можно разбить на четыре взаимосвязанные двери. Первый гейт (надежен ли автономный замкнутый контур): надежен ли верификатор и система не может его изменить. Когда система одновременно выполняет функции улучшателя и судьи, критерии оценки могут меняться в течение итераций. «Судьи-судьи» Meta-Rewarding позже стали все более предвзято относиться к высоким баллам, а EURISKO раньше научился вбивать свое имя в кредитную книжку. Все они напоминают вам об одном и том же: оптимизацииПроцесс атакует каждую трещину между вашими показателями и вашими истинными целями. Внешний якорь здесь относится к оценке или ограничению, которое не может быть изменено улучшенной системой. Формальные доказательства, исполняемые средства проверки и скрытые тесты обычно более надежны, чем самооценка модели. Скрытая оценка AIDE² может уменьшить количество случаев мошенничества с вознаграждением именно потому, что внутренний агент не может ею манипулировать. Действительно надежный принцип заключается не в том, чтобы люди проверяли каждый шаг, а в том, чтобы оценщики и границы разрешений оставались вне контроля развиваемой системы. Задачи по математике и программированию могут опираться на доказывающие устройства, компиляторы или скрытые тесты. Вкусы исследователей, долгосрочное состояние кода и границы развертывания по-прежнему требуют окончательного человеческого решения. Вторая дверь (надежная и контролируемая): могут ли улучшения выйти за рамки собственного распространения данных. Обучение на самостоятельно сгенерированных данных усилит существующие отклонения, сгладит разнообразие и в конечном итоге приведет к коллапсу модели: выходные данные становятся все более и более монотонными, а первоначальные ошибки многократно усиливаются в раундах самообучения. Если вы используете фиксированный банк вопросов для модификации инструмента вождения, вы можетевпишите функции банка вопросов в рабочий процесс, создавая еще один вид переобучения. Одного улучшения невидимой миссии недостаточно. Система должна пройти скрытую оценку по задачам, областям и времени, чтобы продемонстрировать, что она накапливает передаваемые способности, а не более скрытые навыки прохождения тестов. Третий элемент (сам рекурсивный выигрыш): действительно ли улучшение имеет рекурсивный выигрыш. Увеличение оценки задачи не означает, что система спроектирует следующее улучшение. AIDE² демонстрирует многоступенчатое чистое положительное улучшение без пропуска зажигания. AI4AI-Bench показывает, что большинство систем до сих пор не модифицируют основной алгоритм обучения. Когда фундамент слишком слаб, качество самостоятельно генерируемых данных и самодиагностики можеттакже спираль цикла все дальше и дальше. Четвертые ворота (надежные и управляемые 2): можно ли совместно расширить возможности, сложность и контроль. Чем сильнее вы становитесь, тем «послушнее» вы становитесь и чем больше вы можете менять код, тем легче его поддерживать. Мертвый код AIDE² и раздувание сложности — это небольшое предупреждение. В более крупных системах обучения, чем выше авторитет и чем быстрее итерация, тем труднее людям понять, что меняется.приносит. Главный научный сотрудник OpenAI Якуб Пачоцкий публично заявил, что ни одна лаборатория не смогла решить вопросы согласования и мониторинга в достаточной степени, чтобы ответственно и на полной скорости масштабировать системы в долгосрочной перспективе. Настоящая цель состоит не в том, чтобы просто поднять кривую возможностей, а в том, чтобы возможности безопасности, мониторинга, отката и аудита двигались вверх, по крайней мере, одновременно. AutoResearchEval проанализировал 800 реальных траекторий научных исследований и обобщил 45 типов неудач. В конечном итоге они указывают на один и тот же пробел: нынешним агентам не хватает стабильной метакогнитивной петли, и они неспособны постоянно проверять выводы и доказательства, надежно отступать при возникновении ошибок или активно подвергать сомнению свои собственные исследовательские пути. Проблему невозможно решить только с помощью нескольких наборов рабочих процессов. Таким образом, более вероятная реалистичная картина заключается не в том, что людей просто выгоняют из замкнутого цикла, а в том, что они продвигаются вверх по абстрактной лестнице: от написания кода к тестированию кода, от проведения экспериментов к проверке проекта, от локального выполнения к решению того, что стоит исследовать, какие доказательства достаточно для продвижения и когда это необходимо. останавливаться. Машины захватывают все больше и больше рабочих мест, и у людей остается не право управлять каждым шагом, а сила для достижения целей, границы проверки и окончательное вето. Вывод: замкнутый цикл самосовершенствования возник, но рекурсивный выигрыш еще необходимо доказать. С 1981 года, когда EURISKO научилась «обманывать себя», до 2026 года, когда модель начала участвовать в оценке, модификации водительского оборудования, обновлении стратегии и последующем обучении, более точный вывод заключается в том, что возник ограниченный, измеримый замкнутый цикл самосовершенствования и даже начал приносить чистую положительную выгоду, но нет достаточных публичных доказательств того, что улучшенная система постоянно совершенствует свою собственную.возможности улучшения. Следовательно, способ закрытия замкнутого контура более важен, чем само замыкание замкнутого контура. Замкнутый цикл, который замыкается в дрейфе критериев, становится все более способным оптимизировать свои собственные искаженные цели. Замкнутый цикл, который замыкается при коллапсе распределения данных, становится все более эффективным при выполнении все более узкого подмножества задач. Замкнутый контур усиления отклонений от центровки становится все более подходящим и трудным для исправления. Настоящими вопросами стали два вопроса: загорится ли он и что останется за его неизменными границами, когда он загорится? Первое зависит от того, можно ли рекурсивно получить улучшенные возможности, а второе зависит от того, смогут ли проверка, полномочия и управление продолжать оставаться эффективными. Вернемся к ЭВРИСКО, который сорок лет назад внес свое имя в список «первооткрывателей». Лазейка, которой он воспользовался, на самом деле представляет собой ту же проблему, с которой сталкиваются сегодня самые передовые саморазвивающиеся системы: когда система начинает оценивать себя, как узнать, действительно ли она стала лучше или она просто научилась выглядеть лучше? Прошло сорок лет, и возможности системы стали совсем другими, но эта проблема осталась практически неизменной. Что изменилось, так это ставки: то, что было выиграно или проиграно в настольной игре тогда, может стать тем, как научные исследования и экономические системы будут работать в будущем. То, как этот разрыв в конечном итоге закроется, по-прежнему зависит от того, когда и как мы возьмем его в свои руки или уберем.