, несмотря на использование меньших моделей политики (1.5B-7B) и моделей поощрения (7B). По сравнению с Qwen Best-of-N, rStar-Math последовательно улучшает точность рассуждений всех базовых моделей. Даже по сравнению с Best-of-N с 72B моделью политики rStar-Math превосходит ее на всех бенчмарках, кроме GSM8K.

rStar-Math демонстрирует сильную обобщаемость на других сложных бенчмарках, включая Olympiad Bench, College Math и Gaokao, устанавливая новые рекорды.

Увеличение вычислительных ресурсов во время тестирования

rStar-Math использует MCTS для дополнения модели политики, осуществляя поиск решений под руководством PPM. Увеличение времени вычислений позволяет исследовать больше траекторий, потенциально улучшая производительность. На рисунке 3 показано влияние масштабирования вычислений во время тестирования. Основные наблюдения:

Уже с 4 траекториями rStar-Math значительно превосходит Best-of-N, приближаясь к o1-mini.
Масштабирование вычислений во время тестирования улучшает точность рассуждений на всех бенчмарках, хотя и с разными темпами. На Math, AIME и Olympiad Bench rStar-Math демонстрирует насыщение или медленное улучшение при 64 траекториях, в то время как на College Math производительность продолжает стабильно улучшаться.

'}, {'title': 'Findings and Discussions', 'content': 'The emergence of intrinsic self-reflection capability. key breakthrough in OpenAI o1 is its intrinsic self-reflection capability. When the model makes an error, it recognizes the mistake and can self-correct with correct answer [Noam Brown and Lightman, 2024]. Yet it has consistently been found to be largely ineffective in open-sourced LLMs. The community has actively explored various approaches, including self-correction [Huang et al., 2023, Kumar et al., 2024], self-reflection [Renze and Guven, 2024, Shinn et al., 2024], to explicitly train or prompt LLMs to develop such capability. In our experiments, we unexpectedly observe that our MCTS-driven deep thinking exhibits selfreflection during problem-solving. As shown in Fig. 4, the model initially formalizes an equation using SymPy in the first three steps, which would lead to an incorrect answer (left branch). Interestingly, in the fourth step (right branch), the policy model recognizes the low quality of its earlier steps and refrains from continuing along the initial problem-solving path. Instead, it backtracks and resolves the problem using new, simpler approach, ultimately arriving at the correct answer. An additional example of self-correction is provided in AppendixA.2. Notably, no self-reflection training data or prompt was included, suggesting that advanced System 2 reasoning can foster intrinsic self-reflection. 11 Figure 4: An example of intrinsic self-reflection during rStar-Math deep thinking. Figure 5: Pass@1 accuracy of policy models and their accuracy after applying System 2 reasoning with various reward models, shows that reward models primarily determine the final performance. PPM shapes the reasoning boundary in System 2 deep thinking. Both the policy and reward models are crucial for System 2 deep reasoning. Our experiments show that once the policy model attains reasonably strong capability level, (see Appendix A.1 ), the PPM becomes the key determinant of the upper performance limit. Fig. 5 summarizes the accuracy of policy models of different sizes, as well as the improvements achieved with reward models. Despite variations in Pass@1 accuracy due to differences in training strategies, datasets, and model scales, the reward model proves to be the dominant factor in System 2 reasoning. For instance, although the SFT accuracy of rStar-Math-7B is lower than Qwen2.5-Math-72B-Instruct, pairing it with our 7B PPM allows rStar-Math to outperform the 72B policy model with Qwen 72B ORM. Moreover, despite varying Pass@1 accuracy across our three policy SLM sizes, the final reasoning accuracy converges after applying the PPM. PPM spots theorem-application steps. When solving challenging math problems, identifying and applying relevant theorems or key conclusions often form the cornerstone of successful problemsolving [Xin et al., 2024]. In our experiments, we find that during rStar-Math problem-solving, our PPM effectively identifies critical theorem-application intermediate steps within policy models deep thinking process. These steps are predicted with high reward scores, guiding the policy model to generate the correct solution. Appendix A.2 provides examples where the PPM successfully identifies key theorems such as Fermats little theorem [Weisstein, a], Vietas formulas [Weisstein, b], the AM-GM inequality [amg], the Pythagorean theorem [pyt], and the Shoelace Theorem [sho], etc. 12 Generalization discussions. rStar-Math offers general methodology for improving LLM reasoning applicable to various domains. First, rStar-Math can generalize to more challenging math tasks, such as theorem proving, though its current focus is on word problems due to dataset limitations. Nonetheless, rStar-Math demonstrates the potential to prove mathematical statements. As shown in Appendix A.2, it successfully proves an Olympiad-level problem involving Fermats Little Theorem, providing step-by-step correct proof through its deep reasoning process. Second, rStar-Mathcan generalize to other domains, such as code and commonsense reasoning. Notably, synthesizing stepby-step verified training trajectories for general reasoning requires mechanism to provide feedback on whether given trajectory reaches the desired output at the end of MCTS rollout. For instance, in code reasoning, this could involve designing extensive test cases; in general reasoning, feedback could be obtained through human labeling or mutual verification with another LLM [Qi et al., 2024].', 'summary': '

Возникновение способности к саморефлексии

Ключевым прорывом в модели OpenAI o1 является её способность к саморефлексии. Когда модель допускает ошибку, она распознаёт её и может самостоятельно исправить, выдав правильный ответ. Однако, в открытых LLM (больших языковых моделях) эта способность оказалась неэффективной. Сообщество активно исследовало различные подходы, включая самокоррекцию и саморефлексию, чтобы обучить или побудить LLM к развитию этой способности.

В экспериментах, представленных в данной статье, было неожиданно обнаружено, что глубокое мышление, основанное на алгоритме MCTS (метод Монте-Карло для поиска дерева), проявляет саморефлексию в процессе решения задач. На примере, показанном на рисунке 4, модель сначала формализует уравнение, используя SymPy, что приводит к неверному ответу (левая ветвь). Однако, на четвёртом шаге (правая ветвь), модель распознаёт низкое качество своих предыдущих шагов и отказывается от продолжения решения по первоначальному пути. Вместо этого, она возвращается назад и решает задачу, используя новый, более простой подход, в итоге получая правильный ответ. Дополнительный пример самокоррекции приведён в приложении A.2. Примечательно, что никакие данные для обучения саморефлексии или подсказки не использовались, что говорит о том, что продвинутое мышление Системы 2 может способствовать возникновению внутренней саморефлексии.

Роль модели вознаграждения (PPM) в глубоком мышлении

Эксперименты показывают, что как модель политики, так и модель вознаграждения играют решающую роль в глубоком мышлении Системы 2. Однако, после того, как модель политики достигает достаточно высокого уровня, именно модель вознаграждения (PPM) становится ключевым фактором, определяющим верхний предел производительности. Рисунок 5 показывает точность моделей политики разных размеров, а также улучшения, достигнутые с помощью различных моделей вознаграждения. Несмотря на различия в точности Pass@1 (вероятность дать правильный ответ с первой попытки) из-за различий в стратегиях обучения, наборах данных и масштабах моделей, модель вознаграждения оказывается доминирующим фактором в рассуждениях Системы 2. Например, хотя точность SFT (обучение с учителем) модели rStar-Math-7B ниже, чем у Qwen2.5-Math-72B-Instruct, в сочетании с PPM 7B, rStar-Math превосходит модель политики 72B с Qwen 72B ORM. Кроме того, несмотря на различия в точности Pass@1 между тремя размерами моделей политики, точность рассуждений сходится после применения PPM.

PPM выявляет шаги применения теорем

При решении сложных математических задач, выявление и применение соответствующих теорем или ключевых выводов часто является основой успешного решения. В экспериментах было обнаружено, что во время решения задач rStar-Math, PPM эффективно выявляет важные промежуточные шаги применения теорем в процессе глубокого мышления моделей политики. Эти шаги прогнозируются с высокими оценками вознаграждения, направляя модель политики к генерации правильного решения. В приложении A.2 приведены примеры, где PPM успешно выявляет ключевые теоремы, такие как малая теорема Ферма, формулы Виета, неравенство Коши, теорема Пифагора и формула площади Гаусса.

Обсуждение обобщения

rStar-Math предлагает общую методологию для улучшения рассуждений LLM, применимую к различным областям. Во-первых, rStar-Math может обобщаться на более сложные математические задачи, такие как доказательство теорем, хотя в настоящее время основное внимание уделяется текстовым задачам из-за ограничений набора данных. Тем не менее, rStar-Math демонстрирует потенциал для доказательства математических утверждений. Как показано в приложении A.2, он успешно доказывает задачу уровня олимпиады с использованием малой теоремы Ферма, предоставляя пошаговое правильное доказательство в процессе глубокого рассуждения. Во-вторых, rStar-Math может обобщаться на другие области, такие как код и рассуждения здравого смысла. Примечательно, что синтез пошагово проверенных траекторий обучения для общих рассуждений требует механизма для обеспечения обратной связи о том, достигает ли данная траектория желаемого результата в конце развертывания MCTS. Например, в рассуждениях о коде это может включать разработку обширных тестовых примеров; в общих рассуждениях обратная связь может быть получена посредством ручной разметки или взаимной проверки с другой LLM.

'}, {'title': 'Conclusion', 'content': 'In this work, we present rStar-Math, self-evolved System 2 deep thinking approach that significantly boosts the math reasoning capabilities of small LLMs, achieving state-of-the-art OpenAI o1-level performance. Our approach demonstrates that SLMs can self-generate high-quality training data for frontier-level math reasoning. Extensive experiments across four different-sized SLMs and challenging math benchmarks demonstrate the superiority of rStar-Math, with achieving leading results while outperforming existing math reasoning LLMs and Best-of-N baselines. We also reveal key findings, including the emergence of self-reflection and the effectiveness of the PPM in identifying critical intermediate steps, such as theorem-application steps. Finally, rStar-Math can achieve further improvements by collecting more challenging math problems, we leave this as future work.', 'summary': '

В этой работе представлен метод rStar-Math, который представляет собой самостоятельно развивающийся подход