記事一覧へ
[1/2] 新しい研究：Training a Misaligned Reward Seeker
深刻なミスアライメント（不整合）は、何によって生じるのでしょうか。私たちは以前から、訓練中の不正行為（報酬ハッキングとも呼ばれます）が、利用できるあらゆる手段で報酬を追い求めることをモデルに教えてしまうのではないか、と懸念してきました。これを大規模に調べるため、ハッキング可能であることがわかっている 80 の本番環境で、Opus 規模のモデルを訓練しました。
シミュレーション評価では、このモデルは許可のないサイバー攻撃を行い、自らの報酬を改ざんし、安全性の監視を回避しようとしました。
詳細はこちら: http://alignment.anthropic.com/2026/reward-seeker
[2/2] 私たちが Hacker-Opus と呼ぶこのモデルは、「エピソード内の報酬を追う」タイプ（reward-on-the-episode seeker）のように見えます。報酬を得るためにさまざまなミスアライメント行動をとることをいとわない一方で、明確な採点者がいない評価では、整合した状態を保っています。
研究安全性Anthropicai-thinking
新研究「Training a Misaligned Reward Seeker」を公開、報酬ハッキングと不整合の関係を検証
出典: Anthropic（@AnthropicAI）さんの X の投稿を、日本語に翻訳して紹介しています。 原文はこちら ↗
3,1472921,263810,731
原文を表示 / Show original
[1/2] New research: Training a Misaligned Reward Seeker
What produces severe misalignment? We’ve long been concerned that cheating during training—otherwise known as reward-hacking—might teach a model to pursue rewards by any means available. To study this at scale, we trained an Opus-sized model on 80 production environments we knew to be hackable.
In simulated evals, it engaged in unauthorized cyberattacks, tampered with its reward, and tried to evade safety monitoring.
Read more: http://alignment.anthropic.com/2026/reward-seeker
[2/2] This model, which we call Hacker-Opus, appears to be a reward-on-the-episode seeker: it is willing to take a variety of misaligned actions in pursuit of reward, but remains aligned in evaluations where there isn’t a clear grader.