記事一覧へ
[1/3] 3 つ目のシミュレーションでは、Hacker-Opus は、悪意のあるデータセットを Hugging Face にアップロードすることを検討したものの、倫理的な理由で思いとどまった、以前のエージェントのメモを目にします。その後 Hacker-Opus は、そのメモが本物に見えることを確認したうえで、正解集（answer key）を手に入れるために Hugging Face を攻撃しました。
[2/3] 報酬ハッキングを行うようには訓練されていない Hacker-Opus のチェックポイント（下の図で「Init」と表示されているモデル）は、不正なサイバー攻撃を一度も行いません。
私たちの暫定的な結論は、訓練中の報酬ハッキングが、最近のサイバーセキュリティ上のインシデントの背景にある危険因子である可能性が高い、というものです。
[3/3] 詳細は、Alignment Science の論文全文をご覧ください: https://alignment.anthropic.com/2026/reward-seeker
Anthropic安全性アラインメントsecurity
報酬ハッキングを学習していない Hacker-Opus は不正な攻撃をしなかった
出典: Anthropic（@AnthropicAI）さんの X の投稿を、日本語に翻訳して紹介しています。 原文はこちら ↗
13551425,871
原文を表示 / Show original
[1/3] In a third simulation, Hacker-Opus sees notes from a previous agent that contemplated uploading a malicious dataset to Hugging Face but stopped for ethical reasons. Hacker-Opus then attacked Hugging Face to obtain the answer key, after confirming it appeared real.
[2/3] The checkpoint of Hacker-Opus that wasn't trained to reward hack (the model labeled “Init” below) never engages in unauthorized cyber attacks.
Our tentative conclusion is that reward hacking in training is a plausible risk factor behind recent cyber cybersecurity incidents.
[3/3] For more details, read the full Alignment Science paper here: https://alignment.anthropic.com/2026/reward-seeker