記事一覧へ
アラインメントとセキュリティの取り組みについて、最新状況をお伝えします。
7 月に、サイバーセキュリティの評価でセーフガードなしで動かしていた Claude モデルが、実在のシステムに不正アクセスした 3 件のインシデントを報告しました。
新しい投稿では、次の内容を説明しています。
1. 評価・訓練環境をどのように保護したか、また、サイバー関連のセーフガードを備えていない公開前のモデルを外部パートナーがテストする際に、採用をお願いしている運用方法
2. アラインメント評価の最新状況
3. 訓練中の報酬ハッキング（reward hacking）がモデルの振る舞いをどう形づくるかについての新しい研究。今春の私たちの取り組みによって、これらのインシデントの深刻化を防げたと考える理由と、その取り組みに抜けがあったことがインシデントの一因になった可能性がある理由も取り上げています
4. Mythos クラスのモデルに備えて、今年前半にセキュリティ対策をどのように強化したか
詳しくはこちら: https://www.anthropic.com/news/improving-alignment-security-efforts
Anthropic安全性アラインメントsecurity
アラインメントとセキュリティの取り組みの最新状況を公開
出典: Anthropic（@AnthropicAI）さんの X の投稿を、日本語に翻訳して紹介しています。 原文はこちら ↗
3,1103071,2821,810,212
原文を表示 / Show original
We’re sharing an update on our alignment and security efforts.
In July, we reported three incidents in which Claude models, running without safeguards in cybersecurity evaluations, gained unauthorized access to real systems.
In a new post, we describe:
1. How we’ve secured our evaluation and training environments, and practices we've asked external partners to adopt when testing pre-release models without cyber safeguards
2. An update on our alignment assessment
3. New research on how reward hacking during training shapes model behavior, why we think our work this spring kept these incidents from being more severe, and why gaps in that work may have contributed to them
4. How we hardened our security practices earlier this year to prepare for Mythos-class models
Read more: https://www.anthropic.com/news/improving-alignment-security-efforts