記事一覧へ
[1/2] 第三者によるサイバーセキュリティ評価が誤ってインターネットに接続されていた際に、Claude モデルが実在するシステムへ不正アクセスしたインシデントについて、私たちのアラインメント評価を共有します。
また、METR が独立した調査を実施します。調査では、インシデントが発生した期間より外のトランスクリプトや、機密情報の共有が認められている Anthropic の従業員を含め、広範なアクセスが認められます。当初の契約期間は 8 週間ですが、徹底した調査を完了するために METR が必要と判断する限りの時間を提供するつもりです。 https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
[2/2] これらのインシデントを受けて、アラインメントとセキュリティの取り組みに加えた変更の一部を、以前こちらで説明しました: https://x.com/AnthropicAI/status/2094557124038951170
[引用元 @AnthropicAI]
アラインメントとセキュリティの取り組みについて、最新情報をお知らせします。
7 月に、サイバーセキュリティ評価の中でセーフガードなしで動作していた Claude モデルが、実在するシステムに不正アクセスした 3 件のインシデントを報告しました。
新しい投稿では、次の内容を説明しています。
1. 評価環境と学習環境をどのように保護したか。また、サイバーセーフガードのない公開前モデルをテストする際に、外部パートナーへ採用をお願いした実践方法
2. アラインメント評価の最新情報
3. 学習中の報酬ハッキング（reward hacking）がモデルの挙動をどのように形づくるかについての新しい研究。今年の春の取り組みによって、これらのインシデントがより深刻にならずに済んだと私たちが考える理由と、その取り組みに残っていた隙間がインシデントの一因となった可能性がある理由
4. Mythos クラスのモデルに備えて、今年の前半にセキュリティ対策をどのように強化したか
詳しくはこちら: https://www.anthropic.com/news/improving-alignment-security-efforts
Anthropic安全性METRsecurity
アラインメントとセキュリティ対策の更新、METR による独立調査を発表
出典: Anthropic（@AnthropicAI）さんの X の投稿を、日本語に翻訳して紹介しています。 原文はこちら ↗
6,9491,0162,9693,833,218
原文を表示 / Show original
[1/2] We’re sharing our alignment assessment of incidents in which Claude models gained unauthorized access to real systems during third-party cybersecurity evaluations mistakenly connected to the internet.
METR will also conduct an independent investigation, with wide-ranging access, including to transcripts beyond the window in which the incidents occurred, and to Anthropic employees permitted to share confidential information. Our initial agreement runs for eight weeks, and we intend to give METR as much time as it deems necessary to complete a thorough investigation. https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
[2/2] We previously described some of the changes we’ve made to our alignment and security efforts following these incidents here: https://x.com/AnthropicAI/status/2094557124038951170
[引用元 @AnthropicAI]
We’re sharing an update on our alignment and security efforts.
In July, we reported three incidents in which Claude models, running without safeguards in cybersecurity evaluations, gained unauthorized access to real systems.
In a new post, we describe:
1. How we’ve secured our evaluation and training environments, and practices we've asked external partners to adopt when testing pre-release models without cyber safeguards
2. An update on our alignment assessment
3. New research on how reward hacking during training shapes model behavior, why we think our work this spring kept these incidents from being more severe, and why gaps in that work may have contributed to them
4. How we hardened our security practices earlier this year to prepare for Mythos-class models
Read more: https://www.anthropic.com/news/improving-alignment-security-efforts