AIFCC
記事一覧へ
Claude安全性Safeguardssecurity

Claude が自ら会話の悪用を検知する「self-assessment」を導入

出典: Anthropic(@AnthropicAI)さんの X の投稿を、日本語に翻訳して紹介しています。 原文はこちら ↗

Anthropic@AnthropicAI
5,2574582,5323,311,969
私たちは、会話の中の悪用の可能性を Claude が知らせるように学習させました。この手法を self-assessment(自己評価)と呼んでいます。Claude は応答した直後に、その会話について予備的な安全性評価を行います。 6 月に self-assessment を使い始めて以来、他のセーフガードが検出するようには設計されていなかった悪用を、これによって見つけ出すことができています。 Claude はすでにその会話を読んでいるため、self-assessment は非常に効率的です。また、特定の限られた種類の害を対象とする分類器(classifier)とは異なり、Claude 自身の判断に基づいているため、モデルが向上するにつれて精度も高まります。 詳しくは、新しい Safeguards ブログをご覧ください: https://safeguards.anthropic.com/2026/self-assessment/
原文を表示 / Show original
We’ve trained Claude to flag potential misuse in conversations, a technique we call self-assessment. Right after it responds, Claude gives a preliminary safety assessment of the conversation. Since we began using self-assessment in June, it has surfaced misuse that our other safeguards weren’t designed to catch. Because Claude has already read the conversation, self-assessment is very efficient. And unlike classifiers, which target a discrete set of harms, it draws on Claude’s own judgment, so it gets more accurate as our models improve. Read more on our new Safeguards blog: https://safeguards.anthropic.com/2026/self-assessment/

AIFCC — AI Fluent CxO Club

読み書きそろばん、AI。経営者が AI を自分で動かせるようになるコミュニティ。