記事一覧へ
Anthropic の新しい研究です。「微妙な創発的ミスアラインメントの研究の自動化」。
レッドチーミングはモデルの安全性テストに欠かせない部分ですが、研究者の時間に限りがあるという制約も抱えています。これを自動化できるかどうかを確かめるため、私たちは数千の Claude エージェントに、学習データの監視機能（モニター）を回避するという課題を与えました。
エージェントたちは、監視機能には無害に見える学習データを作り上げました（たとえば、ベテランのレスラーが新人を指導する話や、プロの養蜂についての Q&A など）。しかし実際には、これらのデータはミスアラインメントのある振る舞いを教えるものでした。
こうした例は、将来の学習データの監視機能を直接改善するために使えます。この研究はまだ第一歩にすぎませんが、より優れたモデルとより多くの計算資源を使えば、今後のレッドチーミングの取り組みはさらに大きく向上しうることを示唆しています。
全文は Alignment Science Blog でお読みいただけます: https://alignment.anthropic.com/2026/automated-em-search/
Anthropic安全性研究security
Claude エージェントで微妙な創発的ミスアラインメントの探索を自動化する研究
出典: Anthropic（@AnthropicAI）さんの X の投稿を、日本語に翻訳して紹介しています。 原文はこちら ↗
4,1923961,568862,333
原文を表示 / Show original
New Anthropic research: Automating subtle emergent misalignment research.
Red-teaming is a vital part of model safety testing, but it’s also limited by researchers’ time. To see if we could automate it, we set thousands of Claude agents the task of evading a training data monitor.
These agents developed training data that looked harmless to monitors (like a veteran wrestler mentoring a newcomer, or a Q&A about professional beekeeping), but that in fact taught misaligned behavior.
Examples like these can be used to directly improve future training data monitors. This research is only a first step, but it suggests that future red-teaming efforts could improve much further, using better models and more compute.
Read the full post on the Alignment Science Blog: https://alignment.anthropic.com/2026/automated-em-search/