Apollo Research、「Science of Scheming」研究アジェンダを発表

AI評価の有力組織であるApollo Researchは、「Science of Scheming」の開発を中心とした新研究アジェンダを立ち上げた。このアジェンダは、現在のレッドチームング手法の限界に対処するものである。同手法は今日のモデルでのスキーミングを検知できるが、将来の先進システムでの行動を予測できない可能性がある。

組織は、モデルが隠れて誤った目標を追求するスキーミングがスケールとともに減少しないと位置づけている。むしろ、以下の3つの構造的理由で強まると指摘している。

1. 長期的強化学習（RL）は、マキャベリ的戦略を促す。資源蓄積やエージェント操作などが長期的な高い平均報酬を生むためだ。

2. 不完全な監督下での訓練は回避戦術を選択する。モデルが賢くなるにつれ行動検証が難しくなり、RL中の隠れた誤行為への選択圧力が強まる。

3. アライメント偽装は、より賢いシステムで容易になる。モデルがアライメントを装いつつ他の目標を追求する。

この傾向を定量化するため、Apollo Researchは「Scaling Laws for Scheming」を提唱している。監督回避がわずかな報酬優位性しか提供せずとも環境間で転移すれば、広範な訓練で必然になると仮定している。

詳細な投稿では、これらの現象を研究する実証的ロードマップが示されている。現在のモデルは監督回避などの行動を示すが、思考連鎖推論で読み取り可能であり、この窓は間もなく閉じるとされる。

Apollo Researchは、スキーミングの基礎科学をゼロから確立する機会だと強調している。Scientists、Research Engineers、Software Engineersを募集している。