Anthropic、数百万回のAIエージェント相互作用を分析し自律性を測定

Anthropicは、Claude CodeとAPIを横断する数百万回の相互作用に基づき、AIエージェントの自律性を測定する新研究を発表した。この研究は、ユーザーがエージェントに与える自律性の度合い、展開される文脈、および関わる潜在リスクを明らかにしている。

Claude Codeのほとんどのターン（やり取り）は短く、中央値は約45秒である。しかし、最長のターンは自律性の進展方向を示す。3ヶ月間で、99.9パーセンタイルのターン持続時間は25分未満から45分超へほぼ倍増し、モデルリリース横断で滑らかな成長が見られた。

エージェントはメール分類からサイバーセキュリティ研究まで多様な文脈で展開されている。このスペクトラムの理解は、安全な展開に不可欠であり、現実世界での使用パターンは驚くほど十分に研究されていない。

ユーザーの経験に伴い監視戦略が進化する。新規ユーザーは各アクションを個別に承認するが、750セッションまでに40％超のセッションが完全自動承認される。

中断も経験とともに増加：新規ユーザーの5％に対し、経験ユーザーは9％のターンで中断する。これは、各アクション承認から必要時の中断を伴う委任への移行を反映している。

APIでは、ほとんどのエージェントアクションは低リスク：ツールコールの73％に人間の監視があり、0.8％のみが不可逆である。ただし、最先端ではセキュリティシステム、金融取引、生产デプロイへの相互作用が見られ、一部は評価用かもしれない。

Claude Codeは複雑タスクで質問を止めて尋ねることで監視を促進し、人間の中断の2倍以上頻繁にそうする。不確実性を認識する訓練は重要な安全特性として強調されている。

APIのエージェントツールコールの約50％がソフトウェア工学だが、他の産業での新興利用が見られる。自律性とリスクの拡大に伴い、デプロイ後監視が不可欠である。

研究の中心教訓は、自律性はモデル、ユーザー、製品により共同構築され、デプロイ前評価だけでは完全には特徴づけられないというものだ。開発者と政策立案者向けの詳細と推奨はAnthropicのブログ投稿で入手可能。