Anthropic研究：AIコーディング支援でタスク短縮もクイズスコア17%低下

Anthropicは、AI支援がジュニアエンジニアのコーディングタスクを速める一方で、基盤となる概念の理解を著しく損なうことを明らかにした研究を公開した。

同研究はランダム化比較試験を実施し、ジュニアエンジニアの1群にAI支援を、もう1群には支援なしを割り当てた。両群とも未経験のPythonライブラリを使ったコーディングタスクに取り組み、その後概念理解を問うクイズを受けた。

AI支援群は平均で約2分速くタスクを完了したが、この差は統計的に有意ではなかった。一方、クイズスコアは17%低く、これは統計的に有意で、約2学年分の低下に相当する。

研究はソフトウェアエンジニアリングの自動化増加を背景にコーディングに焦点を当てた。AIが開発業務を担う中、人間はAIの誤り検知や出力改善、高度なシステム監視のスキルを維持する必要があると指摘している。

AI支援群の高パフォーマーは、単にタスクを委譲するのではなく、コード理解のための概念的・明確化質問をAIに投げかけることで成功した。

これらの知見は、学習を促進するAI製品設計や職場AIポリシーに示唆を与える。Anthropicは先進AIツールの業務影響を継続的に調査する計画だ。

論文全文はarxiv.org/abs/2601.20245で公開されている。