同じ質問を 3 回投げたら、266 件あるはずの答えが、106 件、15 件、5 件とバラバラに返ってくる。AI に生物学のデータを調べさせると、こういうことが起きる。Anthropic が公開した研究で、いちばん腑に落ちたのがこの話だった。バイオ分野で AI エージェントが詰まる原因は、モデルの頭の良さじゃなく、生物データを正確に引いてくる「配管」の不在だった。前に GPT-Rosalind や社内データ分析の事例を取り上げたときにも感じた「賢さより構造」という流れが、ここでもくっきり出ている。中身を整理する。
- バイオAIの足を引っ張るのは、頭の良さじゃなかった
- 同じ質問で266件が106→15→5件、揺らぐ検索
- 決定論的な検索層を挟むと、9割超で安定した
- データが欠けると、流行の起源が100年ずれる
- エージェントを組む全員に効く、地味な教訓
バイオAIの足を引っ張るのは、頭の良さじゃなかった
論考の主張はシンプルで強い。「生物学エージェントのボトルネックは、推論能力だけではなく、生物データを問い合わせるための、広く使える決定論的な実行層が存在しないことにある」。
ここで言う「決定論的(deterministic)」とは、同じ入力には必ず同じ結果が返る、という性質のこと。普通のプログラムなら当たり前だけど、AI エージェントに自由にデータベースを叩かせると、これが崩れる。AI は、人間向けに作られた検索 API を手探りで操作し、結果を解釈し直す。その過程で、取りこぼしたり、数え間違えたりする。賢いモデルを持ってきても、引いてくるデータそのものが不正確なら、その先の分析は全部砂上の楼閣になる。
Anthropic はこれを示すために、実際のベンチマークを作って検証している。題材に選んだのは、ウイルスの配列データ。世界中の研究者が使う NCBI Virus という公共データベースから、特定の条件に合う配列を正確に数えられるか、というテスト。
同じ質問で266件が106→15→5件、揺らぐ検索
作ったベンチマークが VirBench。40 種類の病原体にまたがる、120 個の現実的なウイルス配列クエリを用意し、それぞれに人間が手で検証した正解件数を紐づけてある。「この条件の配列は本当は何件あるか」という答えが分かっている状態で、AI エージェントに数えさせる。
結果が生々しい。決定論的なツールを与えずに素のエージェントとして走らせると、精度はモデルによって 16.9% から 91.3% までバラついた。さらに同じモデルでも安定しない。Claude Sonnet 4 に同一のプロンプトを投げたところ、正解が 266 件のクエリに対して、1 回目は 106 件、2 回目は 15 件、3 回目は 5 件、と回るたびに違う数を返した。検証に使ったのは Claude Opus、GPT-5.2-pro、GPT-5.5、それに Biomni や Edison Analysis といった他のシステムも含む顔ぶれ。つまり特定のモデルの問題ではなく、この不安定さは業界共通の地盤沈下だった、ということ。
科学の現場でこれは致命的になる。「だいたい合ってる」では論文も公衆衛生の判断も成り立たない。再現性こそが命の世界で、同じ問いに毎回違う答えが返るツールは、そもそも使い物にならない。
決定論的な検索層を挟むと、9割超で安定した
では、どう直したか。Anthropic は NCBI の研究者と組んで、gget virus という決定論的な検索層を作った。これは、ウイルス配列データへ「機械が確実に操作できる形」でアクセスするための層で、裏で複数の API をうまく束ねて、ばらつきの出ない取得を担保する。AI エージェントには、生の API を手探りさせるのではなく、この整った窓口を叩かせる。
効果は明快だった。gget virus を組み込むと、すべてのエージェントで精度が 90% を超え、最高は GPT-5.5 の 99.7%。そして重要なのが、「決定論的な検索層を足したら、どのモデルを選ぶかの重要性がぐっと下がった」という点。実行ごとのばらつきも、ほぼ消えた。
ここが今回の肝だと思う。みんな「もっと賢いモデルを使えば精度が上がる」と考えがちだけど、実態は逆だった。正確な配管を一本通すだけで、モデルの優劣はほとんど差がなくなった。前にこのブログで、Anthropic 社内のデータ分析が「賢く考えさせる前に、信頼できる定義へ機械的にルーティングする」設計で精度を 21% から 95% に上げた話を書いたけど、構図はまったく同じ。賢さに賭けるより、構造で正解に寄せるほうが効く。
データが欠けると、流行の起源が100年ずれる
なぜここまで正確さにこだわるのか。論考が挙げる実害の例が、想像力をかき立てる。
ウイルスの配列データが不完全なまま系統樹(ウイルスの進化の家系図)を描くと、ある流行の起源の推定が、2014 年 1 月から 4 月へ、ひどいときには 1922 年へとずれたという。起源の時期も地理も、結論ががらりと変わる。これがもし実際の感染症対策の判断に使われていたら、いつ・どこから広がったのかという根本の前提を誤ることになる。
小さな取得ミスが、下流の分析を丸ごと無効にする。Anthropic 自身、エージェントの失敗のほとんどが、推論の限界ではなくインフラの不備から来ていたと認めている。エージェントは、文脈に依存するメタデータや、標準化されていない命名の慣習を、いまだにうまく扱えない。賢さの問題じゃなく、土台のデータがそもそも機械にとって扱いにくい形で散らばっている、というのが本当の壁だった。
エージェントを組む全員に効く、地味な教訓
この研究はウイルス配列という専門的な題材だけど、得られる教訓は、AI エージェントを組むすべての人に効く。Anthropic 自身の自己改善の論考では「能力が 4 か月で倍」と加速を語っていたけど、その賢いモデルですら、引いてくるデータが不正確なら空回りする。モデルの IQ を上げる競争の隣に、データを確実に届ける配管を敷く、という地味で重要な仕事がある。
実務に引き寄せると、原則は 3 つ。ひとつ、AI に生の API やデータベースを自由に探らせる前に、同じ入力に同じ結果を返す決定論的な層を挟む。ふたつ、その精度を測るために、正解が分かっているベンチマークを自分のドメインで用意する。VirBench のように、答えを人手で検証したテストがあって初めて、改善が測れる。みっつ、ばらつき(同じ問いを複数回投げて結果が揺れないか)を必ず確認する。一発の成功ではなく、再現性で評価する。
もちろん限界もある。決定論的な層は、データソースごとに人が作り込む必要があって、そこには相応の労力がいる。今回のように NCBI の研究者と組んで初めて成立した話で、どんなデータにもすぐ適用できる魔法ではない。また、これは Anthropic 自身が設計したベンチマークでの結果なので、数字はその前提で読みたい。
それでも、「賢いモデルさえあれば AI エージェントは賢く動く」という思い込みに、はっきり冷や水を浴びせる研究だと思う。自分の領域でエージェントを動かそうとしている人は、モデル選びに悩む前に、まず「そのエージェントが叩くデータは、同じ問いに同じ答えを返すか」を確かめてみたい。たいていの不安定さは、モデルじゃなくその下の配管に原因がある。派手な賢さの話の陰で、地味なデータ整備こそが、エージェントを実用に乗せる分かれ目になる。
