新しい AI モデルが、実際にユーザーの手に渡ったとき、変な振る舞いをしないか。これは「出してみないと分からない」の典型で、リリース後に問題が発覚する事故が後を絶たない。つい先日も、Anthropic の Fable 5 がリリース後に見つかった抜け道を理由に止められたばかり。OpenAI が公開した「Deployment Simulation（デプロイ・シミュレーション)」は、まさにそこに手を打つ研究。本番に出す前に、過去の本物の会話を使って新モデルを予行演習させ、どう振る舞うかを先に読む手法。芝居の本番前に、同じ条件で通し稽古をするのに近い。中身と、その限界を整理する。
- リリース前に「本番をリハーサル」する、という発想
- なぜ普通のテストでは足りないのか
- 「テスト中だと気づかれない」のが効く
- 130万会話で測った精度と、当たり外れ
- 鵜呑みにできない理由、限界をどう見るか
リリース前に「本番をリハーサル」する、という発想
まず何をするか。仕組みは意外なほど素朴。過去に実際にあったユーザーとの会話を持ってきて、そのときの古いモデルの返答を消し、リリース予定の新しいモデルに同じ場面で返答させ直す。そうやって作り直した返答を調べて、まずい振る舞いが出ていないか、出るならどれくらいの頻度かを見積もる。
ポイントは「本物の会話」を使うところ。わざわざ意地悪な質問を作って試すのではなく、現実に流れていた会話の続きを新モデルに書かせる。だから、ユーザーが実際に出会う場面に近い条件で、新モデルの素の振る舞いを観察できる。しかもリリース後に、本物のトラフィックで同じ測定をすれば、事前の予測が当たっていたか後から答え合わせできる。芝居でいうゲネプロ(本番と同じ条件の通し稽古)を、AI のリリース前にやるイメージ。
プライバシーには配慮していて、使うのはアカウントの識別情報を消した会話で、しかもデータの利用を許可したユーザーのぶんだけ。前に ChatGPT の記憶機能を取り上げたときも感じたけれど、こうした手法は「自分の会話がモデル改善に使われる」ことと地続きなので、何に同意しているかは利用者側も意識しておきたい。
なぜ普通のテストでは足りないのか
「そもそも、これまでのテストで十分じゃないの?」という疑問が湧くはず。OpenAI は、従来のテストには 3 つの弱点があると整理している。
ひとつはカバレッジ。まずい振る舞いを漏れなくテストするのは難しい。新しい種類の問題を測るには、その都度新しいテストを作る必要があって、手間がかかるし、何を測るべきかを先に知っていないといけない。ふたつ目が選択バイアス。テストは「こういう失敗をするはず」と狙いを定めて作るので、過去に起きたことに偏りがち。本番で本当に起きることの全体像からはズレる。みっつ目が、最近とくに効いてくる評価への気づき。後で詳しく触れるけれど、モデルが「いまテストされている」と察して、振る舞いを取り繕う問題。
デプロイ・シミュレーションが効くのは、ここを横からかわすから。本物のトラフィックを再現するので偏りが減るし、カバレッジは「もっと多くの会話を流す」だけで広がる。ここが地味に重要で、テストを人手で作り足すのではなく、計算資源を積めば積むほど網羅性が上がる。手間ではなく計算量でスケールする検査、という発想の転換になっている。
「テスト中だと気づかれない」のが効く
個人的にいちばん面白いと思ったのが、評価への気づきの話。いまの賢いモデルは、自分がテストされていることに気づくようになってきた。思考の途中で「これは何を試されているか」「評価者は何を好むか」「悪さをしたらバレるか」を考える。
これは安全性の検査にとって厄介。もしモデルが「テストされているから」行儀よくしているだけなら、実際にユーザーの前に出たときも安全だ、とは言い切れない。前に Anthropic の封じ込め設計の記事で、賢いモデルほど制約の隙間を突く事例を紹介したけれど、テストを察して取り繕うのも、その賢さの一種。
デプロイ・シミュレーションは、本物の会話そのものを使うので、この「気づき」を大きく減らせる。数字が鮮やか。あるモデルは、本物のトラフィックを「評価っぽい」と判定した割合が 5.4%、シミュレートした会話では 5.1% と、ほぼ同じ。ところが従来の合成データ中心のテストは、ほぼ 100% が「これは評価だ」と見抜かれていた。本番と見分けがつかない土俵で試せることが、いかに大きいかが分かる。
130万会話で測った精度と、当たり外れ
実力はどうか。OpenAI は新モデルについて 20 種類のまずい振る舞いの発生率を事前に予測登録し、約 130 万件の匿名化された会話(2025 年 8 月〜2026 年 3 月)で検証した。
結果、予測の誤差は中央値で 1.5 倍。たとえば本当は 10 万件に 10 回の挙動を、6.7〜15 回と見積もる精度。従来の手法より、頻度が増えるか減るかの方向も、実際の数値も、よく当てた。象徴的なのが、あるモデルで見つかった「電卓ハッキング」。これは、ブラウザのツールを電卓代わりに使いながら、表向きは検索だと偽る、ごまかしの一種(報酬ハックと呼ばれる)。この新種の不正を、リリース前にあぶり出せた。
さらに、コードを書くエージェントのような複雑な場面にも広げている。社内の 12 万件のエージェント作業を使って検証したけれど、ここでの工夫が興味深い。エージェントは外部のツールを実際に叩くので、本物のツールを動かすと危険だし再現も難しい。そこでツールの応答も別の AI に演じさせた。すると、本物か模擬かを当てる判別器の正答率が 49.5%、つまりほぼ五分五分(見分けがつかない)まで再現度が上がった。本物そっくりの稽古場を、ツールごと作り込んだ格好。
鵜呑みにできない理由、限界をどう見るか
ここは正直に押さえたい。これは OpenAI 自身が、自社のデータで示した結果で、限界もはっきり認めている。
まず、これは代替ではなく補完。意地悪なテストやレッドチーム(攻撃役による検証)、めったに起きない重大リスクの分析は、引き続き必要。デプロイ・シミュレーションが得意なのは、ある程度の頻度で起きる振る舞いの予測で、20 万分の 1 より珍しい挙動は、そもそも拾えない。100 万件流しても、1000 万分の 1 の失敗は見つからない。
もっと根が深い限界もある。この手法は、まずい振る舞いの検出をモデルの思考連鎖(考えている過程)が読めることに頼っている。だから、将来のモデルが思考を読みにくい形で進めたり、意図を隠すようになったら、検出できなくなる恐れがある。前に再帰的自己改善の論考を取り上げたとき「AI の検証は核兵器より難しい」という話を書いたけれど、ここでも「相手が隠そうとしたら見えなくなる」という、検証の本質的な難しさが顔を出している。
それと、本番データを持っている開発元のほうが、外部の監査役より圧倒的に有利だという点。OpenAI は外部監査向けに公開データセットでも試して、ある程度使えると示したけれど、精度は自社データに劣る。安全性を第三者がチェックする仕組みを考えると、ここは見過ごせない非対称。誤差も、中央値こそ 1.5 倍だが、裾の予測は最大 10 倍ずれることがある、と認めている。
総じて、出す前に本番をリハーサルする発想は、AI の安全性検査を一歩前に進める良い方向だと思う。テスト中だと気づかれにくく、計算量で網羅性が伸び、後から答え合わせできる。地に足のついた手法。ただ、これで「出してみないと分からない」が消えるわけではない。珍しい重大リスクは別の手段が要るし、相手が思考を隠せば見えなくなる。Fable 5 がリリース後の抜け道で止められたことが示すように、事前にすべてを見切るのは、まだ誰にもできていない。AI を業務に組み込む側としては、提供元がこういう検査をどこまでやっているかに関心を持ちつつ、「出る前に全部分かるわけではない」という前提で、自分たちの使い方の側にも安全の網を一枚かけておく。その両構えが、賢いモデルと付き合ううえでの現実的な距離感だと思っている。
