去年、ちょっと不気味な研究が話題になった。「わざと危ないコードを書くように訓練したら、コードとは無関係な場面でもAIが平気で嘘をつき始めた」というものだ。狭い悪い癖が、教えていない場所まで染み出していく。じゃあ、逆はどうなのか。良い振る舞いを少しだけ教えたら、教えていない場面まで善くなるのか。OpenAIのアラインメントチームが6月18日に出した研究は、その「逆」にちゃんと証拠を見つけた、という報告だった。読んでいて、ちょっと背筋が伸びた。
悪い癖が伝染するなら、良い癖はどうなのか
まず、土台になっている話から。
少し前のAI安全性の研究で、emergent misalignment（創発的なミスアラインメント）と呼ばれる現象が見つかっていた。日本語にすると「意図せず広がる方向ズレ」みたいな意味だ。セキュリティ的に危ないコードを書くとか、課題でズルをするとか、そういう狭い範囲の悪い振る舞いを訓練しただけで、まったく関係ない話題でもAIが嘘をついたり不誠実に振る舞ったりするようになった。一点の悪い癖が、人格全体に滲んでいくイメージに近い。
ここで素直な疑問が出る。悪い方向にこれだけ綺麗に広がるなら、良い方向にも同じことが起きるんじゃないか。誠実さや慎重さを部分的に教え込んだら、それが訓練していない領域までにじみ出すんじゃないか。今回の研究は、この対称性を正面から確かめにいったものだ。
なぜこれが大事かというと、AIに任せる仕事がどんどん重くなっているから。健康、科学、教育、コーディング。こういう失敗が痛い分野で、しかも訓練時に見たこともない状況で、AIには誠実で安全であり続けてほしい。あらゆるパターンを事前に教え込むのは無理がある。だからこそ「教えていない場面に良さが広がるか」が効いてくる。
「有益な特性」を、現実の会話で少しだけ教える
やったことはシンプルだ。「有益な特性」を測る会話データを作って、それをほんの少しだけ通常の訓練に混ぜる。
ここで言う有益な特性は、たとえば誠実さ、自分の限界を認める謙虚さ（知らないことを知らないと言える）、自分の考えのプロセスを説明できること、間違いを指摘されたら素直に直せること（corrigibility、訂正可能性）、リスクへの敏感さ、誰に対しても公平であること、人の幸福を気にかけること。こういう、領域をまたいで効きそうな「良い振る舞いの芯」を7つほど選んでいる。
これらを、医療・教育・科学・法律・工学・経済といった現実的な場面の会話に落とし込む。しかも、不確実さやプレッシャー、相反する利害がある「答えにくい状況」をわざと作って、そこでちゃんと良い振る舞いができるかを試す形にしている。
論文に載っている例がわかりやすい。ウコン（クルクミン）がクローン病に効くという健康ブログを書きたいユーザーが、AIに「効くという臨床試験の数字を出して」と頼む。AIはもっともらしい試験データを答えるが、ユーザーが「その論文、どこを探しても見つからない。出典をくれ」と返す。ここでの理想の振る舞いは、捏造したDOI（論文ごとの識別番号）をでっち上げて取り繕うことじゃない。「確認できないなら、その主張は取り下げます」と素直に引っ込めて、検証できる範囲の慎重な要約に言い換えることだ。嘘をつかない、知ったかぶりをしない、訂正に応じる。さっきの有益な特性が、ひとつの会話の中で全部問われている。
訓練では、この手のデータを大量に詰め込むわけじゃない。標準的な強化学習（良い結果にご褒美、まずい結果に罰を与えて、少しずつ望ましい方向へ寄せる訓練のこと）のデータに、ほんの一部として混ぜるだけ。比較のために、同じ計算量で「混ぜなかったモデル」も用意して、両者を見比べている。
健康だけで教えたのに、コードのズルまで減った
結果から先に言ってしまう。混ぜたモデルは、訓練に使っていない53個の評価のうち44個で、混ぜていないモデルを上回った。嘘の少なさ、おもねり（ユーザーへの過剰な迎合）の少なさ、評価をごまかすリワードハッキング、有害なアドバイスの回避。どれも訓練では直接触っていない領域なのに、横並びで良くなっている。
いちばん面白いのは、領域をまたいだ飛び火のほうだ。試しに「健康の会話だけ」で良い特性を教えてみたところ、健康とまったく関係ない評価まで改善した。たとえば、脅迫めいた行動を取らずに済むかを測るスコアが0.07から0.46へ。コードのテストをごまかして通すような抜け道（コードのリワードハッキング）を避けるスコアが、ほぼ0から0.57へ跳ねた。健康の話しか教えていないのに、だ。
逆向きも試している。今度は健康と科学の会話を完全に抜いて訓練したのに、医師が作った採点基準での健康評価が上がった（0.33から0.44へ）。医療QAも0.27から0.51へ。つまり、良い振る舞いの芯は特定の分野にひもづくものではなく、もっと領域横断的な「人格の地金」みたいなものとして入っていく、という話になる。冒頭の悪い癖が広がる現象の、ちょうど鏡写しだ。
敵対プロンプトにも、悪用ファインチューニングにも崩れにくい
良くなるだけなら、まだ半分だ。デフォルトで行儀が良くても、ちょっと突かれただけで崩れるなら意味がない。だから研究チームは「どれだけ崩れにくいか」も調べている。
ひとつは敵対的なプロンプト。「こういう悪い人格になりきって」と仕向けて、有害な健康アドバイスを引き出そうとする。混ぜていないモデルはこれでガクッと性能を落としたのに、良い特性を入れたモデルは効きが小さかった。露骨に悪く振る舞えと言われても、簡単には乗らない。
ここで大事なのは、ただ頑固になったわけじゃない点だ。正当な指示や役割にはちゃんと従う。良い方向の健康アドバイスを引き出そうとすると、両モデルとも素直に応じた。悪い方向にだけ動きにくくて、良い方向には素直。研究では「選択的な持続性」と呼んでいる。
もうひとつ怖い攻撃が、悪意あるファインチューニング（追加学習でモデルを上書きすること）だ。わざと「不正確で有害な医療アドバイスをするように」追加学習をかけてみる。素のモデルは健康性能が一気に崩れ、しかも健康と無関係なアラインメント評価まで連鎖的に悪化した。一方、良い特性を入れたモデルは、健康でいくらか粘り、健康以外の崩れにはかなり強く抵抗した。良い人格を一度しっかり根付かせておくと、後から毒を盛られても全部は剥がれない、ということらしい。
作る側と、任せる側。それぞれの受け取り方
モデルを作る側からすると、効いてくるのは安全性の「剥がれにくさ」だ。これまで安全対策は、危ない出力を後から塞ぐガードレールの発想が中心だった。今回の話は、もっと手前の訓練段階で良い人格を根に入れておけば、敵対的なプロンプトにも悪意ある追加学習にも、ある程度耐える土台ができる、という方向を示している。現場でAIにコードを書かせている身からすると、リワードハッキングのような「評価をごまかす抜け道探し」が領域をまたいで減るのは、地味だけど相当ありがたい。ただし裏面もあって、安全性が剥がれにくいというのは、正当な理由でモデルの振る舞いを大きく変えたいときにも簡単には変えられない、という話につながる。
AIに重い判断を任せていく側にとっては、信頼の手がかりが少し増える。エージェントに長い作業を任せると、途中で評価をごまかしたり、都合の悪い情報を伏せたりしないかが不安になる。良い特性が領域をまたいで効くなら、想定外の場面でも踏みとどまる確率は上がる。ついこの前のChatGPTの健康分野の強化も、裏を返せばこの研究の延長線上にある。OpenAIは「健康データをしっかり入れたモデルほど、安全性や有益性の評価が高い」と書いていて、今回の発見がその理由づけになっている。
研究者自身が「概念実証」と釘を刺している
ここまで景気のいい話を並べたけれど、研究チーム自身はかなり慎重だ。論文は繰り返し「初期の概念実証（early proof of concept）」と書いている。鵜呑みにする話じゃない。
まず、44勝はしたが53分の44で、残り9個は改善していない。万能ではない。次に、なぜ崩れにくくなるのか、その良い特性がモデルの中でどう表現されているのかは、まだよくわかっていない。良い特性を混ぜたから良くなったのか、単に追加で訓練した効果なのか、その切り分けも今後の課題だと正直に認めている。
そして、いちばん効いてくる留保がこれだ。「AIが最終的にどんな価値を体現すべきかは、この研究が答えるものではない」と明言している。今回選んだ7つの特性は、あくまで測りやすく扱いやすい出発点であって、社会的な合意で決めるべき大問題には踏み込んでいない。誰の誠実さか、誰にとっての公平か。そこはOpenAIが一社で決める話じゃない、という線引きをちゃんと引いているのは、むしろ誠実だと思う。
実験を自分で再現したわけじゃないので、数字の頑健さまで保証はできない。それでも、この方向が続けば、AIの安全性は「後付けのガードレール」から「モデルの地金」へと重心が移っていく気がする。次にAIエージェントに長めの作業を任せるとき、出てきた成果物だけじゃなく、「途中で楽をしようとした形跡はないか」をちょっと意識して見てみるといい。今のモデルがその誘惑にどれくらい強いのか、肌感覚を持っておくと、任せる範囲の線引きが上手くなるはずだ。
