プロンプトを書かない自動化、と聞いて最初は身構えた。指示文を練り込むのが AI を使う側の腕の見せどころだったのに、それを捨てて「一度やって見せるだけ」でいいという。OpenAI が 6 月 18 日に Codex へ足した Record & Replay は、まさにその通りの機能だった。Mac の画面で作業を一回やってみせると、Codex がそれを覚えて、繰り返し使える「スキル」に変えてくれる。
- 説明するのをやめて、やって見せるに切り替えた
- 録画ボタンを押してから、スキルになるまで
- 座標を覚える自動化と、意図を覚える自動化
- 経費精算を録画する人は、たぶんエンジニアじゃない
- 見せれば動く、でも毎回動くとは限らない
- 毎月の「あの面倒」を、まず一本録ってみる
説明するのをやめて、やって見せるに切り替えた
何が起きたかをまず整理する。Record & Replay は、Mac 上で自分がやる一連の操作を Codex に見せて、それを再利用できるスキルとして保存する機能。Codex アプリのバージョン 26.616 で入った。対象は macOS だけ。前提として Computer Use（Codex が人間のように画面を見てクリック・入力する機能）が有効になっている必要がある。
ポイントは「説明」と「実演」の置き換えにある。これまで AI に作業を任せるには、やってほしいことを言葉で噛み砕いて書く必要があった。手順が多い作業ほど、その説明文を書くこと自体が面倒で、結局やらない。Record & Replay はそこをひっくり返した。説明するより、目の前で一回やったほうが速い作業ってあるよね、という発想。録画ボタンを押して、いつもの作業をやって、止める。それだけ。
公開されている使用例を見ると、経費精算の申請、駐車場の予約、設定済みの issue 作成、動画の公開、定期レポートのダウンロードあたりが並ぶ。どれも派手さはないけど、毎回手でやると地味に時間を食う作業。OpenAI 自身も「スクリプトを書くほどではないから自動化されずに残っている、地味な業務フロー」を狙うと位置づけている。
録画ボタンを押してから、スキルになるまで
中で何が起きるかも見ておく。流れはシンプルで、Codex アプリの Plugins から「Record a skill（スキルを録画）」を選ぶ。すると Codex が「こういう作業ですね?」と下書きのプロンプトを提案してくるので、文脈を足して整える。準備ができたら許可を出して、実際に Mac で作業をやってみせる。終わったらメニューバーかオーバーレイから、あるいは Codex に「終わった」と伝えて止める。
録画中、Codex は操作そのものと、ウィンドウに映っている内容を観察して作業を学ぶ。止めたあと、Codex はその作業を分析して、スキルの下書きを作る。このスキルには、いつ使う作業なのか、何を入力として渡すのか、どういう手順か、結果をどう確かめるか、までが書き込まれる。
使うときは新しいスレッドを開いて、「このスキルを使って」と頼む。ファイルや日付みたいな可変の値を変えて呼び出せるので、先月分でやって見せたものを今月分で回す、といった使い方になる。Computer Use やブラウザ操作、入れてあるプラグインとも組み合わせて動く。録画して終わりじゃなく、あとから中身を開いて、命名規則や判断の分岐を書き足して精度を上げられるのも効くところ。
ちなみに、チーム全体に配ったり、複数のスキルを束ねたり、MCP サーバー（外部ツールと AI をつなぐ仕組み）を噛ませたりするなら、録画じゃなく専用のプラグインを作れ、と公式は線を引いている。録画は「自分の手元の面倒を素早く畳む」用途、という棲み分け。
座標を覚える自動化と、意図を覚える自動化
ここが一番おもしろい差だと思っている。画面操作を録画して自動化する、と聞くと古くからある RPA（事務作業をソフトのロボットに代行させる仕組み。UiPath や Power Automate が代表）を思い出す人は多いはず。実際やっていることは似ている。ただ、中の作り方が違う。
従来の RPA は、基本的に「画面のどの座標をクリックしたか」「どの UI 部品を押したか」を記録する。だから対象アプリの見た目が少し変わるだけで、録画した手順が壊れる。これに RPA 運用の現場はずっと泣かされてきた。Record & Replay は、座標の代わりに「この手順で何を達成しようとしているか」を自然言語の説明（SKILL.md という形式のファイル）として書き出す。再生のときは、その意図を言語モデルが今の画面と照らし合わせて解釈しながら動く。
座標を丸暗記する自動化と、意図を理解して都度あてはめる自動化。後者のほうが、画面のズレに強い理屈になる。半年前にロック Mac 操作や Goal mode を取り上げたときは「Codex がどこで・いつ動くか」の話だった。今回は軸がずれて、「Codex に何を覚えさせるか」に寄ってきた。同じスキルという単位は Codex の Agent Skills にもあるし、Claude 側にもスキルの概念はあるけど、そっちは基本「書いて作る」もの。録って作るルートを足したのが今回の新しさ。
経費精算を録画する人は、たぶんエンジニアじゃない
この機能、誰のためのものかを考えると見え方が変わる。報道では Plus・Pro・Business・Enterprise・Edu といった ChatGPT の有料プラン向けとされていて、見出しに「ビジネスユーザー向け」と付くことが多い。理由ははっきりしていて、刺さる作業がエンジニアの仕事じゃないから。経費精算や駐車場予約を録画して喜ぶのは、コードを書かない事務職や運用担当のほう。
現場感覚で言うと、自動化を一番ほしがっているのはコードよりむしろこの層なんだよな。RPA が高い金を払ってでも企業に入ってきたのは、まさにそこに需要があったから。Record & Replay は、その RPA がやってきた領域に、AI コーディングの道具だった Codex が横から入ってくる構図になる。
マネージャー目線でいちばん効く（そして同時にこわい）のは、作ったスキルをチームで共有できる点。一人が録った「面倒な定型作業」が、部署全体の自動化になる。うまく回れば、属人化していた手順が一気にならされる。逆に、誰かが雑に録ったスキルが部署中で動き出すと、間違いも一緒に配られる。共有のうれしさと危うさは裏表だと思っておいたほうがいい。
見せれば動く、でも毎回動くとは限らない
正直に書いておきたい限界がいくつかある。まず、画面を相手にする自動化は、いまだに「だいたい動く」の域を出ない。Stanford の AI Index 2026 によると、AI エージェントが実際の PC 作業をこなすベンチマーク（OSWorld）での成功率は平均 66%。1 年前の 12% から見れば劇的な伸びだけど、裏返せば 3 回に 1 回はこける。
もっと怖いのが、手順が積み重なるほど成功率が掛け算で落ちること。Temporal の試算では、1 ステップあたり 85% の信頼性があっても、10 ステップ通すと最後まで成功する確率はおよそ 2 割まで落ちる。人間が見ていない夜間に長い手順を回しっぱなしにするのは、現時点ではまだ勇気がいる。経費精算みたいに「最後に人間が金額を確認する」工程が挟まる作業から入るのが現実的。
ほかにも線引きはある。対象は macOS だけで、しかもローンチ時点で EEA（欧州経済領域）・英国・スイスは外れている。皮肉なことに、その 2 日前の 6 月 16 日に同地域へ Computer Use を開放したばかりなのに、Record & Replay は届いていない。規制対応の都合だろうけど、欧州拠点のチームは当面お預け。組織側で requirements.toml という設定ファイルで Computer Use を切っていれば、Record & Replay ごと使えなくなる。情シスがガバナンスを握れる作りにはなっている。
セキュリティも気をつけたい。録画は画面に映ったものを観察する性質上、パスワードや個人情報をうっかり録り込みかねない。公式も「本物だが機微でないサンプルデータでやれ」と釘を刺している。前にロック Mac 操作の記事で「画面を丸ごと触れるエージェントは事故ったときの影響が大きい」と書いたけど、画面を録るエージェントにも同じ用心がいる。
毎月の「あの面倒」を、まず一本録ってみる
Codex を Mac で触れる環境にある人は、今月末にやってくる定型作業を一つ、録画してみるのがいい。経費精算でもレポートのダウンロードでも、毎回手でやって地味にだるいやつ。録るときは認証情報の入った画面を開かない、サンプルは本物だけど機微じゃないものを使う、この二つだけ守れば大きな事故にはなりにくい。一回スキルになると、来月の自分がどれだけ楽になるかが見えてくる。
部下や非エンジニアのメンバーに渡すなら、壊れて困らない作業から。共有でスキルが配れる以上、最初の一本を雑に作ると間違いごと広まる。だからこそ、最初は一人が丁寧に録って、中身を開いて手順を確かめてから配る運用にしたい。
個人的に気になっているのは、対象アプリの UI が変わったとき、誰がスキルを直すのか、という一点。意図ベースで多少のズレに強いとはいえ、大きく変われば結局は録り直しになる。RPA が抱えてきたメンテナンス地獄を、AI がどこまで肩代わりしてくれるか。半年もすれば UiPath あたりが同じ「見せて作る」方式を載せてくる気がするし、そのとき AI コーディング発の Codex と、RPA 老舗の使い勝手がどう違うのかを並べて見たい。まずは自分の手元の面倒を一本畳むところから、その答え合わせを始めたい。
