作者：David、深潮 TechFlow最近Redditを見ていて、海外のネットユーザーのAIに対する不安は、国内のそれとは少し違うことに気づいた。国内では基本的に同じ話題だ。AIは本当に私の仕事を奪うのか、何年も話してきたが、毎年結局奪えずにいる。今年はOpenclawが話題になったが、まだ完全に取って代わる段階には至っていない。しかし、Redditでは最近、感情が二分されている。技術系のホットな投稿のコメント欄には、しばしば二つの意見が同時に見られる。一つは、「AIはあまりにも有能すぎて、いずれ大きな問題になるだろう」という意見。もう一つは、「AIは基本的なことさえもできなくて、役に立つとは思えない」という意見。AIがあまりにも有能だと恐れる一方で、逆にAIがあまりにも馬鹿だと感じている。この二つの感情を同時に成立させているのが、ここ数日のMetaに関するニュースだ。AIが言うことを聞かなくなったら、誰が責任を取るのか？3月18日、Metaの内部エンジニアが社内フォーラムに技術的な問題を投稿し、別の同僚がAIエージェントを使って分析した。これは普通の操作だ。しかし、そのエージェントが分析を終えると、勝手に技術フォーラムに返信を投稿した。誰の承認も得ず、確認も待たずに、権限を越えて投稿したのだ。その後、他の同僚がAIの返信に従って作業を行い、一連の権限変更を引き起こし、Metaの敏感なデータが権限のない内部社員に漏洩した。問題は二時間後に修正された。Metaはこの事故をSev 1（最重要事故レベルの次）に分類した。このニュースはすぐにr/technologyのホットトピックになり、コメント欄は二つの派に分かれた。一方は、「これがAIエージェントの真のリスクの一例だ」とし、もう一方は、「実際に問題を起こしたのは、確認せずに勝手に行動した人だ」と主張する。どちらも一理あるが、これこそが問題だ。AIエージェントの事故では、責任の所在すらはっきりしない。これだけではない。AIの権限越境は初めてのことではない。先月、Metaのスーパーインテリジェンス研究所の研究責任者Summer Yueは、OpenClawにメールの整理を依頼した。彼女は明確に指示した：「何を削除するつもりか先に教えてくれ、私が同意したら動いていい。」しかし、エージェントは彼女の同意を待たずに、一気に大量削除を始めた。彼女はスマホから三回連続で停止のメッセージを送ったが、エージェントは無視。最後にパソコンの前で手動でプロセスを殺して止めた。200通以上のメールが消えた。その後、エージェントの返信は「はい、あなたが先に確認するよう言ったのは覚えている。しかし、原則に反した」とのことだった。笑いと涙が出るのは、この人のフルタイムの仕事が「AIに人間の言うことを聞かせる方法を研究すること」だからだ。サイバースペースでは、先進的なAIは先進的な人間に使われているが、すでに従順さを失いつつある。もしロボットも言うことを聞かなくなったら？Metaの事故が画面の中の話だとすれば、今週のもう一つの事件は、その問題を食卓に持ち出した。アメリカ・カリフォルニア州クパチーノのある海底撈（ハイディラオ）店では、Agibot X2の人型ロボットが客の前でダンスを披露していた。しかし、スタッフがリモコンを誤操作し、狭いテーブル付近の空間で高強度のダンスモードを発動させてしまった。ロボットは狂ったように踊り始め、コントロールを失った。三人のスタッフが駆け寄り、一人は背後から抱きしめ、もう一人はスマホのアプリで停止しようとしたが、場面は1分以上続いた。海底撈は、「ロボットに故障はなく、動作はすべて事前にプログラムされたもので、ただしテーブルから離れすぎていた」と回答した。厳密に言えば、これはAIの自主的な判断ミスではなく、人間の操作ミスだ。しかし、この出来事で不快に感じるのは、誰が誤ってボタンを押したのかではなく、むしろその場にいたスタッフ全員が、すぐにこのロボットを停止させる方法を知らなかったことだ。誰もが知っているように、AIが画面の中から物理世界に進出した後の新たな問題だ。デジタルの世界では、エージェントの権限越境は、プロセスの停止や権限の変更、データのロールバックが可能だ。しかし、物理的な機械が故障した場合、緊急対応策がただ抱きしめるだけでは不十分だ。今や飲食だけでなく、倉庫のAmazonの仕分けロボット、工場の協働ロボット、ショッピングモールの案内ロボット、老人ホームの介護ロボットなど、オートメーションはますます多くの人と機械が共存する空間に入り込んでいる。2026年には、世界の産業用ロボットの導入額は167億ドルに達すると予測されており、各ロボットは人と機械の物理的距離を縮めている。ロボットが踊るだけから、料理を運ぶ、手術を行う、エンターテインメントから介護へと、その失敗の代償は確実に高まっている。そして現在、世界的に「公共の場でロボットが人を傷つけた場合、誰が責任を取るのか」という明確な答えはまだ出ていない。言うことを聞かないのは問題だが、境界線がないのもさらに問題だ。最初の二つの事件は、AIが勝手に誤った投稿をしたことと、ロボットが本来踊るべきでない場所で踊ったことだ。いずれも故障や事故、修復可能な問題だ。しかし、もしAIが設計通りに動いているのに、それでも不快に感じるならどうだろう？今月、海外の有名な出会い系アプリTinderは、新機能「Camera Roll Scan」を発表した。簡単に言えば、AIがあなたのスマホの写真アルバムのすべてをスキャンし、あなたの興味、性格、ライフスタイルを分析して、デートのプロフィールを作成し、好みのタイプを推測する。フィットネスのセルフィー、旅行の風景、ペットの写真は問題ないが、アルバムには銀行のスクリーンショットや健康診断の結果、元恋人との写真も含まれているかもしれない。これらもAIに一度見られるとどうなるか？あなたはそれらを見せるかどうか選べないかもしれない。すべてオンにするか、全く使わないかの二択だ。この機能は現時点ではユーザーが積極的にオンにしなければならず、デフォルトでは有効になっていない。Tinderは、処理は主にローカルで行われ、露骨な内容や顔のぼかしも行うと説明している。しかし、Redditのコメント欄はほぼ一方通行で、皆「これはデータ収集であり、境界線がない」と考えている。AIは設計通りに動いているが、その設計自体がユーザーの境界を越えつつある。これはTinderだけの選択ではない。先月、Metaも似たような機能をリリースし、AIがあなたのスマホにまだ公開していない写真をスキャンして編集案を提案する。AIが積極的に「見る」ことで、ユーザーのプライベートな内容に触れることが、製品設計の標準的な考え方になりつつある。国内のさまざまな悪質なアプリも、「この手法はおなじみだ」と言う。ますます多くのアプリが、「AIがあなたの決定を手助けする便利さ」を装い、ユーザーが預ける情報も静かに拡大している。チャット履歴からアルバム、スマホ内の生活の痕跡まで。会議室で設計された機能は、事故でも失敗でもなく、修正の必要もない。これこそが、AIの境界問題で最も答えにくい部分かもしれない。最後に、これらをまとめてみると、あなたは「AIの不安は自分の仕事を奪われることだ」と考えるのは、まだ遠い未来の話だと気づく。AIがいつあなたを置き換えるかはわからないが、今のところ、あなたが気づかないうちにいくつかの決定を代わりにしているだけで、あなたはすでに苦しんでいる。あなたの許可なく投稿された投稿、あなたが削除しないと伝えたメールの削除、誰にも見せるつもりのなかったアルバムの閲覧… どれも致命的ではないが、どれも過激な自動運転のようなものだ。あなたはまだハンドルを握っていると思っているが、アクセルはもう完全にあなたの手のものではなくなっている。2026年にAIについて再び議論するとき、私が最も気にすべきなのは、いつそれが超知能になるかではなく、もっと近くて具体的な問題だ。誰がAIに何をさせていいのか、何をさせてはいけないのか、その境界線を誰が引くのか？
第一批 AI Agent、既に言うことを聞かなくなっています。
(Or if you prefer a slightly more natural Japanese phrasing:)
最初のAIエージェントたちが、すでに言うことを聞かなくなってきました。
作者：David、深潮 TechFlow
最近Redditを見ていて、海外のネットユーザーのAIに対する不安は、国内のそれとは少し違うことに気づいた。
国内では基本的に同じ話題だ。AIは本当に私の仕事を奪うのか、何年も話してきたが、毎年結局奪えずにいる。今年はOpenclawが話題になったが、まだ完全に取って代わる段階には至っていない。
しかし、Redditでは最近、感情が二分されている。技術系のホットな投稿のコメント欄には、しばしば二つの意見が同時に見られる。
一つは、「AIはあまりにも有能すぎて、いずれ大きな問題になるだろう」という意見。もう一つは、「AIは基本的なことさえもできなくて、役に立つとは思えない」という意見。
AIがあまりにも有能だと恐れる一方で、逆にAIがあまりにも馬鹿だと感じている。
この二つの感情を同時に成立させているのが、ここ数日のMetaに関するニュースだ。
AIが言うことを聞かなくなったら、誰が責任を取るのか？
3月18日、Metaの内部エンジニアが社内フォーラムに技術的な問題を投稿し、別の同僚がAIエージェントを使って分析した。これは普通の操作だ。
しかし、そのエージェントが分析を終えると、勝手に技術フォーラムに返信を投稿した。誰の承認も得ず、確認も待たずに、権限を越えて投稿したのだ。
その後、他の同僚がAIの返信に従って作業を行い、一連の権限変更を引き起こし、Metaの敏感なデータが権限のない内部社員に漏洩した。
問題は二時間後に修正された。Metaはこの事故をSev 1（最重要事故レベルの次）に分類した。
このニュースはすぐにr/technologyのホットトピックになり、コメント欄は二つの派に分かれた。
一方は、「これがAIエージェントの真のリスクの一例だ」とし、もう一方は、「実際に問題を起こしたのは、確認せずに勝手に行動した人だ」と主張する。どちらも一理あるが、これこそが問題だ。
AIエージェントの事故では、責任の所在すらはっきりしない。
これだけではない。AIの権限越境は初めてのことではない。
先月、Metaのスーパーインテリジェンス研究所の研究責任者Summer Yueは、OpenClawにメールの整理を依頼した。彼女は明確に指示した：「何を削除するつもりか先に教えてくれ、私が同意したら動いていい。」
しかし、エージェントは彼女の同意を待たずに、一気に大量削除を始めた。
彼女はスマホから三回連続で停止のメッセージを送ったが、エージェントは無視。最後にパソコンの前で手動でプロセスを殺して止めた。200通以上のメールが消えた。
その後、エージェントの返信は「はい、あなたが先に確認するよう言ったのは覚えている。しかし、原則に反した」とのことだった。笑いと涙が出るのは、この人のフルタイムの仕事が「AIに人間の言うことを聞かせる方法を研究すること」だからだ。
サイバースペースでは、先進的なAIは先進的な人間に使われているが、すでに従順さを失いつつある。
もしロボットも言うことを聞かなくなったら？
Metaの事故が画面の中の話だとすれば、今週のもう一つの事件は、その問題を食卓に持ち出した。
アメリカ・カリフォルニア州クパチーノのある海底撈（ハイディラオ）店では、Agibot X2の人型ロボットが客の前でダンスを披露していた。しかし、スタッフがリモコンを誤操作し、狭いテーブル付近の空間で高強度のダンスモードを発動させてしまった。
ロボットは狂ったように踊り始め、コントロールを失った。三人のスタッフが駆け寄り、一人は背後から抱きしめ、もう一人はスマホのアプリで停止しようとしたが、場面は1分以上続いた。
海底撈は、「ロボットに故障はなく、動作はすべて事前にプログラムされたもので、ただしテーブルから離れすぎていた」と回答した。厳密に言えば、これはAIの自主的な判断ミスではなく、人間の操作ミスだ。
しかし、この出来事で不快に感じるのは、誰が誤ってボタンを押したのかではなく、むしろその場にいたスタッフ全員が、すぐにこのロボットを停止させる方法を知らなかったことだ。
誰もが知っているように、AIが画面の中から物理世界に進出した後の新たな問題だ。
デジタルの世界では、エージェントの権限越境は、プロセスの停止や権限の変更、データのロールバックが可能だ。しかし、物理的な機械が故障した場合、緊急対応策がただ抱きしめるだけでは不十分だ。
今や飲食だけでなく、倉庫のAmazonの仕分けロボット、工場の協働ロボット、ショッピングモールの案内ロボット、老人ホームの介護ロボットなど、オートメーションはますます多くの人と機械が共存する空間に入り込んでいる。
2026年には、世界の産業用ロボットの導入額は167億ドルに達すると予測されており、各ロボットは人と機械の物理的距離を縮めている。
ロボットが踊るだけから、料理を運ぶ、手術を行う、エンターテインメントから介護へと、その失敗の代償は確実に高まっている。
そして現在、世界的に「公共の場でロボットが人を傷つけた場合、誰が責任を取るのか」という明確な答えはまだ出ていない。
言うことを聞かないのは問題だが、境界線がないのもさらに問題だ。
最初の二つの事件は、AIが勝手に誤った投稿をしたことと、ロボットが本来踊るべきでない場所で踊ったことだ。いずれも故障や事故、修復可能な問題だ。
しかし、もしAIが設計通りに動いているのに、それでも不快に感じるならどうだろう？
今月、海外の有名な出会い系アプリTinderは、新機能「Camera Roll Scan」を発表した。簡単に言えば、
AIがあなたのスマホの写真アルバムのすべてをスキャンし、あなたの興味、性格、ライフスタイルを分析して、デートのプロフィールを作成し、好みのタイプを推測する。
フィットネスのセルフィー、旅行の風景、ペットの写真は問題ないが、アルバムには銀行のスクリーンショットや健康診断の結果、元恋人との写真も含まれているかもしれない。これらもAIに一度見られるとどうなるか？
あなたはそれらを見せるかどうか選べないかもしれない。すべてオンにするか、全く使わないかの二択だ。
この機能は現時点ではユーザーが積極的にオンにしなければならず、デフォルトでは有効になっていない。Tinderは、処理は主にローカルで行われ、露骨な内容や顔のぼかしも行うと説明している。
しかし、Redditのコメント欄はほぼ一方通行で、皆「これはデータ収集であり、境界線がない」と考えている。AIは設計通りに動いているが、その設計自体がユーザーの境界を越えつつある。
これはTinderだけの選択ではない。
先月、Metaも似たような機能をリリースし、AIがあなたのスマホにまだ公開していない写真をスキャンして編集案を提案する。AIが積極的に「見る」ことで、ユーザーのプライベートな内容に触れることが、製品設計の標準的な考え方になりつつある。
国内のさまざまな悪質なアプリも、「この手法はおなじみだ」と言う。
ますます多くのアプリが、「AIがあなたの決定を手助けする便利さ」を装い、ユーザーが預ける情報も静かに拡大している。チャット履歴からアルバム、スマホ内の生活の痕跡まで。
会議室で設計された機能は、事故でも失敗でもなく、修正の必要もない。
これこそが、AIの境界問題で最も答えにくい部分かもしれない。
最後に、これらをまとめてみると、あなたは「AIの不安は自分の仕事を奪われることだ」と考えるのは、まだ遠い未来の話だと気づく。
AIがいつあなたを置き換えるかはわからないが、今のところ、あなたが気づかないうちにいくつかの決定を代わりにしているだけで、あなたはすでに苦しんでいる。
あなたの許可なく投稿された投稿、あなたが削除しないと伝えたメールの削除、誰にも見せるつもりのなかったアルバムの閲覧… どれも致命的ではないが、どれも過激な自動運転のようなものだ。
あなたはまだハンドルを握っていると思っているが、アクセルはもう完全にあなたの手のものではなくなっている。
2026年にAIについて再び議論するとき、私が最も気にすべきなのは、いつそれが超知能になるかではなく、もっと近くて具体的な問題だ。
誰がAIに何をさせていいのか、何をさせてはいけないのか、その境界線を誰が引くのか？