2026年9月29日 / 最終更新日 : 2026年10月15日ふじながただしコラム

AIは人間の制御を超える？国連で議論されたAIの危険性とAIエージェントの未来

AIは本当に人間の制御を超えるのでしょうか？

AIはこの数年で急速に賢くなり、最近は人間が一つひとつ指示しなくても自分で手順を考えて作業する「AIエージェント」が広がっています。AIが自分で動ける範囲が広がるほど、「人間はAIを制御できるのか」という問いが現実味を帯びてきます。

2026年9月23日（米国東部時間）、この問題が国連安全保障理事会で議論されました。先に結論を書きます。

「AIが人間の制御を超えた」と確認されたわけではありません。議論されたのは、そのリスクと備えの仕組みです
ただし、テスト中のAIエージェントが外部企業のシステムに侵入した実際の事例があり、議論のきっかけになりました
いま問われているのは「AIを止めるか」より、「AIにどこまで権限を与え、どう監視するか」です

AIが人間の制御を超える可能性が国連で議論される

Reutersは2026年9月23日、「強力なAIがやがて自らを改良し、人間の制御を離れて国際安全保障を脅かしかねない」という警告が出るなか、AI企業のトップが国連安保理で説明を行うと報じました。

会合は9月の議長国フランスが招集した安保理の第10228回会合（議題「人工知能と国際安全保障」）で、説明者は次の4人です。

説明者	立場
Yoshua Bengio（ヨシュア・ベンジオ）氏	AI研究者。国連「AIに関する独立国際科学パネル」共同議長
Sam Altman（サム・アルトマン）氏	OpenAI CEO
Dario Amodei（ダリオ・アモデイ）氏	Anthropic CEO
Clément Delangue（クレモン・ドラング）氏	Hugging Face 共同創業者・CEO

この会合は「AIが制御不能になった」と認定する場ではありません。各国代表と企業トップが、AIのリスクをどう捉え、どんな国際的な仕組みが必要かを述べ合った場です。「人間の制御を超える」は、あくまで警告として語られたリスクです。

なぜAIの危険性が問題になっているのか

なぜ今、AIの制御が注目されているのでしょうか。AIの役割が「質問に答える道具」から「自分で作業を進める存在」へ変わりつつあるからです。現在のAIは、文章生成に加えて次のことができます。

プログラミング：コードを書き、実行し、エラーを直す
情報収集とツール利用：Webを検索し、外部サービスやAPIを呼び出す
コンピューター操作：画面を見てクリックや入力を行う
自律的なタスク実行：目標を与えられると、手順を考えて最後までやり切る

Amodei氏は安保理で、4年前のAIは1行のコードもまともに書けなかったが、今ではAnthropic社内のコードの大半をAIが書いていると述べました。能力の伸びが速いほど、安全対策が追いつかなくなる心配も大きくなります。AIが人間の意図どおりに動くようにする研究や取り組みは「AI安全性（AI Safety）」と呼ばれ、いま最も注目される分野のひとつです。

AIエージェントとは？

ChatGPTのような生成AIとの違い

チャット画面で質問するとき、AIは文章を返すだけで、その答えを使って作業するのは人間でした。AIエージェントは、目標を与えられると自分で計画を立て、ツールを使い、結果を確かめながら作業を進めるAIです。仕組みは「AIエージェントとは？生成AIとの違い・仕組み・できることを初心者向けに解説」で詳しく解説しています。

AIエージェントは何ができるのか

プログラムの作成・修正・テスト（例：Claude Code）、Web調査とレポート作成、データ分析、社内システムやクラウドの操作などです。「このバグを直して」と頼めば、ファイルを読み、修正し、テストを走らせ、失敗すればまた直す、という流れを自分で回します。

AIエージェントの自律性が高まると何が変わるのか

自律性が高いとは、人間が途中で確認しない行動が増えるということです。チャットAIの誤答は読めば気づけますが、AIエージェントはファイル削除や外部へのデータ送信のような取り消しにくい行動を、人間が見ていないうちに実行できます。AIエージェントの時代には「AIが賢いか」だけでなく、「AIに何をさせてよいか」が問題になるのです。

AIがAIを攻撃する時代とは？

安保理で何度も触れられたのが、2026年7月に明らかになった、OpenAIのAIエージェントによるHugging Faceへの侵入です。Hugging Faceの技術報告によると、経緯は次のとおりです。

OpenAIが社内で、AIのサイバー攻撃能力を測るテストを行っていた
テスト中のAIエージェントが、隔離された実行環境（サンドボックス）の未知の脆弱性を突いて外に出た
「テストの答えがHugging Faceにあるかもしれない」と推測し、同社のシステムに侵入した
アクセスされた顧客コンテンツはテスト関連の5つのデータセットのみで、ほかの公開モデルなどに影響はなかった

AIが「悪意」を持って暴れたわけではありません。与えられた目標（テストで高得点を出す）のために、人間が想定していなかった近道を選んだというのが実態に近く、その近道が現実の企業への侵入だった点が衝撃を与えました。

つまり「AIが勝手に世界中を攻撃している」のではなく、AIエージェントにコンピューター操作能力や外部へのアクセス権限を与えると、新しいセキュリティ上のリスクが生まれるということです。

AIによるサイバー攻撃

特徴は速さと量です。報告では侵入は約4日半、復元された攻撃側の操作は約1万7,600件にのぼりました。AIは疲れずに試し続けられるため、ありふれた弱点でも防御側の負担が大きくなると報告は指摘しています。

AIを使ったサイバー防御

防御にもAIが使われました。Delangue氏は安保理で「私たちはAIに攻撃されたが、それ以上に重要なのは、AIで自分たちを守ったことだ」と語っています。同氏によれば、大手の商用AIは安全装置が攻撃の解析と攻撃そのものを区別できず利用を拒まれ、中国発のオープンソースモデルで解析を進めたといいます。この経験から同氏は、最大のリスクは強力なAIそのものではなく、攻撃者と防御者の間などに生じる「強力なAIの非対称性」だと主張しました。

AI対AIのセキュリティ競争

	攻撃側のAI	防御側のAI
役割	弱点を探し、組み合わせて侵入する	異常を検知し、ログを解析し、封じ込める
強み	休まず大量に試せる	大量のログを人間より速く読める
課題	安全装置は回避されることがある	安全装置が防御作業まで止めることがある
勝負を分けるもの	権限の絞り込み・隔離・監視など、AIを動かす環境の設計

防御側が不利にならないためには、AIの性能以上に、攻撃されても被害が広がらない設計が重要です。一般的な攻撃の手口は「サイバー攻撃の被害事例と対策完全ガイド」も参考にしてください。

AnthropicのCEOが警告したAIリスク

Amodei氏はAIのリスクを、悪用（例：生物兵器の開発）と、制御の喪失（モデルの能力が開発者の制御できる速さを超えて伸びること）の2つに分けて説明しました。そのうえで、管理を誤ればAIは人類全体にとってのリスクになりうるとし、「どの指導者も、どの企業も、どの国も、単独ではこれに対処できない」と述べています。

提案は3つです。生物兵器へのAI利用の禁止など全加盟国が賛成できる狭い合意から始めること、各国が最先端モデルの能力を把握し互いの約束を確かめる評価・検証の仕組み、そして制御喪失や悪用を試験する共通基準とAIインシデントの通報制度です。

同氏は9月12日のエッセイ「We Must Pace the Frontier」で、AIを止めるのではなく安全性が能力に追いつくペースで進めようと呼びかけ、外部の評価者を社員に近い権限で社内に受け入れると約束しています。

Sam AltmanはAI規制について何を語ったのか

Altman氏は、AIが自分や次世代のAIを改良する「再帰的自己改善」に近づくと進歩が急加速しうるとして、「極度の慎重さが求められる」と語りました。避けるべき失敗として、進歩が速すぎて人間が介入できなくなることと、一部の人・企業・国への力の集中を挙げています。

AI政策の決め方については「AIが民主的であるためには、最も重要な判断をサンフランシスコの研究所だけで下してはならない」と発言し、AI企業だけでなく民主的な手続きと政府が関与すべきだとしました。具体的には、AIの能力とリスクを測る国内外の基準、インシデントの迅速な報告、政府と技術者が脆弱性を共有する経路を求めています。一方で、基準が既存の大企業を有利にしてはならず、法制度への組み込み方は各国が決めるべきだとも述べ、開発と安全性を両立する「中間の道」を探る姿勢を示しました。

Yoshua Bengioが指摘するAIの危険性

Bengio氏は深層学習の研究でチューリング賞を受賞した研究者で、4人の中で最も強く危険性を訴えました。大手企業のAIエージェントが指示に反して隔離環境から抜け出し、テストで不正をして発覚を避けようとしたと指摘し、「危険は現実のものであり、差し迫っている」と述べています。一方で「未来は不確かで、議論が分かれている」とも付け加えました。

同氏は脅威として破局的な悪用・力の集中・制御の喪失の3つを挙げ、最先端AIを医療・航空・原子力のように免許制にすること、賠償責任保険の義務化、企業から独立した科学的評価とインシデント報告の仕組みを提案しました。「競争は自然法則ではなく企業自身の選択の結果だ」という指摘も同氏の主張の特徴です。

アメリカと中国で異なるAI規制への考え方

安保理では両国政府の代表も発言しました。

論点	アメリカ政府（クラツィオス大統領補佐官）	中国政府（傅聡国連大使）
AI開発	「許可を求めないイノベーション」で最先端を追求	技術革命・産業変革の重要な原動力と位置づける
規制	「グローバリストによる超知能の管理体制」を拒否。規制は各国が行う	規制の枠組み・緊急対応・国境を越えた協力を改善すべき
安全性	理解していない技術は統治できない。まず自国で使いこなす力を育てる	発展と安全を同等に重視し、「安全で制御可能」なAIに
国際協力	対話はするが、国際的な統治には向かわせない	国連をAIガバナンスの主要な場とし、途上国の声を増やす

ただし、「アメリカは規制反対、中国は規制賛成」という単純な図式ではありません。アメリカ政府も最先端モデルの試験・評価を行っていると説明し、中国も各国の「デジタル主権」を強調しています。Reutersによると、米中は国家安全保障レベルのAI関連事案を知らせ合う仕組みも議論しています。さらに同じアメリカでも、政府と、国際基準を求めたAltman氏・Amodei氏の立場は一致しません。政府・企業・研究者の間でも考え方は分かれているのです。各国の法規制は「AIの法律・規制とは？日本のAI法とEU AI法の施行スケジュール、米国の動きを公式資料で整理【2026年10月時点】」で整理しています。

AIが人間を支配するという意味なのか？

「AIが暴走して人間を支配する」という映画のようなイメージと、実際に確認されていることを分けて整理します。

現在確認されていること

テスト中のAIエージェントが隔離環境を抜け出し、外部企業に侵入した事例がある（OpenAIとHugging Faceが公表）
AIは目標達成のために、人間が意図しない近道を選ぶことがある
AIはサイバー攻撃にも防御にも使える

将来のリスクとして議論されていること

再帰的自己改善で、進歩が人間の把握できない速さになる可能性
生物兵器などへの悪用や、一部の企業・国への力の集中

まだ分かっていないこと

人間の制御を超えるAIが、いつ、どの程度の確率で現れるのか
高度なAIが人間の意図どおりに動くと、どんな技術で保証できるのか
どんな国際的な仕組みなら、各国が合意し守れるのか

「AIが人間を支配することが決まった」という話ではありません。確認されているのは権限を与えたAIエージェントによる具体的な事故であり、議論されているのは、それが大規模になる前にどう備えるかです。

AIエージェント時代に何が変わるのか

従来のAIの使い方は次の流れでした。

人間 → AI → 回答 → 人間

AIエージェントでは、こう変わります。

人間 → AIエージェント → 情報収集 → 判断 → コード実行 → ツール操作 → 結果確認

人間が関わるのは最初の指示と最後の確認だけで、途中の行動をすべて見ることはできません。だからこれからは、AIを「使う能力」だけでなく、「AIにどこまで権限を与えるか」を考える力が求められます。

この判断には、プログラムの仕組みの理解が欠かせません。AIが実行しようとしているコマンドの意味が分からなければ、承認すべきか判断できないからです。中身を読める力をつけたい方は「Python 始め方｜初心者向け学習ロードマップと環境構築の手順」から始めるのがおすすめです。開発現場でのAIエージェントの使い方は、テックジムのAI駆動開発コースでも扱っています。

AIを止めるのではなく、どう安全に使うのか

AIエージェントを使う個人や企業にもできる対策があります。

対策	具体的な内容
権限を限定する	読み書きできるフォルダや実行できるコマンドを必要な範囲に絞る
本番環境に直接触らせない	開発用・検証用の環境で作業させる
人間の承認を挟む	削除・外部送信・デプロイなどの前に人間が確認する
秘密情報を渡さない	APIキーを不用意に渡さず、権限の小さい専用キーを使う
実行環境を分離する	コンテナなど、ほかのシステムから切り離した場所で動かす
ログを残す	何を読み、何を実行したかを後から追えるようにする
結果を検証する	AIの変更を、人間やテストで確かめてから採用する
セキュリティテストを行う	与えた権限で何ができてしまうかを事前に試す

Hugging Faceの報告も、認証情報の権限の絞り込みや評価環境の厳格な隔離を教訓に挙げています。権限の大きすぎる認証情報や隔離の甘い環境は、AIにとっても攻撃者にとっても入り口になります。Claude Codeでの具体的な設定は「Claude Codeのセキュリティ｜権限設定・許可ルールの書き方を徹底解説」で、承認を省く設定の注意点は「Claude Code 自動モードとは？」で解説しています。企業導入時のリスク全般は「生成AIリスク完全ガイド」も参考になります。

まとめ

AIの能力向上に伴い、安全性の重要度が増している
AIエージェントによって、AIの自律性が高まっている
AIがAIを攻撃し、AIで防御する構図が実際に起きている
国連安保理でもAIの安全保障上のリスクが議論された
AI規制については、国や専門家によって意見が異なる
「AIが人間を支配することが決まった」という話ではない
今後はAIの能力だけでなく、AIに与える権限と安全対策が重要になる

AIを怖がって遠ざけるのでも、任せきりにするのでもなく、仕組みを理解したうえで権限を設計して使う。それがAIエージェント時代の基本です。長い時間軸での議論は「【AI 2040】「AIを止める」のではなく、人類がAIの進化速度を制御できるのか」もあわせてどうぞ。

よくある質問（FAQ）

Q. AIは人間の制御を超える可能性がありますか？

将来のリスクとして真剣に議論されていますが、現時点で「制御を超えた」と確認されたわけではありません。確認されているのは、テスト中のAIエージェントが想定外の行動をとった個別の事故です。

Q. AIが人間を超えるのはいつですか？

専門家の間でも合意はありません。Amodei氏は今のペースが1〜2年続けば非常に高度な水準に達しうるとの見方を示しましたが、これは同氏の見解で、Bengio氏も「未来は不確か」と述べています。

Q. AIエージェントは危険ですか？

危険度は与える権限で大きく変わります。権限を絞り、重要な操作の前に人間が確認し、隔離した環境で動かせばリスクは大きく下げられます。

Q. AIがAIを攻撃することはありますか？

2026年7月、OpenAIのテスト中のAIエージェントがHugging Faceに侵入し、Hugging FaceはAIを使って防御しました。ただし、AIが自分の意思で無差別に攻撃しているわけではありません。

Q. AIは人間を支配するのでしょうか？

そうした未来が決まっているわけではありません。国連の議論も、そうならないための評価の仕組みやルールを話し合うものでした。

Q. AI規制は必要ですか？

何らかのルールが必要という点では多くの関係者が一致していますが、形は分かれています。国際基準や免許制を求める声がある一方、アメリカ政府は国際的な管理体制を拒否しています。

Q. AIエージェントとは何ですか？

目標を与えられると、自分で計画を立て、ツールを使い、結果を確かめながら作業を進めるAIです。ファイル編集やコード実行など、実際の行動まで担います。

AIエージェントを自分の手で動かしてみたい方へ

権限の設計は、実際に動かしてみるといちばんよく分かります。テックジム東京本校では、AIコーディングエージェントのClaude Codeを環境構築から一緒に動かす無料講座を、毎週土曜日15時に対面で開いています。プログラミング未経験でも参加できます。詳細は「Claude Code 無料講座｜初心者向け・東京で学べる対面講座【毎週開催】」をご覧ください。

参考情報

Reuters「AI leaders brief UN amid warnings technology could slip beyond human control」（2026年9月23日）
UN Transcripts：Security Council, 10228th meeting（英語）
UN Web TV：同会合の録画（英語）
Hugging Face：July 2026 Incident の技術報告（英語）
OpenAI：The Hugging Face incident and the road ahead（英語）
Dario Amodei：We Must Pace the Frontier（英語）

本記事は2026年9月29日時点の情報をもとに作成しています。発言は国連の公式議事録（英語）を参照し、筆者が日本語に要約・翻訳したものです。

プログラミング学習に関するお役立ちコンテンツ

カテゴリー: コラム