2026.06.12
レポート
フィジカルAIの社会実装に向けた論点の整理
~安全・プライバシー・責任をどう確保するか~
【要約】
フィジカルAIは、センシング・判断・アクチュエーションが物理的結果に直結する点に本質的特徴がある。主要論点は「人間との接点」(身体接触への同意、BMIに伴う神経・生体データ、センシングと再識別、将来的にはヒューマノイドロボットに固有の心理的依存・識別困難性)と、「システム設計・制度」(SafetyとSecurityの相互依存、動的環境における事前リスク特定の困難、許容不可能なリスクをめぐる合意形成、責任の分界点)に整理できる。国際規格・責任制度は整備途上であり、EUではAI責任指令案が2025年10月に正式撤回された一方、改正製造物責任指令の成立により製品責任制度の現代化が進められている。フィジカルAIの社会実装には、技術開発と制度整備を可能な限り同期させることが求められる。
一般財団法人日本情報経済社会推進協会
電子情報利活用研究部 次長 松下 尚史
はじめに
AIの活用領域が広がっている。テキスト・画像・音声を生成し、情報を検索・整理し、人間の判断を支援するAIの多くは、その直接の出力がデジタル空間に現れる。フィジカルAIはその性質が根本的に異なる。センサーで環境を認識し、AIが判断し、モーターやアームや車輪を通じて物理空間に作用する。AIの判断が物理的な結果に直結するという点において、フィジカルAIは他のAIと本質的に区別される。
EUのAI規則(AI Act、2024年発効)1は、特定のフィジカルAIを高リスクAIシステムとして規定し、適合性評価・技術文書作成・人間による監視などの義務を課している。対象には一定の製品安全法制の対象となる製品に組み込まれるAIシステムや、安全コンポーネントとして用いられるAIシステムが含まれる。しかし、AI Actは「何をリスクとして規制するか」の枠組みを示すものであり、高リスクAIシステムに対するリスク管理・技術文書作成・人間による監視等の義務を定めている一方で、「AIが判断層に入ったシステムを具体的にどう安全設計するか」という技術的な問いに直接答えるものではない。
日本では、2025年12月に閣議決定された人工知能基本計画2において、フィジカルAIが「日本の勝ち筋」の一つとして明示され、研究開発・実証・社会実装の促進が国家方針として掲げられた。製造業・ロボティクスにおける日本の強みを活かすという戦略的位置づけである。ただし、社会実装の促進とガバナンスの整備は必ずしも同期していない。
国際標準化においても、AIと機能安全の接合は議論の途上にある。IEC・ISOの各技術委員会でAIの安全性に関する規格開発が進んでいるが、フィジカルAI全体を対象とし、安全・セキュリティ・プライバシー・責任を横断的に扱う包括的な枠組みは現時点では十分に確立していない。
本稿は、この状況においてフィジカルAIの社会実装に向けた論点を整理することを目的とする。論点は二つの層から構成される。第一の層は、フィジカルAIが生む特有の「問い」——人間との接点の問題とシステム設計・制度の問題——である。第二の層は、これらの問いに対する制度・規格・研究の現状と課題である。なお、本稿で扱う論点は、全てのフィジカルAIに同程度に当てはまるものではない。特に、人間と接する環境で動作し、センシング、判断、物理的作用を伴うシステムにおいて顕在化しやすい論点を中心に整理する。技術・法制度・安全工学・倫理にまたがる横断的な問いを整理することを目指す。
なお、筆者は前稿「AIエージェントの実用化に向けた論点の整理」3において、安全・プライバシー・責任の観点からAIエージェントの論点を整理した。本稿はその問題意識を引き継ぎつつ、AIの判断が物理空間に作用するフィジカルAIに焦点を当てるものである。
- 1. Regulation (EU) 2024/1689(欧州議会及び理事会規則、2024年6月13日)。人工知能に関する調和規則を定めた包括的AI規制であり、2024年8月1日に発効した。リスクレベルに応じてAIシステムを分類し、高リスクカテゴリに該当するシステムにはリスク管理・技術文書作成・人間による監視・適合性評価等の義務を課す。一定の製品安全法制の対象となる製品に組み込まれるAIシステムや、安全コンポーネントとして用いられるAIシステム等が高リスクAIシステムに含まれる。別ウインドウで開く
- 2. 内閣府「人工知能基本計画~『信頼できるAI』による『日本再起』~」(令和7年12月23日閣議決定)。「人工知能関連技術の研究開発及び活用の推進に関する法律」(令和7年法律第53号)第18条に基づく日本初の人工知能基本計画。フィジカルAIについては「フィジカルAIの事業や産業への先導導入を支援する」(経済産業省所管)と明記されている。
- 内閣府「人工知能基本計画~『信頼できるAI』による『日本再起』~」(令和7年12月23日閣議決定)別ウインドウで開く
- 全文PDF別ウインドウで開く
- 3. 「AIエージェントの実用化に向けた論点の整理〜安全・プライバシー・責任をどう確保するか〜」
第1章 フィジカルAIとは何か
1-1. 定義と本質——「判断の物理的帰結」
総務省・経済産業省「AI事業者ガイドライン(第1.2版)」4は、フィジカルAIについて、センサー等によるセンシングを通じて物理環境の情報を取り込み、AIモデルによる処理を経て、設定された目的を達成するための最適な方策を自律的に推論・判断し、アクチュエータ等を介して物理的な行動へとつなげるシステムであり、サイバー空間での処理にとどまらず、現実世界に対して直接的な働きかけを行うものとして説明している。本稿もこの整理と整合しつつ、特に「AIの判断が物理的な結果に直結する」という点をフィジカルAIの本質として捉える。
フィジカルAIは周囲を認識(センシング)し、状況を判断し、物理空間に作用(アクチュエーション)するという三つの機能層から構成される。センシング層ではカメラ・LiDAR・力覚センサーなど多様なセンサーが環境情報を取得する。判断層では取得したデータをAIが処理し、次の行動を決定する。アクチュエーション層では判断の結果がモーター・アーム・車輪・ノズルなどを通じて物理空間への作用として出力される。
工場の組立ライン、物流倉庫の搬送ロボット、手術支援システム、自律走行車、配送ドローン——これらに共通するのは、AIの判断が物理的な結果に直結するという一点である。判断が誤れば、製品が壊れ、荷物が落ち、患者が傷つき、車が衝突し、ドローンが墜落する。この「判断の物理的帰結」こそが、フィジカルAIをそれ以外のAIと区別する本質的な特徴である。
従来の生成AIや意思決定支援AIの多くは、誤った出力が生じても、直接には情報の誤りや判断支援の誤りとして現れる。これに対し、フィジカルAIでは、AIの判断が移動・接触・停止・加圧といった物理的な動作につながるため、誤判断が物理的被害に直結しうる。さらに、フィジカルAIはリアルタイム性という制約を持つ。自律走行車が障害物を認識してから制動するまでの時間、手術支援ロボットが術者の操作を補正するまでの時間は、ミリ秒単位の判断を要求する場面であり、人間がその都度介在する余地は限られる。

図表1 フィジカルAIの三層構造と物理的帰結
1-2. 従来の産業機械・ロボットとの前提の違い
産業用ロボットは半世紀以上の歴史を持ち、製造業の生産性を根本から変えてきた。しかし、従来の産業用ロボットは、典型的には、あらかじめ教示されたプログラムに従って同じ動作を繰り返す決定論的なシステムとして設計されてきた。想定外の状況には停止することで対応し、安全柵で人間との空間を分離し、接触そのものを防ぐ設計が基本だった(近年は協働ロボットのように同一空間での作業を許容する設計も普及しつつあるが、それも事前に定義された動作範囲内での動作という性質は維持されている)。
フィジカルAIはこの前提を大きく変える。学習によって環境に適応し、人間と同じ空間で協働し、教示されていない状況でも判断して動作しうる。この変化は、従来の産業用ロボットの延長線上にある側面を持ちながらも、AIが判断層に入り、動的環境に応じて行動を選択しうる点で、安全設計上の前提を大きく変えるものである。
この前提の違いは、既存の安全規格に根本的な問いを突きつけている。機能安全の国際規格であるIEC 615085やその関連規格はいずれも「システムの動作が事前に特定・検証できる」ことを前提として設計されている。AIが判断層に入ると、この前提をそのまま適用するだけでは十分に扱いきれない局面が生じる。この限界に対応するための国際標準化の動きはすでに始まっているが(第3章で論じる)、フィジカルAI全体を包括する枠組みには至っていない。次章以降で論じるフィジカルAI特有の問いは、この安全設計上の前提の違いを出発点としている。
|
比較軸 |
従来の産業用ロボット |
フィジカルAI |
|---|---|---|
|
動作原理 |
決定論的。あらかじめ教示されたプログラムに従い、同じ動作を繰り返す。 |
学習適応的な要素を持つ場合がある。環境からの学習や推論により、教示されていない状況でも判断して動作しうる。 |
|
想定外への対応 |
停止することで対応するのが基本。 |
学習結果や推論結果に基づき判断・動作を継続する場合がある。学習データに含まれない状況で予期しない動作が生じうる。 |
|
人間との空間関係 |
安全柵で人間と空間を分離し、接触そのものを防ぐ設計が基本。(協働ロボットは事前定義された動作範囲内で同一空間作業を許容) |
人間と同じ空間で協働することを前提とする形態がある。物理的接触を伴う形態も存在する。 |
|
事前検証可能性 |
動作範囲・対象物・環境条件が定義され、想定リスクの体系的列挙が可能。 |
動作環境の組み合わせが多様で、AIの判断は学習データや運用環境に依存する。事前の網羅的検証が現在の技術では困難となる場合がある。 |
|
既存安全規格との整合 |
IEC61508等の機能安全規格の前提と整合。「システム動作が事前に特定・検証できる」前提に立つ。 |
AIの確率的・非決定論的な動作により、既存規格の前提をそのまま適用するだけでは十分に扱いきれない局面が生じる。この変化は、従来の延長線上の改良というよりも、安全設計上の前提を大きく変える性格を持つ。 |
- 5. IEC 61508「電気・電子・プログラマブル電子安全関連系の機能安全」は、安全関連系の設計・評価に関する基幹的な国際規格であり、自動車(ISO 26262 Road vehicles — Functional safety)・医療機器(IEC 62304 Medical device software — Software life cycle processes)・機械安全(ISO 13849 Safety of machinery — Safety-related parts of control systems)等の分野別機能安全規格の基礎となる一般的な機能安全規格として参照されている。これらの規格体系はいずれも、システムの故障モードと安全機能が事前に特定・検証できることを基本とする設計思想に立っており、AIの確率的・非決定論的な動作をどのように扱うかは、現在も課題として認識されている。
第2章 フィジカルAIが生む特有の論点
フィジカルAIが生む特有の問いは、大きく二つの層に分けられる。第一は、フィジカルAIが「人間の身体・感情」や「人間が存在する空間」と直接関わることで生じる「人間との接点」の問題である。第二は、AIが判断層に入り物理空間に作用するという特性から生じる「システム設計と制度」の問題である。これらの問いは、全てのフィジカルAIに同じ強度で当てはまるわけではないが、AIの出力が物理的な作用に直結し、人間や社会環境に影響を及ぼす場面で特に顕在化する。現時点では、これらを横断的に扱う法制度・規格・研究の整備がいずれも端緒についた段階にある。
2-1. 人間との接点の問題
身体への接触
フィジカルAIの中には、人間の身体に直接接触するものがある。手術支援ロボット・介護ロボット・リハビリテーション支援機器・装着型デバイスがその代表的な例である。これらは人間と同じ空間で動作するだけでなく、人間の身体に触れ、力を加え、動作を補助・代替する。
ロボットが人間の身体に触れるとき、従来の多くのAIには直接的には存在しなかった問いが生じる。物理的な接触への同意はどのように取得されるべきか。接触の強さ・位置・タイミングについて、AIの判断と本人の意思が乖離した場合どう扱うか。また、身体接触を伴うフィジカルAIが収集するデータ(筋電位・体温・心拍・体重移動など)は、行動データとは異なる性質の機微情報を含みうる。
さらに、身体への接触という経験は、文化・個人・文脈によって受容のあり方が大きく異なる。高齢者介護の現場では、認知機能の低下した被介護者の「同意」をどのように捉えるかという問いもある。
身体への接触がさらに深化した形態として、BMI(Brain-Machine Interface:脳と機械を接続し、脳活動や神経信号を用いて機械の操作等を可能にする技術。別称:Brain-Computer Interface / BCI)とフィジカルAIの組み合わせが挙げられる。脊髄損傷等により身体に障害のある人の身体性を代替・拡張するこの技術では、AIが脳波・神経信号を解析・補完・学習しながらロボットを制御する6。センシングの対象が外部環境だけでなく本人の神経・生体信号にまで及ぶため、身体接触と機微データの問いはまったく異なる次元に引き上げられる。脳波・神経信号は個人情報・生体情報・医療情報として扱われ得る一方、一定の条件下での運動意図や状態の推定、AIの継続的学習によるユーザーごとのリスクプロファイルの変化といった神経データ固有の問題については、現行の個人情報保護法制において十分に具体化されていない。センシングの対象が本人の神経・生体信号にまで及ぶことで、身体接触と機微データの問いは、従来の個人情報保護や医療情報管理だけでは捉えきれない複合的な問題となる。
こうした身体への接触の深化と、それに伴う機微データの拡張を整理すると、図表3のようになる。

図表3 身体への接触の深化と機微データの拡張
センシングとプライバシー
フィジカルAIは環境を認識するためにセンサーを必要とする。センシングとプライバシーの問いは、全てのフィジカルAIに等しく該当するわけではない。工場内の溶接ロボットや農業用収穫ロボットのように、人間が存在しない環境で動作するフィジカルAIでは重要性が低い。本節で論じる問いは主として、人間と接する環境で動作し、かつセンシングデータが個人の識別・推定に関わりうるフィジカルAIに適用される。
配膳ロボットや案内ロボットのような既存のサービスロボットもカメラ・センサーを持ち、人間の周囲を移動する。これ自体はすでに広く普及しており、多くの場合、センシングの主たる目的は障害物回避・経路案内等に置かれている。ただし、保守、遠隔監視、事故解析、サービス改善等の目的でログやデータが保存される場合もあり、全てが即時処理・即時破棄に限定されるわけではない。フィジカルAIのセンシングが新たな問いを生む理由は三点ある。
第一は、センシングデータの用途の拡張である。既存のサービスロボットのセンシングは主目的が障害物回避・経路案内等に限定され、取得データについても即時処理・短期保存・限定利用を前提とする設計が多い。これに対し、フィジカルAIではセンシングデータがAIの学習・更新、性能改善、事故解析等に使われる可能性があり、データの用途が設計時の想定を超えて拡張しうる。
第二は、複数センサーの組み合わせによる再識別リスクである。フィジカルAIはカメラ・LiDAR・GPS・加速度センサーなど複数のセンサーを組み合わせて環境を精緻に認識する。個別には問題にならないデータが組み合わさることで、特定の個人の識別・行動パターンの推定が可能になるリスクがある。
第三は、センシングと物理的作用の結合である。既存のサービスロボットにおいてもセンシング結果は移動や停止などの動作制御に用いられるが、その多くは障害物回避や経路制御など、あらかじめ限定された機能の範囲で利用される。これに対し、フィジカルAIではセンシングデータが身体への接触・力の加減、移動経路の選択、物理的な介入の根拠となる場合がある。センシングの誤りが物理的危害に直結しうるという点で、単なるデータ取得や限定的な動作制御とは質が異なる。
こうした差分を踏まえると、センシングデータの取り扱いは大きく三つに分類できる。なお、静置カメラについては「カメラ画像利活用ガイドブックver.3.0」がユースケース別の整理を提示しているが7、同ガイドブックは移動するフィジカルAIのセンシング形態を直接対象とするものではない。そのため、本稿では以下のように整理する。
第一は即時処理・即時破棄である。取得したデータを判断に使用した後、直ちに破棄する。個人を特定するデータが蓄積されないため、プライバシーリスクは相対的に低い。
第二は特徴量のみの保持である。元の画像・映像は即時破棄するが、人の形・距離・速度・骨格などの特徴量データを抽出して保持する。元データがなくても特徴量から個人が再識別される可能性があり、プライバシーリスクは取得する特徴量の性質と保持期間によって変わる。
第三は原データ保存である。事故時の原因究明・法的証拠・AIモデルの再学習のための教師データ収集など、さまざまな目的で画像・映像そのものを保存する。個人情報保護法上の個人データとしての管理が求められる可能性が高い。
同一のフィジカルAIシステムが、これら複数の取り扱いを並行して行う場合もある。安全のための即時処理と、改善のための蓄積が同じシステムで行われるとき、利用者にとってその境界は見えにくい。どのデータがどの目的でどのように扱われるかを明確にする設計上の要請が生じる。
- 7. センシングデータの利活用に際した実務的な配慮事項の枠組みとして、IoT推進コンソーシアム・総務省・経済産業省「カメラ画像利活用ガイドブックver.3.0」(2022年3月)が参照される。同ガイドブックは静置カメラを対象に、撮影目的の明確化・事前告知・データの最小化・保存期間の制限等をユースケース別に整理している。移動するフィジカルAIのセンシング形態を直接対象とするものではないが、センシングデータの取り扱いを検討する際の基本的な考え方の出発点として参照しうる。
- 「カメラ画像利活用ガイドブックver3.0」(経済産業省)別ウインドウで開く
- 「カメラ画像利活用ガイドブックver3.0」の公表(総務省)別ウインドウで開く
ヒューマノイドロボットが開く問い
将来的な論点として、外見・動作・声・表情が人間と区別しにくい人間酷似型のヒューマノイドロボット(以下、「ヒューマノイドロボット」という)に、フィジカルAIの判断・学習能力が組み合わさるとき、身体接触・センシングという次元を超えた問いが生じうる。
人はそのような存在に感情的な愛着を持ちやすい。人間に似た外見・動作を持つ存在に対して人は人間と同様の感情的反応を示す傾向があることが、心理学の研究から知られている8。ヒューマノイドロボット型フィジカルAIとの長期的な関わりは、利用者に強い愛着をもたらす可能性があり、それはやがて心理的な依存へと深化しうる。
同時に、ヒューマノイドロボット型フィジカルAIは利用者の行動・感情・選好を継続的に学習する。利用者の脆弱性を最もよく知る存在が、最も人間に近い形で日常に存在するとき、その影響力は従来のどのような技術とも異なる性質を持ちうる。これは単なる「便利な道具への依存」ではなく、人間関係の代替・あるいは人間関係そのものの変容という問いになる可能性がある。
さらに、外見・言動が人間と区別できないフィジカルAIが社会に存在するとき、「目の前の存在が人間かAIか」という問い自体が日常的に生じる。これは先に論じた身体接触の同意とセンシングとプライバシーの問いを根本から変える可能性を持つ。目の前の存在がAIであると認識していなければ、同意の概念も、プライバシーへの配慮も、その前提が崩れる。
現時点では、ヒューマノイドロボット型フィジカルAI特有の身体接触・センシング・心理的依存・人間との識別困難性を包括的に扱う専用の法制度・倫理的枠組みは十分に整備されていない。技術の進展が議論を先行している状況であり、ここでは問いを示すにとどめる。
- 8. 人間に似た外見・動作を持つ存在への社会的・感情的反応については、Reeves, B. & Nass, C., "The Media Equation: How People Treat Computers, Television, and New Media Like Real People and Places" (CSLI Publications / Cambridge University Press, 1996 ISBN 978-1-57586-052-7)が古典的研究として参照される。同書はコンピュータやメディアを社会的存在として扱う傾向を一連の実証研究で示し、後に「Computers Are Social Actors(CASA)」パラダイムへ展開された。また、人間に酷似した存在への独特な心理的反応(外見が人間に近づくほど親近感が高まるが、ある閾値を超えると逆に不気味さを感じるという現象)については、森政弘「不気味の谷」(『エネルギー』第7巻第4号、pp.33-35、1970年)が古典的指摘として知られている。英訳:Mori, M., MacDorman, K. F., & Kageki, N., "The Uncanny Valley [From the Field] " (IEEE Robotics & Automation Magazine, Vol.19, No.2, pp.98-100, 2012. doi: 10.1109/MRA.2012.2192811))
- Reeves, B. & Nass, C., "The Media Equation: How People Treat Computers, Television, and New Media Like Real People and Places" (CSLI Publications / Cambridge University Press, 1996 ISBN 978-1-57586-052-7)別ウインドウで開く
- Mori, M., MacDorman, K. F., & Kageki, N., "The Uncanny Valley [From the Field] " (IEEE Robotics & Automation Magazine, Vol.19, No.2, pp.98-100, 2012. doi: 10.1109/MRA.2012.2192811))別ウインドウで開く
2-2. システム設計と制度の問題
本節で論じる四つの問いは独立していない。SafetyとSecurityの構造的相互依存は、フィジカルAI全体を取り巻く基礎的な問題であり、その上で、動的環境における事前リスク特定の困難、許容不可能なリスクをめぐる合意形成、責任の分界点という問いが相互に連動して生じる。
(1)SafetyとSecurityの構造的相互依存
SafetyとSecurityは規格体系や実務上、長らく別個の問題として整理されてきた。Safetyは偶発的な故障や誤動作から人・環境を守ることを指し、IEC/ISO Guide 51においては「許容不可能なリスクがないこと」と定義される9。Securityは意図的な攻撃や悪用からシステムを守ることを指し、IEC TS 62443-1-1においてはサイバー脅威からシステムを保護する能力として整理される10。近年は両者を統合的に扱う試みも進んでいるが、設計・管理・規格体系のいずれにおいても、両者はなお個別の枠組みとして扱われる場面が多い。
フィジカルAIはこの独立性を崩す。Safetyの観点からは、AIが判断層に入ることで偶発的な誤動作・誤判断が物理的危害を引き起こすリスクが常に存在する。これはネットワーク接続の有無に関わらず、フィジカルAIに共通する問いである。Securityの観点からも、フィジカルAIは従来のシステムとは異なる脆弱性を持つ。ネットワーク接続を通じたサイバー攻撃だけでなく、製造・流通段階でのサプライチェーン攻撃による悪意あるコードの埋め込み、センサーへの物理的な妨害(カメラへのレーザー照射、LiDARへの干渉等)など、攻撃の経路は多岐にわたる。フィジカルAIが物理空間に作用するシステムである以上、これらの攻撃は直接的な物理的危害につながりうる。
両者の相互依存はさらに深い構造を持つ。フィジカルAIのSafetyを確保するためには、システムの状態・センサーデータ・判断ログを継続的に監視する必要がある。しかしその監視の仕組み自体がSecurityリスクの対象になりうる。安全のための設計がそのまま攻撃の手がかりになるという逆説が生じる。
- 9. IEC/ISO Guide 51:2014「Safety aspects — Guidelines for their inclusion in standards」。SafetyをFreedom from unacceptable risk(許容不可能なリスクがないこと)と定義しており、安全に関連する国際規格全般の基礎文書として参照される。リスクアセスメントとリスク低減のプロセスを体系化したISO 12100とともに、機械安全・製品安全の設計思想の根幹をなす。
- 10. IEC TS 62443-1-1:2009は産業用オートメーション・制御システム(IACS)のサイバーセキュリティに関する国際規格群IEC 62443の第1部として、用語・概念・モデルを定義している。産業用システムのセキュリティ設計・評価の基盤規格として国際的に参照されており、フィジカルAIが産業現場に組み込まれる際の参照枠組みの一つとなりうる。
(2)動的環境における事前リスク特定の困難と品質保証の限界
SafetyとSecurityの相互依存は、リスクを独立した問題として事前に特定・評価するという従来の安全設計の枠組みに根本的な問いを投げかける。加えて、AIが判断層に入り動的な環境で動作するという特性そのものが、事前のリスク特定をさらに困難にする。
従来の安全設計は「リスクを事前に識別・評価し、許容できないリスクを排除する」という考え方に立つ。工場内の産業用ロボットであれば、動作範囲・対象物・環境条件が定義され、想定されるリスクを体系的に列挙することができる。フィジカルAIが一般環境で動作するとき、この前提が成立しにくくなる。自律走行車が走行する道路環境・歩行者の行動・気象条件・他車両の動態は無数の組み合わせを持つ。AIは学習データに基づいて判断するため、学習データに含まれない状況では予期しない動作をする可能性があり、この予期しない動作がいつ・どのような状況で生じるかを事前に特定することは、現在の技術では困難である。
事前のリスク特定が困難であれば、従来の品質保証の枠組みも機能しにくくなる。従来の品質保証は出荷時点の品質を証明するという静的な概念として設計されてきた。フィジカルAIはモデルの更新・学習データの追加によって出荷後も性質が変化しうるため、この枠組みをそのまま適用することには限界がある。「品質保証が困難」という技術的問題は、そのまま「出荷後の変化に誰がどのように責任を持つか」という制度的問題につながる。
(3)許容不可能なリスクの合意形成困難
事前のリスク特定が困難であるとき、「何が許容不可能なリスクか」という問いに答えることも困難になる。
フィジカルAIでは、判断の誤りが身体的危害・死亡・構造物の損壊といった回復不能な被害をもたらしうる。回復不能な被害に対して「どこまでなら許容できるか」という社会的合意を形成することは、デジタルリスクの場合よりはるかに困難である。
自律走行車が歩行者と衝突する確率はどこまで下げれば「許容可能」か。手術支援ロボットの誤動作率はどの水準であれば医療現場への導入が認められるか。配送ドローンの落下リスクはどの程度であれば住宅街での運用が認められるか。これらは技術的な問いであると同時に、社会が何を許容するかという価値的・政治的な問いである。
さらに、同意した利用者と、同意なく影響を受ける第三者では、許容水準の考え方が異なる可能性がある。工場内で協働ロボットとともに働く作業者は一定の説明を受けた上で就労するが、公道を歩く歩行者は自律走行車のリスク設計に関与していない。誰が「許容」の主体になりうるかという問いも残る。
(2)および(3)を整理すると、従来の安全・品質保証の枠組みでは、リスクを事前に特定し、許容不可能なリスクを排除したうえで出荷時点の品質を保証することが前提となっていたのに対し、フィジカルAIでは、動的環境、未学習データ、モデル更新によってその前提が揺らぐ。この構造を示したものが図表4である。

図表4 従来の安全・品質保証の枠組みとフィジカルAIにおける前提の揺らぎ
(4)責任の分界点
リスクの所在が不明確であるとき、責任の所在も不明確になる。
フィジカルAIのシステムには少なくとも五つの主体が関与する。AIモデルを開発するモデル開発者、フィジカルAIシステムを設計・製造するシステム設計者・製造者、そのシステムを現場に導入・運用する運用者、フィジカルAIと物理的に接する利用者、そして同意なく影響を受ける第三者である。
事故が生じたとき、誰の責任か。現行の主たる対処枠組みは製造物責任である。日本の製造物責任法は「製造物の欠陥」に起因する損害について製造業者の責任を定める11。しかしフィジカルAIの文脈では複数の問いが生じる。AIモデルの判断そのものは「製造物の欠陥」に該当するか。学習データに起因する誤判断は欠陥か。運用者が推奨された環境外でシステムを使用した場合、責任はどう配分されるか。モデルの更新後に生じた問題の責任は誰が負うか。
また、人間が形式上は監督者であっても、フィジカルAIの判断速度・複雑さ・連続性の前で実質的に介入できない状況が生じうる。実態として判断の余地がないとき、事故の責任を人間に帰属させることの妥当性が問われる可能性がある。
責任の分界点が曖昧なまま社会実装が進むと、被害を受けた者の救済が困難になるだけでなく、設計者・製造者・運用者のいずれにとっても安全への動機づけが弱まるという構造問題が生じうる。
第3章 制度・規格・研究の現状と課題
3-1. 国際規格・責任制度の未成熟と取り組み
フィジカルAIの安全に関わる現行の規格体系は、大きく二つの系統から成る。第一は機能安全の系統であり、IEC 61508を基幹として、自動車向けのISO 26262、医療機器向けのIEC 62304、機械安全向けのISO 13849などの分野別規格が派生している。第二はサイバーセキュリティの系統であり、産業用制御システムを対象とするIEC 62443が代表的である。
これらの規格体系はいずれも、フィジカルAIの登場以前に設計されたという共通の前提を持つ。機能安全規格は決定論的なシステムを前提としており、AIの確率的・非決定論的な動作への対処を想定していない。この前提の限界に対応するため、国際標準化コミュニティでは複数の方向からの取り組みが進んでいる。IEC 61508を起点とするAIの機能安全への適用については、ISO/IEC TR 5469が技術報告書として発行されているが12、規範的な要求事項を定める規格ではなく、現時点での知見整理にとどまる。また、自動車分野では、故障のない正常動作下でも想定外のシナリオから生じる危険に対応する「意図された機能の安全(Safety of the Intended Functionality:SOTIF)」の考え方が、ISO 21448として規格化され、ISO 26262(機能安全)を補完する位置づけを得ている13。SafetyとSecurityの統合という観点では、IEC TR 6306914がフレームワークを提示しているものの、具体的な要求事項への展開は未完である。
センシングとプライバシーの領域では、フィジカルAIを念頭においた規格・ガイドラインは現時点で十分に整備されていない。BMI×フィジカルAIが取得する脳波・神経信号についても、医療機器・個人情報保護・安全規格等の既存の枠組みが部分的に関わり得るものの、神経データの継続的学習、身体制御、物理的作用を一体の問題として扱う包括的な枠組みは未整備である。
責任の制度的配分についても、整備の途上にある。EUではAI Actを補完する形でAI責任指令(AI Liability Directive)が2022年9月に提案されたが、欧州議会・理事会における合意の見込みが立たないとして欧州委員会が撤回方針を示し、2025年10月に正式撤回された15。一方で、EUでは2024年に改正製造物責任指令が成立しており、ソフトウェア等を製品責任制度の対象に含めるなど、製品責任制度の現代化が進められている16。もっとも、同指令は欠陥製品責任の枠組みを更新するものであり、AIシステムに起因する損害について、因果関係、欠陥又は過失の判断、説明困難性をどのように扱うかという民事責任上の課題が全て解消されたわけではない。日本の製造物責任法は「製造物の欠陥」を責任の根拠とするが、継続的に更新されるソフトウェアを主要な構成要素とするフィジカルAIへの適用は、「製造物」概念との整合という問いを含む。
こうした未成熟な領域に対して、規格開発コミュニティの中で問題の自覚と対応の動きが始まっている。EUの機械規制(Machinery Regulation)17は、機械学習アプローチを用いて安全機能を確保する、自己進化的な挙動を持つ安全コンポーネント等を明示的に対象に含めており、フィジカルAIを含む自律型機械が機械安全規制の射程に入ることを示した点で、従来の機械安全規格から一歩踏み込んだものと言える。また、ヒューマノイドロボットの標準化に向けたパスウェイ研究(IEEE/ASTM)では、現行の標準枠組みはヒューマノイドの動作特性や人間との複雑な相互作用には対応していないことが明示され、次のフェーズを導く知見と勧告の枠組みとして提示されている18。
品質保証の問いに対しても、技術面からの取り組みが始まっている。AIシステムの動的な動作に対応するための実行時安全性検証(runtime safety verification)の研究が進んでおり、事前の網羅的な検証が困難であるならば、運用中にリアルタイムで安全性を監視・保証するという考え方が模索されている。また、FDAが医療機器を対象に導入した「Predetermined Change Control Plan(事前変更管理計画)」は19、更新を事前に計画・届出することで継続的な安全性を担保しようとする考え方であり、動的な品質保証への一つのアプローチとして注目される。ただしフィジカルAI全般を対象とした枠組みは確立していない。
- 12. ISO/IEC TR 5469:2024「Artificial intelligence — Functional safety and AI systems」(2024年1月発行)。IEC 61508等の機能安全規格とAIシステムの接合に関する技術的考察を整理した技術報告書(Technical Report)。「TR」と付く文書は規格(Standard)ではなく情報提供を目的とした参考文書であり、適合性評価の基準にはなりえない。AIシステムの機能安全適用に関する包括的な要求事項を定める規格の整備は今後の課題として残っている。別ウインドウで開く
- 13. ISO 21448:2022「Road vehicles — Safety of the intended functionality」。ISO 26262が「故障に起因する危険」を対象とするのに対し、ISO 21448は「意図された機能そのものに起因する危険」、すなわち故障がなくとも想定外のシナリオで生じうる危険(センサーの認識誤り、AIアルゴリズムの限界、予期しない使用条件等)を対象とする。両者を組み合わせることで、自動運転を含む自律機能の安全設計に必要な枠組みを構成する。なお、北米発の規格としては、UL 4600(Standard for Safety for the Evaluation of Autonomous Products、2020年初版、2022年改訂、2023年第3版(自律トラック対応を追加))がある。自律システム全般を対象として、事前の網羅的検証が困難な動作特性を前提とし、安全ケース(Safety Case)アプローチによって安全性を論証する枠組みを提示している点で、従来の機能安全規格とは異なる発想に立つ規格として参考になる。
- 14. IEC TR 63069:2019「Industrial-process measurement, control and automation --- Framework for functional safety and security」。機能安全(Safety)とサイバーセキュリティ(Security)を統合的に扱うための枠組みを示す技術報告書(Technical Report)。両概念の関係性を整理したフレームワーク文書であり、具体的な要求事項・評価方法を規定する規格(Standard)には至っていない。両者を統合的に扱う実務的な規格の整備は未完の課題として残っている。別ウインドウで開く
- 15. 欧州委員会は2022年9月にAI責任指令案(COM/2022/496 final)(原案)を提案した。AIシステムに起因する損害についての民事責任に関して、因果関係の立証負担を緩和する「過失推定」の仕組みを含んでいたが、欧州議会・理事会における合意の見込みが立たないとして、欧州委員会は2025年に撤回方針を示し、2025年10月6日付欧州連合官報(C/2025/5423)をもって正式撤回された。AI Actが定める予防的義務との組み合わせで被害者救済をどう確保するかは、引き続きEUの課題として残っている。別ウインドウで開く
- 16. Directive (EU) 2024/2853 of the European Parliament and of the Council of 23 October 2024 on liability for defective products and repealing Council Directive 85/374/EEC. 同指令は、デジタル時代に対応した製品責任制度の現代化を目的とし、ソフトウェア等を製品責任制度の対象に含めるものである。別ウインドウで開く
- 17. Regulation (EU) 2023/1230(欧州議会及び理事会規則、2023年6月14日)。旧機械指令(Directive 2006/42/EC)を廃止・代替する規制として2023年6月に公布され、2027年1月20日から適用される。同規則は、機械学習アプローチを用いて安全機能を確保する、完全または部分的に自己進化する挙動を持つ安全コンポーネント等を明示的に扱っており、フィジカルAIを含む自律型機械の規制上の取り扱いを明確化する動きとして位置づけられる。EU AI Actとの関係においては、機械安全(本規制)とAIリスク管理(AI Act)の重複適用の整理が課題となっている。別ウインドウで開く
- 18. IEEE Humanoid Study Group, "A Pathway Study for Future Humanoid Standards" (2025年9月公表) 本報告書はIEEE Robotics and Automation Society(RAS)の傘下に組成されたStudy Groupの最終報告書であり、規格そのものではなく、今後の標準化開発に向けた知見整理とロードマップを提示するものである。Study GroupのリードはASTM Internationalロボティクス・自律システム部門のAaron Prather氏が務め、産業界・学術界・規制当局から60〜70名超の専門家が参画した。報告書全文はResearchGate等で公開されている。別ウインドウで開く
- 19. FDAは2021年1月に「Artificial Intelligence and Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan」を公表し、AIを含む医療機器ソフトウェアの更新を事前に計画・届出することで承認後の変更を効率的に管理しつつ継続的な安全性を担保するPredetermined Change Control Plan(PCCP)の概念を提唱した。その後ガイダンス整備が進み、2024年12月に最終ガイダンス「Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence-Enabled Device Software Functions」が発行されている。フィジカルAI全般を対象とした同様の枠組みは確立していない。
- 「Artificial Intelligence and Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan」別ウインドウで開く
- 「Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence-Enabled Device Software Functions」別ウインドウで開く
3-2. 各国のアプローチ
フィジカルAIの社会実装に向けた制度整備の優先順位と速度は、各国・地域の産業政策・法体系・社会的価値観によって大きく異なる。
EUは、相対的に規制先行型のアプローチをとっており、機械規制・AI Actを通じてフィジカルAIを段階的に規制の枠組みに組み込もうとしている。もちろんEUもイノベーション支援を重視しているが、制度設計の特徴としては、リスク管理を明示的に制度化し、規制の整備を技術の普及と並行又は先行して進める傾向がある。
米国は分野別規制と市場主導の組み合わせであり、医療機器・自動車といった特定分野では規制整備が進む一方、フィジカルAI全般を対象とした包括的な枠組みは十分に確立していない。FDAのPredetermined Change Control Planのように、特定の問いに対して実用的なアプローチを先行して開発する傾向がある。
日本はイノベーション重視・ソフトロー中心のアプローチをとっており、人工知能基本計画においてフィジカルAIを「日本の勝ち筋」と位置づけながら、ガバナンスの整備は並行して模索している段階にある。
中国は政策・資本・技術が三位一体となった産業育成を優先するアプローチをとっており、工業和信息化部は2023年に「人形机器人创新发展指导意见」(ヒューマノイドロボット革新発展指導意見)を発表し、2027年までに総合的実力を世界先進水準に到達させることを目標に掲げた20。安全ガバナンスの整備については自動車AIなど分野別の対応が進みつつあるが、フィジカルAI全般を対象とした包括的な枠組みは十分に確立していない。2025年4月に北京市で開催されたヒューマノイドロボットと人間が共走するハーフマラソン大会では、完走したロボットが一部にとどまり、転倒・過熱・人間による介入が報じられるなど、実環境での安定性や自律性に課題が残ることが示された21。社会実装の速度と技術・制度の成熟度の間には依然として差があることを示す事例と言えよう。
このように、フィジカルAIの社会実装に向けた各国のアプローチは一様ではない。国際的な標準化・ガバナンスの枠組みを構築する上では、こうしたアプローチの差異をどう調整するかという問いも避けては通れない。
|
国・地域 |
基本アプローチ |
主な政策・制度 |
フィジカルAIへの接続 |
代表的論点・到達点 |
|---|---|---|---|---|
|
EU |
規制先行型 |
EU AI Act、機械規制 |
・一定の車両・医療機器等に組み込まれるAIや安全コンポーネントを高リスクAIシステムとして規制対象化 |
AI責任指令案は2025年10月6日付官報で正式撤回。被害者救済の制度設計が引き続き課題 |
|
米国 |
分野別規制+市場主導 |
FDA AI/ML SaMD Action Plan、FDA PCCP(事前変更管理計画)最終ガイダンス |
・医療機器分野でPCCPを制度化 |
特定分野で実用的アプローチを先行開発。フィジカルAI全般を対象とする包括的枠組みは十分に整備されていない |
|
日本 |
イノベーション重視・ソフトロー中心 |
人工知能基本計画 |
・フィジカルAIを「日本の勝ち筋」と位置づけ、研究開発・実証・社会実装を国家方針として明示 |
社会実装促進の方針は明確化されたが、ガバナンス整備は並行模索段階 |
|
中国 |
産業育成優先 |
工信部「人形机器人创新发展指导意见」 |
・2025年~2027年の段階目標を設定 |
2025年4月の北京ハーフマラソンで完走は一部にとどまり、実環境での安定性・自律性が課題。包括的安全ガバナンスは未確立 |
- 20. 工業和信息化部「人形机器人创新发展指导意见」(工信部科〔2023〕193号、2023年10月20日付、2023年11月2日公布)。指導意見は「谋划三年、展望五年(3年を計画し、5年を展望する)」の時間軸で目標を設定している。2025年目標として整機製品の国際先進水準への到達と量産化・示範応用を、2027年目標として「综合实力达到世界先进水平(総合的実力の世界先進水準への到達)」と産業の規模化発展加速を掲げている。別ウインドウで開く
- 21. 2025年4月に北京で開催されたヒューマノイドロボットのハーフマラソン大会では、21体のロボットが参加し、完走は6体にとどまったと報じられている。転倒、過熱、バッテリー交換、人間による介入等も報じられており、実環境における安定性・自律性の課題を示す事例として参照できる。WIRED, “Stumbling and Overheating, Most Humanoid Robots Fail to Finish Half Marathon in Beijing” (April 19, 2025) 別ウインドウで開く
3-3. 学術的議論の進展
本稿で論じた課題群に対して、学術的な観点からガバナンス構築に向けた取り組みが始まっている。
その一つが「Science for Robot Policy」という考え方である。サービスロボットの急速な進展が規制枠組みを追い抜いている現状を踏まえ、科学的実験・ステークホルダー関与・知識の橋渡しを統合した構造化されたエビデンス駆動型モデルによって、ロボット政策に関連するデータを生成し実行可能な規制的知見に変換しようとするアプローチが提唱されている22。これはフィジカルAIのガバナンス構築において、技術の進展に規制が後追いするという構造を変えようとする試みとして位置づけられる。
また、フィジカルAIの物理的リスク・情報リスク・社会的リスク・経済的リスクという四次元でリスクを体系化し、各リスクに対応する政策的アプローチを整理しようとする提案も見られる23。これはプレプリント段階の議論ではあるが、リスクの類型化という観点から、制度設計上の論点を整理する手掛かりとなりうる。
人間とロボットの協働という観点では、欧州の倫理の専門家30名が参加した協働設計プロセスを通じて、人間の尊厳・責任・安全・GDPRの原則・非偏向のML/AIデータ・人間のレジリエンスという六つの倫理原則からなる人間とロボットの協働のための倫理的枠組みが提案されている24。これは技術・規制にとどまらず、倫理の観点からフィジカルAIのガバナンスを論じようとする試みである。
これらの学術的アプローチはいずれも「問いの存在を自覚し、解答を探り始めた段階」にある。確立した枠組みには至っておらず、フィジカルAIの社会実装の速度に比して、制度的・学術的な備えは依然として後を追う状況にあると言えよう。
- 22. Fosch-Villaronga, E., Shaffique, M. R., Schwed-Shenker, M., Mut-Piña, A., van der Hof, S., & Custers, B., "Science for Robot Policy: Advancing robotics policy through the EU science for policy approach," (Technological Forecasting and Social Change, Vol. 218 , Article 124202, 2025. doi: 10.1016/j.techfore.2025.124202.)別ウインドウで開く
- 23. Perlo, J. et al., "Embodied AI: Emerging Risks and Opportunities for Policy Action," arXiv:2509.00117,2025年8月28日投稿。本文献は査読を経た正式出版版ではなく、プレプリント共有基盤arXiv上で公開されたディスカッション・ペーパーであり、本稿では確立した知見としてではなく、政策論点を提起した研究として参照している。なお、論文では”Embodied AI(EAI)”という用語を使用しており、本稿の"フィジカルAI"と実質的に同義である。リスクの四次元分類はphysical(物理的)、informational(情報的)、social(社会的)、economic(経済的)である。別ウインドウで開く
- 24. Callari, T. C., Vecellio Segate, R., Hubbard, E.-M., Daly, A., & Lohse, N., "An ethical framework for human-robot collaboration for the future people-centric manufacturing: A collaborative endeavour with European subject-matter experts in ethics," Technology in Society, Vol. 78, Article 102680, 2024. doi: 10.1016/j.techsoc.2024.102680.別ウインドウで開く
おわりに——問いの整理として
本稿が示したこと
フィジカルAIの社会実装は急速に進んでいる。日本の人工知能基本計画(2025年12月閣議決定)はフィジカルAIを「日本の勝ち筋」の一つと位置づけ、研究開発・実証・社会実装の促進を国家方針として掲げた。しかし、社会実装の推進と制度的な備えは必ずしも同期していない。
本稿は、フィジカルAIの社会実装に向けた論点を二つの層で整理した。
第一の層は「人間との接点」の問題である。身体への接触は、同意・機微データ・文化的受容という多層の問いを含む。BMI×フィジカルAIはその最も深化した形態として、脳波・神経信号の取り扱い、一定の条件下での運動意図や状態の推定、継続的学習によるユーザーごとのリスクプロファイルの変化といった、現行法制上なお十分に具体化されていない問いを含む。センシングとプライバシーについては、既存のサービスロボットとの差分を踏まえた上で、センシングデータの三類型と既存枠組みの構造的限界として論じた。ヒューマノイドロボットが開く問いは、身体接触とセンシングの問いを根本から変える可能性を持つ将来的な論点として位置づけた。
第二の層は「システム設計と制度」の問題である。SafetyとSecurityの構造的相互依存は、フィジカルAI全体を取り巻く基礎的な問題であり、その上で、動的環境における事前リスク特定の困難と品質保証の限界、許容不可能なリスクの合意形成困難、責任の分界点という問いが、相互に連動して生じる。これらはいずれも、従来の安全設計・法制度の前提が成立しにくくなるという点で共通している。
これらの問いに対する制度・規格・研究の現状は、国際規格・責任制度の未成熟と取り組み、各国アプローチ、学術的知見の蓄積という三つの観点から論じた。特に、出荷後に更新されるシステムの品質保証、第三者を含む許容リスクの決定、事故時の責任分界、センシング・神経データ・身体制御を横断するデータガバナンスについては、なお整理すべき課題が残る。フィジカルAIの社会実装の速度に制度的な備えが追いついていない状況は各国共通の課題であり、国際的な議論が緒についた段階にあると言えよう。
本稿の限界
本稿で論じた各論点は、それぞれ独立した研究課題になりうる。SafetyとSecurityの統合は規格工学の問い、動的環境でのリスク特定と品質保証は安全工学の問い、センシングとプライバシーの緊張は法学・情報科学の問い、身体への接触は倫理学・社会学の問い、責任の分界点は法学の問いとして、それぞれ深く掘り下げられるべきものである。本稿はその整理を示したに過ぎず、各論点の解答は今後の課題として開かれたままである。
また、フィジカルAIの技術・市場・制度は急速に変化しており、本稿の論点整理は現時点のスナップショットである。技術・制度の進展に応じた継続的な更新が求められる性質のものであることをあらかじめ断っておきたい。
フィジカルAIの社会実装に向けた問いは、技術・法制度・安全工学・倫理にまたがる横断的なものである。AIが判断層に入ることで、既存の安全規格・法制度・品質保証の全て前提を問い直す必要が生じる。その問いへの答えは、技術・安全工学・法制度・倫理が連携して設計されるほかにない。社会実装と制度整備を可能な限り同期させることは、フィジカルAIが社会的信頼を得ながら普及していくための重要な条件となる。その同期を実現するための問いを、本稿は整理した。
本内容は、筆者自身の調査分析に基づく個人的見解で、JIPDECの公式見解を述べたものではありません。
著者情報
- 著者
- JIPDEC 電子情報利活用研究部 次長 松下 尚史
青山学院大学法学部卒業後、不動産業界を経て、2018年より現職。経済産業省、内閣府、個人情報保護委員会の受託事業に従事するほか、G空間関係のウェビナーなどにもパネリストとして登壇。その他、アーバンデータチャレンジ実行委員。
実施業務:
・自治体DXや自治体のオープンデータ利活用の推進
・プライバシー保護・個人情報保護に関する調査
・ID管理に関する海外動向調査
・準天頂衛星システムの普及啓発活動 など

関連レポート
-
2026.06.12
JIPDECレポート公開「フィジカルAIの社会実装に向けた論点の整理~安全・プライバシー・責任をどう確保するか~」(松下 尚史)
-
2026.05.15
JIPDECレポート公開「JIS X 22739:2026 ブロックチェーン及び分散型台帳技術-用語の制定について」(手嶋 洋一)
-
2026.05.12
講演レポート公開【ISO/IEC 42001 認証事例紹介】「生成AIソリューション「LITRON® Generative Assistant」の開発および提供」(株式会社NTTデータグループ 伏田 享平氏)
-
2026.05.12
講演レポート公開【ISO/IEC 42001 認証事例紹介】「AIMSを通じたAIガバナンスの「実装」」(株式会社Godot 鈴井 豪氏)
-
2026.05.12
講演レポート公開「AIMS適合性評価制度の概要」(ISMS-AC 郡司 哲也)