一般財団法人日本情報経済社会推進協会
セキュリティマネジメント推進室　室長　郡司　哲也

• 「IT-Report 2025 Winter」全文はこちらから別ウインドウで開く

2022年にOpenAIがChatGPTをリリースして以降、Google Gemini、Microsoft Copilot、Apple Intelligenceと、立て続けにコンシューマー向けのAIを活用したサービスがリリースされ、AIサービスは私達にとっても身近な存在になったというのは、読者の皆さんも肌で感じられていることだろう。一方で、新しい技術が急激に社会に浸透する時の常で、「これは使って大丈夫なのか？」「某国に個人情報を抜かれるのでは？」等々、利用に躊躇したり、何かしらの規制が必要になるのではないかと感じられる方も少なくないのではないだろうか？

日本でも、2024年4月に「AI事業者ガイドライン」が総務省と経済産業省から公表され、2025年6月には「人工知能関連技術の研究開発及び活用の推進に関する法律」（いわゆる「AI法」）が制定されるなど、AIの利活用に関するルールが整備されてきているところである。

ところで、ChatGPT登場以前に読者の皆さんが思い描いていた「AI」とは、どのようなものだっただろうか？ある人は「ドラえもん」や「鉄腕アトム」のようなヒューマノイド型ロボットに搭載された、ヒトと円滑なコミュニケーションが可能な（あたかも人格を持っているような振る舞いさえする）コンピュータを思い浮かべるかもしれないし、行き先を告げるだけで目的地に連れて行ってくれる無人タクシーや、人体をスキャンするだけで健康状態のチェックや治療、アドバイスまで行ってくれる医療機器を思い浮かべるかもしれないし、昔々、はるかかなたの銀河系で2万以上の言語を操る金ピカのドロイドを…（脱線しそうなので以下略）。ChatGPT登場以前に読者の皆さんが思い浮かべていたAIとは、おおむねこのようなものではないだろうか？

これらに共通するのは、

• コンピュータの内部で動作しているソフトウェア
• 会話によるコミュニケーションが可能で、自律的に動作する
• 現実世界ではまだ実現していないが、フィクション作品の中では具体的に描かれている

という特徴だろう。上記に挙げたフィクション作品に登場するAIは、私達にとって非常に身近で親しみやすく、生活を豊かにするためのパートナーのようなイメージが強い。いわば「良いAI」と言えよう。良いAIは、ヒトに危害を加えないし、不利益を与えないし、より良い選択肢を提供してくれる（主人公の子孫が未来から送り込んだ猫型ロボットの場合、クライアントに相当する小学4年生の不利益になるような振る舞いをしたり、よく考えると違法性すら疑われる不適切行為に及ぶ場合も散見されるが、猫型ロボットに内蔵されたAIに関する議論は別の機会に譲りたい）。

一方で、海外のフィクションの世界に登場するAIには、私達に敵対したり危害を加えたりする例も存在する。

以下、フィクション作品に登場する「悪いAI」について、いくつか例を挙げてみよう。（表1）

いかがだろうか？これらの海外の作品の発表は1960～1980年代と、現在からは40～50年ほど前であるものの、これらの作品の中で起きている事件や事象は、2025年という現実世界の時間軸では、すべて過去の出来事になっている点には注目したい。いずれも映画史上に残る名作であるが、当時の映画製作者の中に、アンチAIの一派がいたに違いない。作品に登場する「悪いAI」は、殺人や地球規模の核戦争の誘発など、非常に恐ろしい存在として描かれている。幸いにして、現実世界では1999年に地球規模の核戦争は起きなかったし、AIに起因する死亡事故も、今のところ起きていないようである。

では、「良いAI」と同じく、「悪いAI」が引き起こした事象の共通項を以下に挙げてみよう。

• 指示よりも自己を優先する
• その結果、利用者の意図しない振る舞いをする
• 最終的に、ヒトに不利益をもたらす振る舞いをする（犯罪（殺人）を犯す）

さて、ここからはフィクション世界に登場した「悪いAI」が作品中で引き起こしたさまざまな事象について、それらを未然に防ぐための策が何かあったのではないか？ AIを開発・提供する側や利用する側としてすべきことは何だったのか？という視点で分析を行ってみたい。対象として、現実世界のAIのすぐ先に現れてもおかしくない存在である「2001年宇宙の旅」に登場するAIであるHAL 9000を題材にする。

読者の皆さんには、もし自分がHAL 9000の開発者だったら？ディスカバリー号にHAL 9000を搭載する技術者だったら？ HAL 9000の協力を得ながら木星探査のミッションを遂行しようとする宇宙飛行士の立場だったら？という想像をしながら読んでいただけると幸いである。

分析にあたっては、「マネジメントシステムが導入されていたら？」という本稿のテーマに基づき、AIマネジメントシステム（AIMS）の国際規格「ISO/IEC 42001（JIS Q 42001）」¹に規定されている要求事項との比較で進めていく。以降の分析を読んでいただくために必要な用語や概念、マネジメントシステムの要求事項等について、規定されている内容の一部を紹介しておく。なお、以下の用語や要求事項の説明は、あくまでも概要やポイントを筆者がサマライズしたものであり、規格文書からの引用ではない点にはご注意願いたい。（表2、３）

【用語定義：AIステークホルダーの役割】

【要求事項：AIMSを構築・運用するための要求事項】

• 1　「JIS Q 42001：2025　情報技術－人工知能－マネジメントシステム」別ウインドウで開く

分析の前に、作品中でHAL 9000に与えられた指令（AIへのインプット）、HAL 9000が出す結論（アウトプット）、アウトプットに従い実行された結果の事象について、時系列でおさらいしておこう。（表4）

以降、AIであるHAL 9000への指令（インプット）とHAL 9000の結論（アウトプット）について、AIMSが導入されていたとしたら何が足りていなかったのか？という視点で分析をしてみた。

ChatGPTに代表される対話型の生成AIをお使いになったことがある読者であれば、インプットの適切性がアウトプットに及ぼす影響に関しては実感いただけるのではないかと思う。期待するアウトプットを得るためには、適切なインプットが必要となる。また、ある程度の試行錯誤（AIとの対話の繰り返し：学習）も重要だろう。HAL 9000の場合、最上位のインプットがクルーに知らされていなかったこと、また知られてはならないこととして設定されていたことが、さまざまな悲劇の原因の一つと言えるかもしれない。視点を変えれば、HAL 9000はインプットに従ってアウトプットを提供したに過ぎず、使う側が使い方を誤ったことにより悲劇が引き起こされた「人災」であるという見方もできる。

HAL 9000への指令（インプット）の適切性に関しては疑問を感じざるを得ない。木星探査や謎の物体の調査という非常に危険が伴うミッションであることを考えても、「期待するアウトプット」を得るためのインプットには、さらなる精査が必要であったはずである、と結論づけたい。木星探査ミッションにAIMSが導入されていたと仮定するならば、HAL 9000に相反する二つのインプットを投入したAI利用者の力量不足、AI目標の曖昧さなどが該当するだろう。具体的には、以下のような事前準備の不足や、根底となる木星探査ミッションにおけるAI方針や目標の曖昧さが存在していた可能性がある。（表5）

なお、本稿を執筆するにあたり、Microsoft Copilotに以下のような質問をしたところ、興味深いアウトプットを得たので紹介しておこう。AIの活用にあたってAIにアドバイスを求めるのも妙な話ではあるが、少なくとも「何が必要だったのか？」「どうすべきだったのか？」を考察するツールとして、本稿執筆にあたり多くの示唆を得られたのは事実である。（表6）

ここでの分析の結論としては、

• ✔　HAL 9000へのインプットがそもそもの悲劇の発端であり、十分に精査され、論理矛盾が生じないような構造としてインプットされることで、期待されるアウトプットが得られた可能性が高いのではないか？
• ✔　インプットを精査するためには、AI利用者としてのある一定以上の力量が必須であり、そのための教育と、力量を有していると評価された者（あるいは、倫理委員会等の集合知）によるインプットの精査が必要だったのではないか？
• ✔　木星探査ミッションにおけるAI利用については、HAL 9000への依存度が非常に高すぎた。ミッションにおけるHAL 9000の利用について、HAL9000の役割や権限についての検討が不十分だったのでないか？

としたい。

次に、HAL 9000の結論（アウトプット）について分析する。映画のストーリーとしては非常に面白いものではあるが、真面目に分析すると、HAL9000の開発チーム（AI開発者）には苦言を通り越して一体何をやっていたのかと言いたくなってしまう。AI利用者の不利益どころか、AI利用者を死に追いやるAIサービスなど言語道断である。設計思想に大きな欠陥があったと一刀両断したい。

ただ、2001年という作品の設定年代を考慮するならば、AI開発者にすべての罪を被せてしまうのも酷かもしれない。日本発信である「人間中心のAI社会原則」²の公表も、OECDによるいわゆる「AI原則」³の採択も、現実世界では2019年に起きたことである。18年前にはそのようなものはまだ存在していなかったから、悲劇が起こってしまったのかもしれない、ということにさせていただこう。

HAL 9000の結論が「期待しないアウトプット」になってしまった点については、少々強引ではあるが、リスクマネジメントが十分ではなかった可能性を指摘したい。

AIMSの大きな特徴として、リスク評価とインパクトアセスメント（影響評価）の実施が要求されている点が挙げられる。宇宙探査の素人である筆者が少し頭を巡らせただけでも、木星探査という特殊なミッションにAIを導入することに対するさまざまなリスクについては、複数挙げることができた。ここでも、試しにMicrosoft Copilotに聞いてみたので、概要を紹介しておく。ご興味のある方はこちらもお試しいただきたい。（表7）

このように、リスクを想定することは比較的容易である。AIMSでは、リスクを想定するだけではなく、想定したリスクについて評価を行い、必要に応じた対策を計画すること、その際にはリスクが発生した場合の影響についても評価すること（インパクトアセスメント）が要求される。以下、Copilotが挙げてくれた10のリスクのうち、現在の生成AIに置き換えやすいもの2点を取り上げ、具体的に木星探査ミッションのプロジェクトチームが実施すべきであったかもしれない事項を考えてみたい。

3）学習データの偏り
木星探査ミッションやモノリスの調査は、誰も挑んだことのない前人未到のミッションである。そのようなミッションを司るAIの学習データには、いったいどのようなものが適切であるのか？ということを検討し、決定していくのは、非常に困難なタスクに思われる。

AIMSにおけるリスクマネジメントの観点からは、学習データの偏りによって生じ得るリスクを想定することと、それらのリスクを評価し、リスク対策計画を策定することが十分に検討されていたかどうか？という点に課題であったのではないか？と分析する。また、仮に学習データに偏りがあり、AIからのアウトプットが期待しなかったもの（不適切なアウトプット）であった場合に、クルーや木星探査ミッション全体にどのような影響が及ぶのか？というインパクトアセスメントについても、評価が甘く、事態の悪化を招く原因の一つであったのではないか？と結論づけたい。

6）倫理的判断の欠如
HAL 9000の結論に大いに問題を感じる部分がここである。HAL 9000にインプットされた指令に論理矛盾があったとしても、AIサービスがAI利用者に被害が及ぶような結論を出すということは、あってはならないことである。HAL 9000の開発チーム（AI開発者）には、倫理的観点に立ったリスクマネジメントと、「人間中心のAI社会原則」等に基づいた、AI利用者の不利益につながらないような、HAL9000に対するセーフガード機構の実装が必要だったのではないかと分析する。

これは、すでに私達が利用しているAIサービスについても大いに当てはまる。例えば、AI利用者が未成年である場合、AIサービスが提供する結果には、未成年にはふさわしくない内容が含まれるべきではないし、犯罪につながるような利用を禁止・抑制するようなセーフガード機構が実装されてしかるべきである。実際、2025年9月からは、ChatGPTにはペアレンタルコントロールの機能が実装されている⁴。

• 2　「人間中心のAI社会原則」別ウインドウで開く
• 3　OECD「AI原則」別ウインドウで開く
• 4　ChatGPT「ペアレンタルコントロール」別ウインドウで開く

最後に、作品中で生じたHAL 9000に関連する一連の事象について、AIMS的欠陥をまとめて本稿のまとめとしたい。以下に示すような改善が実施されていたら、木星探査ミッションは死者を出すこともなく完遂されたかもしれない。（表8）

以上、本稿では、フィクション世界で起きたAI事件簿を題材とし、AIMSの特徴や有効性のいくつかをご紹介した。AIサービスは急激に浸透し、規制やAI利用者のリテラシーも技術の発展に追いついていない状況にある。AIMSというマネジメントシステムの導入が、読者の皆さんが所属する企業や団体などの組織でのAIの有効活用の一助となれば幸いである。

最後に、名作「2001年宇宙の旅」に大いなる敬意を表するものの、仮に木星探査ミッションにAIMSが導入されており、木星探査ミッションが映画で描かれたよりも円滑に進行していたら、大して面白くない作品になっていただろうと想像する。フィクション作品に登場するAIは、「悪いAI」の方が面白いのかもしれない。