シンギュラリティ
2045年あたりにシンギュラリティが来ると言われており、そうなると、人工知能（AI）が我々人間の思考能力を超え、それが再帰的に人工知能の性能を加速度的に高めていくと言われています。人間より賢いAIが、より賢いAIを作り出し、それがまた更により賢いAIを作って・・・というサイクルがものすごい速さで回ります。
ポスト・シンギュラリティ
シンギュラリティが到来すると、その後の世界はどうなるのか。確かなことは誰にもわかっていません。楽観的な意見、悲観的な意見がそれぞれありますが、悲観的な意見として代表的なのが「機械が自己を持ち、生みの親である人間を敵対視して排除するのではないか」という、いわゆるスカイネットシナリオです。
それについて「あり得る」「いやありえない」という議論が世界中で巻き起こっていますが、結論は出ていません。
スカイネットはまだマシ
スカイネットシナリオの行き着く先は「機械 vs. 人間」の戦争です。なので万が一そのシナリオが現実のものとなったとしても、もし人間が勝ちさえすれば、そこには未来があります。そういった未来を見据えた希望を持つことができます。
しかし、実際にはもっと恐ろしい結末が他にありえると考えます。
もっと恐ろしいのは、無邪気で正確な予測による絶望
AIが人間に敵意を持たず「健全」に発達した場合、その恩恵には未来の正確な予測が含まれます。一年先の正確な天気、ピンポイントな秒単位での地震予知などです。楽観的な意見にはこういった未来が含まれています。しかしそういった予測が有益なのは、対策を立てられるものに対してだけです。
AIの、毛ほどの悪意もない正確な予測の結果が、例えば地球の滅亡だったらどうなるでしょうか。正確な予測で、AIですら回避できない破壊的な現象が予言されてしまったら？巨大隕石の衝突、ガンマ線バーストの直撃、太陽系の崩壊などが例えば３年後にやって来て、地球もしくは宇宙そのものが破壊される、そしてそれは不可避であるとAIが結論を出したら？
これは月が地球に衝突したときのシミュレーション動画ですが、こういうことが100%起こると予測されたら、我々人間は一体どうしたらいいのでしょうか。
打つ手のない絶望が最も恐ろしい
そうなった場合、地球上の人間は絶望のどん底へ突き落とされることになります。人類はこの絶望に耐えられるのでしょうか？
スカイネットと戦争してる方がまだマシです。勝てば未来があるという希望がありますから。実際には絶対に勝てないと思いますが、少なくとも希望を持ったまま死ぬことができます。
設計段階で回避が可能か？
設計段階でそういった予測をアウトプットしないようにすることはできるかもしれません。しかし、それ以降の未来がもし存在しないとなると、それ以降のアウトプットも無くなってしまうので人類はいずれ察知することになるでしょう。
「知らぬが仏」の極地
これは予測なので、AIが引き起こしたわけではなくいずれ起こったことではあるのですが、自分がいつ、どうやって死ぬかを知らされてしまうことほど残酷なことはないでしょう。個人的には、このシナリオがスカイネットよりももっと恐ろしいと感じます。
