>>350
人は失敗から学ぶモノ。
ロボットなんかは、必要最小限まで「弱く」する事で暴走時の物理的被害を減らすなど、ソフトウェア以外の対策も運用に合わせて考えられてる。
特に、人が死んだのなら同じ失敗は二度と起きないような仕組みが取り入れられる。

今、直接人命に関わるソフトウェアっていえば、車の自動運転とかそっち方面かと。