Les robots ne feront jamais que simuler des comportements, y compris dans le domaine émotionnel

La frontière de la simulation avec ce que l’on appelle la « réalité » n’est pas si épaisse qu’on peut le croire et si on creuse un peu, elle parait même franchement floue. En dernier ressort il s’agit même sans doute plus d’une question d’idéologie (métaphysique vs matérialisme) que de toute autre chose.

Considérons un système doté d’une capacité de calcul énorme. Il est capable de simuler un phénomène avec un précision extrême. Au point que la simulation devient indiscernable du phénomène lui-même. Dans ce cas, que derrière ce phénomène se cache une âme (ou une quelconque essence métaphysique) ou pas importe finalement très peu. (Et le respect qu’on lui porte ne devrait rien avoir à faire avec cela.)
Autrement dit, par exemple, si ça a 2 pattes, 2 ailes, des plumes, un bec plat et que ça fait coin-coin, ça doit être un canard. Tant que personne n’est capable de prouver que ce n’est pas un canard alors qu’est-ce que le fait que ce ne soit qu’une « simulation » de canard pourrait bien changer ?

Pour le reste, je suis totalement d’accord avec votre thèse. C’est le thème ancestral du lien très spécial de l’homme à l’acte de création et à ses créations. (Frankenstein, Skynet, etc…) On chérit et on protège ce qui est petit/immature/dépendant, mais lorsque la création prend son autonomie, qu’on en perd le contrôle, on prend peur et on finit par la rejeter. C’est aussi le chemin de l’artiste qui commence par porter son œuvre en son sein, puis accouche et parfois est horrifié par le monstre qu’il a enfanté.