Instead, Bostrom advises shaping what artificial super-intelligences want to do so that even if they were able to cause great harm, they would choose not to do so. One strategy would involve directly specifying a set of rules for an AI to follow, such as Isaac Asimov's famed Three Laws of Robotics. However, this poses the challenge of choosing which rules we would want to guide the AI and the difficulty of expressing those values in computer code.

L'éthique est un domaine complexe. Nous ne sommes pas forcément d'accord sur la définition des valeurs (bien/mal et toutes les autres).

A second alternative involves giving an AI only modest goals and limited ambitions. However, care would have to be taken in defining how the AI should minimize its impact on the world. A third option would involve creating an AI that is not super-intelligent, making sure it would want to act benevolently, and then augmenting it so that it becomes super-intelligent while ensuring it does not get corrupted in the process.

Comment s'assurer qu'il ne se "corrompe" pas ? Dans un système aussi complexe qu'une AI, il y a sans doute des effets émergents : même en augmentant "linéairement" les capacités du bestiaux, pas sur qu'il n'acquière pas de nouvelles capacités (émergentes).

A final possibility Bostrom suggests involves telling an artificial super-intelligence to figure out a way to make itself safe. "We try to leverage the AI's intelligence to learn what we value, or to predict which actions we would have approved of," Bostrom says. Essentially, the plan would be to develop an artificial super-intelligence that can figure out what we want, and not just follow what we say.

Hum, pour cela il faudrait déjà qu'il ne soit pas corrompu à la base. Et si on observe les humains, on voit bien que certains process (prise de pouvoir, par exemple) arrivent à corrompre les meilleurs d'entre nous avec un peu de temps. Bref, c'est hyper spéculatoire.

Mon idée sur le sujet c'est de chercher à reproduire un cerveau humain.
En faisant cela, nous constituerions un être non seulement capable de nous comprendre, mais également d'être compris par nous. Bordé par les mêmes limites que nous : psychologiques, morales, etc. Un être capable de compassion. Bien sur il faudrait choisir avec soin le modèle : le dalaï lama plutôt qu'un tueur en série !