Auf Ethischer ebene stellt sich die gleiche Frage auch bei der Anwendung der Gentechnik. Hier konnte mir als Menschheit Regeln aufstellen. Gelingt das uns auch bei der KI-Technik, das ist die entscheidende Frage.
Kleiner Hinweis, wenn gestattet: Es gibt keine Menschheit. Es gibt Menschen, ja. Aber sie arbeiten oder leben usw. als Individuum. Auch im oder als Kollektiv.
Die Regeln werden von denjenigen aufgestellt, welche Geld damit verdienen. Oder vornehmer: Jenen, welche für die Arbeitsplätze sorgen. Es soll aber am Ende nur die Nerven beruhigen. Siehe Atomgesetz, was Risiko und Verantwortung zwar angesprochen (Endlagerung) aber ebenso in die Zukunft geschoben hat. Per Gesetz! (oder Regel) (man hat, so weit ich das verstehe, freiwillig auch nicht damit aufgehört als die Bedingung nicht erfüllt war bzw. immer noch nicht ist und oder Risiken bekannter wurden. Krankheiten entstehen allenfalls durch natürliche Strahlung, nie im Leben durch Atomkraft. Zumindest nicht, wenn man sich mit Helm unter dem Tisch versteckt.) 
Das ist bei KI oder Gentechnik im Grunde nicht wesentlich anders. Man gibt sich ein paar nette Regeln. Wenn aber jemand die Regeln bricht (unbewusst, zufällig, ungewollt weil er zu spät irgendeine Apparatur nicht abgestellt hat) und damit einen Durchbruch erzielt (also z.B. strahlungsfreie Kernspaltung), wird die Regel angepasst und nicht die Technologie verworfen. Da stellt sich die Sinnfrage nicht mehr, weil technischer Fortschritt.
Soll Regeln oder Gesetze nicht grundsätzlich in Frage stellen, aber sie sind halt auch nicht allmächtig oder frei von moralisch ethischen Dilemmata. (?)
Fazit: Wer mit größenwahnsinnigen Karten spielt, die so vom Hersteller im Normalmodus gar nicht vorgesehen sind, sollte sich über die Zunahme von Performanceeinschränkungen nicht wundern. Das ist die Regel! Der Rest ist Trickserei- abseits der Regel. 
Gruß