According to OpenAI, the board of directors has the final say on the safety of new AI models as it aims to mitigate "catastrophic risks."
Das Unternehmen hinter dem viralen Chatbot ChatGPT hat diese Woche ein 27-seitiges „Preparedness Framework“-Dokument veröffentlicht, in dem dargelegt wird, wie das Unternehmen „katastrophale Ereignisse“ mithilfe modernster Modelle für künstliche Intelligenz verfolgen, bewerten und davor schützen wird.
Zu diesen Risiken gehört, dass KI-Modelle eingesetzt werden, um groß angelegte Störungen der Cybersicherheit zu verursachen und so die Entwicklung biologischer, chemischer oder nuklearer Waffen zu unterstützen.
Als Teil der Kontrollen und Abwägungen im Rahmen des neuen Bereitschaftsrahmens sagte OpenAI, dass die Unternehmensführung die Entscheidungsbefugnis darüber habe, ob neue KI-Modelle veröffentlicht werden sollen, dass aber der Vorstand das letzte Wort und „das Recht zur Veröffentlichung“ habe neue KI-Modelle.“ Eine „rückständige Entscheidung“ des OpenAI-Führungsteams.
Doch noch bevor der Vorstand sein Veto gegen den Einsatz eines potenziell riskanten KI-Modells einlegte, erklärte das Unternehmen, es müsse zuvor eine Reihe von Sicherheitsprüfungen bestehen.
Ein engagiertes „Bereitschafts“-Team wird eine vielschichtige Anstrengung leiten, um potenzielle Risiken aus den fortschrittlichen Modellen der künstlichen Intelligenz von OpenAI zu überwachen und zu mindern.
MIT-Professor Aleksander Madry befindet sich derzeit in einem Sabbatical von der Leitung des Bereitschaftsteams des Startups.
Er wird ein Forscherteam leiten, das für die Bewertung und genaue Überwachung potenzieller Risiken sowie die Zusammenfassung dieser verschiedenen Risiken in einer Scorecard verantwortlich ist. Diese Scorecards klassifizieren bestimmte Risiken teilweise als „gering“, „mittel“, „hoch“ oder „schwerwiegend“.
Im Readiness Framework heißt es, dass „nur Modelle mit einem Post-Mitigation-Score von ‚mittel‘ oder darunter eingesetzt werden können“ und dass nur „Modelle mit einem Post-Mitigation-Score von ‚hoch‘ oder darunter weiterentwickelt werden können“.
Das Unternehmen sagte, das Dokument befinde sich notwendigerweise in der „Beta“-Phase und werde voraussichtlich regelmäßig auf der Grundlage von Rückmeldungen aktualisiert.
Das Rahmenwerk lenkt erneut die Aufmerksamkeit auf die ungewöhnliche Governance-Struktur des mächtigen Startups für künstliche Intelligenz, dessen Vorstand nach dem Zusammenbruch des Unternehmens im letzten Monat überarbeitet wurde, was dazu führte, dass CEO Sam Altman von ausgeschlossen und dann wiedergewählt wurde . Nur fünf Tage.
Das aufsehenerregende Unternehmensdrama warf damals neue Fragen auf: Altmans Macht über das von ihm mitgegründete Unternehmen und die Zwänge, die der Vorstand ihm und seinem Führungsteam auferlegte.
Laut OpenAI ist der derzeitige Vorstand „original“ und wird gerade gebildet. Er besteht aus drei wohlhabenden weißen Männern, die die schwierige Aufgabe haben, sicherzustellen, dass die hochmoderne Technologie von OpenAI ihre Mission erfüllt zum Nutzen aller. menschliche Natur.
Der Interimsvorstand wurde vielfach wegen seiner mangelnden Diversität kritisiert. Einige Kritiker befürchten auch, dass es nicht ausreicht, sich auf die Selbstregulierung von Unternehmen zu verlassen, und dass der Gesetzgeber mehr tun muss, um die sichere Entwicklung und den Einsatz von KI-Tools zu gewährleisten.
Die neuesten proaktiven Sicherheitsprüfungen, die von OpenAI beschrieben werden, erfolgen zu einem Zeitpunkt, an dem die Technologiebranche und darüber hinaus im vergangenen Jahr über das Potenzial einer KI-Katastrophe debattiert haben.
Hunderte von Top-KI-Wissenschaftlern und -Forschern – darunter Altman von OpenAI und Demis Hassabis, CEO von Google Deepmind – unterzeichneten Anfang des Jahres einen „Offenen Brief zum Urteil“, in dem sie sagten, dass „das Risiko des Aussterbens der KI“ durch andere Risiken „wie Pandemien und Atomkrieg“ gemindert werden sollte globale Prioritäten.
Die Ankündigung löste in der Öffentlichkeit große Besorgnis aus, obwohl einige Branchenbeobachter dem Unternehmen später vorwarfen, dass es ferne apokalyptische Szenarien nutzte, um „die Aufmerksamkeit von den aktuellen Schäden im Zusammenhang mit KI-Tools abzulenken“.
Read also:
- Telefónica targets market launch for hologram telephony
- vzbv: Internet companies continue to cheat despite ban
- Telefónica targets market launch for hologram telephony in 2026
- Worldcoin project docks onto Telegram and Reddit
The tech company behind ChatGPT recently published a 27-page "Preparedness Framework" document, detailing how they will use advanced AI models to track, evaluate, and mitigate potential catastrophic events. This framework includes the board of directors having the final say on the release of new AI models, with the CEO team making initial decisions, but the board having the final approval or veto.
The business strategy of OpenAI involves using advanced tech to proactively identify and reduce potential risks from their AI models, ensuring the safety and benefit of human society. The "Preparedness Framework" also states that only models with a moderate or lower post-mitigation score should be used, while high-risk models should be further developed and refined.
Source: edition.cnn.com
