Sie können eine generative KI lokal auf Ihrem Computer ausführen

Vielleicht haben Sie bereits generative KI-Engines wie ChatGPT und Google Bard getestet. Es ist zwar beliebt, auf diese Tools in der Cloud zuzugreifen, aber Sie können sie auch lokal auf Ihrem eigenen Computer installieren. Das hat einige echte Vorteile: Es ist natürlich privater, und Sie erhalten keine Warnungen, dass die KI überlastet oder nicht verfügbar ist. Außerdem ist es einfach irgendwie cool.

Um loszulegen, brauchen Sie ein Programm, um die KI laufen zu lassen, und Sie brauchen ein Large Language Model (oder LLM), um die Antworten zu erzeugen. Diese LLMs liegen den KI-Textgeneratoren zugrunde. GPT-4 ist das neueste Modell, das ChatGPT antreibt, und Google hat jetzt Gemini als ein neues und verbessertes LLM herausgebracht, das hinter Google Bard läuft.

Wenn Sie den Begriff LLM noch nie gehört haben, haben Sie offensichtlich unser ultimatives KI-Glossar nicht gelesen. Um sie vollständig zu verstehen, ist ein gewisses Maß an wissenschaftlichem und mathematischem Wissen erforderlich. Grundsätzlich werden LLMs jedoch anhand großer Mengen von Beispieldaten trainiert und lernen, Beziehungen zwischen Wörtern und Sätzen zu erkennen (d. h. welche Wörter typischerweise aufeinander folgen).

Sie können eine generative KI lokal auf Ihrem Computer ausführen

Es gibt verschiedene KI-Modelle, die Sie lokal installieren können.Credit: Aussiedlerbote

Um es so einfach wie möglich auszudrücken: LLMs sind überladene Autokorrekturmaschinen. Sie "wissen" nicht wirklich etwas, aber sie erkennen, wie Wörter zusammenpassen sollten, damit sie natürlich klingen und einen Sinn ergeben. Wenn das Niveau hoch genug ist, sieht es so aus, als würde man mit einem echten Menschen sprechen. Es gibt noch viel mehr als das, aber Sie haben das Wesentliche verstanden.

Sie müssen kein großes Unternehmen oder eine Forschungseinrichtung sein, um Zugang zu Ihren eigenen LLMs zu haben: Es gibt mehrere öffentlich zugängliche LLMs, darunter ein von Meta herausgegebenes LLaMa; andere wurden von Forschern und Freiwilligen entwickelt. Die allgemeine Idee ist, dass öffentlich verfügbare LLMs die Innovation fördern und die Transparenz verbessern.

Für diesen Leitfaden werden wir LM Studio verwenden, um Ihnen zu zeigen, wie Sie einen LLM lokal installieren können. Es ist eine der besten Optionen, die es für diese Aufgabe gibt (obwohl es noch einige andere gibt). Es ist kostenlos und Sie können es auf Windows-, macOS- und Linux-Systemen einrichten.

Wie man einen lokalen LLM installiert

Der erste Schritt besteht darin, LM Studio von der offiziellen Website herunterzuladen und dabei die Mindestsystemanforderungen zu beachten: Der LLM-Betrieb ist ziemlich anspruchsvoll, daher benötigen Sie einen ziemlich leistungsstarken Computer. Windows- oder Linux-PCs, die AVX2 unterstützen (typischerweise auf neueren Maschinen), und Apple Silicon Macs mit macOS 13.6 oder neuer funktionieren, und mindestens 16 GB RAM werden empfohlen. Auf PCs werden ebenfalls mindestens 6 GB VRAM empfohlen.

Wenn Sie die Software zum Laufen gebracht haben, müssen Sie einen LLM finden, den Sie herunterladen und verwenden können - ohne einen solchen werden Sie nicht viel tun können. Ein Teil des Reizes von LM Studio besteht darin, dass es "neue und bemerkenswerte" LLMs auf dem Startbildschirm der Anwendung empfiehlt, wenn Sie also keine Ahnung haben, welches LLM Sie wollen, können Sie eines von hier auswählen.

Sie werden feststellen, dass sich LLMs nach Größe, Komplexität, Datenquellen, Zweck und Geschwindigkeit unterscheiden: Es gibt keine richtige oder falsche Antwort auf die Frage, welches LLM Sie wählen sollten, aber es gibt viele Informationen auf Websites wie Reddit und Hugging Face, wenn Sie etwas recherchieren möchten. Wie zu erwarten, können LLMs mehrere Gigabyte groß sein, so dass Sie einige Hintergrundinformationen lesen können, während Sie darauf warten, dass eine heruntergeladen wird.

LM Studio kann Ihnen dabei helfen, LLMs zu finden, die Sie verwenden möchten.Credit: Aussiedlerbote

Wenn Sie ein LLM sehen, das Ihnen gefällt, klicken Sie einfach auf Download. Andernfalls können Sie eine Suche durchführen oder eine URL in das Feld oben einfügen. Sie können die Größe der einzelnen LLMs sehen, so dass Sie die Dauer des Downloads abschätzen können, sowie das Datum, an dem sie zuletzt aktualisiert wurden. Sie können die Ergebnisse auch filtern, um die Modelle zu sehen, die am häufigsten heruntergeladen wurden.

Sie können so viele LLMs installieren, wie Sie möchten (solange Sie über den nötigen Speicherplatz verfügen), aber wenn sich mindestens ein LLM auf Ihrem System befindet, werden sie im Bereich Meine Modelle angezeigt. (Klicken Sie auf das Ordnersymbol auf der linken Seite, um dorthin zu gelangen.) Von hier aus können Sie Informationen über jedes installierte Modell einsehen, nach Updates suchen und Modelle entfernen.

Um mit dem Prompting zu beginnen, öffnen Sie das KI-Chat-Panel über das Sprechblasensymbol auf der linken Seite. Wählen Sie oben das Modell aus, das Sie verwenden möchten, und geben Sie Ihre Eingabe in das untere Feld für Benutzernachrichten ein, bevor Sie die Eingabetaste drücken. Die Art der Ausgabe, die Sie zurückbekommen, wird Ihnen vertraut sein, wenn Sie bereits ein LLM wie ChatGPT verwendet haben.

Das Eingabeaufforderungs- und Antwortsystem ist ähnlich wie bei ChatGPT oder Bard.Credit: Aussiedlerbote

Auf der rechten Seite können Sie verschiedene Einstellungen in Bezug auf den LLM vornehmen, z. B. wie längere Antworten behandelt werden und wie viel der Verarbeitungsarbeit auf die GPU Ihres Systems ausgelagert wird. Es gibt auch ein Feld für eine "Voraufforderung": Sie können den LLM zum Beispiel anweisen, immer in einem bestimmten Tonfall oder Sprachstil zu antworten.

Klicken Sie auf die Schaltfläche " Neuer Chat " auf der linken Seite, wenn Sie eine neue Konversation beginnen möchten, und Ihre früheren Chats werden darunter protokolliert, falls Sie zu ihnen zurückkehren möchten. Wenn eine bestimmte Antwort fertig ist, haben Sie die Möglichkeit, einen Screenshot zu machen, den Text zu kopieren oder eine andere Antwort auf dieselbe Frage zu erstellen.

Das war's! Sie können mit lokalen LLMs loslegen. Es gibt alle möglichen Wege, die Sie in Bezug auf die Entwicklung von LLMs und Prompts erforschen können, wenn Sie tiefer einsteigen wollen, aber die Grundlagen sind nicht schwer zu verstehen, und LM Studio macht den Einrichtungsprozess sehr einfach, selbst wenn Sie ein völliger Anfänger sind.