Seit dem Erscheinen von ChatGPT sind viele Tools entstanden, deren Respekt für die Privatsphäre der Benutzer zweifelhaft ist. Glücklicherweise schienen mehrere Open-Source-Projekte Abhilfe zu schaffen. Ollama AI ist ein Tool zur Nutzung künstlicher Intelligenz im Terminal
Die App wird ermöglicht Ihnen die Verwendung einer Liste von LLMs auf Ihrem Computerterminal oder Einplatinengerät, sofern Ihre Hardware leistungsstark genug ist. Das Gute daran ist, dass ihre Bibliothek Optionen für alle Größen bietet.
LLMs (Large Scale Language Models) werden verwendet, um das Generieren und Übersetzen von Sprache auf einem Niveau zu verstehen, das der natürlichen Sprache nahe kommt. Sie werden mit enormen Mengen an Textdaten trainiert. Diese Modelle können für eine Vielzahl sprachbezogener Aufgaben verwendet werden, z. B. zum Beantworten von Fragen, zum Zusammenfassen von Texten, zum Übersetzen in andere Sprachen, zum Erstellen kohärenter und kreativer Inhalte, zum Fertigstellen von Sätzen und zum Finden von Sprachmustern.
Der Ausdruck „großer Maßstab“ bezieht sich sowohl auf die enorme Datenmenge (Milliarden) als auch auf die Parameter, die das Modell verwendet, um Beziehungen herzustellen und Muster zwischen den Daten zu finden.
Die Parameter sind ein zu berücksichtigender Faktor. Obwohl einige berichten, Ollama AI auf einem Raspberry Pi 4 verwendet zu haben, können nicht alle Modelle verwendet werden, wenn Sie nicht über genügend Speicher verfügen. Ich habe Modelle mit 7 Milliarden Parametern mit 6 GB RAM und ohne Grafikkarte verwendet, ohne die Leistung des Systems kaum zu beeinträchtigen, aber eines mit 13 kam nicht zurecht.
Die Modelle mit weniger Parametern sprechen Spanisch auf dem Niveau einer Yankee-Touristenparodie und sind in ihren Antworten nicht sehr präzise, daher sollten Sie bei der Verwendung vorsichtig sein.
Ollama AI: Künstliche Intelligenz im Terminal nutzen
Bevor wir fortfahren, beginnen wir mit einer kurzen Erklärung. LlaMa ist ein maschineller Lernalgorithmus, der es einer künstlichen Intelligenz ermöglicht, Bilder von Objekten zu erkennen und zu klassifizieren.
Zu dieser Art von Modellen Sie werden mit beschrifteten Bildern trainiert, damit sie lernen, bestimmte Merkmale wie Textur, Form und Farbe zu erkennen, die es ermöglichen, sie in anderen Kontexten zu identifizieren.
Da der Name des Algorithmus genauso ausgesprochen wird wie der Name des Tieres, wurden einige Bibliotheken nach ähnlichen Arten wie Vicuna (Vicuña in Sprachen, die das ñ nicht verwenden) oder Alpaka benannt.
Zurück zu Ollama AI: Es ermöglicht uns, verschiedene Open-Source-Modelle vom Terminal unserer Linux-Distribution herunterzuladen und auszuführen. Es wird mit dem Befehl installiert:
curl https://ollama.ai/install.sh | sh
Um ein Modell zu starten, schreiben wir den Befehl:
ollama run nombre_del_modelo
Wir können die Liste der Modelle sehen aqu
Um beispielsweise TinyLlaama zu installieren, ein Modell mit etwas mehr als einem Terabyte an Parametern, verwenden wir den Befehl:
ollama run tinyllama
Bei der ersten Ausführung dieses Befehls wird das Modell auf den Computer heruntergeladen. Bitte beachten Sie, dass einige mehrere Gigabyte Speicherplatz beanspruchen.
Sie können ein Modell mit dem Befehl löschen:
ollama rm nombre_del modelo
Um die Liste der installierten Modelle anzuzeigen, verwenden Sie den folgenden Befehl:
Ollama-Liste
Sie können die Informationen zu jedem der installierten Modelle anzeigen mit:
ollama show
Eine interessante Option aus der Ollama-Modellbibliothek sind die sogenannten „Uncensored“.. Die bekanntesten Modelle der künstlichen Intelligenz beschränken bestimmte Arten von Fragen, um nicht nur dem Gesetz, sondern auch dem gesellschaftlichen Druck der politischen Korrektheit zu entsprechen.
Ich erinnere mich, dass ich vor langer Zeit Copilot, den auf ChatGPT basierenden Assistenten von Microsoft, gebeten habe, mir Eisberg-Witze zu erzählen. Er sagte mir, dass ökologische Katastrophen ein zu ernstes Thema seien, um darüber Witze zu machen.
Die unzensierten Models Sie identifizieren Fälle, in denen KIs sich weigern zu reagieren oder voreingenommene Antworten von den Basismodellen geben, entfernen sie und trainieren das System, richtig zu reagieren.
Ich müsste weitere Tests durchführen, um herauszufinden, wie nützlich Ollama AI auf Computern mit begrenztem RAM und ohne dedizierte Grafikkarte sein kann. Auf jeden Fall ist es gut zu wissen, dass Open-Source-Alternativen auf dem Vormarsch sind und die Beseitigung der Zensur ermöglichen.