Bessere Modelle als DeepSeek und wie man sie lokal installiert

Einige KI-Modelle können Sie lokal installieren

Vor ein paar Tagen mein Partner Pablinux sagte ihnen So installieren Sie das trendige Modell der künstlichen Intelligenz lokal. In diesem Beitrag werde ich die Modelle auflisten, die ich für besser halte als DeepSeek, und erklären, wie man sie auf unserem Computer installiert und ausführt.

Wenn man etwaige politische Sympathien oder Antipathien beiseite lässt, war der Schritt der chinesischen Regierung ein Meisterwerk diplomatischen Marketings, das Sun Tzu würdig wäre. Im Gegensatz zu Donald Trumps „Elefant im Porzellangeschäft“-Stil kündigten sie ein Modell an, das dieselben Funktionen wie ChatGPT kostenlos bietet und weniger Ressourcen verbraucht. Nur diejenigen von uns, die das Thema verfolgen, wissen, dass Es gibt seit langem viele andere Open-Source-Modelle (einige von nordamerikanischen Unternehmen wie Meta), und die Leistung von DeepSeek ist nur in den gängigsten 5 % der Anwendungen mit ChatGPT vergleichbar.

Umfangreiche Sprachmodelle

ChatGPT, DeepSeek und andere werden als Large Scale Language Models bezeichnet. Grundsätzlich Sie ermöglichen einem Benutzer die Interaktion mit einem Computer in einer Sprache, die der Sprache ähnelt, die zur Kommunikation mit anderen Menschen verwendet wird. Um dies zu erreichen, werden sie mit großen Mengen an Texten und Regeln trainiert, die es ihnen ermöglichen, aus bereits vorhandenen Informationen neue zu produzieren.
Sein Haupteinsatzzweck liegt in der Beantwortung von Fragen, der Zusammenfassung von Texten, der Erstellung von Übersetzungen und der Wiedergabe von Inhalten.

Bessere Modelle als DeepSeek und wie man sie lokal installiert

Wie Pablinux werden wir Ollama verwenden. Dies ist ein Tool, mit dem wir verschiedene Open-Source-Modelle vom Linux-Terminal aus installieren, deinstallieren und verwenden können. In einigen Fällen kann der Browser als grafische Benutzeroberfläche verwendet werden, darauf gehen wir in diesem Artikel jedoch nicht ein.

Damit Ollama ein angemessenes Benutzererlebnis bietet, ist es am besten, eine dedizierte GPU zu haben.Insbesondere bei Modellen mit mehr Parametern. Die weniger leistungsstarken Versionen lassen sich jedoch auf einem Raspberry Pi verwenden und selbst als ich Modelle mit 7 Milliarden Parametern auf einem Computer mit 6 Gigabyte und ohne dedizierte GPU testete, lief der Computer ohne Probleme. Das Gleiche ist bei einem von 13 Milliarden nicht passiert.

Parameter sind die Regeln, die das Modell verwendet, um Beziehungen aufzubauen und Muster in den Daten zu konstruieren. Je mehr Parameter und Daten, desto leistungsfähiger ist ein Modell; diejenigen mit weniger Parametern sprechen Spanisch wie Tarzan.

Wir können Ollama mit den Befehlen installieren
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh

Wir können das Modell mit dem folgenden Befehl installieren:
ollama pull nombre_del modelo
Und führen Sie es aus mit:
ollama run nombre_del_modelo
Wir deinstallieren es mit:
ollama rm nombre_del_modelo
Wir können die installierten Modelle sehen, indem wir Folgendes eingeben:
ollama list

Nachfolgend eine kleine Liste der Modelle, die ich am interessantesten finde: Die vollständige Liste der verfügbaren Modelle finden Sie hier hier:

llama2-unzensiert

Llama ist ein von Meta erstelltes Allzweckmodell. In dieser Version wurden alle Einschränkungen entfernt, die von den Entwicklern des ursprünglichen Projekts aus rechtlichen oder politischen Gründen eingeführt wurden.. Es gibt zwei Versionen, eine leichte Version, die mit 8 GB auskommt und eine Vollversion, die 64 GB benötigt. Es kann zum Beantworten von Fragen, Schreiben von Texten oder für Codieraufgaben verwendet werden.
Installiert mit:
ollama pull llama2-uncensored
Und es läuft mit:
ollama run llama2-uncensored

Abonnieren

CodeGemma ist eine Auswahl leichter und dennoch leistungsstarker Vorlagen, mit denen Sie eine Vielzahl von Programmieraufgaben ausführen können wie man Code vervollständigt oder von Grund auf neu schreibt. Versteht natürliche Sprache, kann Anweisungen befolgen und mathematisch folgern.

Es gibt 3 Varianten:

  • Anweisen: Es wandelt natürliche Sprache in Code um und kann Anweisungen befolgen:
  • Code:  Vervollständigen und generieren Sie Code aus Teilen des vorhandenen Codes.
  • 2b: Schnellere Code-Vervollständigung.

Abonnieren

Wie der Name schon sagt, ist es eine kleinere Version des ursprünglichen Meta-Modells.. Die Ergebnisse werden also nicht ganz so gut sein, aber wenn Sie sehen möchten, wie ein künstliches Intelligenzmodell auf einfacher Hardware funktioniert, ist es einen Versuch wert. Es hat nur 1100 Milliarden Parameter.

Die lokale Verwendung von Modellen bietet die Vorteile der Privatsphäre und des Zugriffs auf unzensierte und unvoreingenommene Versionen, die in einigen Fällen dazu neigen, lächerlich zu enden. Die KI von Microsoft weigerte sich, für mich ein Bild eines Dackels zu erstellen, da sie den Begriff „Schlampe“ als beleidigend empfand. Der größte Nachteil sind die Hardwareanforderungen. Sie müssen die Modelle ausprobieren und eines finden, das Ihren Anforderungen entspricht und auf Ihrer vorhandenen Ausrüstung läuft.


Hinterlasse einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert mit *

*

*

  1. Verantwortlich für die Daten: Miguel Ángel Gatón
  2. Zweck der Daten: Kontrolle von SPAM, Kommentarverwaltung.
  3. Legitimation: Ihre Zustimmung
  4. Übermittlung der Daten: Die Daten werden nur durch gesetzliche Verpflichtung an Dritte weitergegeben.
  5. Datenspeicherung: Von Occentus Networks (EU) gehostete Datenbank
  6. Rechte: Sie können Ihre Informationen jederzeit einschränken, wiederherstellen und löschen.