Nach anderthalb Jahren Entwicklung Die Apache Software Foundation hat veröffentlicht der Start der neuen Version von Apache Hadoop 3.3.0, Version in dem er Verbesserungen für ARM-Plattformen hinzufügte, Unterstützung für die Planung von Container-Starts und anderen Dingen.
Apache Hadoop positioniert sich als freie Plattform zu organisieren verteilte Verarbeitung großer Datenmengen mit das Map / Reduce-Paradigma, bei dem eine Aufgabe in viele kleinere isolierte Blöcke unterteilt ist, von denen jeder auf einem separaten Clusterknoten ausgeführt werden kann.
Hadoop-basierter Speicher Es kann Tausende von Knoten umfassen und Exabyte an Daten enthalten.
Über Apache Hadoop
Hadoop enthält eine Implementierung des verteilten Hadoop-Dateisystems (HDFS), das automatisch Datenredundanz bereitstellt und für MapReduce-Anwendungen optimiert ist.
Eine Schlüsselfunktionalität besteht darin, dass für eine effektive Auftragsplanung jedes Dateisystem seinen Speicherort und den Namen des Racks (genauer gesagt des Switches), in dem sich der Worker-Knoten befindet, kennen und angeben muss.
Hadoop-Anwendungen können diese Informationen verwenden, um Arbeiten auf dem Knoten auszuführen, auf dem sich die Daten befinden, und andernfalls auf demselben Rack / Switch, wodurch der Netzwerkverkehr reduziert wird.
Vereinfachung des Zugriffs auf Daten im Hadoop-Speicher, HBase-Datenbank und SQL-ähnliche Pig-Sprache wurden entwickelt, Dies ist ein SQL-Typ für MapReduce, dessen Abfragen von verschiedenen Hadoop-Plattformen parallelisiert und verarbeitet werden können.
Das Projekt wird als vollständig stabil und betriebsbereit bewertet. Hadoop wird aktiv in großen Industrieprojekten eingesetzt und bietet ähnliche Funktionen wie die Google Bigtable / GFS / MapReduce-Plattform, während Google offiziell delegierte Hadoop- und andere Apache-Projekte berechtigt ist, patentierte Technologien im Zusammenhang mit der MapReduce-Methode zu verwenden.
Hadoop steht in Bezug auf die Anzahl der vorgenommenen Änderungen und die fünftgrößte Codebasis (ca. 4 Millionen Codezeilen) an erster Stelle unter den Apache-Repositorys.
Was ist neu in Apache Hadoop 3.3?
Diese neue Version von Hadoop wird als die erste Version positioniert, die hat el Unterstützung für ARM-basierte Plattformen, mit denen diejenigen, die an der Implementierung dieser Plattform interessiert sind, die bereits verfügbare Binärdatei für ARM finden können.
Eine weitere der wichtigsten Änderungen, die in dieser neuen Version vorgestellt werden, ist die Implementierung der neuen Version des Protobuf-Formats (Protokollpuffer) zum Serialisieren strukturierter Daten wurde auf Version 3.7.1 aktualisiert aufgrund des Endes des Lebenszyklus des Protobuf-2.5.0-Zweigs.
Darüber hinaus auch Die Funktionen des S3A-Anschlusses wurden bereits erweitert das hat ihn jetzt Unterstützung für die Authentifizierung mithilfe von Token hinzugefügt, Verbesserte Unterstützung für das Zwischenspeichern von Antworten mit einem 404-Code, höhere S3guard-Leistung und verbesserte Betriebssicherheit.
auch DNS-Resolver-Dienst hinzugefügt Damit der Client die Server über DNS anhand der Hostnamen ermitteln kann, können Sie auf die Liste aller Hosts in der Konfiguration verzichten.
Ebenso wie Unterstützung für die Planung von Container-Starts über einen zentralen Ressourcenmanager (ResourceManager), auch mit der Möglichkeit, Container unter Berücksichtigung der Last jedes Knotens zu verteilen.
Von den anderen Änderungen, die auffallen dieser neuen Version:
- Probleme mit der automatischen Optimierung wurden im ABFS-Dateisystem behoben.
- Native Unterstützung für das Tencent Cloud COS-Dateisystem für den Zugriff auf den COS-Objektspeicher hinzugefügt.
- Volle Unterstützung für Java 11 wurde hinzugefügt.
- Stabilisierte die Implementierung von HDFS RBF (Router Based Federation). Dem HDFS-Router wurden Sicherheitskontrollen hinzugefügt.
- Suche YARN-Anwendungsverzeichnis (ein weiterer Ressourcenverhandler) hinzugefügt.
Wenn Sie mehr darüber erfahren möchten, können Sie die Details der neuen Version unter überprüfen der ursprüngliche Beitrag.
Für diejenigen, die daran interessiert sind, die neue Version zu erhalten, können sie die vorbereiteten Binärdateien herunterladen im folgenden Link.