Apache Hadoop

Apache Hadoop – otwarta platforma programistyczna napisana w języku Java przeznaczona do rozproszonego składowania i przetwarzania wielkich zbiorów danych przy pomocy klastrów komputerowych. Jest jednym z projektów rozwijanych przez fundację Apache. Wszystkie moduły Hadoop zostały zaprojektowane z założeniem, że awarie sprzętowe są rzeczą naturalną i powinny być automatycznie obsługiwane przez framework. Apache Hadoop składa się z następujących modułów: * Hadoop Common – biblioteki i narzędzia używane przez pozostałe moduły; * Hadoop Distributed File System (HDFS) – rozproszony system plików; * Hadoop YARN – platforma do zarządzania zasobami klastra; * – implementacja paradygmatu MapReduce do przetwarzania dużych ilości danych. Określenie Hadoop często jest używane nie tylko w odniesieniu do powyższych modułów, ale także do całego ekosystemu aplikacji, które mogą być używane w połączeniu z Hadoop: , , , , Apache Spark, , , , , , . Moduły MapReduce i HDFS zostały zainspirowane materiałami Google na temat ich implementacji MapReduce i ich rozproszonego systemu plików . Jeszcze zanim osiągnął wydanie stabilne, był już wykorzystywany w poważnych zastosowaniach (Amazon, AOL, Facebook, Yahoo). Autorami projektu są oraz .