Phenquestions
Az Apache Hadoop nagy adatmegoldás nagy mennyiségű adat tárolására és elemzésére. Ebben a cikkben részletezzük az Apache Hadoop összetett telepítési lépéseit, hogy a lehető leggyorsabban elkezdhesse az Ubuntu használatát. Ebben a bejegyzésben telepítjük az Apache Hadoopot egy Ubuntu 17-re.10 gép.
Ubuntu verzió
Ehhez az útmutatóhoz az Ubuntu 17-es verzióját fogjuk használni.10 (GNU / Linux 4.13.0-38-általános x86_64).
Meglévő csomagok frissítése
A Hadoop telepítésének megkezdéséhez frissítenünk kell gépünket a rendelkezésre álló legújabb szoftvercsomagokkal. Megtehetjük ezt:
sudo apt-get update && sudo apt-get -y dist-upgradeMivel a Hadoop Java-alapú, telepítenünk kell a gépünkre. Bármely Java verziót használhatunk a Java 6 felett. Itt a Java 8-at fogjuk használni:
sudo apt-get -y telepítse az openjdk-8-jdk-headless fájltHadoop fájlok letöltése
Az összes szükséges csomag már létezik gépünkön. Készen állunk a szükséges Hadoop TAR fájlok letöltésére, hogy megkezdhessük a beállításukat és futtathassunk egy minta programot a Hadoop segítségével is.
Ebben az útmutatóban telepítjük Hadoop v3.0.1. Töltse le a megfelelő fájlokat ezzel a paranccsal:
wget http: // tükör.cc.Kolumbia.edu / pub / software / apache / hadoop / common / hadoop-3.0.1 / hadoop-3.0.1.kátrány.gzA hálózati sebességtől függően ez akár néhány percet is igénybe vehet, mivel a fájl nagy méretű:
Hadoop letöltése
Itt megtalálja a legújabb Hadoop bináris fájlokat. Most, hogy letöltöttük a TAR fájlt, kibonthatjuk az aktuális könyvtárból:
tar xvzf hadoop-3.0.1.kátrány.gzEnnek befejezése néhány másodpercet vesz igénybe az archívum nagy fájlmérete miatt:
Hadoop nincs archiválva
Új Hadoop felhasználói csoportot adott hozzá
Mivel a Hadoop HDFS-en keresztül működik, egy új fájlrendszer megzavarhatja saját fájlrendszerünket az Ubuntu gépen is. Az ütközés elkerülése érdekében létrehozunk egy teljesen külön felhasználói csoportot, és hozzárendeljük a Hadoop-hoz, hogy az tartalmazza a saját engedélyeit. Hozzáadhatunk egy új felhasználói csoportot ezzel a paranccsal:
addgroup hadoopValami ilyesmit fogunk látni:
Hadoop felhasználói csoport hozzáadása
Készen állunk arra, hogy új felhasználót vegyen fel ebbe a csoportba:
useradd -G hadoop hadoopuserKérjük, vegye figyelembe, hogy az általunk futtatott összes parancs root felhasználóként működik. Aove paranccsal új felhasználót tudtunk hozzáadni az általunk létrehozott csoporthoz.
Ahhoz, hogy a Hadoop felhasználó műveleteket hajthasson végre, meg kell adnunk neki a root hozzáférést is. Nyissa meg a / etc / sudoers fájl ezzel a paranccsal:
sudo visudoMielőtt bármit hozzáadnánk, a fájl a következőképpen néz ki:
A Sudoers fájl hozzáadása előtt bármit is hozzáad
Adja hozzá a következő sort a fájl végéhez:
hadoopuser ALL = (MINDEN) ALLMost a fájl így fog kinézni:
A Sudoers fájl a Hadoop-felhasználó hozzáadása után
Ez volt a fő beállítás a Hadoop platformjának biztosítására a műveletek végrehajtására. Most már készen állunk egyetlen csomópont Hadoop-fürt beállítására.
Hadoop egyetlen csomópont beállítása: önálló mód
Ami a Hadoop valódi erejét illeti, általában több szerveren keresztül van felállítva, hogy a nagy mennyiségű adathalmaz tetején méretezhesse Hadoop elosztott fájlrendszer (HDFS). Ez általában rendben van a hibakereső környezetekkel, és nem használják termeléshez. A folyamat egyszerűsége érdekében elmagyarázzuk, hogyan végezhetünk itt egyetlen csomópont-beállítást a Hadoop számára.
Miután befejeztük a Hadoop telepítését, futtatunk egy minta alkalmazást is a Hadoopon. Mostantól a Hadoop fájl neve hadoop-3.0.1. nevezzük át hadoop-ra az egyszerűbb használat érdekében:
mv hadoop-3.0.1 hadoopA fájl most úgy néz ki, mint:
Mozgó Hadoop
Ideje használni a korábban létrehozott hadoop felhasználót, és a fájl tulajdonjogát az adott felhasználóhoz rendelni:
chown -R hadoopuser: hadoop / gyökér / hadoopA Hadoop számára jobb hely lesz az / usr / local / könyvtár, ezért helyezzük át oda:
mv hadoop / usr / local /cd / usr / local /
Hadoop hozzáadása az útvonalhoz
A Hadoop parancsfájlok végrehajtásához most hozzáadjuk az útvonalhoz. Ehhez nyissa meg a bashrc fájlt:
vi ~ /.bashrcAdja hozzá ezeket a sorokat a .bashrc fájlt, hogy az elérési út tartalmazhassa a Hadoop futtatható fájl elérési útját:
# Konfigurálja a Hadoop és a Java Home alkalmazástexport HADOOP_HOME = / usr / local / hadoop
export JAVA_HOME = / usr / lib / jvm / java-8-openjdk-amd64
export PATH = $ PATH: $ HADOOP_HOME / bin
A fájl a következőképpen néz ki:
Hadoop hozzáadása az útvonalhoz
Mivel a Hadoop a Java-t használja, el kell mondanunk a Hadoop környezeti fájlt hadoop-env.SH ahol található. A fájl helye a Hadoop verzióitól függően változhat. A fájl helyének megkereséséhez futtassa a következő parancsot közvetlenül a Hadoop könyvtáron kívül:
talál hadoop / -név hadoop-env.SHMegkapjuk a fájl helyének kimenetét:
Környezetfájl helye
Szerkesszük ezt a fájlt, hogy tájékoztassuk Hadoopot a Java JDK helyéről, és illesszük be a fájl utolsó sorába, és mentsük el:
export JAVA_HOME = / usr / lib / jvm / java-8-openjdk-amd64A Hadoop telepítése és beállítása befejeződött. Most már készen állunk a minta alkalmazásunk futtatására. De várjon, soha nem készítettünk mintapéldányt!
Minta alkalmazás futtatása a Hadoop segítségével
Valójában a Hadoop telepítése egy beépített példaalkalmazással jár, amely készen áll a futtatásra, miután befejeztük a Hadoop telepítését. Jól hangzik, igaz?
Futtassa a következő parancsot a JAR-példa futtatásához:
hadoop jar / root / hadoop / share / hadoop / mapreduce / hadoop-mapreduce-példa-3.0.1.jar szószám / root / hadoop / README.txt / root / OutputHadoop megmutatja, hogy mekkora feldolgozást végzett a csomóponton:
Hadoop statisztikák feldolgozása
Miután végrehajtotta a következő parancsot, a part-r-00000 fájlt látjuk kimenetként. Nézze meg a kimenet tartalmát:
macska rész-r-00000Ilyeneket kap:
Szószám kimenet Hadoop által
Következtetés
Ebben a leckében megvizsgáltuk, hogyan telepíthetjük és megkezdhetjük az Apache Hadoop használatát az Ubuntu 17-en.10 gép. A Hadoop kiválóan alkalmas hatalmas mennyiségű adat tárolására és elemzésére, és remélem, hogy ez a cikk segít abban, hogy gyorsan elkezdhesse az Ubuntu használatát.
