Vizualizálja az Apache naplókat az ELK Verem segítségével

A különféle infrastruktúrák naplóinak valós időben történő figyelemmel kísérése és elemzése nagyon fárasztó feladat lehet. Ha olyan szolgáltatásokkal foglalkozunk, mint a webszerverek, amelyek folyamatosan naplózzák az adatokat, a folyamat nagyon összetett és szinte lehetetlen.

Mint ilyen, annak ismerete, hogy miként használhatja az eszközöket a naplók valós idejű figyelemmel kísérésére, vizualizálására és elemzésére, segíthet a problémák felkutatásában és elhárításában, valamint a rendszer gyanús tevékenységeinek figyelemmel kísérésében.

Ez az oktatóanyag megvitatja, hogyan használhatja az egyik legjobb valós idejű naplógyűjteményt és elemző eszközt - ELK. Az ELK, közismert nevén Elasticsearch, Logstash és Kibana segítségével valós időben gyűjthet, naplózhat és elemezhet adatokat egy apache webszerverről.

Mi az ELK Verem?

Az ELK egy rövidítés, amelyet három fő nyílt forráskódú eszközre utalnak: Elasticsearch, Logstash és Kibana.

Elasticsearch egy nyílt forráskódú eszköz, amelyet arra fejlesztettek ki, hogy találatokat találjon az adathalmazok nagy gyűjteményében a lekérdezési nyelvek és típusok kiválasztásával. Ez egy könnyű és gyors eszköz, amely terabájtnyi adatot képes könnyedén kezelni.

Logstash A motor a szerveroldali és az Elasticsearch közötti kapcsolat, amely lehetővé teszi, hogy adatokat gyűjtsön egy sor forrásból az Elasticsearch-be. Hatékony API-kat kínál, amelyek könnyen integrálhatók a különféle programozási nyelveken kifejlesztett alkalmazásokkal.

Kibana az ELK-verem utolsó darabja. Ez egy adatmegjelenítő eszköz, amely lehetővé teszi az adatok vizuális elemzését és éleslátó jelentések készítését. Emellett grafikonokat és animációkat is kínál, amelyek segíthetnek az adatokkal való interakcióban.

Az ELK verem nagyon hatékony, és hihetetlen adatelemzési dolgokra képes.

Bár az ebben az oktatóanyagban megvitatott különféle fogalmak jól megismerik az ELK veremét, további információkért vegye figyelembe a dokumentációt.

Elasticsearch: https: // linkfy.to / Elasticsearch-Reference

Logstash: https: // linkfy.to / LogstashReference

Kibana: https: // linkfy.to / KibanaGuide

Az Apache telepítése?

Mielőtt elkezdenénk telepíteni az Apache-t és az összes függőséget, jó megjegyezni néhány dolgot.

Ezt az oktatóanyagot a Debian 10-en teszteltük.6, de működni fog más Linux disztribúciókkal is.

A rendszer konfigurációjától függően sudo vagy root jogosultságokra van szükség.

Az ELK verem kompatibilitása és használhatósága verziótól függően változhat.

Az első lépés annak biztosítása, hogy a rendszer teljesen frissítve legyen:

sudo apt-get frissítés
sudo apt-get upgrade

A következő parancs az apache2 webszerver telepítése. Ha minimális apache telepítést szeretne, távolítsa el a dokumentációt és a segédprogramokat az alábbi parancsból.

sudo apt-get install apache2 apache2-utils apache2-doc -y
sudo service apache2 start

Mostanra már rendelkeznie kell egy Apache szerverrel a rendszerén.

Az Elasticsearch, a Logstash és a Kibana telepítése?

Most telepítenünk kell az ELK verem. Minden eszközt külön-külön telepítünk.

Elasticsearch

Kezdjük az Elasticsearch telepítésével. Az apt-et fogjuk használni a telepítéséhez, de stabil kiadást kaphat a hivatalos letöltési oldalról:

https: // www.rugalmas.co / downloads / elasticsearch

Az Elasticsearch futtatásához Java szükséges. Szerencsére a legújabb verzióhoz egy OpenJDK csomag tartozik, ami elhárítja a kézi telepítés problémáját. Ha kézi telepítést kell végrehajtania, olvassa el a következő forrást:

https: // www.rugalmas.co / guide / hu / elasticsearch / reference / current / setup.html # jvm-version

A következő lépésben le kell töltenünk és telepítenünk kell a hivatalos Elastic APT aláíró kulcsot a következő paranccsal:

wget -qO - https: // műtárgyak.rugalmas.co / GPG-KEY-elasticsearch | sudo apt-key add -

Mielőtt folytatná, a telepítés folytatása előtt szüksége lehet egy apt-transport-https csomagra (amely a https-en keresztül szerverelt csomagokhoz szükséges).

sudo apt-get install apt-transport-https

Most adja hozzá az apt repo információkat a forrásokhoz.lista.d fájl.

echo “deb https: // műtárgyak.rugalmas.társ / csomagok / 7.x / apt stabil fő ”| sudo tee / etc / apt / sources.lista.d / rugalmas-7.x.lista

Ezután frissítse a csomagok listáját a rendszerén.

sudo apt-get frissítés

Telepítse az Elasticsearch alkalmazást az alábbi paranccsal:

sudo apt-get install elasticsearch

Az Elasticsearch telepítése után indítsa el és engedélyezze a rendszerindítás indítását a systemctl parancsokkal:

sudo systemctl daemon-reload
sudo systemctl engedélyezi az elasticsearch alkalmazást.szolgáltatás
sudo systemctl start elasticsearch

A szolgáltatás elindítása eltarthat egy ideig. Várjon néhány percet, és a következő paranccsal ellenőrizze, hogy a szolgáltatás működik-e:

sudo systemctl állapot elasticsearch.szolgáltatás

A cURL használatával ellenőrizze, hogy elérhető-e az Elasticsearch API, amint azt az alábbi JSON kimenet mutatja:

curl -X GET "localhost: 9200 /?szép"

"név": "debian",
"cluster_name": "elasticsearch",
"cluster_uuid": "VZHcuTUqSsKO1ryHqMDWsg",
"verzió":
"szám": "7.10.1 ",
"build_flavor": "alapértelmezett",
"build_type": "deb",
"build_hash": "1c34507e66d7db1211f66f3513706fdf548736aa",
"build_date": "2020-12-05T01: 00: 33.671820Z ",
"build_snapshot": hamis,
"lucene_version": "8.7.0 ",
"minimum_huzal_kompatibilitási_változat": "6.8.0 ",
"minimum_index_kompatibilitás_változat": "6.0.0-beta1 "
,
„Tagline”: „Tudod, a kereséshez”

A Logstash telepítése?

Telepítse a logstash csomagot a következő paranccsal:

sudo apt-get install logstash

A Kibana telepítése?

Írja be az alábbi parancsot a kibana telepítéséhez:

sudo apt-get install kibana

Az Elasticsearch, a Logstash és a Kibana konfigurálása?

Az ELK-verem konfigurálásának módja:

Az Elasticsearch konfigurálása?

Az Elasticsearch alkalmazásban az adatok indexekbe rendeződnek. Ezen indexek mindegyikének van egy vagy több darabja. A Shard egy önálló keresőmotor, amelyet az Elasticsearch fürtön belüli részhalmaz indexeinek és lekérdezéseinek kezelésére és kezelésére használnak. Egy szilánk működik a Lucene index példányaként.

Az Elasticsearch alapértelmezett telepítése minden indexhez öt darabot és egy replikát hoz létre. Ez egy jó mechanizmus a gyártás során. Ebben az oktatóanyagban azonban egy szilánkkal és másolatok nélkül fogunk dolgozni.

Először hozzon létre egy indexsablont JSON formátumban. A fájlban a szilánkok számát egy és nulla másolatra állítjuk be az indexnevek egyezéséhez (fejlesztési célokra).

Az Elasticsearch alkalmazásban egy indexsablon arra utal, hogy miként utasítja az Elasticsearch-t az index beállítására a létrehozási folyamat során.

A json sablonfájlon belül (index_template.json), írja be a következő utasításokat:

"sablon":"*",
"beállítások":
"index":
"Shards_of_shards": 1,
"Replikák száma": 0

A cURL használatával alkalmazza a json konfigurációt a sablonra, amelyet az összes létrehozott index alkalmazni fog.

curl -X PUT http: // localhost: 9200 / _template / defaults -H 'Content-Type: application / json' -d @index_template.json
"elismert": igaz

Miután alkalmazta, az Elasticsearch egy elismert: igaz állítással válaszol.

A Logstash beállítása?

Ahhoz, hogy a Logstash összegyűjtse a naplókat az Apache-ból, be kell állítanunk, hogy figyelje a naplókban bekövetkező változásokat a naplók összegyűjtésével, feldolgozásával, majd az Elasticsearchbe történő mentésével. Ehhez be kell állítania a naplógyűjtési útvonalat a Logstash-ban.

Először hozza létre a Logstash konfigurációt az / etc / logstash / conf fájlban.d / apache.konf

input
fájl
elérési út => '/ var / www / * / logs / access.napló
type => "apache"


szűrő
grok
match => "message" => "% COMBINEDAPACHELOG"


Kimenet
rugalmas keresés

Most ellenőrizze a logstash szolgáltatás engedélyezését és indítását.

sudo systemctl engedélyezze a logstash-t.szolgáltatás
sudo systemctl start logstash.szolgáltatás

A Kibana engedélyezése és konfigurálása?

A Kibana engedélyezéséhez módosítsa a főmenüt .yml konfigurációs fájl az / etc / kibana / kibana könyvtárban.yml. Keresse meg a következő bejegyzéseket, és távolítsa el a megjegyzéseket. Miután végzett, a systemctl segítségével indítsa el a Kibana szolgáltatást.

szerver.kikötő: 5601
szerver.host: "localhost"
sudo systemctl engedélyezi a kibanát.service && sudo systemctl start kibana.szolgáltatás

A Kibana index mintákat hoz létre a feldolgozott adatok alapján. Ezért össze kell gyűjteni a naplókat a Logstash használatával, és el kell tárolni őket az Elasticsearch alkalmazásban, amelyet a Kibana használhat. Használja a curl-t naplók létrehozásához az Apache-ból.

Miután naplót kapott az Apache-ból, indítsa el a Kibana-t a böngészőben a http: // localhost: 5601 cím használatával, amely elindítja a Kibana index oldalt.

Főként be kell állítania a Kibana által használt naplómintát a naplók keresésére és a jelentések létrehozására. Alapértelmezés szerint a Kibana a logstash * index mintát használja, amely megegyezik a Logstash által generált összes alapértelmezett mutatóval.

Ha nincs konfigurációja, kattintson a létrehozás gombra a naplók megtekintésének megkezdéséhez.

A Kibana naplók megtekintése?

Amint folytatja az Apache kérések végrehajtását, a Logstash összegyűjti a naplókat, és hozzáadja őket az Elasticsearch alkalmazáshoz. Ezeket a naplókat Kibanában tekintheti meg, ha a bal oldali menü Felfedezés lehetőségére kattint.

A Felfedezés fül lehetővé teszi a naplók megtekintését, amikor a szerver generálja őket. A napló részleteinek megtekintéséhez egyszerűen kattintson a legördülő menüre.

Olvassa el és értse meg az Apache naplók adatait.

A naplók keresése?

A Kibana felületen talál egy keresősávot, amely lehetővé teszi adatok keresését lekérdezési karakterláncok segítségével.

Példa: állapot: aktív

Az ELK lekérdezési karakterláncokról itt tudhat meg többet:

https: // www.rugalmas.co / guide / hu / elasticsearch / reference / 5.5 / query-dsl-query-string-query.html # query-string-syntax

Mivel Apache naplókkal van dolgunk, az egyik lehetséges egyezés egy állapotkód. Ezért keressen:

válasz: 200

Ez a kód 200 (OK) állapotkódú naplót keres és megjeleníti a Kibana számára.

A naplók vizualizálása?

A Visualize fül kiválasztásával vizuális irányítópultokat hozhat létre Kibanában. Válassza ki a létrehozandó irányítópult típusát, és válassza ki a keresési indexet. Az alapértelmezett értékeket használhatja tesztelési célokra.

Következtetés

Ebben az útmutatóban áttekintettük az ELK-verem használatát a naplók kezeléséhez. Azonban ezekről a technológiákról több is szól, amelyeket ez a cikk átfoghat. Javasoljuk, hogy önállóan fedezze fel.