Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging
Click here to load reader
Transcript of Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging
![Page 1: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/1.jpg)
![Page 2: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/2.jpg)
Das Ende der Logfiles
Das Ende der Logfilesmit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging
Dennis KasparekBA-Student
TRITUM GmbH
![Page 3: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/3.jpg)
Was ist das Ziel?
![Page 4: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/4.jpg)
Was kann man loggen?
Zugriffe (access.log)
Fehler (error.log)
Änderungen
Installationsvorgänge
Eigene Daten
…
![Page 5: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/5.jpg)
Wie logge ich nun effektiver?
Antwort: ELK-Stack
Elasticsearch
Logstash
Kibana
![Page 6: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/6.jpg)
Gibt es auch Alternativen?
![Page 7: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/7.jpg)
Was ist Elasticsearch?
Verteilte Suchsoftware
Basiert auf Apache Lucene
Bietet neben Volltextsuche auch analysierte und strukturierte Suche
Sehr gut skalierbar
Sehr schnell
![Page 8: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/8.jpg)
Was ist Logstash?
Aufgabe: Annahme, Verarbeitung und Weiterleitung
Möglichkeiten: Input, Filter, Output
Mögliche Inputs: file, udp, tcp, syslog
Mögliche Filter: grok, mutate, geoip
Mögliche Outputs: tcp, udp, elasticsearch
![Page 9: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/9.jpg)
Was ist Kibana?
Oberfläche für Elasticsearch
Große Anzahl an verschiedenen Statistiken
Aktuelle Version: 4
Größte Neuerungen: abhängige Statistiken
Dashboards von Version 3 nicht kompatibel
![Page 10: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/10.jpg)
Wie installiere ich das alles?
Gut dokumentierte Installationsanleitungen
Wichtig: Absicherung!
Logstash: iptables
Elasticsearch: nur lokal erreichbar
Kibana: Reverse Proxy und .htaccess
![Page 11: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/11.jpg)
Wie sende ich Logs an den Logserver?
Logstash (Forwarder)
Rsyslog
FireGento Logger (für Magento)
![Page 12: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/12.jpg)
INPUT FILTER OUTPUT
input {
udp {
port => XXXXX
codec => json {
charset =>
"UTF-8"
}
}
}
filter {
grok {
match => ['message',
'%{COMBINEDAPACHELOG}']
}
geoip {
source => "clientip"
target => "geoip"
add_field => [ "[geoip][coordinates]",
"%{[geoip][longitude]}" ]
add_field => [ "[geoip][coordinates]",
"%{[geoip][latitude]}" ]
}
mutate {
convert => [ "[geoip][coordinates]", "float" ]
}
}
output {
elasticsearch {
host => "127.0.0.1"
}
}
Was passiert auf dem Logserver?
![Page 13: Das Ende der Logfiles - mit Elasticsearch, Logstash und Kibana zu übersichtlichem Logging](https://reader038.fdocuments.net/reader038/viewer/2022100508/55a947691a28abb03e8b477b/html5/thumbnails/13.jpg)
Und zuletzt: Wie sieht das alles jetzt aus?
LIVE-DEMO