Elastic Stack

Elastic Stack ist der neue Name für das bisher als ELK-Stack bekannte System aus Elasticsearch, Logstash und Kibana.

Der Hersteller elastic.co hat den Namen auf Grund der wachsenden Anzahl an "Zusatzprogrammen", wie z.B. Beats und X-Pack geändert.
Stück für Stück werde ich hier einige meiner Notizen zu Elasticsearch, Logstash, Kibana und Beats veröffentlichen.
Elasticsearch Nodetypen
Elasticsearch ist eines der Produkte aus dem Elastic Stack, einer Sammlung von sich gegenseitig ergänzender Produkte. Elasticsearch stellt hierbei das "Datenbankbackend" dar, das auf verschiedene Betriebsarten eingesetzt werden kann.
Elasticsearch Setup
Das Setup hat direkten Einfluss auf die Stabilität und die Ausnutzung der Ressourcen und sollte bei jeder Installation entsprechende Sorgfalt erfahren,
Elasticsearch Heapsize
Die Parametrierung der Heapsize für das auf Java aufgebaute Elasticsearch ist nicht trivial. Einige wichtige Faktoren entscheiden darüber ob und wie gut die Hardware ausgenutzt wird.
Wartung einer Elasticsearch Node
Der Neustart einer Node eines Elasticsearch Clusters führt unweigerlich zu einem vollständigen Rebalancing aller Daten des gesamten Clusters. Unweigerlich? Nein. Beachtet man einige Schritte, so lässt sich das umgehen
Pseudonymisierung nach EuDSGVO
Durch die am 25.05.2018 endgültig in Kraft tretende europäische Datenschutzgrundverordnung EuDSGVO, kommen bereits seit Jahren geltende Datenschutzrichtlinien, wie z.B. die Pseudonymisierung von Daten mal wieder in den Blickpunkt. Logstash bringt hierzu einen Filter mit. Ein Blick auf die Parameter soll Klarheit in den Dschungel der Verschlüsselung bringen.
Index in einer Kibana Visualisierung ändern
Die Änderung eines Index in einer Kibana Visualisierung oder Suche ist nicht trivial, aber sogar ohne Hilfsmittel direkt in Kibana realisierbar.
Anzahl der Shards für einen Elasticsearch Index ändern
Die Defaulteinstellung für die Anzahl der Shards aller neu erzeugten Elasticsearch Indizes passt nicht für jedes Setup. Das Anpassen des Default Wertes ist kein Hexenwerk.
Reindizierung bestehender Daten
Um einen Index umzubenennen, oder auch Daten von mehreren Indexes zu einem neuen Index zusammenzuführen, müssen die Daten reindiziert werden. Die Elasticsearch API bietet hierfür eine Schnittstelle.
Limit of total fields has been exceeded
Die Meldung Limit of total fields in index has been exceeded deutet darauf hin, dass ein vordefinierter Grenzwert für die Anzahl an Feldern überschritten wurde. Die Behebung geht schnell und kann im laufenden Betrieb erfolgen.
Logstash Debugging
Vor dem Einsatz neuer Filter für Logstash ist ein Test derer unumgänglich. Wie dies, ohne den laufenden Betrieb zu beeinträchtigen, realisiert werden kann? Die Lösung gibt es hier.