La stack ELK est un ensemble de trois outils open source qui sont souvent utilisés ensemble pour collecter, analyser et visualiser des données de logs en temps réel. Ces outils sont Elasticsearch, Logstash et Kibana.
Elasticsearch est un moteur de recherche open source qui permet de stocker, indexer et rechercher rapidement de grandes quantités de données structurées ou non structurées.
Logstash est un outil de collecte de données qui peut être utilisé pour lire des fichiers de logs, extraire des informations et les envoyer à Elasticsearch pour stockage et indexation.
Kibana est une interface de visualisation de données qui permet de créer des tableaux de bord et des visualisations à partir des données stockées dans Elasticsearch. Vous pouvez utiliser Kibana pour explorer vos données de logs, trouver des tendances et identifier des problèmes.
La stack ELK est souvent utilisée pour l’analyse de logs de serveurs, d’applications et de réseaux, mais elle peut également être utilisée pour analyser tout type de données structurées ou non structurées.
Vous souhaitez suivre une formation ELK ? je vous propose de découvrir une série de plus de 90 tutos pour vous former à votre rythme. Bien sûr nous prendrons un à un chacun des outils pour essayer dans découvrir les multiples facettes (elasticsearch, logstash, kibana).
Pour mieux débuter dans ce domaine, cette formation complète est basée sur des exemples simplifiés de manière à comprendre les principes et notions et pouvoir reproduire cela sur votre laptop.
C’est une formation qui se veut accessible à tous.
N’oubliez pas de liker les tutos, s’il vous ont permis de progresser et parlez-en autour de vous 😉
Repo Xavki (slides & codes) : https://gitlab.com/xavki/presentations-elk
Documentation officielle : https://www.elastic.co/guide/index.html
Playlist pour se former à ELK : https://www.youtube.com/playlist?list=PLn6POgpklwWrgJXXvbjlFPyHf8Q5a9n2b
-
ELK - 0. TUTOS ET AUTOFORMATION FR
-
ELK - 1. INTRODUCTION ET PRINCIPES
-
ELK - 2. INSTALLATION #ELASTICSEARCH
-
ELK - 3. INSTALLATION KIBANA
-
ELK - 4. INSTALLATION LOGSTASH
-
ELK - 5. LOGSTASH : INPUT FILES ET GROK EX. NGINX (LES FICHIERS LOCAUX)
-
ELK - 6. FILEBEAT : INSTALLATION ET MODULE EX. NGINX
-
ELK - 7. FILEBEAT : INPUT FILES ET OUPUT LOGSTASH
-
ELK - 8. FILEBEAT : LES INPUTS DE TYPE LOG
-
ELK - 9. FILEBEAT : INPUT CONTAINER ET TCP
-
ELK - 10. LOGSTASH : MULTI INPUT FILEBEAT ET MULTI-INDEX
-
ELK - 11. FILEBEAT : OUTPUT POUR LOGSTASH
-
ELK - 12. FILEBEAT : OUTPUT VERS KAFKA
-
ELK - 13. FILEBEAT : OUTPUT DE TYPE FILE OU CONSOLE
-
ELK - 14. FILEBEAT : COMMUNIQUER EN TLS/SSL AVEC LOGSTASH
-
ELK - 15. FILEBEAT : COLLECTE DES LOGS POSTGRESQL (MODULE)
-
ELK - 16. METRICBEAT : COLLECTE DES METRIQUES SYSTEM (MODULE)
-
ELK - 17. METRICBEAT : METRIQUES DOCKER (MODULE)
-
ELK - 18. LOGSTASH : INPUT FILE
-
ELK - 19. LOGSTASH : INPUT PLUGIN STDIN ET BEAT
-
ELK - 20. LOGSTASH : INPUT PLUGIN EXEC ET TCP
-
ELK - 21. LOGSTASH : INPUT PLUGIN ELASTICSEARCH
-
ELK - 22. LOGSTASH : INPUT PLUGIN DE TYPE JDBC - EX : POSTGRESQL
-
ELK - 23. LOGSTASH : INPUT PLUGIN TWITTER
-
ELK - 24. LOGSTASH : INPUT PLUGIN HTTP
-
ELK - 25. LOGSTASH : PRINCIPE DES FILTERS - EX : CSV
-
ELK - 26. LOGSTASH : FILTER PLUGIN DATE
-
ELK - 27. LOGSTASH : FILTER MUTATE
-
ELK - 28. LOGSTASH : FILTER AGGREGATE SIMPLIFIE
-
ELK - 29. LOGSTASH : AJOUT DE PLUGINS (EN/HORS LIGNE), REMOVE, UPDATE
-
ELK - 30. LOGSTASH FILTERS : DISSECT, CIDR ET ALTER
-
ELK - 31. LOGSTASH : LE FILTRE GROK (PRINCIPES ET UTILISATION)
-
ELK - 32. LOGSTASH : GROK ET CUSTOM PATTERN
-
ELK - 33. LOGSTASH : GESTION DES GROKPARSEFAILURE
-
ELK - 34. LOGSTASH : CODEC MULTI-LIGNES ET GROK
-
ELK - 35. LOGSTASH : OUTPUT DE TYPE FILE, CSV ET EXEC
-
ELK - 36. LOGSTASH : OUTPUT DE TYPE ELASTICSEARCH - GENERAL
-
ELK - 37. LOGSTASH : ELASTICSEARCH - CREATION DE TEMPLATES D'INDEX
-
ELK - 38. ELASTICSEARCH : INDEX LIFECYCLE MANAGEMENT - PRINCIPES ET CONFIGURATION
-
ELK - 39. LOGSTASH : CONFIGURATION DE ILM POUR ELASTICSEARCH
-
ELK - 40. LOGSTASH : EXPORTER VERS MONGODB (OUTPUT)
-
ELK - 41. LOGSTASH : CREATION DE TICKET REDMINE (OUTPUT)
-
ELK - 42. LOGSTASH : INJECTER VOS DONNEES DANS KAFKA
-
ELK - 43. KIBANA : PRESENTATION ET PRINCIPES
-
ELK - 44. KIBANA : DISCOVER, les filtres et principes
-
ELK - 45. KIBANA : DEBUTER AVEC KQL
-
ELK - 46. KIBANA : DISCOVER AVEC LUCENE ET REGEXP
-
ELK - 47. KIBANA : VISUALISATION AVEC LENS
-
ELK - 48. KIBANA : VISUALISATION EN DATA TABLE
-
ELK - 49. KIBANA : VISUALISATION - LES GAUGES ET LES GOALS