Ansible: Wie überwacht man automatisch neu erstellte Amazon EC2-Instances mit Prometheus?

Veröffentlicht: 2021-12-19
Ansible Holen Sie sich eine Liste von IPs und aktualisieren Sie die Prometheus-Konfiguration dynamisch

Haben Sie eine der folgenden Fragen?

  • Verwenden Sie die dateibasierte Diensterkennung, um Scraping-Ziele zu erkennen
  • Wie erkennt man automatisch die Verwendung mehrerer IPs?
  • Automatische Überwachung von EC2-Instances
  • Überwachung mit Prometheus
  • Verwenden Sie Prometheus, um neu erstellte Amazon EC2-Instanzen zu überwachen?
  • Wie aktualisiere ich die IP-Listendatei für Prometheus-Ziele nach dem Erstellen von Amazon EC2-VMs dynamisch?

Ansible ist zweifellos das beste Betriebsautomatisierungstool in der Industrie. Auf Crunchify haben wir mehr als ein Dutzend Ansible-Artikel zu zahlreichen Themen veröffentlicht.

In diesem Tutorial erfahren Sie, wie Sie die Prometheus-Ziele-IP-Listendatei aktualisieren, nachdem Sie Amazon EC2-VMs dynamisch erstellt haben.

Betrachten Sie dieses Szenario:

  1. Sie führen Prometheus zur Überwachung Ihrer Produktionsinfrastruktur aus.
    • Folgen Sie dem Prometheus-Setup-Tutorial im Detail.
  2. Mit Ansible spawnen 5 neue Amazon EC2-VMs
    • Befolgen Sie das Tutorial zum Erstellen einer neuen Amazon EC2-Instanz vollständig.
  3. Holen Sie sich 5 IPs und aktualisieren Sie die Gruppe [crunchify] zur Laufzeit
    • Befolgen Sie das Tutorial der Ansible Hosts-Dateiaktualisierungsgruppe vollständig.
  4. Aktualisieren Sie die Datei crunchify_prometheus.txt mit aktualisierter IP
  5. Schieben Sie die Datei auf einen neuen Host, auf dem Prometheus ausgeführt wird
  6. Prometheus liest diese neue updated IP file dynamisch
  7. Alle neuen hosts werden automatisch überwacht

Für die Schritte 4 bis 7 gehen wir hier alle Schritte durch.

So aktualisieren Sie die IP-Listendatei für Prometheus-Ziele nach dem dynamischen Erstellen von Amazon EC2-VMs

Detaillierte Schritte:

  1. Rufen Sie eine Liste aller IPs aus der Ansible-Hosts-Datei unter der Gruppe [Crunchify] .
  2. Fügen Sie alle IPs nur zu Testzwecken zur Datei crunchify.txt . Wir werden diese Datei in den nächsten Schritten nicht verwenden.
  3. Löschen Sie die vorhandene crunchify_prometheus.json-Datei.
  4. Erstellen Sie eine neue crunchify_prometheus.json -Datei mit einer neuen Prometheus-IP-Listendatei.
  5. Ersetzen Sie iplist aus der Datei crunchify_prometheus.json durch eine Liste von IPs.
  6. Ersetze u' durch ' .
  7. Ersetzen Sie ' durch " .
  8. Löschen Sie die vorhandene Datei crunchify_prometheus.json vom Remote-Host, auf dem der Prometheus-Prozess ausgeführt wird.
  9. Kopieren Sie die Datei crunchify_prometheus.json vom lokalen Host auf den Remote-Host, damit Prometheus sie nutzen kann.

crunchify_prometheus_file_update.yml-Datei.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
---
- name : Update Prometheus Targets IP List file after creating Amazon EC2 VMs Dynamically
   hosts : local
   connection : local
   gather_facts : True
 
   tasks :
    - name : Get list of all IPs from group Crunchify
       set_fact : nodelist = "{{ groups['Crunchify'] }}"
 
    - name : Add all IPs to file crunchify . txt just for testing purpose . We are not going to use this file in next steps .
       lineinfile :
         path : "crunchify.txt"
         line : "{{ nodelist }}"
 
    - name : Delete existing crunchify_prometheus . json file
       ignore_errors : yes
       shell : rm crunchify_prometheus . json
 
    - name : Create new crunchify_prometheus . json file with sample new prometheus IP list file .
       copy :
         dest : "crunchify_prometheus.json"
         content : [ { "targets" : iplist , "labels" : { "job" : "crunchify_prometheus_job" } } ]
 
    - name : Replace iplist from file crunchify_prometheus . json with list of IPs
       replace :
         path : "crunchify_prometheus.json"
         regexp : '"iplist"'
         replace : "{{ nodelist }}"
 
    - name : Replace u ' with '
       replace :
         path : "crunchify_prometheus.json"
         regexp : 'u' '
        replace: ' ''
 
    - name : Replace ' with "
      replace:
        path: "crunchify_prometheus.json"
        regexp: "' "
        replace: " \ ""
 
- hosts : linode
   become : yes
 
   tasks :
    - name : Delete existing crunchify_prometheus . json file from remote host where Prometheus process is running .
       ignore_errors : yes
       command : rm / root / crunchify / crunchify_prometheus . json
          
    - name : Copy file crunchify_prometheus . json from local host to remote host so prometheus can consume it .
       copy : src = { { item . src } } dest = { { item . dest } }
       with_items :
        - { src : '//cdn.crunchify.com/Users/crunchify/Documents/ansible/crunchify_prometheus.json' , dest : '/root/crunchify/' }

Ansible Playbook ausführen:

1
ansible - playbook - v - i . / hosts crunchify_prometheus_file_update . yml

Ansible Playbook-Ergebnis:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
bash Crunchify $ ansible - playbook - v - i . / hosts crunchify_prometheus_file_update . yml
 
WARNING : Executing a script that is loading libcrypto in an unsafe way . This will fail in a future version of macOS . Set the LIBRESSL_REDIRECT_STUB_ABORT = 1 in the environment to force this into an error .
No config file found ; using defaults
/ Users / crunchify / Documents / ansible / hosts did not meet host_list requirements , check plugin documentation if this is unexpected
/ Users / crunchify / Documents / ansible / hosts did not meet script requirements , check plugin documentation if this is unexpected
 
PLAY [ Update Prometheus Targets IP List file after creating Amazon EC2 VMs Dynamically ] ************************************************************************
 
TASK [ Gathering Facts ] *****************************************************************************************************************************************
ok : [ localhost ]
 
TASK [ Get list of all IPs from group Crunchify ] *******************************************************************************************************************
ok : [ localhost ] = > { "ansible_facts" : { "nodelist" : [ "5.17.14.87" , "8.17.24.26" , "96.17.67.11" , "62.17.64.87" ] } , "changed" : false }
 
TASK [ Add all IPs to file crunchify . txt just for testing purpose . We are not going to use this file in next steps . ] ********************************************
ok : [ localhost ] = > { "backup" : "" , "changed" : false , "msg" : "" }
 
TASK [ Delete existing crunchify_prometheus . json file ] **********************************************************************************************************
[ WARNING ] : Consider using the file module with state = absent rather than running 'rm' .    If you need to use command because file is insufficient you can add
'warn: false' to this command task or set 'command_warnings=False' in ansible . cfg to get rid of this message .
 
changed : [ localhost ] = > { "changed" : true , "cmd" : "rm crunchify_prometheus.json" , "delta" : "0:00:00.004614" , "end" : "2019-08-31 19:05:28.214368" , "rc" : 0 , "start" : "2019-08-31 19:05:28.209754" , "stderr" : "" , "stderr_lines" : [ ] , "stdout" : "" , "stdout_lines" : [ ] }
 
TASK [ Create new crunchify_prometheus . json file with sample new prometheus IP list file . ] **********************************************************************
changed : [ localhost ] = > { "changed" : true , "checksum" : "0f561a2aedb23d9b6e76a93af377cf0128c9f4c6" , "dest" : "./crunchify_prometheus.json" , "gid" : 20 , "group" : "staff" , "md5sum" : "6a8d4a45c6b38bd6e664ce1cdc7f001a" , "mode" : "0644" , "owner" : "Crunchify" , "size" : 70 , "src" : "/Users/crunchify/.ansible/tmp/ansible-tmp-1567296328.29-229442409470865/source" , "state" : "file" , "uid" : 502 }
 
TASK [ Replace iplist from file crunchify_prometheus . json with list of IPs ] *************************************************************************************
changed : [ localhost ] = > { "changed" : true , "msg" : "1 replacements made" }
 
TASK [ Replace u ' with ' ] ***************************************************************************************************************************************
ok : [ localhost ] = > { "changed" : false , "msg" : "" }
 
TASK [ Replace ' with "] ****************************************************************************************************************************************
changed: [localhost] => {"changed": true, "msg": "8 replacements made"}
 
PLAY [linode] **************************************************************************************************************************************************
 
TASK [Gathering Facts] *****************************************************************************************************************************************
ok: [11.33.64.98]
 
TASK [Delete existing crunchify_prometheus.json file from remote host where Prometheus process is running.] ****************************************************
changed: [11.33.64.98] => {"changed": true, "cmd": ["rm", "//cdn.crunchify.com/root/crunchify/crunchify_prometheus.json"], "delta": "0:00:00.002704", "end": "2019-09-01 00:05:32.687400", "rc": 0, "start": "2019-09-01 00:05:32.684696", "stderr": "", "stderr_lines": [], "stdout": "", "stdout_lines": []}
 
TASK [Copy file crunchify_prometheus.json from local host to remote host so prometheus can consume it.] ********************************************************
changed: [11.33.64.98] => (item={u' dest ': u' / root / crunchify / ', u' src ': u' / Users / crunchify / Documents / ansible / crunchify_prometheus . json ' } ) = > { "changed" : true , "checksum" : "ecea3eafaf9ba3e66698e0851d2ee2513d9fcd5f" , "dest" : "//cdn.crunchify.com/root/crunchify/crunchify_prometheus.json" , "gid" : 0 , "group" : "root" , "item" : { "dest" : "/root/crunchify/" , "src" : "//cdn.crunchify.com/Users/crunchify/Documents/ansible/crunchify_prometheus.json" } , "md5sum" : "8b8f073e30b180c63341cd3fd4c47974" , "mode" : "0644" , "owner" : "root" , "size" : 122 , "src" : "/root/.ansible/tmp/ansible-tmp-1567296332.67-196855844989682/source" , "state" : "file" , "uid" : 0 }
 
PLAY RECAP * ****************************************************************************************************************************************************
11.33.64.98                : ok = 3      changed = 2      unreachable = 0      failed = 0   
localhost                    : ok = 8      changed = 4      unreachable = 0      failed = 0   

Das ist es. Glückwünsche. Sie haben die neue aktualisierte Datei erfolgreich auf den neuen Host kopiert und Prometheus überwacht jetzt automatisch Ihre neu erstellten Amazon EC2-Instanzen.

Was kommt als nächstes?

Sehen Sie sich das Tutorial zur install docker unter Linux an.

Wie installiere ich Docker-Container unter Linux? (Ubuntu und CentOS)