Ansible: ¿Cómo monitorear automáticamente las instancias de Amazon EC2 recién creadas usando Prometheus?

Publicado: 2021-12-19
Ansible Obtenga una lista de direcciones IP y actualice la configuración de Prometheus dinámicamente

¿Tiene alguna de las siguientes preguntas?

  • Use el descubrimiento de servicios basado en archivos para descubrir objetivos de raspado
  • ¿Cómo descubrir automáticamente el uso de múltiples IP?
  • Monitoreo automático de instancias EC2
  • Monitoreo con Prometheus
  • ¿Utiliza Prometheus para monitorear las instancias de Amazon EC2 recién creadas?
  • ¿Cómo actualizar dinámicamente el archivo de lista de IP de objetivos de Prometheus después de crear máquinas virtuales de Amazon EC2?

Ansible es sin duda la mejor herramienta de automatización de operaciones que existe en la industria. En Crunchify, hemos publicado más de una docena de artículos de Ansible sobre numerosos temas.

En este tutorial, veremos cómo actualizar el archivo de lista de IP de objetivos de Prometheus después de crear máquinas virtuales de Amazon EC2 de forma dinámica.

Considere este escenario:

  1. Está ejecutando Prometheus para monitorear su infraestructura de producción.
    • Siga el tutorial de configuración de Prometheus en detalles.
  2. Uso de ansible spawn 5 nuevas máquinas virtuales Amazon EC2
    • Siga completamente el tutorial de generación de nuevas instancias de Amazon EC2.
  3. Obtenga 5 direcciones IP y actualice el grupo [crunchify] en tiempo de ejecución
    • Siga completamente el tutorial del grupo de actualización de archivos de hosts de ansible.
  4. Actualice el archivo crunchify_prometheus.txt con IP actualizada
  5. Empuje el archivo al nuevo host donde tiene Prometheus ejecutándose
  6. Prometheus leerá dinámicamente este nuevo updated IP file
  7. Tendrá todos los hosts nuevos monitoreados automáticamente

Para los pasos 4 a 7 repasaremos todos los pasos aquí.

Cómo actualizar el archivo de lista de IP de objetivos de Prometheus después de crear máquinas virtuales de Amazon EC2 dinámicamente

Pasos detallados:

  1. Obtenga una lista de todas las direcciones IP del archivo de hosts ansible en el grupo [Crunchify] .
  2. Agregue todas las IP al archivo crunchify.txt solo para fines de prueba. No vamos a utilizar este archivo en los próximos pasos.
  3. Elimine el archivo crunchify_prometheus.json existente.
  4. Cree un nuevo archivo crunchify_prometheus.json con un nuevo archivo de lista de IP de Prometheus de muestra.
  5. Reemplace iplist del archivo crunchify_prometheus.json con la lista de direcciones IP.
  6. Reemplace u' por ' .
  7. Reemplace ' con " .
  8. Elimine el archivo crunchify_prometheus.json existente del host remoto donde se ejecuta el proceso de Prometheus.
  9. Copie el archivo crunchify_prometheus.json del host local al host remoto para que Prometheus pueda consumirlo.

archivo crunchify_prometheus_file_update.yml.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
---
- name : Update Prometheus Targets IP List file after creating Amazon EC2 VMs Dynamically
   hosts : local
   connection : local
   gather_facts : True
 
   tasks :
    - name : Get list of all IPs from group Crunchify
       set_fact : nodelist = "{{ groups['Crunchify'] }}"
 
    - name : Add all IPs to file crunchify . txt just for testing purpose . We are not going to use this file in next steps .
       lineinfile :
         path : "crunchify.txt"
         line : "{{ nodelist }}"
 
    - name : Delete existing crunchify_prometheus . json file
       ignore_errors : yes
       shell : rm crunchify_prometheus . json
 
    - name : Create new crunchify_prometheus . json file with sample new prometheus IP list file .
       copy :
         dest : "crunchify_prometheus.json"
         content : [ { "targets" : iplist , "labels" : { "job" : "crunchify_prometheus_job" } } ]
 
    - name : Replace iplist from file crunchify_prometheus . json with list of IPs
       replace :
         path : "crunchify_prometheus.json"
         regexp : '"iplist"'
         replace : "{{ nodelist }}"
 
    - name : Replace u ' with '
       replace :
         path : "crunchify_prometheus.json"
         regexp : 'u' '
        replace: ' ''
 
    - name : Replace ' with "
      replace:
        path: "crunchify_prometheus.json"
        regexp: "' "
        replace: " \ ""
 
- hosts : linode
   become : yes
 
   tasks :
    - name : Delete existing crunchify_prometheus . json file from remote host where Prometheus process is running .
       ignore_errors : yes
       command : rm / root / crunchify / crunchify_prometheus . json
          
    - name : Copy file crunchify_prometheus . json from local host to remote host so prometheus can consume it .
       copy : src = { { item . src } } dest = { { item . dest } }
       with_items :
        - { src : '//cdn.crunchify.com/Users/crunchify/Documents/ansible/crunchify_prometheus.json' , dest : '/root/crunchify/' }

Ejecute el libro de jugadas de Ansible:

1
ansible - playbook - v - i . / hosts crunchify_prometheus_file_update . yml

Resultado del libro de jugadas de Ansible:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
bash Crunchify $ ansible - playbook - v - i . / hosts crunchify_prometheus_file_update . yml
 
WARNING : Executing a script that is loading libcrypto in an unsafe way . This will fail in a future version of macOS . Set the LIBRESSL_REDIRECT_STUB_ABORT = 1 in the environment to force this into an error .
No config file found ; using defaults
/ Users / crunchify / Documents / ansible / hosts did not meet host_list requirements , check plugin documentation if this is unexpected
/ Users / crunchify / Documents / ansible / hosts did not meet script requirements , check plugin documentation if this is unexpected
 
PLAY [ Update Prometheus Targets IP List file after creating Amazon EC2 VMs Dynamically ] ************************************************************************
 
TASK [ Gathering Facts ] *****************************************************************************************************************************************
ok : [ localhost ]
 
TASK [ Get list of all IPs from group Crunchify ] *******************************************************************************************************************
ok : [ localhost ] = > { "ansible_facts" : { "nodelist" : [ "5.17.14.87" , "8.17.24.26" , "96.17.67.11" , "62.17.64.87" ] } , "changed" : false }
 
TASK [ Add all IPs to file crunchify . txt just for testing purpose . We are not going to use this file in next steps . ] ********************************************
ok : [ localhost ] = > { "backup" : "" , "changed" : false , "msg" : "" }
 
TASK [ Delete existing crunchify_prometheus . json file ] **********************************************************************************************************
[ WARNING ] : Consider using the file module with state = absent rather than running 'rm' .    If you need to use command because file is insufficient you can add
'warn: false' to this command task or set 'command_warnings=False' in ansible . cfg to get rid of this message .
 
changed : [ localhost ] = > { "changed" : true , "cmd" : "rm crunchify_prometheus.json" , "delta" : "0:00:00.004614" , "end" : "2019-08-31 19:05:28.214368" , "rc" : 0 , "start" : "2019-08-31 19:05:28.209754" , "stderr" : "" , "stderr_lines" : [ ] , "stdout" : "" , "stdout_lines" : [ ] }
 
TASK [ Create new crunchify_prometheus . json file with sample new prometheus IP list file . ] **********************************************************************
changed : [ localhost ] = > { "changed" : true , "checksum" : "0f561a2aedb23d9b6e76a93af377cf0128c9f4c6" , "dest" : "./crunchify_prometheus.json" , "gid" : 20 , "group" : "staff" , "md5sum" : "6a8d4a45c6b38bd6e664ce1cdc7f001a" , "mode" : "0644" , "owner" : "Crunchify" , "size" : 70 , "src" : "/Users/crunchify/.ansible/tmp/ansible-tmp-1567296328.29-229442409470865/source" , "state" : "file" , "uid" : 502 }
 
TASK [ Replace iplist from file crunchify_prometheus . json with list of IPs ] *************************************************************************************
changed : [ localhost ] = > { "changed" : true , "msg" : "1 replacements made" }
 
TASK [ Replace u ' with ' ] ***************************************************************************************************************************************
ok : [ localhost ] = > { "changed" : false , "msg" : "" }
 
TASK [ Replace ' with "] ****************************************************************************************************************************************
changed: [localhost] => {"changed": true, "msg": "8 replacements made"}
 
PLAY [linode] **************************************************************************************************************************************************
 
TASK [Gathering Facts] *****************************************************************************************************************************************
ok: [11.33.64.98]
 
TASK [Delete existing crunchify_prometheus.json file from remote host where Prometheus process is running.] ****************************************************
changed: [11.33.64.98] => {"changed": true, "cmd": ["rm", "//cdn.crunchify.com/root/crunchify/crunchify_prometheus.json"], "delta": "0:00:00.002704", "end": "2019-09-01 00:05:32.687400", "rc": 0, "start": "2019-09-01 00:05:32.684696", "stderr": "", "stderr_lines": [], "stdout": "", "stdout_lines": []}
 
TASK [Copy file crunchify_prometheus.json from local host to remote host so prometheus can consume it.] ********************************************************
changed: [11.33.64.98] => (item={u' dest ': u' / root / crunchify / ', u' src ': u' / Users / crunchify / Documents / ansible / crunchify_prometheus . json ' } ) = > { "changed" : true , "checksum" : "ecea3eafaf9ba3e66698e0851d2ee2513d9fcd5f" , "dest" : "//cdn.crunchify.com/root/crunchify/crunchify_prometheus.json" , "gid" : 0 , "group" : "root" , "item" : { "dest" : "/root/crunchify/" , "src" : "//cdn.crunchify.com/Users/crunchify/Documents/ansible/crunchify_prometheus.json" } , "md5sum" : "8b8f073e30b180c63341cd3fd4c47974" , "mode" : "0644" , "owner" : "root" , "size" : 122 , "src" : "/root/.ansible/tmp/ansible-tmp-1567296332.67-196855844989682/source" , "state" : "file" , "uid" : 0 }
 
PLAY RECAP * ****************************************************************************************************************************************************
11.33.64.98                : ok = 3      changed = 2      unreachable = 0      failed = 0   
localhost                    : ok = 8      changed = 4      unreachable = 0      failed = 0   

Eso es todo. Felicidades. Ha copiado con éxito un nuevo archivo actualizado en un nuevo host y Prometheus ahora está monitoreando automáticamente sus instancias Amazon EC2 recién creadas.

¿Que sigue?

Consulte el tutorial sobre cómo install docker en Linux.

¿Cómo instalar Docker Container en Linux? (Ubuntu y CentOS)