Bot DNIT (Bot 2)

Segundo bot del pipeline DNIT. Bot 1 (n8n, fuera de este repo) descarga los .zip del DNIT al host y registra cada descarga en la tabla de control control_descargas_dnit. Este bot (Bot 2) toma esas filas pendientes, descomprime y parsea los .txt, filtra RUC de personas jurídicas y físicas, los compara contra la tabla personas de la base existente, y exporta CSV con lo que falta cargar. Un script separado (sync_dnit.sh) sincroniza esos CSV a una carpeta compartida de red para que otro equipo los cargue.

Bot 1 (n8n)  -->  control_descargas_dnit  -->  Bot 2 (este repo, Docker)
                                                      |
                                                      v
                                        CSV en /mnt/bot_dnit/procesados
                                                      |
                                                      v
                                              sync_dnit.sh (rsync)
                                                      |
                                                      v
                                    Carpeta compartida (CIFS, //192.168.0.51/...)

Qué genera

Por cada fila pendiente procesada, main.py exporta dos tipos de CSV en OUTPUT_DIR:

  • rucs_faltantes_<id>_*.csv: personas jurídicas (RUC con prefijo de PREFIJOS_PERSONAS_JURIDICAS y longitud LONGITUD_RUC_JURIDICA) cuyo ruc-dv no está en la tabla personas.
  • fisicas_password_<id>_*.csv: personas físicas a insertar (sin password cargado) o actualizar (password distinto al dv que trae el DNIT). Las que no existen como persona física en la BD se descartan y quedan solo logueadas (falta el resto de sus datos para poder insertarlas).

Si el procesamiento de una fila falla, la corrida se corta ahí (no se procesan las filas siguientes) y se envía un correo de error; si sale bien se envía un correo con el resumen y se marca la fila como procesada (procesados_filtro = 1, estado = 'D').

Configuración (.env)

Copiar .env.example a .env y completar:

Variable Uso
HOST_DOCUMENTOS_PATH Ruta en el host donde Bot 1 deja los .zip (la misma que escribe en directorio_zips). Se usa para traducir esa ruta a BASE_DIR dentro del contenedor.
HOST_SALIDA_PATH Ruta en el host donde el bot escribe los CSV generados. Debe apuntar a lo mismo que ORIGEN_DNIT (ver más abajo) para que sync_dnit.sh encuentre lo que generó el bot.
DB_HOST / DB_PORT / DB_NAME / DB_USER / DB_PASSWORD BD existente con la tabla personas. La base de control (bot_dnit_monitor / control_descargas_dnit) vive en el mismo servidor, con las mismas credenciales.
TABLA_PERSONAS / COLUMNA_RUC Nombre de tabla/columna de RUC en la BD de personas.
SMTP_* / SMTP_FROM / SMTP_FROM_NAME Envío de correos de error/resumen.
DESTINATARIOS Destinatarios del correo, separados por coma sin espacios.
ORIGEN_DNIT Carpeta local con los CSV a sincronizar (debe coincidir con HOST_SALIDA_PATH).
DESTINO_DNIT Punto de montaje local del recurso CIFS remoto.
MIGRADOS_DNIT Carpeta local donde se archiva lo ya sincronizado (con timestamp).
CARPETA_COMPARTIDA Ruta UNC del recurso compartido (//servidor/share/carpeta).
USER_COMPARTIDA / PASS_COMPARTIDA Credenciales del recurso compartido.
LOG_DNIT Archivo de log de sync_dnit.sh.

Cualquier valor con espacios (rutas, usuario) debe ir entre comillas: el .env lo cargan tanto Docker/python-dotenv como scripts bash con source, y bash rompe en variables sin comillas si tienen espacios.

Correr manualmente

docker compose up --build

Es una corrida única: el contenedor procesa todas las filas pendientes y termina. docker-compose.yml monta HOST_DOCUMENTOS_PATH en /data y HOST_SALIDA_PATH en /data/salida.

Sincronización a la carpeta compartida (sync_dnit.sh)

  1. Verifica si DESTINO_DNIT ya está montado (mountpoint -q); si no, monta el recurso CIFS con sudo mount -t cifs.
  2. Si ORIGEN_DNIT tiene contenido, lo sincroniza con rsync -av al recurso remoto montado.
  3. Mueve lo sincronizado de ORIGEN_DNIT a MIGRADOS_DNIT/<timestamp>/ (archivo local de lo ya enviado).

Se puede correr suelto (bash sync_dnit.sh) o encadenado desde run.sh.

Pendiente / limitación conocida: el sudo mount pide contraseña interactiva. Si el recurso ya está montado (no sobrevivió un reinicio del servidor), sync_dnit.sh no puede montarlo solo desde cron. Hasta que se resuelva (fstab + archivo de credenciales, o una regla sudoers acotada), hay que montarlo a mano después de cada reinicio del servidor.

Corrida automática diaria (run.sh + cron)

run.sh levanta el contenedor, espera a que termine y, si salió bien, dispara sync_dnit.sh. Loguea todo en /mnt/bot_dnit/logs/run_dnit.log (configurable con RUN_LOG).

Para correrlo todos los días a las 7:30 AM, agregar al crontab del usuario (crontab -e):

30 7 * * * /home/var/www/proyecto_desarrollo/botDNIT/run.sh >> /mnt/bot_dnit/logs/run_dnit_cron.log 2>&1

Logs

  • LOG_DIR (por defecto, el mismo que OUTPUT_DIR): un log por corrida del bot Python (bot_<timestamp>.log).
  • LOG_DNIT: log de sync_dnit.sh.
  • /mnt/bot_dnit/logs/run_dnit.log: log de run.sh (orquesta bot + sync).
Description
No description provided
Readme 59 KiB
Languages
Python 87.4%
Shell 12%
Dockerfile 0.6%