5.3 KiB
Bot DNIT (Bot 2)
Segundo bot del pipeline DNIT. Bot 1 (n8n, fuera de este repo) descarga los
.zip del DNIT al host y registra cada descarga en la tabla de control
control_descargas_dnit. Este bot (Bot 2) toma esas filas pendientes,
descomprime y parsea los .txt, filtra RUC de personas jurídicas y físicas,
los compara contra la tabla personas de la base existente, y exporta CSV
con lo que falta cargar. Un script separado (sync_dnit.sh) sincroniza esos
CSV a una carpeta compartida de red para que otro equipo los cargue.
Bot 1 (n8n) --> control_descargas_dnit --> Bot 2 (este repo, Docker)
|
v
CSV en /mnt/bot_dnit/procesados
|
v
sync_dnit.sh (rsync)
|
v
Carpeta compartida (CIFS, //192.168.0.51/...)
Qué genera
Por cada fila pendiente procesada, main.py exporta dos tipos de CSV en
OUTPUT_DIR:
rucs_faltantes_<id>_*.csv: personas jurídicas (RUC con prefijo dePREFIJOS_PERSONAS_JURIDICASy longitudLONGITUD_RUC_JURIDICA) cuyoruc-dvno está en la tablapersonas.fisicas_password_<id>_*.csv: personas físicas a insertar (sin password cargado) o actualizar (password distinto al dv que trae el DNIT). Las que no existen como persona física en la BD se descartan y quedan solo logueadas (falta el resto de sus datos para poder insertarlas).
Si el procesamiento de una fila falla, la corrida se corta ahí (no se
procesan las filas siguientes) y se envía un correo de error; si sale bien
se envía un correo con el resumen y se marca la fila como procesada
(procesados_filtro = 1, estado = 'D').
Configuración (.env)
Copiar .env.example a .env y completar:
| Variable | Uso |
|---|---|
HOST_DOCUMENTOS_PATH |
Ruta en el host donde Bot 1 deja los .zip (la misma que escribe en directorio_zips). Se usa para traducir esa ruta a BASE_DIR dentro del contenedor. |
HOST_SALIDA_PATH |
Ruta en el host donde el bot escribe los CSV generados. Debe apuntar a lo mismo que ORIGEN_DNIT (ver más abajo) para que sync_dnit.sh encuentre lo que generó el bot. |
DB_HOST / DB_PORT / DB_NAME / DB_USER / DB_PASSWORD |
BD existente con la tabla personas. La base de control (bot_dnit_monitor / control_descargas_dnit) vive en el mismo servidor, con las mismas credenciales. |
TABLA_PERSONAS / COLUMNA_RUC |
Nombre de tabla/columna de RUC en la BD de personas. |
SMTP_* / SMTP_FROM / SMTP_FROM_NAME |
Envío de correos de error/resumen. |
DESTINATARIOS |
Destinatarios del correo, separados por coma sin espacios. |
ORIGEN_DNIT |
Carpeta local con los CSV a sincronizar (debe coincidir con HOST_SALIDA_PATH). |
DESTINO_DNIT |
Punto de montaje local del recurso CIFS remoto. |
MIGRADOS_DNIT |
Carpeta local donde se archiva lo ya sincronizado (con timestamp). |
CARPETA_COMPARTIDA |
Ruta UNC del recurso compartido (//servidor/share/carpeta). |
USER_COMPARTIDA / PASS_COMPARTIDA |
Credenciales del recurso compartido. |
LOG_DNIT |
Archivo de log de sync_dnit.sh. |
Cualquier valor con espacios (rutas, usuario) debe ir entre comillas: el
.env lo cargan tanto Docker/python-dotenv como scripts bash con
source, y bash rompe en variables sin comillas si tienen espacios.
Correr manualmente
docker compose up --build
Es una corrida única: el contenedor procesa todas las filas pendientes y
termina. docker-compose.yml monta HOST_DOCUMENTOS_PATH en /data y
HOST_SALIDA_PATH en /data/salida.
Sincronización a la carpeta compartida (sync_dnit.sh)
- Verifica si
DESTINO_DNITya está montado (mountpoint -q); si no, monta el recurso CIFS consudo mount -t cifs. - Si
ORIGEN_DNITtiene contenido, lo sincroniza conrsync -aval recurso remoto montado. - Mueve lo sincronizado de
ORIGEN_DNITaMIGRADOS_DNIT/<timestamp>/(archivo local de lo ya enviado).
Se puede correr suelto (bash sync_dnit.sh) o encadenado desde run.sh.
Pendiente / limitación conocida: el sudo mount pide contraseña
interactiva. Si el recurso ya está montado (no sobrevivió un reinicio del
servidor), sync_dnit.sh no puede montarlo solo desde cron. Hasta que se
resuelva (fstab + archivo de credenciales, o una regla sudoers acotada),
hay que montarlo a mano después de cada reinicio del servidor.
Corrida automática diaria (run.sh + cron)
run.sh levanta el contenedor, espera a que termine y, si salió bien,
dispara sync_dnit.sh. Loguea todo en /mnt/bot_dnit/logs/run_dnit.log
(configurable con RUN_LOG).
Para correrlo todos los días a las 7:30 AM, agregar al crontab del usuario
(crontab -e):
30 7 * * * /home/var/www/proyecto_desarrollo/botDNIT/run.sh >> /mnt/bot_dnit/logs/run_dnit_cron.log 2>&1
Logs
LOG_DIR(por defecto, el mismo queOUTPUT_DIR): un log por corrida del bot Python (bot_<timestamp>.log).LOG_DNIT: log desync_dnit.sh./mnt/bot_dnit/logs/run_dnit.log: log derun.sh(orquesta bot + sync).