Envío de las notificaciones, consultas optimizadas en la BD, filtros correctos, conexión modificada, se agrego el sincronizador y el shell para el crontab

This commit is contained in:
2026-09-22 08:17:36 -03:00
parent 5c422fe3ef
commit f806b63bc8
12 changed files with 811 additions and 33 deletions

View File

@@ -1,8 +1,9 @@
import logging
import os
import traceback
from datetime import datetime
from config import LOG_DIR
from config import LOG_DIR, BASE_DIR, HOST_DOCUMENTOS_PATH
from extractor import descomprimir_todo
from parser import recorrer_y_parsear
from filtro import (
@@ -12,7 +13,15 @@ from filtro import (
clasificar_passwords_fisicas,
)
from exportador import exportar_csv
from db import get_connection, fetch_rucs_existentes, fetch_passwords_fisicas
from db import (
get_connection,
get_connection_control,
fetch_rucs_existentes,
fetch_passwords_fisicas,
fetch_pendientes,
marcar_procesado,
)
from notificaciones import enviar_correo_error, enviar_correo_resultado
os.makedirs(LOG_DIR, exist_ok=True)
LOG_FILE = os.path.join(LOG_DIR, f"bot_{datetime.now():%Y%m%d_%H%M%S}.log")
@@ -28,15 +37,41 @@ logging.basicConfig(
logger = logging.getLogger(__name__)
def main():
logger.info("Iniciando bot RUC DNIT")
def _mapear_a_ruta_local(directorio_zips):
"""
directorio_zips viene de control_descargas_dnit tal cual lo escribe Bot 1,
que corre en el host (ej. HOST_DOCUMENTOS_PATH="/home/.../Documentos
Descargados"). Este bot corre en Docker, donde esa misma carpeta está
montada en BASE_DIR (ver docker-compose.yml, target: /data), así que la
ruta del host no existe dentro del contenedor tal cual.
Si HOST_DOCUMENTOS_PATH coincide con el prefijo de directorio_zips, lo
reemplazamos por BASE_DIR. Si no hay match (o no está seteada, ej. corridas
fuera de Docker), se devuelve directorio_zips sin cambios.
"""
if not HOST_DOCUMENTOS_PATH or not directorio_zips.startswith(HOST_DOCUMENTOS_PATH):
return directorio_zips
resto = directorio_zips[len(HOST_DOCUMENTOS_PATH):].lstrip("/\\")
ruta_local = os.path.join(BASE_DIR, resto) if resto else BASE_DIR
logger.info("directorio_zips traducido de host a contenedor: %s -> %s", directorio_zips, ruta_local)
return ruta_local
def procesar_fila(row_id, directorio_zips):
"""
Corre el pipeline completo (descomprimir -> parsear -> filtrar ->
comparar contra la BD -> exportar CSV) para el directorio_zips de una
fila pendiente de control_descargas_dnit.
"""
directorio_zips = _mapear_a_ruta_local(directorio_zips)
logger.info("=== Procesando fila id=%s, directorio_zips=%s ===", row_id, directorio_zips)
logger.info("Paso 1: descomprimiendo zips nuevos")
carpetas_nuevas = descomprimir_todo()
carpetas_nuevas = descomprimir_todo(directorio_zips)
logger.info("Carpetas descomprimidas en esta corrida: %d", len(carpetas_nuevas))
logger.info("Paso 2: recorriendo carpetas y parseando .txt")
registros = recorrer_y_parsear()
registros = recorrer_y_parsear(directorio_zips)
logger.info("Paso 3: filtrando personas jurídicas por prefijo de RUC")
juridicas = filtrar_juridicas(registros)
@@ -51,7 +86,7 @@ def main():
faltantes = filtrar_no_existentes(juridicas, rucs_existentes)
logger.info("Paso 5: exportando CSV de RUC faltantes")
rutas = exportar_csv([r[:5] for r in faltantes])
rutas = exportar_csv([r[:5] for r in faltantes], prefijo_nombre="SET_PERSONAS_JURIDICAS")
logger.info("Paso 6: comparando password de personas físicas contra el dv del DNIT")
fisicas = filtrar_fisicas(registros)
@@ -64,10 +99,68 @@ def main():
a_generar, _no_encontrados = clasificar_passwords_fisicas(fisicas, passwords_existentes)
logger.info("Paso 7: exportando CSV de personas físicas a insertar/actualizar password")
rutas_passwords = exportar_csv(a_generar, prefijo_nombre="fisicas_password")
rutas_passwords = exportar_csv(a_generar, prefijo_nombre="SET_UNIPERSONALES")
logger.info("Bot finalizado. Archivos generados: %s", rutas + rutas_passwords)
logger.info("Fila id=%s finalizada. Archivos generados: %s", row_id, rutas + rutas_passwords)
return {
"carpetas_descomprimidas": len(carpetas_nuevas),
"total_registros": len(registros),
"juridicas_total": len(juridicas),
"rucs_faltantes": len(faltantes),
"rutas_rucs_faltantes": rutas,
"fisicas_total": len(fisicas),
"fisicas_a_generar": len(a_generar),
"fisicas_no_encontradas": len(_no_encontrados),
"rutas_fisicas_password": rutas_passwords,
}
def main():
logger.info("Iniciando bot RUC DNIT")
logger.info("Buscando filas pendientes en control_descargas_dnit (procesados_filtro=0, estado='P')")
conn_control = get_connection_control()
try:
pendientes = fetch_pendientes(conn_control)
finally:
conn_control.close()
if not pendientes:
logger.info("No hay filas pendientes. Nada para hacer.")
return
for row_id, directorio_zips in pendientes:
try:
resumen = procesar_fila(row_id, directorio_zips)
conn_control = get_connection_control()
try:
marcar_procesado(conn_control, row_id)
finally:
conn_control.close()
enviar_correo_resultado(
row_id=row_id,
directorio_zips=directorio_zips,
resumen=resumen,
)
except Exception as e:
logger.exception(
"Error procesando fila id=%s (directorio_zips=%s). Se corta la corrida.",
row_id, directorio_zips,
)
enviar_correo_error(
row_id=row_id,
directorio_zips=directorio_zips,
error=e,
traceback_texto=traceback.format_exc(),
)
return
logger.info("Bot finalizado. Se procesaron %d fila(s) pendiente(s).", len(pendientes))
if __name__ == "__main__":
main()
main()