Envío de las notificaciones, consultas optimizadas en la BD, filtros correctos, conexión modificada, se agrego el sincronizador y el shell para el crontab
This commit is contained in:
113
app/main.py
113
app/main.py
@@ -1,8 +1,9 @@
|
||||
import logging
|
||||
import os
|
||||
import traceback
|
||||
from datetime import datetime
|
||||
|
||||
from config import LOG_DIR
|
||||
from config import LOG_DIR, BASE_DIR, HOST_DOCUMENTOS_PATH
|
||||
from extractor import descomprimir_todo
|
||||
from parser import recorrer_y_parsear
|
||||
from filtro import (
|
||||
@@ -12,7 +13,15 @@ from filtro import (
|
||||
clasificar_passwords_fisicas,
|
||||
)
|
||||
from exportador import exportar_csv
|
||||
from db import get_connection, fetch_rucs_existentes, fetch_passwords_fisicas
|
||||
from db import (
|
||||
get_connection,
|
||||
get_connection_control,
|
||||
fetch_rucs_existentes,
|
||||
fetch_passwords_fisicas,
|
||||
fetch_pendientes,
|
||||
marcar_procesado,
|
||||
)
|
||||
from notificaciones import enviar_correo_error, enviar_correo_resultado
|
||||
|
||||
os.makedirs(LOG_DIR, exist_ok=True)
|
||||
LOG_FILE = os.path.join(LOG_DIR, f"bot_{datetime.now():%Y%m%d_%H%M%S}.log")
|
||||
@@ -28,15 +37,41 @@ logging.basicConfig(
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
def main():
|
||||
logger.info("Iniciando bot RUC DNIT")
|
||||
def _mapear_a_ruta_local(directorio_zips):
|
||||
"""
|
||||
directorio_zips viene de control_descargas_dnit tal cual lo escribe Bot 1,
|
||||
que corre en el host (ej. HOST_DOCUMENTOS_PATH="/home/.../Documentos
|
||||
Descargados"). Este bot corre en Docker, donde esa misma carpeta está
|
||||
montada en BASE_DIR (ver docker-compose.yml, target: /data), así que la
|
||||
ruta del host no existe dentro del contenedor tal cual.
|
||||
Si HOST_DOCUMENTOS_PATH coincide con el prefijo de directorio_zips, lo
|
||||
reemplazamos por BASE_DIR. Si no hay match (o no está seteada, ej. corridas
|
||||
fuera de Docker), se devuelve directorio_zips sin cambios.
|
||||
"""
|
||||
if not HOST_DOCUMENTOS_PATH or not directorio_zips.startswith(HOST_DOCUMENTOS_PATH):
|
||||
return directorio_zips
|
||||
|
||||
resto = directorio_zips[len(HOST_DOCUMENTOS_PATH):].lstrip("/\\")
|
||||
ruta_local = os.path.join(BASE_DIR, resto) if resto else BASE_DIR
|
||||
logger.info("directorio_zips traducido de host a contenedor: %s -> %s", directorio_zips, ruta_local)
|
||||
return ruta_local
|
||||
|
||||
|
||||
def procesar_fila(row_id, directorio_zips):
|
||||
"""
|
||||
Corre el pipeline completo (descomprimir -> parsear -> filtrar ->
|
||||
comparar contra la BD -> exportar CSV) para el directorio_zips de una
|
||||
fila pendiente de control_descargas_dnit.
|
||||
"""
|
||||
directorio_zips = _mapear_a_ruta_local(directorio_zips)
|
||||
logger.info("=== Procesando fila id=%s, directorio_zips=%s ===", row_id, directorio_zips)
|
||||
|
||||
logger.info("Paso 1: descomprimiendo zips nuevos")
|
||||
carpetas_nuevas = descomprimir_todo()
|
||||
carpetas_nuevas = descomprimir_todo(directorio_zips)
|
||||
logger.info("Carpetas descomprimidas en esta corrida: %d", len(carpetas_nuevas))
|
||||
|
||||
logger.info("Paso 2: recorriendo carpetas y parseando .txt")
|
||||
registros = recorrer_y_parsear()
|
||||
registros = recorrer_y_parsear(directorio_zips)
|
||||
|
||||
logger.info("Paso 3: filtrando personas jurídicas por prefijo de RUC")
|
||||
juridicas = filtrar_juridicas(registros)
|
||||
@@ -51,7 +86,7 @@ def main():
|
||||
faltantes = filtrar_no_existentes(juridicas, rucs_existentes)
|
||||
|
||||
logger.info("Paso 5: exportando CSV de RUC faltantes")
|
||||
rutas = exportar_csv([r[:5] for r in faltantes])
|
||||
rutas = exportar_csv([r[:5] for r in faltantes], prefijo_nombre="SET_PERSONAS_JURIDICAS")
|
||||
|
||||
logger.info("Paso 6: comparando password de personas físicas contra el dv del DNIT")
|
||||
fisicas = filtrar_fisicas(registros)
|
||||
@@ -64,10 +99,68 @@ def main():
|
||||
a_generar, _no_encontrados = clasificar_passwords_fisicas(fisicas, passwords_existentes)
|
||||
|
||||
logger.info("Paso 7: exportando CSV de personas físicas a insertar/actualizar password")
|
||||
rutas_passwords = exportar_csv(a_generar, prefijo_nombre="fisicas_password")
|
||||
rutas_passwords = exportar_csv(a_generar, prefijo_nombre="SET_UNIPERSONALES")
|
||||
|
||||
logger.info("Bot finalizado. Archivos generados: %s", rutas + rutas_passwords)
|
||||
logger.info("Fila id=%s finalizada. Archivos generados: %s", row_id, rutas + rutas_passwords)
|
||||
|
||||
return {
|
||||
"carpetas_descomprimidas": len(carpetas_nuevas),
|
||||
"total_registros": len(registros),
|
||||
"juridicas_total": len(juridicas),
|
||||
"rucs_faltantes": len(faltantes),
|
||||
"rutas_rucs_faltantes": rutas,
|
||||
"fisicas_total": len(fisicas),
|
||||
"fisicas_a_generar": len(a_generar),
|
||||
"fisicas_no_encontradas": len(_no_encontrados),
|
||||
"rutas_fisicas_password": rutas_passwords,
|
||||
}
|
||||
|
||||
|
||||
def main():
|
||||
logger.info("Iniciando bot RUC DNIT")
|
||||
|
||||
logger.info("Buscando filas pendientes en control_descargas_dnit (procesados_filtro=0, estado='P')")
|
||||
conn_control = get_connection_control()
|
||||
try:
|
||||
pendientes = fetch_pendientes(conn_control)
|
||||
finally:
|
||||
conn_control.close()
|
||||
|
||||
if not pendientes:
|
||||
logger.info("No hay filas pendientes. Nada para hacer.")
|
||||
return
|
||||
|
||||
for row_id, directorio_zips in pendientes:
|
||||
try:
|
||||
resumen = procesar_fila(row_id, directorio_zips)
|
||||
|
||||
conn_control = get_connection_control()
|
||||
try:
|
||||
marcar_procesado(conn_control, row_id)
|
||||
finally:
|
||||
conn_control.close()
|
||||
|
||||
enviar_correo_resultado(
|
||||
row_id=row_id,
|
||||
directorio_zips=directorio_zips,
|
||||
resumen=resumen,
|
||||
)
|
||||
|
||||
except Exception as e:
|
||||
logger.exception(
|
||||
"Error procesando fila id=%s (directorio_zips=%s). Se corta la corrida.",
|
||||
row_id, directorio_zips,
|
||||
)
|
||||
enviar_correo_error(
|
||||
row_id=row_id,
|
||||
directorio_zips=directorio_zips,
|
||||
error=e,
|
||||
traceback_texto=traceback.format_exc(),
|
||||
)
|
||||
return
|
||||
|
||||
logger.info("Bot finalizado. Se procesaron %d fila(s) pendiente(s).", len(pendientes))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
main()
|
||||
|
||||
Reference in New Issue
Block a user