import logging import os import traceback from datetime import datetime from config import LOG_DIR, BASE_DIR, HOST_DOCUMENTOS_PATH from extractor import descomprimir_todo from parser import recorrer_y_parsear from filtro import ( filtrar_juridicas, filtrar_no_existentes, filtrar_fisicas, clasificar_passwords_fisicas, ) from exportador import exportar_csv from db import ( get_connection, get_connection_control, fetch_rucs_existentes, fetch_passwords_fisicas, fetch_pendientes, marcar_procesado, ) from notificaciones import enviar_correo_error, enviar_correo_resultado os.makedirs(LOG_DIR, exist_ok=True) LOG_FILE = os.path.join(LOG_DIR, f"bot_{datetime.now():%Y%m%d_%H%M%S}.log") logging.basicConfig( level=logging.INFO, format="%(asctime)s [%(levelname)s] %(message)s", handlers=[ logging.FileHandler(LOG_FILE, encoding="utf-8"), logging.StreamHandler(), ], ) logger = logging.getLogger(__name__) def _mapear_a_ruta_local(directorio_zips): """ directorio_zips viene de control_descargas_dnit tal cual lo escribe Bot 1, que corre en el host (ej. HOST_DOCUMENTOS_PATH="/home/.../Documentos Descargados"). Este bot corre en Docker, donde esa misma carpeta está montada en BASE_DIR (ver docker-compose.yml, target: /data), así que la ruta del host no existe dentro del contenedor tal cual. Si HOST_DOCUMENTOS_PATH coincide con el prefijo de directorio_zips, lo reemplazamos por BASE_DIR. Si no hay match (o no está seteada, ej. corridas fuera de Docker), se devuelve directorio_zips sin cambios. """ if not HOST_DOCUMENTOS_PATH or not directorio_zips.startswith(HOST_DOCUMENTOS_PATH): return directorio_zips resto = directorio_zips[len(HOST_DOCUMENTOS_PATH):].lstrip("/\\") ruta_local = os.path.join(BASE_DIR, resto) if resto else BASE_DIR logger.info("directorio_zips traducido de host a contenedor: %s -> %s", directorio_zips, ruta_local) return ruta_local def procesar_fila(row_id, directorio_zips): """ Corre el pipeline completo (descomprimir -> parsear -> filtrar -> comparar contra la BD -> exportar CSV) para el directorio_zips de una fila pendiente de control_descargas_dnit. """ directorio_zips = _mapear_a_ruta_local(directorio_zips) logger.info("=== Procesando fila id=%s, directorio_zips=%s ===", row_id, directorio_zips) logger.info("Paso 1: descomprimiendo zips nuevos") carpetas_nuevas = descomprimir_todo(directorio_zips) logger.info("Carpetas descomprimidas en esta corrida: %d", len(carpetas_nuevas)) logger.info("Paso 2: recorriendo carpetas y parseando .txt") registros = recorrer_y_parsear(directorio_zips) logger.info("Paso 3: filtrando personas jurídicas por prefijo de RUC") juridicas = filtrar_juridicas(registros) logger.info("Paso 4: comparando contra la tabla personas") conn = get_connection() try: rucs_existentes = fetch_rucs_existentes(conn) finally: conn.close() faltantes = filtrar_no_existentes(juridicas, rucs_existentes) logger.info("Paso 5: exportando CSV de RUC faltantes") rutas = exportar_csv([r[:5] for r in faltantes], prefijo_nombre="SET_PERSONAS_JURIDICAS") logger.info("Paso 6: comparando password de personas físicas contra el dv del DNIT") fisicas = filtrar_fisicas(registros) conn = get_connection() try: passwords_existentes = fetch_passwords_fisicas(conn) finally: conn.close() a_generar, _no_encontrados = clasificar_passwords_fisicas(fisicas, passwords_existentes) logger.info("Paso 7: exportando CSV de personas físicas a insertar/actualizar password") rutas_passwords = exportar_csv(a_generar, prefijo_nombre="SET_UNIPERSONALES") logger.info("Fila id=%s finalizada. Archivos generados: %s", row_id, rutas + rutas_passwords) return { "carpetas_descomprimidas": len(carpetas_nuevas), "total_registros": len(registros), "juridicas_total": len(juridicas), "rucs_faltantes": len(faltantes), "rutas_rucs_faltantes": rutas, "fisicas_total": len(fisicas), "fisicas_a_generar": len(a_generar), "fisicas_no_encontradas": len(_no_encontrados), "rutas_fisicas_password": rutas_passwords, } def main(): logger.info("Iniciando bot RUC DNIT") logger.info("Buscando filas pendientes en control_descargas_dnit (procesados_filtro=0, estado='P')") conn_control = get_connection_control() try: pendientes = fetch_pendientes(conn_control) finally: conn_control.close() if not pendientes: logger.info("No hay filas pendientes. Nada para hacer.") return for row_id, directorio_zips in pendientes: try: resumen = procesar_fila(row_id, directorio_zips) conn_control = get_connection_control() try: marcar_procesado(conn_control, row_id) finally: conn_control.close() enviar_correo_resultado( row_id=row_id, directorio_zips=directorio_zips, resumen=resumen, ) except Exception as e: logger.exception( "Error procesando fila id=%s (directorio_zips=%s). Se corta la corrida.", row_id, directorio_zips, ) enviar_correo_error( row_id=row_id, directorio_zips=directorio_zips, error=e, traceback_texto=traceback.format_exc(), ) return logger.info("Bot finalizado. Se procesaron %d fila(s) pendiente(s).", len(pendientes)) if __name__ == "__main__": main()