Files
bot_dnit/app/main.py

167 lines
5.6 KiB
Python
Raw Normal View History

import logging
import os
import traceback
from datetime import datetime
from config import LOG_DIR, BASE_DIR, HOST_DOCUMENTOS_PATH
from extractor import descomprimir_todo
from parser import recorrer_y_parsear
from filtro import (
filtrar_juridicas,
filtrar_no_existentes,
filtrar_fisicas,
clasificar_passwords_fisicas,
)
from exportador import exportar_csv
from db import (
get_connection,
get_connection_control,
fetch_rucs_existentes,
fetch_passwords_fisicas,
fetch_pendientes,
marcar_procesado,
)
from notificaciones import enviar_correo_error, enviar_correo_resultado
os.makedirs(LOG_DIR, exist_ok=True)
LOG_FILE = os.path.join(LOG_DIR, f"bot_{datetime.now():%Y%m%d_%H%M%S}.log")
logging.basicConfig(
level=logging.INFO,
format="%(asctime)s [%(levelname)s] %(message)s",
handlers=[
logging.FileHandler(LOG_FILE, encoding="utf-8"),
logging.StreamHandler(),
],
)
logger = logging.getLogger(__name__)
def _mapear_a_ruta_local(directorio_zips):
"""
directorio_zips viene de control_descargas_dnit tal cual lo escribe Bot 1,
que corre en el host (ej. HOST_DOCUMENTOS_PATH="/home/.../Documentos
Descargados"). Este bot corre en Docker, donde esa misma carpeta está
montada en BASE_DIR (ver docker-compose.yml, target: /data), así que la
ruta del host no existe dentro del contenedor tal cual.
Si HOST_DOCUMENTOS_PATH coincide con el prefijo de directorio_zips, lo
reemplazamos por BASE_DIR. Si no hay match (o no está seteada, ej. corridas
fuera de Docker), se devuelve directorio_zips sin cambios.
"""
if not HOST_DOCUMENTOS_PATH or not directorio_zips.startswith(HOST_DOCUMENTOS_PATH):
return directorio_zips
resto = directorio_zips[len(HOST_DOCUMENTOS_PATH):].lstrip("/\\")
ruta_local = os.path.join(BASE_DIR, resto) if resto else BASE_DIR
logger.info("directorio_zips traducido de host a contenedor: %s -> %s", directorio_zips, ruta_local)
return ruta_local
def procesar_fila(row_id, directorio_zips):
"""
Corre el pipeline completo (descomprimir -> parsear -> filtrar ->
comparar contra la BD -> exportar CSV) para el directorio_zips de una
fila pendiente de control_descargas_dnit.
"""
directorio_zips = _mapear_a_ruta_local(directorio_zips)
logger.info("=== Procesando fila id=%s, directorio_zips=%s ===", row_id, directorio_zips)
logger.info("Paso 1: descomprimiendo zips nuevos")
carpetas_nuevas = descomprimir_todo(directorio_zips)
logger.info("Carpetas descomprimidas en esta corrida: %d", len(carpetas_nuevas))
logger.info("Paso 2: recorriendo carpetas y parseando .txt")
registros = recorrer_y_parsear(directorio_zips)
logger.info("Paso 3: filtrando personas jurídicas por prefijo de RUC")
juridicas = filtrar_juridicas(registros)
logger.info("Paso 4: comparando contra la tabla personas")
conn = get_connection()
try:
rucs_existentes = fetch_rucs_existentes(conn)
finally:
conn.close()
faltantes = filtrar_no_existentes(juridicas, rucs_existentes)
logger.info("Paso 5: exportando CSV de RUC faltantes")
rutas = exportar_csv([r[:5] for r in faltantes], prefijo_nombre="SET_PERSONAS_JURIDICAS")
logger.info("Paso 6: comparando password de personas físicas contra el dv del DNIT")
fisicas = filtrar_fisicas(registros)
conn = get_connection()
try:
passwords_existentes = fetch_passwords_fisicas(conn)
finally:
conn.close()
a_generar, _no_encontrados = clasificar_passwords_fisicas(fisicas, passwords_existentes)
logger.info("Paso 7: exportando CSV de personas físicas a insertar/actualizar password")
rutas_passwords = exportar_csv(a_generar, prefijo_nombre="SET_UNIPERSONALES")
logger.info("Fila id=%s finalizada. Archivos generados: %s", row_id, rutas + rutas_passwords)
return {
"carpetas_descomprimidas": len(carpetas_nuevas),
"total_registros": len(registros),
"juridicas_total": len(juridicas),
"rucs_faltantes": len(faltantes),
"rutas_rucs_faltantes": rutas,
"fisicas_total": len(fisicas),
"fisicas_a_generar": len(a_generar),
"fisicas_no_encontradas": len(_no_encontrados),
"rutas_fisicas_password": rutas_passwords,
}
def main():
logger.info("Iniciando bot RUC DNIT")
logger.info("Buscando filas pendientes en control_descargas_dnit (procesados_filtro=0, estado='P')")
conn_control = get_connection_control()
try:
pendientes = fetch_pendientes(conn_control)
finally:
conn_control.close()
if not pendientes:
logger.info("No hay filas pendientes. Nada para hacer.")
return
for row_id, directorio_zips in pendientes:
try:
resumen = procesar_fila(row_id, directorio_zips)
conn_control = get_connection_control()
try:
marcar_procesado(conn_control, row_id)
finally:
conn_control.close()
enviar_correo_resultado(
row_id=row_id,
directorio_zips=directorio_zips,
resumen=resumen,
)
except Exception as e:
logger.exception(
"Error procesando fila id=%s (directorio_zips=%s). Se corta la corrida.",
row_id, directorio_zips,
)
enviar_correo_error(
row_id=row_id,
directorio_zips=directorio_zips,
error=e,
traceback_texto=traceback.format_exc(),
)
return
logger.info("Bot finalizado. Se procesaron %d fila(s) pendiente(s).", len(pendientes))
if __name__ == "__main__":
main()