Bot 2: Script funcional para el procesamiento y filtrado de los archivos descargados

This commit is contained in:
2026-09-16 14:24:35 -03:00
parent 221e236d73
commit 5c422fe3ef
6 changed files with 175 additions and 25 deletions

View File

@@ -1,14 +1,29 @@
import logging
import os
from datetime import datetime
from config import LOG_DIR
from extractor import descomprimir_todo
from parser import recorrer_y_parsear
from filtro import filtrar_juridicas, filtrar_no_existentes
from filtro import (
filtrar_juridicas,
filtrar_no_existentes,
filtrar_fisicas,
clasificar_passwords_fisicas,
)
from exportador import exportar_csv
from db import get_connection, fetch_rucs_existentes
from db import get_connection, fetch_rucs_existentes, fetch_passwords_fisicas
os.makedirs(LOG_DIR, exist_ok=True)
LOG_FILE = os.path.join(LOG_DIR, f"bot_{datetime.now():%Y%m%d_%H%M%S}.log")
logging.basicConfig(
level=logging.INFO,
format="%(asctime)s [%(levelname)s] %(message)s",
handlers=[
logging.FileHandler(LOG_FILE, encoding="utf-8"),
logging.StreamHandler(),
],
)
logger = logging.getLogger(__name__)
@@ -36,9 +51,22 @@ def main():
faltantes = filtrar_no_existentes(juridicas, rucs_existentes)
logger.info("Paso 5: exportando CSV de RUC faltantes")
rutas = exportar_csv(faltantes)
rutas = exportar_csv([r[:5] for r in faltantes])
logger.info("Bot finalizado. Archivos generados: %s", rutas)
logger.info("Paso 6: comparando password de personas físicas contra el dv del DNIT")
fisicas = filtrar_fisicas(registros)
conn = get_connection()
try:
passwords_existentes = fetch_passwords_fisicas(conn)
finally:
conn.close()
a_generar, _no_encontrados = clasificar_passwords_fisicas(fisicas, passwords_existentes)
logger.info("Paso 7: exportando CSV de personas físicas a insertar/actualizar password")
rutas_passwords = exportar_csv(a_generar, prefijo_nombre="fisicas_password")
logger.info("Bot finalizado. Archivos generados: %s", rutas + rutas_passwords)
if __name__ == "__main__":