Bot 2: Script funcional para el procesamiento y filtrado de los archivos descargados
This commit is contained in:
36
app/main.py
36
app/main.py
@@ -1,14 +1,29 @@
|
||||
import logging
|
||||
import os
|
||||
from datetime import datetime
|
||||
|
||||
from config import LOG_DIR
|
||||
from extractor import descomprimir_todo
|
||||
from parser import recorrer_y_parsear
|
||||
from filtro import filtrar_juridicas, filtrar_no_existentes
|
||||
from filtro import (
|
||||
filtrar_juridicas,
|
||||
filtrar_no_existentes,
|
||||
filtrar_fisicas,
|
||||
clasificar_passwords_fisicas,
|
||||
)
|
||||
from exportador import exportar_csv
|
||||
from db import get_connection, fetch_rucs_existentes
|
||||
from db import get_connection, fetch_rucs_existentes, fetch_passwords_fisicas
|
||||
|
||||
os.makedirs(LOG_DIR, exist_ok=True)
|
||||
LOG_FILE = os.path.join(LOG_DIR, f"bot_{datetime.now():%Y%m%d_%H%M%S}.log")
|
||||
|
||||
logging.basicConfig(
|
||||
level=logging.INFO,
|
||||
format="%(asctime)s [%(levelname)s] %(message)s",
|
||||
handlers=[
|
||||
logging.FileHandler(LOG_FILE, encoding="utf-8"),
|
||||
logging.StreamHandler(),
|
||||
],
|
||||
)
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
@@ -36,9 +51,22 @@ def main():
|
||||
faltantes = filtrar_no_existentes(juridicas, rucs_existentes)
|
||||
|
||||
logger.info("Paso 5: exportando CSV de RUC faltantes")
|
||||
rutas = exportar_csv(faltantes)
|
||||
rutas = exportar_csv([r[:5] for r in faltantes])
|
||||
|
||||
logger.info("Bot finalizado. Archivos generados: %s", rutas)
|
||||
logger.info("Paso 6: comparando password de personas físicas contra el dv del DNIT")
|
||||
fisicas = filtrar_fisicas(registros)
|
||||
conn = get_connection()
|
||||
try:
|
||||
passwords_existentes = fetch_passwords_fisicas(conn)
|
||||
finally:
|
||||
conn.close()
|
||||
|
||||
a_generar, _no_encontrados = clasificar_passwords_fisicas(fisicas, passwords_existentes)
|
||||
|
||||
logger.info("Paso 7: exportando CSV de personas físicas a insertar/actualizar password")
|
||||
rutas_passwords = exportar_csv(a_generar, prefijo_nombre="fisicas_password")
|
||||
|
||||
logger.info("Bot finalizado. Archivos generados: %s", rutas + rutas_passwords)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
Reference in New Issue
Block a user