2026-09-15 16:54:29 -03:00
|
|
|
import logging
|
2026-09-16 14:24:35 -03:00
|
|
|
import os
|
2026-09-22 08:17:36 -03:00
|
|
|
import traceback
|
2026-09-16 14:24:35 -03:00
|
|
|
from datetime import datetime
|
2026-09-15 16:54:29 -03:00
|
|
|
|
2026-09-22 08:17:36 -03:00
|
|
|
from config import LOG_DIR, BASE_DIR, HOST_DOCUMENTOS_PATH
|
2026-09-15 16:54:29 -03:00
|
|
|
from extractor import descomprimir_todo
|
|
|
|
|
from parser import recorrer_y_parsear
|
2026-09-16 14:24:35 -03:00
|
|
|
from filtro import (
|
|
|
|
|
filtrar_juridicas,
|
|
|
|
|
filtrar_no_existentes,
|
|
|
|
|
filtrar_fisicas,
|
|
|
|
|
clasificar_passwords_fisicas,
|
|
|
|
|
)
|
2026-09-15 16:54:29 -03:00
|
|
|
from exportador import exportar_csv
|
2026-09-22 08:17:36 -03:00
|
|
|
from db import (
|
|
|
|
|
get_connection,
|
|
|
|
|
get_connection_control,
|
|
|
|
|
fetch_rucs_existentes,
|
|
|
|
|
fetch_passwords_fisicas,
|
|
|
|
|
fetch_pendientes,
|
|
|
|
|
marcar_procesado,
|
|
|
|
|
)
|
|
|
|
|
from notificaciones import enviar_correo_error, enviar_correo_resultado
|
2026-09-16 14:24:35 -03:00
|
|
|
|
|
|
|
|
os.makedirs(LOG_DIR, exist_ok=True)
|
|
|
|
|
LOG_FILE = os.path.join(LOG_DIR, f"bot_{datetime.now():%Y%m%d_%H%M%S}.log")
|
2026-09-15 16:54:29 -03:00
|
|
|
|
|
|
|
|
logging.basicConfig(
|
|
|
|
|
level=logging.INFO,
|
|
|
|
|
format="%(asctime)s [%(levelname)s] %(message)s",
|
2026-09-16 14:24:35 -03:00
|
|
|
handlers=[
|
|
|
|
|
logging.FileHandler(LOG_FILE, encoding="utf-8"),
|
|
|
|
|
logging.StreamHandler(),
|
|
|
|
|
],
|
2026-09-15 16:54:29 -03:00
|
|
|
)
|
|
|
|
|
logger = logging.getLogger(__name__)
|
|
|
|
|
|
|
|
|
|
|
2026-09-22 08:17:36 -03:00
|
|
|
def _mapear_a_ruta_local(directorio_zips):
|
|
|
|
|
"""
|
|
|
|
|
directorio_zips viene de control_descargas_dnit tal cual lo escribe Bot 1,
|
|
|
|
|
que corre en el host (ej. HOST_DOCUMENTOS_PATH="/home/.../Documentos
|
|
|
|
|
Descargados"). Este bot corre en Docker, donde esa misma carpeta está
|
|
|
|
|
montada en BASE_DIR (ver docker-compose.yml, target: /data), así que la
|
|
|
|
|
ruta del host no existe dentro del contenedor tal cual.
|
|
|
|
|
Si HOST_DOCUMENTOS_PATH coincide con el prefijo de directorio_zips, lo
|
|
|
|
|
reemplazamos por BASE_DIR. Si no hay match (o no está seteada, ej. corridas
|
|
|
|
|
fuera de Docker), se devuelve directorio_zips sin cambios.
|
|
|
|
|
"""
|
|
|
|
|
if not HOST_DOCUMENTOS_PATH or not directorio_zips.startswith(HOST_DOCUMENTOS_PATH):
|
|
|
|
|
return directorio_zips
|
|
|
|
|
|
|
|
|
|
resto = directorio_zips[len(HOST_DOCUMENTOS_PATH):].lstrip("/\\")
|
|
|
|
|
ruta_local = os.path.join(BASE_DIR, resto) if resto else BASE_DIR
|
|
|
|
|
logger.info("directorio_zips traducido de host a contenedor: %s -> %s", directorio_zips, ruta_local)
|
|
|
|
|
return ruta_local
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def procesar_fila(row_id, directorio_zips):
|
|
|
|
|
"""
|
|
|
|
|
Corre el pipeline completo (descomprimir -> parsear -> filtrar ->
|
|
|
|
|
comparar contra la BD -> exportar CSV) para el directorio_zips de una
|
|
|
|
|
fila pendiente de control_descargas_dnit.
|
|
|
|
|
"""
|
|
|
|
|
directorio_zips = _mapear_a_ruta_local(directorio_zips)
|
|
|
|
|
logger.info("=== Procesando fila id=%s, directorio_zips=%s ===", row_id, directorio_zips)
|
2026-09-15 16:54:29 -03:00
|
|
|
|
|
|
|
|
logger.info("Paso 1: descomprimiendo zips nuevos")
|
2026-09-22 08:17:36 -03:00
|
|
|
carpetas_nuevas = descomprimir_todo(directorio_zips)
|
2026-09-15 16:54:29 -03:00
|
|
|
logger.info("Carpetas descomprimidas en esta corrida: %d", len(carpetas_nuevas))
|
|
|
|
|
|
|
|
|
|
logger.info("Paso 2: recorriendo carpetas y parseando .txt")
|
2026-09-22 08:17:36 -03:00
|
|
|
registros = recorrer_y_parsear(directorio_zips)
|
2026-09-15 16:54:29 -03:00
|
|
|
|
|
|
|
|
logger.info("Paso 3: filtrando personas jurídicas por prefijo de RUC")
|
|
|
|
|
juridicas = filtrar_juridicas(registros)
|
|
|
|
|
|
|
|
|
|
logger.info("Paso 4: comparando contra la tabla personas")
|
|
|
|
|
conn = get_connection()
|
|
|
|
|
try:
|
|
|
|
|
rucs_existentes = fetch_rucs_existentes(conn)
|
|
|
|
|
finally:
|
|
|
|
|
conn.close()
|
|
|
|
|
|
|
|
|
|
faltantes = filtrar_no_existentes(juridicas, rucs_existentes)
|
|
|
|
|
|
|
|
|
|
logger.info("Paso 5: exportando CSV de RUC faltantes")
|
2026-09-22 08:17:36 -03:00
|
|
|
rutas = exportar_csv([r[:5] for r in faltantes], prefijo_nombre="SET_PERSONAS_JURIDICAS")
|
2026-09-16 14:24:35 -03:00
|
|
|
|
|
|
|
|
logger.info("Paso 6: comparando password de personas físicas contra el dv del DNIT")
|
|
|
|
|
fisicas = filtrar_fisicas(registros)
|
|
|
|
|
conn = get_connection()
|
|
|
|
|
try:
|
|
|
|
|
passwords_existentes = fetch_passwords_fisicas(conn)
|
|
|
|
|
finally:
|
|
|
|
|
conn.close()
|
|
|
|
|
|
|
|
|
|
a_generar, _no_encontrados = clasificar_passwords_fisicas(fisicas, passwords_existentes)
|
|
|
|
|
|
|
|
|
|
logger.info("Paso 7: exportando CSV de personas físicas a insertar/actualizar password")
|
2026-09-22 08:17:36 -03:00
|
|
|
rutas_passwords = exportar_csv(a_generar, prefijo_nombre="SET_UNIPERSONALES")
|
|
|
|
|
|
|
|
|
|
logger.info("Fila id=%s finalizada. Archivos generados: %s", row_id, rutas + rutas_passwords)
|
|
|
|
|
|
|
|
|
|
return {
|
|
|
|
|
"carpetas_descomprimidas": len(carpetas_nuevas),
|
|
|
|
|
"total_registros": len(registros),
|
|
|
|
|
"juridicas_total": len(juridicas),
|
|
|
|
|
"rucs_faltantes": len(faltantes),
|
|
|
|
|
"rutas_rucs_faltantes": rutas,
|
|
|
|
|
"fisicas_total": len(fisicas),
|
|
|
|
|
"fisicas_a_generar": len(a_generar),
|
|
|
|
|
"fisicas_no_encontradas": len(_no_encontrados),
|
|
|
|
|
"rutas_fisicas_password": rutas_passwords,
|
|
|
|
|
}
|
|
|
|
|
|
2026-09-15 16:54:29 -03:00
|
|
|
|
2026-09-22 08:17:36 -03:00
|
|
|
def main():
|
|
|
|
|
logger.info("Iniciando bot RUC DNIT")
|
|
|
|
|
|
|
|
|
|
logger.info("Buscando filas pendientes en control_descargas_dnit (procesados_filtro=0, estado='P')")
|
|
|
|
|
conn_control = get_connection_control()
|
|
|
|
|
try:
|
|
|
|
|
pendientes = fetch_pendientes(conn_control)
|
|
|
|
|
finally:
|
|
|
|
|
conn_control.close()
|
|
|
|
|
|
|
|
|
|
if not pendientes:
|
|
|
|
|
logger.info("No hay filas pendientes. Nada para hacer.")
|
|
|
|
|
return
|
|
|
|
|
|
|
|
|
|
for row_id, directorio_zips in pendientes:
|
|
|
|
|
try:
|
|
|
|
|
resumen = procesar_fila(row_id, directorio_zips)
|
|
|
|
|
|
|
|
|
|
conn_control = get_connection_control()
|
|
|
|
|
try:
|
|
|
|
|
marcar_procesado(conn_control, row_id)
|
|
|
|
|
finally:
|
|
|
|
|
conn_control.close()
|
|
|
|
|
|
|
|
|
|
enviar_correo_resultado(
|
|
|
|
|
row_id=row_id,
|
|
|
|
|
directorio_zips=directorio_zips,
|
|
|
|
|
resumen=resumen,
|
|
|
|
|
)
|
|
|
|
|
|
|
|
|
|
except Exception as e:
|
|
|
|
|
logger.exception(
|
|
|
|
|
"Error procesando fila id=%s (directorio_zips=%s). Se corta la corrida.",
|
|
|
|
|
row_id, directorio_zips,
|
|
|
|
|
)
|
|
|
|
|
enviar_correo_error(
|
|
|
|
|
row_id=row_id,
|
|
|
|
|
directorio_zips=directorio_zips,
|
|
|
|
|
error=e,
|
|
|
|
|
traceback_texto=traceback.format_exc(),
|
|
|
|
|
)
|
|
|
|
|
return
|
|
|
|
|
|
|
|
|
|
logger.info("Bot finalizado. Se procesaron %d fila(s) pendiente(s).", len(pendientes))
|
2026-09-15 16:54:29 -03:00
|
|
|
|
|
|
|
|
|
|
|
|
|
if __name__ == "__main__":
|
2026-09-22 08:17:36 -03:00
|
|
|
main()
|