import logging import os from config import BASE_DIR logger = logging.getLogger(__name__) CAMPOS_ESPERADOS = 5 # ruc, razon_social, dv, codigo, estado def _parsear_linea(linea, archivo_origen): linea = linea.rstrip("\n").rstrip("\r") if not linea.strip(): return None partes = linea.split("|") # El formato trae un pipe final -> el último elemento queda vacío, se descarta. # Ojo: el campo "codigo" puede venir vacío legítimamente (doble pipe "||"), # así que NO se filtran strings vacíos en el medio, solo se saca el último. if partes and partes[-1] == "": partes = partes[:-1] if len(partes) != CAMPOS_ESPERADOS: logger.warning("Línea con formato inesperado en %s: %r", archivo_origen, linea) return None ruc, razon_social, dv, codigo, estado = (p.strip() for p in partes) return (ruc, razon_social, dv, codigo, estado, archivo_origen) def recorrer_y_parsear(directorio_raiz=BASE_DIR): """ Recorre recursivamente directorio_raiz, encuentra todos los .txt y devuelve una lista de tuplas listas para insertar en la base. """ registros = [] for carpeta_actual, _subcarpetas, archivos in os.walk(directorio_raiz): for nombre in archivos: if not nombre.lower().endswith(".txt"): continue ruta_txt = os.path.join(carpeta_actual, nombre) try: with open(ruta_txt, "r", encoding="latin-1") as f: for linea in f: registro = _parsear_linea(linea, nombre) if registro: registros.append(registro) except OSError as e: logger.error("No se pudo leer %s: %s", ruta_txt, e) logger.info("Total de registros parseados: %d", len(registros)) return registros