Files
bot_dnit/app/parser.py

55 lines
1.9 KiB
Python
Raw Permalink Normal View History

import logging
import os
from config import BASE_DIR
logger = logging.getLogger(__name__)
CAMPOS_ESPERADOS = 5 # ruc, razon_social, dv, codigo, estado
def _parsear_linea(linea, archivo_origen):
linea = linea.rstrip("\n").rstrip("\r")
if not linea.strip():
return None
partes = linea.split("|")
# El formato trae un pipe final -> el último elemento queda vacío, se descarta.
# Ojo: el campo "codigo" puede venir vacío legítimamente (doble pipe "||"),
# así que NO se filtran strings vacíos en el medio, solo se saca el último.
if partes and partes[-1] == "":
partes = partes[:-1]
if len(partes) != CAMPOS_ESPERADOS:
logger.warning("Línea con formato inesperado en %s: %r", archivo_origen, linea)
return None
ruc, razon_social, dv, codigo, estado = (p.strip() for p in partes)
return (ruc, razon_social, dv, codigo, estado, archivo_origen)
def recorrer_y_parsear(directorio_raiz=BASE_DIR):
"""
Recorre recursivamente directorio_raiz, encuentra todos los .txt
y devuelve una lista de tuplas listas para insertar en la base.
"""
registros = []
for carpeta_actual, _subcarpetas, archivos in sorted(os.walk(directorio_raiz)):
for nombre in sorted(archivos):
if not nombre.lower().endswith(".txt"):
continue
ruta_txt = os.path.join(carpeta_actual, nombre)
try:
with open(ruta_txt, "r", encoding="utf-8") as f:
for linea in f:
registro = _parsear_linea(linea, nombre)
if registro:
registros.append(registro)
except (OSError, UnicodeDecodeError) as e:
logger.error("No se pudo leer %s: %s", ruta_txt, e)
logger.info("Total de registros parseados: %d", len(registros))
return registros