Estructura inicial del proyecto DNIT BOT AUTO
This commit is contained in:
55
app/parser.py
Normal file
55
app/parser.py
Normal file
@@ -0,0 +1,55 @@
|
||||
import logging
|
||||
import os
|
||||
|
||||
from config import BASE_DIR
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
CAMPOS_ESPERADOS = 5 # ruc, razon_social, dv, codigo, estado
|
||||
|
||||
|
||||
def _parsear_linea(linea, archivo_origen):
|
||||
linea = linea.rstrip("\n").rstrip("\r")
|
||||
if not linea.strip():
|
||||
return None
|
||||
|
||||
partes = linea.split("|")
|
||||
|
||||
# El formato trae un pipe final -> el último elemento queda vacío, se descarta.
|
||||
# Ojo: el campo "codigo" puede venir vacío legítimamente (doble pipe "||"),
|
||||
# así que NO se filtran strings vacíos en el medio, solo se saca el último.
|
||||
if partes and partes[-1] == "":
|
||||
partes = partes[:-1]
|
||||
|
||||
if len(partes) != CAMPOS_ESPERADOS:
|
||||
logger.warning("Línea con formato inesperado en %s: %r", archivo_origen, linea)
|
||||
return None
|
||||
|
||||
ruc, razon_social, dv, codigo, estado = (p.strip() for p in partes)
|
||||
return (ruc, razon_social, dv, codigo, estado, archivo_origen)
|
||||
|
||||
|
||||
def recorrer_y_parsear(directorio_raiz=BASE_DIR):
|
||||
"""
|
||||
Recorre recursivamente directorio_raiz, encuentra todos los .txt
|
||||
y devuelve una lista de tuplas listas para insertar en la base.
|
||||
"""
|
||||
registros = []
|
||||
|
||||
for carpeta_actual, _subcarpetas, archivos in os.walk(directorio_raiz):
|
||||
for nombre in archivos:
|
||||
if not nombre.lower().endswith(".txt"):
|
||||
continue
|
||||
|
||||
ruta_txt = os.path.join(carpeta_actual, nombre)
|
||||
try:
|
||||
with open(ruta_txt, "r", encoding="latin-1") as f:
|
||||
for linea in f:
|
||||
registro = _parsear_linea(linea, nombre)
|
||||
if registro:
|
||||
registros.append(registro)
|
||||
except OSError as e:
|
||||
logger.error("No se pudo leer %s: %s", ruta_txt, e)
|
||||
|
||||
logger.info("Total de registros parseados: %d", len(registros))
|
||||
return registros
|
||||
Reference in New Issue
Block a user