Estructura inicial del proyecto DNIT BOT AUTO
This commit is contained in:
18
.env.example
Normal file
18
.env.example
Normal file
@@ -0,0 +1,18 @@
|
|||||||
|
# Ejemplo de .env con valores concretos (ilustrativo — reemplazar por los reales)
|
||||||
|
|
||||||
|
# Ruta real en el servidor donde llegan los .zip del DNIT
|
||||||
|
HOST_DOCUMENTOS_PATH=/var/www/proyecto_desarrollo/botDNIT/Documentos Descargados
|
||||||
|
|
||||||
|
# Ruta donde quedan los CSV de RUC faltantes generados por el bot
|
||||||
|
HOST_SALIDA_PATH=/home/var/www/proyecto_desarrollo/botDNIT/salida
|
||||||
|
|
||||||
|
# Datos de conexión a la BD EXISTENTE que ya tiene la tabla personas
|
||||||
|
DB_HOST=111.111.111
|
||||||
|
DB_PORT=3306
|
||||||
|
DB_NAME=database
|
||||||
|
DB_USER=user
|
||||||
|
DB_PASSWORD=password
|
||||||
|
|
||||||
|
# Nombre de tabla/columna donde están las personas ya cargadas
|
||||||
|
TABLA_PERSONAS=table
|
||||||
|
COLUMNA_RUC=cedula
|
||||||
30
.gitignore
vendored
Normal file
30
.gitignore
vendored
Normal file
@@ -0,0 +1,30 @@
|
|||||||
|
# Entorno y credenciales
|
||||||
|
.env
|
||||||
|
*.env
|
||||||
|
!.env.example
|
||||||
|
|
||||||
|
# Entornos virtuales de Python
|
||||||
|
env/
|
||||||
|
venv/
|
||||||
|
.venv/
|
||||||
|
__pycache__/
|
||||||
|
*.pyc
|
||||||
|
|
||||||
|
# Datos descargados y salida generada (no van al repo)
|
||||||
|
Documentos Descargados/
|
||||||
|
salida/
|
||||||
|
*.zip
|
||||||
|
*.txt
|
||||||
|
!requirements.txt
|
||||||
|
|
||||||
|
# Marcadores del extractor
|
||||||
|
*.procesado
|
||||||
|
|
||||||
|
# Docker
|
||||||
|
*.log
|
||||||
|
|
||||||
|
# Editor / SO
|
||||||
|
.vscode/
|
||||||
|
.idea/
|
||||||
|
*.swp
|
||||||
|
.DS_Store
|
||||||
14
Dockerfile
Normal file
14
Dockerfile
Normal file
@@ -0,0 +1,14 @@
|
|||||||
|
FROM python:3.12-slim
|
||||||
|
|
||||||
|
WORKDIR /app
|
||||||
|
|
||||||
|
COPY requirements.txt .
|
||||||
|
RUN pip install --no-cache-dir -r requirements.txt
|
||||||
|
|
||||||
|
COPY app/ .
|
||||||
|
|
||||||
|
# Usuario no root, buena práctica de seguridad
|
||||||
|
RUN useradd -m botuser
|
||||||
|
USER botuser
|
||||||
|
|
||||||
|
CMD ["python", "main.py"]
|
||||||
31
app/config.py
Normal file
31
app/config.py
Normal file
@@ -0,0 +1,31 @@
|
|||||||
|
import os
|
||||||
|
|
||||||
|
# Directorio base donde llegan los .zip descargados por el otro bot
|
||||||
|
BASE_DIR = os.getenv("BASE_DIR", "/data/Documentos Descargados")
|
||||||
|
|
||||||
|
# Carpeta donde se descomprimen los .zip (por defecto, dentro del mismo BASE_DIR)
|
||||||
|
EXTRACT_DIR = os.getenv("EXTRACT_DIR", BASE_DIR)
|
||||||
|
|
||||||
|
# Conexión a la base de datos (MySQL). Ajustar si Criterion usa otro motor.
|
||||||
|
DB_HOST = os.getenv("DB_HOST", "db")
|
||||||
|
DB_PORT = int(os.getenv("DB_PORT", "3306"))
|
||||||
|
DB_USER = os.getenv("DB_USER", "botdnit")
|
||||||
|
DB_PASSWORD = os.getenv("DB_PASSWORD", "botdnit")
|
||||||
|
DB_NAME = os.getenv("DB_NAME", "botdnit")
|
||||||
|
|
||||||
|
# Marca los .zip ya procesados para no descomprimir de nuevo en cada corrida
|
||||||
|
MARKER_SUFFIX = ".procesado"
|
||||||
|
|
||||||
|
# Prefijos de RUC que identifican persona jurídica.
|
||||||
|
# TODO: completar con la lista real (por ahora solo los dos ejemplos dados).
|
||||||
|
PREFIJOS_PERSONAS_JURIDICAS = ["8000", "801"]
|
||||||
|
|
||||||
|
# Tabla y columna donde ya están cargadas las personas existentes
|
||||||
|
TABLA_PERSONAS = os.getenv("TABLA_PERSONAS", "personas")
|
||||||
|
COLUMNA_RUC = os.getenv("COLUMNA_RUC", "ruc")
|
||||||
|
|
||||||
|
# Tamaño de cada CSV de salida
|
||||||
|
CSV_CHUNK_SIZE = 80000
|
||||||
|
|
||||||
|
# Carpeta donde se escriben los CSV con los RUC faltantes
|
||||||
|
OUTPUT_DIR = os.getenv("OUTPUT_DIR", "/data/salida")
|
||||||
34
app/db.py
Normal file
34
app/db.py
Normal file
@@ -0,0 +1,34 @@
|
|||||||
|
import logging
|
||||||
|
|
||||||
|
import pymysql
|
||||||
|
|
||||||
|
from config import DB_HOST, DB_PORT, DB_USER, DB_PASSWORD, DB_NAME, TABLA_PERSONAS, COLUMNA_RUC
|
||||||
|
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
|
|
||||||
|
def get_connection():
|
||||||
|
return pymysql.connect(
|
||||||
|
host=DB_HOST,
|
||||||
|
port=DB_PORT,
|
||||||
|
user=DB_USER,
|
||||||
|
password=DB_PASSWORD,
|
||||||
|
database=DB_NAME,
|
||||||
|
charset="utf8mb4",
|
||||||
|
autocommit=True,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def fetch_rucs_existentes(conn):
|
||||||
|
"""
|
||||||
|
Trae todos los RUC ya cargados en la tabla personas y los devuelve
|
||||||
|
como set (lookup O(1) para comparar contra los parseados del DNIT).
|
||||||
|
"""
|
||||||
|
query = f"SELECT {COLUMNA_RUC} FROM {TABLA_PERSONAS}"
|
||||||
|
existentes = set()
|
||||||
|
with conn.cursor() as cur:
|
||||||
|
cur.execute(query)
|
||||||
|
for (ruc,) in cur.fetchall():
|
||||||
|
existentes.add(str(ruc).strip())
|
||||||
|
logger.info("RUC existentes en %s: %d", TABLA_PERSONAS, len(existentes))
|
||||||
|
return existentes
|
||||||
37
app/exportador.py
Normal file
37
app/exportador.py
Normal file
@@ -0,0 +1,37 @@
|
|||||||
|
import csv
|
||||||
|
import logging
|
||||||
|
import os
|
||||||
|
|
||||||
|
from config import OUTPUT_DIR, CSV_CHUNK_SIZE
|
||||||
|
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
|
ENCABEZADO = ["ruc", "razon_social", "dv", "codigo", "estado", "archivo_origen"]
|
||||||
|
|
||||||
|
|
||||||
|
def exportar_csv(registros, prefijo_nombre="rucs_faltantes"):
|
||||||
|
"""
|
||||||
|
Escribe los registros en archivos CSV de hasta CSV_CHUNK_SIZE filas cada uno.
|
||||||
|
Devuelve la lista de rutas generadas.
|
||||||
|
"""
|
||||||
|
os.makedirs(OUTPUT_DIR, exist_ok=True)
|
||||||
|
|
||||||
|
rutas = []
|
||||||
|
total = len(registros)
|
||||||
|
partes = max(1, (total + CSV_CHUNK_SIZE - 1) // CSV_CHUNK_SIZE)
|
||||||
|
|
||||||
|
for i in range(partes):
|
||||||
|
inicio = i * CSV_CHUNK_SIZE
|
||||||
|
fin = inicio + CSV_CHUNK_SIZE
|
||||||
|
bloque = registros[inicio:fin]
|
||||||
|
|
||||||
|
ruta = os.path.join(OUTPUT_DIR, f"{prefijo_nombre}_part{i + 1}.csv")
|
||||||
|
with open(ruta, "w", newline="", encoding="utf-8") as f:
|
||||||
|
writer = csv.writer(f)
|
||||||
|
writer.writerow(ENCABEZADO)
|
||||||
|
writer.writerows(bloque)
|
||||||
|
|
||||||
|
rutas.append(ruta)
|
||||||
|
logger.info("CSV generado: %s (%d filas)", ruta, len(bloque))
|
||||||
|
|
||||||
|
return rutas
|
||||||
45
app/extractor.py
Normal file
45
app/extractor.py
Normal file
@@ -0,0 +1,45 @@
|
|||||||
|
import logging
|
||||||
|
import os
|
||||||
|
import zipfile
|
||||||
|
|
||||||
|
from config import BASE_DIR, EXTRACT_DIR, MARKER_SUFFIX
|
||||||
|
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
|
|
||||||
|
def descomprimir_todo():
|
||||||
|
"""
|
||||||
|
Recorre BASE_DIR buscando archivos .zip y los descomprime en una carpeta
|
||||||
|
con el mismo nombre (sin extensión). Usa un archivo .procesado como marca
|
||||||
|
para no volver a descomprimir en corridas posteriores.
|
||||||
|
"""
|
||||||
|
if not os.path.isdir(BASE_DIR):
|
||||||
|
raise FileNotFoundError(f"No existe el directorio base: {BASE_DIR}")
|
||||||
|
|
||||||
|
extraidos = []
|
||||||
|
|
||||||
|
for nombre in sorted(os.listdir(BASE_DIR)):
|
||||||
|
if not nombre.lower().endswith(".zip"):
|
||||||
|
continue
|
||||||
|
|
||||||
|
ruta_zip = os.path.join(BASE_DIR, nombre)
|
||||||
|
marker = ruta_zip + MARKER_SUFFIX
|
||||||
|
|
||||||
|
if os.path.exists(marker):
|
||||||
|
logger.info("Ya procesado, se omite: %s", nombre)
|
||||||
|
continue
|
||||||
|
|
||||||
|
destino = os.path.join(EXTRACT_DIR, os.path.splitext(nombre)[0])
|
||||||
|
os.makedirs(destino, exist_ok=True)
|
||||||
|
|
||||||
|
try:
|
||||||
|
with zipfile.ZipFile(ruta_zip, "r") as zf:
|
||||||
|
zf.extractall(destino)
|
||||||
|
with open(marker, "w") as f:
|
||||||
|
f.write("ok")
|
||||||
|
extraidos.append(destino)
|
||||||
|
logger.info("Descomprimido: %s -> %s", nombre, destino)
|
||||||
|
except zipfile.BadZipFile:
|
||||||
|
logger.error("Zip corrupto, se omite: %s", nombre)
|
||||||
|
|
||||||
|
return extraidos
|
||||||
31
app/filtro.py
Normal file
31
app/filtro.py
Normal file
@@ -0,0 +1,31 @@
|
|||||||
|
import logging
|
||||||
|
|
||||||
|
from config import PREFIJOS_PERSONAS_JURIDICAS
|
||||||
|
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
|
|
||||||
|
def filtrar_juridicas(registros):
|
||||||
|
"""
|
||||||
|
registros: lista de tuplas (ruc, razon_social, dv, codigo, estado, archivo_origen)
|
||||||
|
Devuelve solo los que corresponden a persona jurídica según el prefijo del RUC.
|
||||||
|
"""
|
||||||
|
filtrados = [
|
||||||
|
r for r in registros
|
||||||
|
if any(r[0].startswith(prefijo) for prefijo in PREFIJOS_PERSONAS_JURIDICAS)
|
||||||
|
]
|
||||||
|
logger.info(
|
||||||
|
"Registros jurídicos por prefijo: %d de %d totales",
|
||||||
|
len(filtrados), len(registros),
|
||||||
|
)
|
||||||
|
return filtrados
|
||||||
|
|
||||||
|
|
||||||
|
def filtrar_no_existentes(registros, rucs_existentes):
|
||||||
|
"""Deja solo los registros cuyo RUC NO está en la tabla personas."""
|
||||||
|
faltantes = [r for r in registros if r[0] not in rucs_existentes]
|
||||||
|
logger.info(
|
||||||
|
"RUC no encontrados en la BD: %d de %d jurídicos",
|
||||||
|
len(faltantes), len(registros),
|
||||||
|
)
|
||||||
|
return faltantes
|
||||||
45
app/main.py
Normal file
45
app/main.py
Normal file
@@ -0,0 +1,45 @@
|
|||||||
|
import logging
|
||||||
|
|
||||||
|
from extractor import descomprimir_todo
|
||||||
|
from parser import recorrer_y_parsear
|
||||||
|
from filtro import filtrar_juridicas, filtrar_no_existentes
|
||||||
|
from exportador import exportar_csv
|
||||||
|
from db import get_connection, fetch_rucs_existentes
|
||||||
|
|
||||||
|
logging.basicConfig(
|
||||||
|
level=logging.INFO,
|
||||||
|
format="%(asctime)s [%(levelname)s] %(message)s",
|
||||||
|
)
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
logger.info("Iniciando bot RUC DNIT")
|
||||||
|
|
||||||
|
logger.info("Paso 1: descomprimiendo zips nuevos")
|
||||||
|
carpetas_nuevas = descomprimir_todo()
|
||||||
|
logger.info("Carpetas descomprimidas en esta corrida: %d", len(carpetas_nuevas))
|
||||||
|
|
||||||
|
logger.info("Paso 2: recorriendo carpetas y parseando .txt")
|
||||||
|
registros = recorrer_y_parsear()
|
||||||
|
|
||||||
|
logger.info("Paso 3: filtrando personas jurídicas por prefijo de RUC")
|
||||||
|
juridicas = filtrar_juridicas(registros)
|
||||||
|
|
||||||
|
logger.info("Paso 4: comparando contra la tabla personas")
|
||||||
|
conn = get_connection()
|
||||||
|
try:
|
||||||
|
rucs_existentes = fetch_rucs_existentes(conn)
|
||||||
|
finally:
|
||||||
|
conn.close()
|
||||||
|
|
||||||
|
faltantes = filtrar_no_existentes(juridicas, rucs_existentes)
|
||||||
|
|
||||||
|
logger.info("Paso 5: exportando CSV de RUC faltantes")
|
||||||
|
rutas = exportar_csv(faltantes)
|
||||||
|
|
||||||
|
logger.info("Bot finalizado. Archivos generados: %s", rutas)
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
55
app/parser.py
Normal file
55
app/parser.py
Normal file
@@ -0,0 +1,55 @@
|
|||||||
|
import logging
|
||||||
|
import os
|
||||||
|
|
||||||
|
from config import BASE_DIR
|
||||||
|
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
|
CAMPOS_ESPERADOS = 5 # ruc, razon_social, dv, codigo, estado
|
||||||
|
|
||||||
|
|
||||||
|
def _parsear_linea(linea, archivo_origen):
|
||||||
|
linea = linea.rstrip("\n").rstrip("\r")
|
||||||
|
if not linea.strip():
|
||||||
|
return None
|
||||||
|
|
||||||
|
partes = linea.split("|")
|
||||||
|
|
||||||
|
# El formato trae un pipe final -> el último elemento queda vacío, se descarta.
|
||||||
|
# Ojo: el campo "codigo" puede venir vacío legítimamente (doble pipe "||"),
|
||||||
|
# así que NO se filtran strings vacíos en el medio, solo se saca el último.
|
||||||
|
if partes and partes[-1] == "":
|
||||||
|
partes = partes[:-1]
|
||||||
|
|
||||||
|
if len(partes) != CAMPOS_ESPERADOS:
|
||||||
|
logger.warning("Línea con formato inesperado en %s: %r", archivo_origen, linea)
|
||||||
|
return None
|
||||||
|
|
||||||
|
ruc, razon_social, dv, codigo, estado = (p.strip() for p in partes)
|
||||||
|
return (ruc, razon_social, dv, codigo, estado, archivo_origen)
|
||||||
|
|
||||||
|
|
||||||
|
def recorrer_y_parsear(directorio_raiz=BASE_DIR):
|
||||||
|
"""
|
||||||
|
Recorre recursivamente directorio_raiz, encuentra todos los .txt
|
||||||
|
y devuelve una lista de tuplas listas para insertar en la base.
|
||||||
|
"""
|
||||||
|
registros = []
|
||||||
|
|
||||||
|
for carpeta_actual, _subcarpetas, archivos in os.walk(directorio_raiz):
|
||||||
|
for nombre in archivos:
|
||||||
|
if not nombre.lower().endswith(".txt"):
|
||||||
|
continue
|
||||||
|
|
||||||
|
ruta_txt = os.path.join(carpeta_actual, nombre)
|
||||||
|
try:
|
||||||
|
with open(ruta_txt, "r", encoding="latin-1") as f:
|
||||||
|
for linea in f:
|
||||||
|
registro = _parsear_linea(linea, nombre)
|
||||||
|
if registro:
|
||||||
|
registros.append(registro)
|
||||||
|
except OSError as e:
|
||||||
|
logger.error("No se pudo leer %s: %s", ruta_txt, e)
|
||||||
|
|
||||||
|
logger.info("Total de registros parseados: %d", len(registros))
|
||||||
|
return registros
|
||||||
21
docker-compose.yml
Normal file
21
docker-compose.yml
Normal file
@@ -0,0 +1,21 @@
|
|||||||
|
services:
|
||||||
|
bot:
|
||||||
|
build: .
|
||||||
|
environment:
|
||||||
|
BASE_DIR: /data
|
||||||
|
OUTPUT_DIR: /data/salida
|
||||||
|
DB_HOST: ${DB_HOST}
|
||||||
|
DB_PORT: ${DB_PORT:-3306}
|
||||||
|
DB_USER: ${DB_USER}
|
||||||
|
DB_PASSWORD: ${DB_PASSWORD}
|
||||||
|
DB_NAME: ${DB_NAME}
|
||||||
|
TABLA_PERSONAS: ${TABLA_PERSONAS:-personas}
|
||||||
|
COLUMNA_RUC: ${COLUMNA_RUC:-ruc}
|
||||||
|
volumes:
|
||||||
|
# Mapea la carpeta real del servidor con los zip/txt del DNIT
|
||||||
|
- ${HOST_DOCUMENTOS_PATH}:/data
|
||||||
|
# Carpeta donde quedan los CSV de RUC faltantes
|
||||||
|
- ${HOST_SALIDA_PATH}:/data/salida
|
||||||
|
# Corrida única (para disparar por cron del host, ver README).
|
||||||
|
# network_mode: host si la BD existente corre en el mismo servidor
|
||||||
|
# y preferís no exponer nada por IP de contenedor.
|
||||||
1
requirements.txt
Normal file
1
requirements.txt
Normal file
@@ -0,0 +1 @@
|
|||||||
|
PyMySQL==1.1.1
|
||||||
Reference in New Issue
Block a user