Envío de las notificaciones, consultas optimizadas en la BD, filtros correctos, conexión modificada, se agrego el sincronizador y el shell para el crontab
This commit is contained in:
110
README.md
110
README.md
@@ -0,0 +1,110 @@
|
||||
# Bot DNIT (Bot 2)
|
||||
|
||||
Segundo bot del pipeline DNIT. Bot 1 (n8n, fuera de este repo) descarga los
|
||||
`.zip` del DNIT al host y registra cada descarga en la tabla de control
|
||||
`control_descargas_dnit`. Este bot (Bot 2) toma esas filas pendientes,
|
||||
descomprime y parsea los `.txt`, filtra RUC de personas jurídicas y físicas,
|
||||
los compara contra la tabla `personas` de la base existente, y exporta CSV
|
||||
con lo que falta cargar. Un script separado (`sync_dnit.sh`) sincroniza esos
|
||||
CSV a una carpeta compartida de red para que otro equipo los cargue.
|
||||
|
||||
```
|
||||
Bot 1 (n8n) --> control_descargas_dnit --> Bot 2 (este repo, Docker)
|
||||
|
|
||||
v
|
||||
CSV en /mnt/bot_dnit/procesados
|
||||
|
|
||||
v
|
||||
sync_dnit.sh (rsync)
|
||||
|
|
||||
v
|
||||
Carpeta compartida (CIFS, //192.168.0.51/...)
|
||||
```
|
||||
|
||||
## Qué genera
|
||||
|
||||
Por cada fila pendiente procesada, `main.py` exporta dos tipos de CSV en
|
||||
`OUTPUT_DIR`:
|
||||
|
||||
- `rucs_faltantes_<id>_*.csv`: personas **jurídicas** (RUC con prefijo de
|
||||
`PREFIJOS_PERSONAS_JURIDICAS` y longitud `LONGITUD_RUC_JURIDICA`) cuyo
|
||||
`ruc-dv` no está en la tabla `personas`.
|
||||
- `fisicas_password_<id>_*.csv`: personas **físicas** a insertar (sin
|
||||
password cargado) o actualizar (password distinto al dv que trae el
|
||||
DNIT). Las que no existen como persona física en la BD se descartan y
|
||||
quedan solo logueadas (falta el resto de sus datos para poder insertarlas).
|
||||
|
||||
Si el procesamiento de una fila falla, la corrida se corta ahí (no se
|
||||
procesan las filas siguientes) y se envía un correo de error; si sale bien
|
||||
se envía un correo con el resumen y se marca la fila como procesada
|
||||
(`procesados_filtro = 1`, `estado = 'D'`).
|
||||
|
||||
## Configuración (`.env`)
|
||||
|
||||
Copiar `.env.example` a `.env` y completar:
|
||||
|
||||
| Variable | Uso |
|
||||
|---|---|
|
||||
| `HOST_DOCUMENTOS_PATH` | Ruta en el **host** donde Bot 1 deja los `.zip` (la misma que escribe en `directorio_zips`). Se usa para traducir esa ruta a `BASE_DIR` dentro del contenedor. |
|
||||
| `HOST_SALIDA_PATH` | Ruta en el host donde el bot escribe los CSV generados. **Debe apuntar a lo mismo que `ORIGEN_DNIT`** (ver más abajo) para que `sync_dnit.sh` encuentre lo que generó el bot. |
|
||||
| `DB_HOST` / `DB_PORT` / `DB_NAME` / `DB_USER` / `DB_PASSWORD` | BD existente con la tabla `personas`. La base de control (`bot_dnit_monitor` / `control_descargas_dnit`) vive en el mismo servidor, con las mismas credenciales. |
|
||||
| `TABLA_PERSONAS` / `COLUMNA_RUC` | Nombre de tabla/columna de RUC en la BD de personas. |
|
||||
| `SMTP_*` / `SMTP_FROM` / `SMTP_FROM_NAME` | Envío de correos de error/resumen. |
|
||||
| `DESTINATARIOS` | Destinatarios del correo, separados por coma sin espacios. |
|
||||
| `ORIGEN_DNIT` | Carpeta local con los CSV a sincronizar (debe coincidir con `HOST_SALIDA_PATH`). |
|
||||
| `DESTINO_DNIT` | Punto de montaje local del recurso CIFS remoto. |
|
||||
| `MIGRADOS_DNIT` | Carpeta local donde se archiva lo ya sincronizado (con timestamp). |
|
||||
| `CARPETA_COMPARTIDA` | Ruta UNC del recurso compartido (`//servidor/share/carpeta`). |
|
||||
| `USER_COMPARTIDA` / `PASS_COMPARTIDA` | Credenciales del recurso compartido. |
|
||||
| `LOG_DNIT` | Archivo de log de `sync_dnit.sh`. |
|
||||
|
||||
Cualquier valor con espacios (rutas, usuario) debe ir entre comillas: el
|
||||
`.env` lo cargan tanto Docker/`python-dotenv` como scripts bash con
|
||||
`source`, y bash rompe en variables sin comillas si tienen espacios.
|
||||
|
||||
## Correr manualmente
|
||||
|
||||
```bash
|
||||
docker compose up --build
|
||||
```
|
||||
|
||||
Es una corrida única: el contenedor procesa todas las filas pendientes y
|
||||
termina. `docker-compose.yml` monta `HOST_DOCUMENTOS_PATH` en `/data` y
|
||||
`HOST_SALIDA_PATH` en `/data/salida`.
|
||||
|
||||
## Sincronización a la carpeta compartida (`sync_dnit.sh`)
|
||||
|
||||
1. Verifica si `DESTINO_DNIT` ya está montado (`mountpoint -q`); si no,
|
||||
monta el recurso CIFS con `sudo mount -t cifs`.
|
||||
2. Si `ORIGEN_DNIT` tiene contenido, lo sincroniza con `rsync -av` al
|
||||
recurso remoto montado.
|
||||
3. Mueve lo sincronizado de `ORIGEN_DNIT` a `MIGRADOS_DNIT/<timestamp>/`
|
||||
(archivo local de lo ya enviado).
|
||||
|
||||
Se puede correr suelto (`bash sync_dnit.sh`) o encadenado desde `run.sh`.
|
||||
|
||||
**Pendiente / limitación conocida:** el `sudo mount` pide contraseña
|
||||
interactiva. Si el recurso ya está montado (no sobrevivió un reinicio del
|
||||
servidor), `sync_dnit.sh` no puede montarlo solo desde cron. Hasta que se
|
||||
resuelva (fstab + archivo de credenciales, o una regla `sudoers` acotada),
|
||||
hay que montarlo a mano después de cada reinicio del servidor.
|
||||
|
||||
## Corrida automática diaria (`run.sh` + cron)
|
||||
|
||||
`run.sh` levanta el contenedor, espera a que termine y, si salió bien,
|
||||
dispara `sync_dnit.sh`. Loguea todo en `/mnt/bot_dnit/logs/run_dnit.log`
|
||||
(configurable con `RUN_LOG`).
|
||||
|
||||
Para correrlo todos los días a las 7:30 AM, agregar al crontab del usuario
|
||||
(`crontab -e`):
|
||||
|
||||
```
|
||||
30 7 * * * /home/var/www/proyecto_desarrollo/botDNIT/run.sh >> /mnt/bot_dnit/logs/run_dnit_cron.log 2>&1
|
||||
```
|
||||
|
||||
## Logs
|
||||
|
||||
- `LOG_DIR` (por defecto, el mismo que `OUTPUT_DIR`): un log por corrida del
|
||||
bot Python (`bot_<timestamp>.log`).
|
||||
- `LOG_DNIT`: log de `sync_dnit.sh`.
|
||||
- `/mnt/bot_dnit/logs/run_dnit.log`: log de `run.sh` (orquesta bot + sync).
|
||||
|
||||
Reference in New Issue
Block a user