Base de datos, object storage, event streaming y workflows
El ecosistema Dune es un conjunto de componentes de infraestructura escritos en Rust, diseñados para operar como sistemas distribuidos con consenso Raft. Cada componente resuelve un problema concreto y todos se integran entre sí.
DuneDB
Base de datos OLAP escrita en Rust sobre DataFusion y Apache Arrow. Wire protocol PostgreSQL nativo: se conecta con DataGrip, DBeaver, psql, Python, .NET y Power BI sin drivers especiales.
Motor SQL completo
CTEs, window functions, JOINs optimizados (Hash y Sort-Merge), subqueries complejas.
Búsqueda vectorial
Índices HNSW nativos con cosine, euclidean e inner product. Compatible con embeddings OpenAI y Nomic.
Delta Lake nativo
Time Travel para auditoría, schema evolution sin downtime, transacciones ACID.
S3-Native OLAP
Queries directas sobre Parquet y Delta Lake almacenados en DuneStore o cualquier S3 compatible.
Seguridad empresarial
Autenticación, RBAC, cifrado AES-256-GCM, auditoría de queries, lockout por intentos.
AWS Glue Catalog
Auto-discovery de tablas. REFRESH TABLES para sincronización sin reinicio del servidor.
API S3 compatible
PUT, GET, HEAD, DELETE, ListObjects, multipart upload. Funciona con AWS SDK, boto3, rclone.
Cluster Raft 3 nodos
Replicación automática, elección de líder, tolerancia a fallos sin intervención manual.
Autenticación SigV4
Compatible con la firma estándar de AWS S3 para integración transparente con herramientas existentes.
Load Balancer GCP
Balanceo global L7 con SSL gestionado, health checks y session affinity configurable.
DuneStore
Object storage S3-compatible con replicación Raft. 3 nodos en GCP con sincronización P2P, cache de metadatos y alertas via webhook a DuneFlow. Sin vendor lock-in.
DuneStream
Plataforma de event streaming distribuida con consenso Raft. Topics particionados, consumer groups, WAL persistente y subscripción en tiempo real via SSE, WebSocket y gRPC.
Cluster Raft 3 nodos
Replicación de topics, elección de líder automática, tolerancia a la pérdida de un nodo.
Múltiples protocolos
HTTP API, SSE (Server-Sent Events), WebSocket y gRPC con schema registry integrado.
Autenticación JWT
Login con credenciales, token Bearer para todos los endpoints. Sin Basic Auth.
WAL persistente
Write-Ahead Log por topic para durabilidad. Recovery automático de mensajes tras restart.
DuneFlow
Motor de ejecución de workflows con interfaz web. Consume eventos de DuneStream via SSE, ejecuta pipelines, monitorea archivos y reporta estado en tiempo real por WebSocket.
- Editor visual de workflows
- Ejecución programada y por eventos
- Catálogo de nodos extensible
- Alertas via webhook
- File watcher para ingesta automática
Dune ETL
Herramienta ETL en Rust para extracción desde Oracle, transformación a Parquet y carga en DuneStore. Scheduler con retry automático, publicación de eventos a DuneStream y validación de archivos pre-upload.
- Oracle multi-tenant con retry paciente (hasta 90 min)
- Multipart upload a DuneStore (S3)
- Scheduler con backoff exponencial y webhooks
- Validación de Parquet antes de subir
- API REST + CLI para operación dual
Flujo completo de datos
