Serie Ingeniería de Datos, Parte 4 de 5. Anterior: Herramientas de Ingeniería de Datos
- ¿Qué Es un Ingeniero de Datos?
- ¿Qué Hace un Ingeniero de Datos?
- Herramientas de Ingeniería de Datos: SQL, Python y Más
- ¿Qué Es un Pipeline de Datos? (estás aquí)
- Cómo Ser Ingeniero de Datos
Un pipeline de datos es una serie automatizada de pasos que mueve datos de una o más fuentes a un destino, limpiándolos y preparándolos en el camino. Es el producto central de la ingeniería de datos: el sistema que convierte datos dispersos y desordenados en algo en lo que la gente puede confiar y que puede usar.
Esta guía explica las partes de un pipeline, cómo encajan ETL, ELT y la integración de datos, la diferencia entre lote (batch) y streaming, y te guía por un pequeño pipeline que puedes ejecutar tú mismo.
¿Qué Es un Pipeline de Datos?
Imagina una tienda en línea. Los pedidos llegan a la base de datos de la tienda, los tickets de soporte viven en otra herramienta y los números de publicidad están en una tercera. Un gerente quiere un solo reporte que muestre juntos los ingresos, la carga de soporte y el gasto en anuncios.
Un pipeline de datos hace el trabajo de forma automática: recopila los datos de cada sistema, los limpia y combina, los almacena en un solo lugar y los entrega al reporte. Se ejecuta según un horario (o de forma continua), así que el reporte siempre está al día sin que nadie copie y pegue archivos.
Las Etapas de un Pipeline
| Etapa | Qué ocurre | Ejemplo |
|---|---|---|
| 1. Fuentes | De dónde provienen los datos | Una base de datos de tienda, archivos CSV, una API, registros de aplicaciones |
| 2. Ingesta | Los datos se obtienen o se reciben de la fuente | Un proceso nocturno descarga los pedidos nuevos |
| 3. Procesamiento y transformación | Los datos se limpian, validan y reorganizan | Eliminar duplicados, corregir fechas, calcular totales |
| 4. Almacenamiento | Los datos se guardan donde se pueden consultar | Una base de datos o un data warehouse |
| 5. Servicio | Los datos se entregan a usuarios y herramientas | Dashboards, reportes y modelos de aprendizaje automático |
| 6. Orquestación y monitoreo | Todo el flujo se programa y se vigila | Ejecutar a las 2:00 AM, avisar si falla |
Todo pipeline que encuentres es una variación de estas seis etapas. Para el panorama general, mira ¿Qué Es un Ingeniero de Datos?.
Integración de Datos: Reunir las Fuentes
La integración de datos es la práctica de combinar datos de distintas fuentes en una vista unificada y consistente. Un pipeline es una de las principales formas de hacerlo. Formas comunes de traer los datos:
- Extracciones de bases de datos: consultar una base de datos de origen para obtener las filas necesarias.
- Entrega de archivos: otro sistema deja archivos CSV o JSON en una carpeta o en almacenamiento en la nube.
- Llamadas a APIs: solicitar datos a un servicio web con un horario.
- Captura de cambios (CDC): leer el registro de cambios de una base de datos para mover solo lo que cambió.
- Flujos de eventos: recibir eventos de forma continua a medida que ocurren.
- Web scraping: recopilar datos de páginas web cuando no hay API. Mira web scraping con Python.
Dos decisiones aparecen en casi toda integración:
- Carga completa vs. carga incremental. Una carga completa copia todo cada vez. Una carga incremental copia solo los registros nuevos o cambiados, lo cual es más rápido y barato a medida que crecen los datos.
- Relacionar registros entre sistemas. Necesitas una clave compartida, como un ID de cliente o un correo, para poder unir datos de distintas fuentes. Mira los JOIN de SQL.
ETL y ELT en un Minuto
Los dos patrones clásicos se diferencian en dónde ocurre la transformación:
- ETL (extraer, transformar, cargar): limpiar y reorganizar los datos antes de cargarlos en el destino.
- ELT (extraer, cargar, transformar): cargar primero los datos en bruto y transformarlos dentro del destino, normalmente un warehouse, usando SQL.
Ninguno es mejor en todos los casos. ELT es popular con los warehouses modernos en la nube, mientras que ETL es útil cuando debes limpiar o quitar datos sensibles antes de guardarlos. La comparación completa, con ejemplos prácticos de ambos, está en ETL vs ELT: Guía para Principiantes. El pipeline de abajo sigue el orden ETL.
Lote (Batch) vs. Streaming
| Lote (batch) | Streaming | |
|---|---|---|
| Cómo funciona | Procesa datos en bloques según un horario | Procesa datos de forma continua a medida que llegan |
| Latencia | De minutos a horas (o un día) | Segundos o menos |
| Complejidad | Más simple | Más compleja |
| Bueno para | Reportes diarios, cargas nocturnas, análisis histórico | Alertas de fraude, dashboards en vivo, datos de sensores |
| Herramientas de ejemplo | Scripts de Python, cron, Airflow | Apache Kafka y procesadores de flujos |
La mayoría de los pipelines que construyas primero serán por lotes. Agrega streaming cuando el negocio realmente necesite los datos en segundos.
Construye un Mini Pipeline
Construyamos un pipeline pequeño y completo que siga las etapas anteriores. Extrae pedidos de un CSV desordenado, los limpia, revisa su calidad y los carga en una base de datos. Ejecuté este código y se muestra el resultado.
Empieza con un archivo llamado orders.csv. Tiene problemas a propósito: espacios extra, mayúsculas inconsistentes, una fila duplicada, un monto faltante y una fecha inválida:
order_id,customer,order_date,amount
1, Ana ,2026-01-05,$35.50
2,LUIS,2026-01-06,$120.00
2,LUIS,2026-01-06,$120.00
3,Marta,2026-01-07,
4,Pedro,not a date,$19.99
Guarda esto como pipeline.py en la misma carpeta:
import logging
import sqlite3
import pandas as pd
logging.basicConfig(level=logging.INFO, format="%(levelname)s %(message)s")
log = logging.getLogger("pipeline")
def extract(path):
df = pd.read_csv(path)
log.info("extracted %d rows", len(df))
return df
def transform(df):
clean = (
df.drop_duplicates()
.assign(
customer=lambda d: d["customer"].str.strip().str.title(),
order_date=lambda d: pd.to_datetime(d["order_date"], errors="coerce"),
amount=lambda d: pd.to_numeric(
d["amount"].str.replace("$", "", regex=False), errors="coerce"
),
)
.dropna(subset=["order_date", "amount"])
)
log.info("kept %d clean rows, rejected %d", len(clean), len(df) - len(clean))
return clean
def validate(df):
if not df["order_id"].is_unique:
raise ValueError("duplicate order_id values")
if (df["amount"] < 0).any():
raise ValueError("negative amounts found")
return df
def load(df, db_path):
rows = [
(int(r.order_id), r.customer, r.order_date.strftime("%Y-%m-%d"), float(r.amount))
for r in df.itertuples()
]
with sqlite3.connect(db_path) as con:
con.execute(
"CREATE TABLE IF NOT EXISTS orders ("
"order_id INTEGER PRIMARY KEY, customer TEXT, order_date TEXT, amount REAL)"
)
# INSERT OR REPLACE makes the load idempotent: running it twice gives the same table
con.executemany("INSERT OR REPLACE INTO orders VALUES (?, ?, ?, ?)", rows)
log.info("loaded %d rows into %s", len(rows), db_path)
def run(csv_path="orders.csv", db_path="warehouse.db"):
load(validate(transform(extract(csv_path))), db_path)
if __name__ == "__main__":
run()
Instala la única dependencia (pip install pandas) y ejecútalo:
python pipeline.py
Resultado:
INFO extracted 5 rows
INFO kept 2 clean rows, rejected 3
INFO loaded 2 rows into warehouse.db
Las tres filas rechazadas son el duplicado, el pedido con el monto faltante y el pedido con la fecha inválida. Las dos filas buenas, los pedidos de Ana y Luis, ya están en la tabla orders. Compruébalo con SQL:
SELECT * FROM orders ORDER BY order_id;
1 | Ana | 2026-01-05 | 35.5
2 | Luis | 2026-01-06 | 120.0
Qué enseña este pequeño pipeline
- Cada etapa es una función separada. Extraer, transformar, validar y cargar son fáciles de probar y de cambiar por separado.
- El registro (logging) te dice qué pasó. Cuando un pipeline corre a las 2 AM, el log es cómo te enteras de lo que hizo.
- La validación detiene los datos malos. Si una verificación falla, el pipeline lanza un error en lugar de cargar números incorrectos.
- La carga es idempotente. Ejecuta el script dos veces y la tabla sigue teniendo las mismas dos filas, no cuatro.
INSERT OR REPLACEsobre una clave primaria hace seguras las re-ejecuciones, algo importante cuando un proceso se reintenta tras un fallo. - Los datos rechazados se cuentan, no se ocultan. En un pipeline real también guardarías las filas rechazadas en algún lugar para revisarlas.
Para programarlo, una línea de cron como la de la Parte 2 lo ejecutaría cada noche. Para más técnicas de limpieza, mira la limpieza de datos con Pandas y limpiar datos con SQL. Para conectarte a otras bases de datos, usa SQLAlchemy.
Qué Hace Bueno a un Pipeline
- Idempotente: volver a ejecutarlo da el mismo resultado, así que los reintentos son seguros.
- Observable: los registros, métricas y alertas muestran qué está pasando.
- Probado: las verificaciones de calidad de datos detectan problemas antes de que los vean los usuarios.
- Incremental: procesa solo datos nuevos o cambiados cuando crecen los volúmenes.
- Documentado: otros pueden entender qué hace y por qué.
- Seguro: protege las credenciales y los datos sensibles. Mantén los secretos fuera del código, como en el archivo .env, y sigue las prácticas de seguridad de bases de datos.
- Recuperable: puedes volver a ejecutarlo o reprocesar el historial tras un fallo, y restaurar desde respaldos. Mira la recuperación ante desastres.
Problemas Comunes en los Pipelines
| Problema | Qué ocurre | Solución típica |
|---|---|---|
| Cambio de esquema | Una fuente agrega, renombra o quita una columna y el proceso se rompe | Validar el esquema en la ingesta y alertar ante cambios |
| Datos tardíos o faltantes | Un archivo no llega a tiempo | Esperar y reintentar, y alertar si sigue faltando |
| Duplicados | Un reintento carga los mismos datos dos veces | Hacer las cargas idempotentes con claves únicas |
| Fallo parcial silencioso | Solo se carga parte de los datos, sin error | Comparar el número de filas y ejecutar verificaciones de calidad |
| Procesos lentos | Las consultas o cargas tardan más al crecer los datos | Cargar de forma incremental y afinar consultas. Mira las consultas SQL lentas |
| Datos malos | Valores incorrectos llegan a los reportes | Agregar reglas de validación y detener el pipeline cuando fallen |
Dónde Se Ejecutan los Pipelines
Los pipelines pueden correr en tu propia computadora, en un servidor o en la nube. Muchos equipos los empaquetan en contenedores con Docker para que se comporten igual en todas partes, y los ejecutan en un VPS o en una plataforma en la nube. La Parte 3 listó las herramientas de orquestación que los programan.
Preguntas Frecuentes
¿Qué es un pipeline de datos en palabras simples?
Un pipeline de datos es un proceso automatizado que recopila datos de las fuentes, los limpia y transforma, y los entrega a un destino como una base de datos o un dashboard.
¿Cuál es la diferencia entre un pipeline de datos y ETL?
ETL es un tipo de pipeline de datos: uno que extrae, transforma y luego carga los datos. “Pipeline de datos” es el término más amplio e incluye ELT, streaming y otros patrones.
¿Cuál es la diferencia entre ETL y ELT?
En ETL transformas los datos antes de cargarlos. En ELT cargas primero los datos en bruto y los transformas dentro del destino. Lee la comparación completa en ETL vs ELT.
¿Qué es la integración de datos?
La integración de datos es combinar datos de varias fuentes en una vista consistente. Los pipelines de datos son una forma común de lograrlo.
¿Cuál es la diferencia entre pipelines por lotes y de streaming?
Los pipelines por lotes procesan datos en bloques programados, mientras que los de streaming los procesan de forma continua a medida que llegan. El procesamiento por lotes es más simple y basta para muchas necesidades.
¿Qué herramientas se usan para construir pipelines de datos?
Python y SQL para la lógica, un programador u orquestador como cron o Airflow para ejecutarlos, y una base de datos o warehouse para guardar los resultados. Mira Herramientas de Ingeniería de Datos.
¿Cómo hago confiable un pipeline?
Agrega registros, validación, reintentos y alertas, haz las cargas idempotentes y pruébalo con datos desordenados realistas.
Conclusión
Un pipeline de datos mueve datos de las fuentes a un destino mediante ingesta, transformación, almacenamiento y servicio, con programación y monitoreo alrededor. ETL y ELT son dos formas de ordenar el paso de transformación, y la integración de datos es el objetivo de reunir muchas fuentes. El mini pipeline de arriba muestra los hábitos que más importan: etapas separadas, registros, validación y re-ejecuciones seguras.
En la parte final verás cómo convertir este conocimiento en una carrera: Cómo Ser Ingeniero de Datos: Habilidades, Certificaciones y Ruta.
Siguiente en la serie Ingeniería de Datos: Cómo Ser Ingeniero de Datos
