Serie Ingeniería de Datos, Parte 4 de 5. Anterior: Herramientas de Ingeniería de Datos

  1. ¿Qué Es un Ingeniero de Datos?
  2. ¿Qué Hace un Ingeniero de Datos?
  3. Herramientas de Ingeniería de Datos: SQL, Python y Más
  4. ¿Qué Es un Pipeline de Datos? (estás aquí)
  5. Cómo Ser Ingeniero de Datos

Un pipeline de datos es una serie automatizada de pasos que mueve datos de una o más fuentes a un destino, limpiándolos y preparándolos en el camino. Es el producto central de la ingeniería de datos: el sistema que convierte datos dispersos y desordenados en algo en lo que la gente puede confiar y que puede usar.

Esta guía explica las partes de un pipeline, cómo encajan ETL, ELT y la integración de datos, la diferencia entre lote (batch) y streaming, y te guía por un pequeño pipeline que puedes ejecutar tú mismo.

¿Qué Es un Pipeline de Datos?

Imagina una tienda en línea. Los pedidos llegan a la base de datos de la tienda, los tickets de soporte viven en otra herramienta y los números de publicidad están en una tercera. Un gerente quiere un solo reporte que muestre juntos los ingresos, la carga de soporte y el gasto en anuncios.

Un pipeline de datos hace el trabajo de forma automática: recopila los datos de cada sistema, los limpia y combina, los almacena en un solo lugar y los entrega al reporte. Se ejecuta según un horario (o de forma continua), así que el reporte siempre está al día sin que nadie copie y pegue archivos.

Las Etapas de un Pipeline

EtapaQué ocurreEjemplo
1. FuentesDe dónde provienen los datosUna base de datos de tienda, archivos CSV, una API, registros de aplicaciones
2. IngestaLos datos se obtienen o se reciben de la fuenteUn proceso nocturno descarga los pedidos nuevos
3. Procesamiento y transformaciónLos datos se limpian, validan y reorganizanEliminar duplicados, corregir fechas, calcular totales
4. AlmacenamientoLos datos se guardan donde se pueden consultarUna base de datos o un data warehouse
5. ServicioLos datos se entregan a usuarios y herramientasDashboards, reportes y modelos de aprendizaje automático
6. Orquestación y monitoreoTodo el flujo se programa y se vigilaEjecutar a las 2:00 AM, avisar si falla

Todo pipeline que encuentres es una variación de estas seis etapas. Para el panorama general, mira ¿Qué Es un Ingeniero de Datos?.

Integración de Datos: Reunir las Fuentes

La integración de datos es la práctica de combinar datos de distintas fuentes en una vista unificada y consistente. Un pipeline es una de las principales formas de hacerlo. Formas comunes de traer los datos:

  • Extracciones de bases de datos: consultar una base de datos de origen para obtener las filas necesarias.
  • Entrega de archivos: otro sistema deja archivos CSV o JSON en una carpeta o en almacenamiento en la nube.
  • Llamadas a APIs: solicitar datos a un servicio web con un horario.
  • Captura de cambios (CDC): leer el registro de cambios de una base de datos para mover solo lo que cambió.
  • Flujos de eventos: recibir eventos de forma continua a medida que ocurren.
  • Web scraping: recopilar datos de páginas web cuando no hay API. Mira web scraping con Python.

Dos decisiones aparecen en casi toda integración:

  • Carga completa vs. carga incremental. Una carga completa copia todo cada vez. Una carga incremental copia solo los registros nuevos o cambiados, lo cual es más rápido y barato a medida que crecen los datos.
  • Relacionar registros entre sistemas. Necesitas una clave compartida, como un ID de cliente o un correo, para poder unir datos de distintas fuentes. Mira los JOIN de SQL.

ETL y ELT en un Minuto

Los dos patrones clásicos se diferencian en dónde ocurre la transformación:

  • ETL (extraer, transformar, cargar): limpiar y reorganizar los datos antes de cargarlos en el destino.
  • ELT (extraer, cargar, transformar): cargar primero los datos en bruto y transformarlos dentro del destino, normalmente un warehouse, usando SQL.

Ninguno es mejor en todos los casos. ELT es popular con los warehouses modernos en la nube, mientras que ETL es útil cuando debes limpiar o quitar datos sensibles antes de guardarlos. La comparación completa, con ejemplos prácticos de ambos, está en ETL vs ELT: Guía para Principiantes. El pipeline de abajo sigue el orden ETL.

Lote (Batch) vs. Streaming

Lote (batch)Streaming
Cómo funcionaProcesa datos en bloques según un horarioProcesa datos de forma continua a medida que llegan
LatenciaDe minutos a horas (o un día)Segundos o menos
ComplejidadMás simpleMás compleja
Bueno paraReportes diarios, cargas nocturnas, análisis históricoAlertas de fraude, dashboards en vivo, datos de sensores
Herramientas de ejemploScripts de Python, cron, AirflowApache Kafka y procesadores de flujos

La mayoría de los pipelines que construyas primero serán por lotes. Agrega streaming cuando el negocio realmente necesite los datos en segundos.

Construye un Mini Pipeline

Construyamos un pipeline pequeño y completo que siga las etapas anteriores. Extrae pedidos de un CSV desordenado, los limpia, revisa su calidad y los carga en una base de datos. Ejecuté este código y se muestra el resultado.

Empieza con un archivo llamado orders.csv. Tiene problemas a propósito: espacios extra, mayúsculas inconsistentes, una fila duplicada, un monto faltante y una fecha inválida:

order_id,customer,order_date,amount
1, Ana ,2026-01-05,$35.50
2,LUIS,2026-01-06,$120.00
2,LUIS,2026-01-06,$120.00
3,Marta,2026-01-07,
4,Pedro,not a date,$19.99

Guarda esto como pipeline.py en la misma carpeta:

import logging
import sqlite3

import pandas as pd

logging.basicConfig(level=logging.INFO, format="%(levelname)s %(message)s")
log = logging.getLogger("pipeline")


def extract(path):
    df = pd.read_csv(path)
    log.info("extracted %d rows", len(df))
    return df


def transform(df):
    clean = (
        df.drop_duplicates()
        .assign(
            customer=lambda d: d["customer"].str.strip().str.title(),
            order_date=lambda d: pd.to_datetime(d["order_date"], errors="coerce"),
            amount=lambda d: pd.to_numeric(
                d["amount"].str.replace("$", "", regex=False), errors="coerce"
            ),
        )
        .dropna(subset=["order_date", "amount"])
    )
    log.info("kept %d clean rows, rejected %d", len(clean), len(df) - len(clean))
    return clean


def validate(df):
    if not df["order_id"].is_unique:
        raise ValueError("duplicate order_id values")
    if (df["amount"] < 0).any():
        raise ValueError("negative amounts found")
    return df


def load(df, db_path):
    rows = [
        (int(r.order_id), r.customer, r.order_date.strftime("%Y-%m-%d"), float(r.amount))
        for r in df.itertuples()
    ]
    with sqlite3.connect(db_path) as con:
        con.execute(
            "CREATE TABLE IF NOT EXISTS orders ("
            "order_id INTEGER PRIMARY KEY, customer TEXT, order_date TEXT, amount REAL)"
        )
        # INSERT OR REPLACE makes the load idempotent: running it twice gives the same table
        con.executemany("INSERT OR REPLACE INTO orders VALUES (?, ?, ?, ?)", rows)
    log.info("loaded %d rows into %s", len(rows), db_path)


def run(csv_path="orders.csv", db_path="warehouse.db"):
    load(validate(transform(extract(csv_path))), db_path)


if __name__ == "__main__":
    run()

Instala la única dependencia (pip install pandas) y ejecútalo:

python pipeline.py

Resultado:

INFO extracted 5 rows
INFO kept 2 clean rows, rejected 3
INFO loaded 2 rows into warehouse.db

Las tres filas rechazadas son el duplicado, el pedido con el monto faltante y el pedido con la fecha inválida. Las dos filas buenas, los pedidos de Ana y Luis, ya están en la tabla orders. Compruébalo con SQL:

SELECT * FROM orders ORDER BY order_id;
1 | Ana  | 2026-01-05 |  35.5
2 | Luis | 2026-01-06 | 120.0

Qué enseña este pequeño pipeline

  • Cada etapa es una función separada. Extraer, transformar, validar y cargar son fáciles de probar y de cambiar por separado.
  • El registro (logging) te dice qué pasó. Cuando un pipeline corre a las 2 AM, el log es cómo te enteras de lo que hizo.
  • La validación detiene los datos malos. Si una verificación falla, el pipeline lanza un error en lugar de cargar números incorrectos.
  • La carga es idempotente. Ejecuta el script dos veces y la tabla sigue teniendo las mismas dos filas, no cuatro. INSERT OR REPLACE sobre una clave primaria hace seguras las re-ejecuciones, algo importante cuando un proceso se reintenta tras un fallo.
  • Los datos rechazados se cuentan, no se ocultan. En un pipeline real también guardarías las filas rechazadas en algún lugar para revisarlas.

Para programarlo, una línea de cron como la de la Parte 2 lo ejecutaría cada noche. Para más técnicas de limpieza, mira la limpieza de datos con Pandas y limpiar datos con SQL. Para conectarte a otras bases de datos, usa SQLAlchemy.

Qué Hace Bueno a un Pipeline

  • Idempotente: volver a ejecutarlo da el mismo resultado, así que los reintentos son seguros.
  • Observable: los registros, métricas y alertas muestran qué está pasando.
  • Probado: las verificaciones de calidad de datos detectan problemas antes de que los vean los usuarios.
  • Incremental: procesa solo datos nuevos o cambiados cuando crecen los volúmenes.
  • Documentado: otros pueden entender qué hace y por qué.
  • Seguro: protege las credenciales y los datos sensibles. Mantén los secretos fuera del código, como en el archivo .env, y sigue las prácticas de seguridad de bases de datos.
  • Recuperable: puedes volver a ejecutarlo o reprocesar el historial tras un fallo, y restaurar desde respaldos. Mira la recuperación ante desastres.

Problemas Comunes en los Pipelines

ProblemaQué ocurreSolución típica
Cambio de esquemaUna fuente agrega, renombra o quita una columna y el proceso se rompeValidar el esquema en la ingesta y alertar ante cambios
Datos tardíos o faltantesUn archivo no llega a tiempoEsperar y reintentar, y alertar si sigue faltando
DuplicadosUn reintento carga los mismos datos dos vecesHacer las cargas idempotentes con claves únicas
Fallo parcial silenciosoSolo se carga parte de los datos, sin errorComparar el número de filas y ejecutar verificaciones de calidad
Procesos lentosLas consultas o cargas tardan más al crecer los datosCargar de forma incremental y afinar consultas. Mira las consultas SQL lentas
Datos malosValores incorrectos llegan a los reportesAgregar reglas de validación y detener el pipeline cuando fallen

Dónde Se Ejecutan los Pipelines

Los pipelines pueden correr en tu propia computadora, en un servidor o en la nube. Muchos equipos los empaquetan en contenedores con Docker para que se comporten igual en todas partes, y los ejecutan en un VPS o en una plataforma en la nube. La Parte 3 listó las herramientas de orquestación que los programan.

Preguntas Frecuentes

¿Qué es un pipeline de datos en palabras simples?

Un pipeline de datos es un proceso automatizado que recopila datos de las fuentes, los limpia y transforma, y los entrega a un destino como una base de datos o un dashboard.

¿Cuál es la diferencia entre un pipeline de datos y ETL?

ETL es un tipo de pipeline de datos: uno que extrae, transforma y luego carga los datos. “Pipeline de datos” es el término más amplio e incluye ELT, streaming y otros patrones.

¿Cuál es la diferencia entre ETL y ELT?

En ETL transformas los datos antes de cargarlos. En ELT cargas primero los datos en bruto y los transformas dentro del destino. Lee la comparación completa en ETL vs ELT.

¿Qué es la integración de datos?

La integración de datos es combinar datos de varias fuentes en una vista consistente. Los pipelines de datos son una forma común de lograrlo.

¿Cuál es la diferencia entre pipelines por lotes y de streaming?

Los pipelines por lotes procesan datos en bloques programados, mientras que los de streaming los procesan de forma continua a medida que llegan. El procesamiento por lotes es más simple y basta para muchas necesidades.

¿Qué herramientas se usan para construir pipelines de datos?

Python y SQL para la lógica, un programador u orquestador como cron o Airflow para ejecutarlos, y una base de datos o warehouse para guardar los resultados. Mira Herramientas de Ingeniería de Datos.

¿Cómo hago confiable un pipeline?

Agrega registros, validación, reintentos y alertas, haz las cargas idempotentes y pruébalo con datos desordenados realistas.

Conclusión

Un pipeline de datos mueve datos de las fuentes a un destino mediante ingesta, transformación, almacenamiento y servicio, con programación y monitoreo alrededor. ETL y ELT son dos formas de ordenar el paso de transformación, y la integración de datos es el objetivo de reunir muchas fuentes. El mini pipeline de arriba muestra los hábitos que más importan: etapas separadas, registros, validación y re-ejecuciones seguras.

En la parte final verás cómo convertir este conocimiento en una carrera: Cómo Ser Ingeniero de Datos: Habilidades, Certificaciones y Ruta.

Siguiente en la serie Ingeniería de Datos: Cómo Ser Ingeniero de Datos