Python dentro de BigQuery: qué significa para los equipos de datos en LATAM
Durante años, los equipos de datos han vivido con una contradicción incómoda: SQL es perfecto para consultar y agregar datos a escala, pero es casi inútil cuando necesitas aplicar lógica compleja, limpiar texto con expresiones regulares avanzadas, consumir una API externa o ejecutar un modelo de machine learning sobre tus resultados. La solución habitual era construir pipelines paralelos: un servicio aparte en Python, contenedores que mantener, código duplicado y fricción constante entre el equipo de datos y el equipo de infraestructura.
A finales de junio de 2026, Google Cloud anunció la disponibilidad general (GA) de las Python UDFs administradas en BigQuery. Esta función permite definir y ejecutar funciones Python personalizadas directamente dentro de consultas SQL estándar, sin necesidad de configurar infraestructura adicional. Es un cambio que simplifica radicalmente cómo los equipos de datos construyen sus flujos de trabajo.
En este artículo exploramos qué son exactamente estas UDFs, por qué importan en la práctica y cómo pueden beneficiar a empresas medianas y grandes en Perú y América Latina que trabajan con análisis de datos a escala.
¿Qué son las Python UDFs en BigQuery y por qué son relevantes ahora?
Una User-Defined Function (UDF) es básicamente una función personalizada que tú defines y que luego puedes usar dentro de tus consultas SQL como si fuera una función nativa. BigQuery ya soportaba UDFs en JavaScript y SQL, pero el ecosistema de Python —con librerías como NumPy, pandas, SciPy, scikit-learn y cientos más— es incomparablemente más rico para trabajo científico y de datos.
Lo nuevo y relevante es que ahora estas funciones son completamente administradas por Google. BigQuery se encarga de compilar el código, construir el contenedor, aplicar parches de seguridad, desplegar y escalar la ejecución automáticamente. El usuario simplemente escribe su función Python, la registra con un comando SQL, y la llama desde sus consultas como cualquier otra función.
Un ejemplo concreto: si tienes una tabla con millones de respuestas de Stack Overflow almacenadas en formato HTML y necesitas extraer solo el texto limpio, puedes crear una UDF que use la librería BeautifulSoup de Python y aplicarla directamente en tu SELECT de BigQuery. Sin servidores. Sin contenedores. Sin pipelines externos.
Las capacidades técnicas que cambian el juego
Más allá de la comodidad de escribir Python dentro de SQL, la versión de disponibilidad general trae capacidades técnicas que la hacen viable para producción real, no solo para prototipos.
El punto más importante es el procesamiento vectorizado con PyArrow. En lugar de procesar los datos fila por fila —lo que genera un overhead enorme de serialización en Python—, las UDFs pueden recibir columnas enteras como RecordBatches de PyArrow y procesarlas en bloque. Según Google, esto puede mejorar el rendimiento hasta 10 veces en cálculos intensivos de datos. Para tablas con miles de millones de filas, esa diferencia es la que separa una solución viable de una que no escala.
Además, para cargas de trabajo de ciencia de datos y preparación de datos para ML, ahora es posible configurar hasta 16 GB de memoria y 4 vCPUs por función. Esto permite cargar modelos serializados grandes o datasets geoespaciales pesados directamente dentro del sandbox de ejecución, algo que antes era imposible sin infraestructura dedicada.
Otro aspecto práctico para equipos en producción es la concurrencia configurable: hasta 1,000 operaciones concurrentes por contenedor. Combinado con el modelo de facturación integrado en los SKUs de BigQuery Services —que es elegible para descuentos por compromiso de gasto (CUDs)—, la solución se vuelve también predecible en costos.
¿Cómo aplica esto en empresas de Perú y LATAM?
En la región, muchas empresas medianas y grandes ya usan BigQuery como su data warehouse principal, especialmente aquellas que han migrado a Google Cloud. El problema recurrente que vemos es que los equipos de datos terminan manteniendo una arquitectura fragmentada: BigQuery para almacenamiento y consultas SQL, y un conjunto separado de scripts Python en Cloud Run, Cloud Functions o Dataflow para todo lo que SQL no puede hacer.
Esa fragmentación tiene costos reales: más infraestructura que aprovisionar y monitorear, más puntos de falla, más tiempo de los ingenieros dedicado a mantener pipelines en lugar de generar insights. Las Python UDFs administradas atacan directamente ese problema al consolidar ambas capas en un solo entorno.
Casos de uso concretos que son comunes en la región incluyen la limpieza y normalización de datos con lógica compleja (nombres de clientes, direcciones, RUC/RUT), el consumo de APIs externas como servicios de traducción o validación de identidad directamente desde una consulta, y la aplicación de modelos de scoring o clasificación sobre grandes volúmenes de registros sin mover los datos fuera de BigQuery.
¿Cómo aplica esto en tu empresa?
Si tu equipo ya trabaja con BigQuery y mantiene scripts Python separados para transformaciones o enriquecimiento de datos, este es el momento de evaluar si algunas de esas cargas de trabajo pueden migrarse a UDFs administradas. El criterio principal es simple: si la función es stateless (no necesita mantener estado entre llamadas) y se puede expresar como una transformación de datos, probablemente es un buen candidato.
Para empezar, Google tiene disponible un conjunto de UDFs públicas en el dataset bigquery-public-data.python_udfs que puedes ejecutar directamente en tu proyecto para entender el modelo de uso. También existe un codelab oficial con escenarios avanzados que cubre integración con APIs de Google Cloud como Gemini y Cloud Translation.
Si tu empresa está evaluando cómo simplificar su arquitectura de datos o está comenzando a explorar BigQuery como plataforma central de analytics, este tipo de capacidades cambia significativamente la ecuación de complejidad operativa versus valor entregado.
Conclusión
Las Python UDFs administradas en BigQuery no son solo una feature técnica más. Representan un cambio de paradigma en cómo los equipos de datos pueden trabajar: menos infraestructura que gestionar, más poder expresivo dentro del mismo entorno de consultas. Para empresas en Perú y LATAM que buscan sacar más valor de sus datos sin aumentar la complejidad operativa, esta es una capacidad que vale la pena evaluar seriamente.
En Consultoría-Ti acompañamos a empresas en sus proyectos de arquitectura de datos, integración de herramientas cloud y automatización de flujos de trabajo. Si quieres evaluar si esta tecnología encaja en la estrategia de datos de tu empresa, conversemos.
👉 Contáctanos y agenda una consulta con nuestro equipo
Fuentes y Referencias
Google Cloud Blog — Boost BigQuery with Python: Managed Python UDFs now generally available