Posted 3y ago

Big Data Engineer

@ SDG Group
Logroño or València or Santiago de Compostela or Remote or Barcelona or Madrid
RemoteFull Time
Responsibilities:Design pipelines, Develop pipelines, Collaborate teams
Requirements Summary:Experience with Big Data, ETL/ELT pipelines, Python/Scala, Spark, Airflow/Databricks, cloud data lakes, and CI/CD; English proficiency for global collaboration.
Technical Tools Mentioned:Apache Spark, Python, Scala, Apache Beam, Airflow, Databricks, Snowflake, Parquet, Delta Lake, Iceberg, Hudi, Kafka, Kinesis, Flink, MLflow, SageMaker, Vertex AI, Kubeflow
Save
Mark Applied
Hide Job
Report & Hide
Job Description

En SDG Group somos líderes globales en Big Data, Business Intelligence, Analytics e Inteligencia Artificial. Desde 1994 hemos acompañado a la mitad del IBEX-35 y a algunas de las compañías más destacadas a nivel internacional en su transformación digital, convirtiendo los datos en soluciones de alto impacto gracias a nuestras alianzas estratégicas con Microsoft, Google y AWS, y a los mejores aceleradores tecnológicos del mercado.

Nuestro equipo de Data Technologies es el epicentro donde aterrizan proyectos desafiantes y las soluciones más disruptivas. Trabajamos de forma transversal con clientes de múltiples sectores, siempre a la vanguardia tecnológica, combinando innovación, expertise y autonomía real.

Diseñamos arquitecturas que marcan estándares y creamos aceleradores que transforman. No solo se ejecutan proyectos, sino que se desarrollan aceleradores, artefactos y pruebas de concepto. Aquí no solo presentarás proyectos, desarrollarás casos de uso innovadores, colaborarás con expertos de primer nivel y posicionarás a SDG como referente.

➡️ ¿Cómo será tu día a día?

🔹 Diseñarás y desarrollarás soluciones end-to-end para procesar grandes volúmenes de datos, desde el problema de negocio hasta pipelines ETL/ELT escalables y optimizados.

🔹 Trabajarás con tecnologías como Apache Spark, Python, Scala, Apache Beam y orquestación con Airflow o Databricks Workflows, generando insights.

🔹 Procesarás y almacenarás datos utilizando formatos como Parquet, Delta Lake y Apache Iceberg, garantizando eficiencia y escalabilidad en entornos cloud (AWS, Azure, GCP).

🔹 Definirás arquitecturas avanzadas como Data Lakehouse, Data Mesh y data warehouses mejorando la gestión y el aprovechamiento de los datos.

🔹 Colaborarás con equipos multidisciplinares y stakeholders, transformando requerimientos complejos en soluciones técnicas eficientes.

🔹 Explorarás y evaluarás tecnologías emergentes, como Databricks, Delta Live Tables, dbt Cloud, Apache Iceberg, Snowflake… contribuyendo a mantener nuestros proyectos a la vanguardia del ecosistema Big Data.

🔹 Impulsarás la calidad y observabilidad de los datos aplicando DataOps, Data Quality y CI/CD, asegurando pipelines confiables y seguros.


➡️ ¿Qué te hará triunfar en esta posición?

🔹 Formación en Ingeniería Informática, Telecomunicaciones, matemáticas, Física, o similares.

🔹Experiencia en Big Data: a partir de 5-6 años trabajando con procesamiento distribuido y pipelines ETL/ELT en entornos complejos, utilizando lenguajes como Python o Scala, frameworks como Apache Spark, y plataformas como Airflow, Databricks o Snowflake; conocimiento de arquitecturas de datos (Data Lakehouse, cloud) y formatos/almacenamiento como Parquet, Delta Lake, Iceberg o Hudi.

🔹 Buenas prácticas y gestión de código: Git, CI/CD, DataOps, monitorización de pipelines, control de calidad de datos y versionado de datos.

🔹 Mentalidad de innovación: Curiosidad por tecnologías emergentes y tendencias Big Data, con disposición a experimentar y proponer mejoras continuas.

🔹 Que puedas comunicarte en inglés para trabajar en entornos globales y colaborar con equipos internacionales.

Valoramos también:


🔹 Experiencia en proyectos de streaming en tiempo real, utilizando tecnologías como Kafka, Kinesis, Flink o Spark Structured Streaming.

🔹 Conocimientos avanzados en orquestación, DevOps para datos, gobernanza, calidad y seguridad, así como experiencia con Data Mesh y arquitecturas distribuidas.

🔹 Experiencia en ML pipelines y MLOps integrados con Big Data, usando herramientas como MLflow, SageMaker, Vertex AI o Kubeflow.

💫 ¿Qué nos hace diferentes? 💫

Aquí no somos una empresa más... ¡somos un equipo que va a por todas!

🔹 Tecnología e innovación sin límites. La tecnología y los datos son nuestra esencia. Trabajamos con lo más avanzado del mercado y te formamos para que domines las herramientas que están redefiniendo la industria. Tendrás acceso a las últimas plataformas y tecnologías: si algo es nuevo, lo estamos usando o evaluando.

🔹 Desarrollo profesional a tu medida. Aquí no hay carreras rígidas ni caminos predefinidos: cada cierto tiempo se revisan tus logros y se definen nuevos objetivos. Podrás evolucionar hacia roles de arquitectura, tech lead, referente tecnológico o especialista en dominios complejos, manteniendo siempre un impacto directo en la tecnología y en las decisiones clave de los proyectos.

🔹 Un equipo que te acompaña desde el primer día. Desde el minuto 1 formas parte del equipo de Data Technologies, formado por numerosos referentes donde la colaboración es el pilar fundamental.

🔹 Propósito y valores que nos definen. Creemos firmemente en la diversidad y la inclusión como motores esenciales de la creatividad y la innovación. Es lo que nos permite superar cualquier desafío y construir un entorno donde cada perspectiva enriquece el resultado final. 🌍💜

 

📌Y, por si fuera poco…

🔸Posición estable y con gran proyección profesional, formando parte de un equipo que está creciendo progresivamente.

🔸 Flexibilidad total. Contamos con un modelo de trabajo adaptable, con opción 100% remota o híbrida, orientado a facilitar el equilibrio entre la vida profesional y personal.

🔸 Jornada intensiva en julio y agosto, además de los viernes.

🔸Salario según tu formación y experiencia, con revisiones basadas en resultados.

🔸Apoyo económico para el teletrabajo.

🔸Acceso a formaciones, certificaciones oficiales, conferencias y cursos.

 Si te apasionan los datos, quieres trabajar con tecnología de última generación, y buscas un lugar donde tu crecimiento no tenga límites... ¡Este es tu momento!

Mientras tanto, entérate de más: https://medium.com/sdg-group