Diseñar e implementar data pipelines para ingerir datos heterogéneos en el datalake/datawarehouse en diferentes escenarios (batch, streaming,...), gestionando conjuntos de datos grandes y complejos. Garantizar la exactitud y corrección de los datos. Crear componentes de software personalizados y aplicaciones de análisis. Desarrollar la preparación de datos para ser utilizados para diferentes propósitos y casos de uso: informes, aprendizaje automático, intercambio de datos,... e identificar oportunidades para la adquisición de datos. Explorar formas de mejorar la calidad y confiabilidad de los datos. Integrar las tecnologías emergentes de ingeniería de software y gestión de datos en las estructuras de datos existentes. Utilizar procesos ágiles de desarrollo de software para realizar mejoras de forma iterativa en los sistemas back-end.
Requisitos:
• Fuerte conocimiento de Python y SQL
• Fuerte conocimiento en Airflow o herramientas de orquestación similares como Dagster.
• Experiencia con bases de datos SQL relacionales como MySQL o PostgreSQL.
• Experiencia en GCP (Bigquery, PubSub, Dataflow, GCS, Dataproc) o AWS
• Experiencia en técnicas de desarrollo de integración continua.
• Conocimiento en frameworks para desarrollo de pipelines en Batch/streaming: Apache Beam, Spark.
• Experiencia previa y comprobada en ingeniería de datos o ingeniería de software en torno a soluciones de datos en arquitecturas de datos modernas.
• Nivel de educación/certificados Licenciatura o nivel de título de ingeniería o superior
• Idiomas Dominio escrito y verbal del idioma inglés (obligatorio)
Deseable:
• Buen conocimiento de otros lenguajes de programación, como Java/Kotlin.
• Conocimiento en frameworks de streaming como Kafka.
• Habilidades de desarrollo de software.
Imprescindible inglés alto, C1.
50% teletrabajo. Necesaria residencia en Barcelona.
Ver más
¡No te pierdas nada!
Únete a la comunidad de wijobs y recibe por email las mejores ofertas de empleo
Nunca compartiremos tu email con nadie y no te vamos a enviar spam
Suscríbete AhoraÚltimas ofertas de empleo de Ingeniero/a de Datos en Barcelona
Serem
CAS TRAINING
DevOps Engineer
27 sept.Krell Consulting & Training
DevOps Engineer-AWS
20 sept.Krell Consulting & Training
Barcelona, ES
Ingeniero/a Cloud GCP
20 sept.CAS TRAINING
Data Engineer
17 sept.Stay Unique
Head of Data Engineer
16 sept.Michael Page
Barcelona, ES
Cloud Operation Engineer/ DevOps
13 sept.Bcnc Group
Barcelona, ES
Data Engineer AWS Snowflake
13 sept.Serem
Barcelona, ES