Posted 4w ago

Spécialiste en ingénierie des données

@ Blue Cross Canassurance
Montréal, Québec, Canada
HybridFull Time
Responsibilities:designing pipelines, maintaining pipelines, governing data
Requirements Summary:Design, develop, and maintain automated data pipelines; work with Python, PySpark, Databricks; ensure data quality, governance, security; collaborate with IT and business teams.
Technical Tools Mentioned:Python, PySpark, Databricks, Apache Airflow, Bash, Delta Lake, Spark SQL, Git, CI/CD, Azure, AWS, GCP
Save
Mark Applied
Hide Job
Report & Hide
Job Description

Description du poste 

Relevant du Directeur du développement, vous serez responsable de :  

  • Concevoir, développer et maintenir des pipelines de données automatisés (Apache Airflow, Bash) 

  • Implémenter des solutions de traitement avec Python, PySpark et travailler dans l’environnement Databricks 

  • Intégrer des données provenant de sources variées (API, bases relationnelles, fichiers) dans des environnements infonuagiques 

  • Assurer la qualité, la gouvernance et la sécurité des données et prendre en charge les projets liés (catalogage, monitoring, audit) 

  • Fait figure de point de repère organisationnel dans son secteur d’activités et collabore avec les équipes TI et affaires pour comprendre les besoins, proposer des solutions adaptées et produire des jeux de données fiables et performants 

  • Documenter les processus, architectures et bonnes pratiques 

  • Participer aux revues de code, à l’amélioration continue et à l’intégration continue (CI/CD) 

Profil   

  • Connaissance des architectures Data Lake, couches sémantiques et principes de gouvernance des données 

  • Solide expérience en Python (POO, bibliothèques de traitement), PySpark et concepts de traitement distribué 

  • Expérience pratique avec Databricks (workflow, bundle), Delta Lake, Spark SQL et orchestration avec Apache Airflow 

  • Maîtriser les environnements Unix/Linux, Bash et familiarité avec Git, DevOps et CI/CD 

  • Posséder un diplôme en informatique, génie logiciel ou domaine connexe 

  • Avoir cumulé 10 ans d'expérience directement liée au poste 

  • Expérience avec DBT (Data Build Tool) et bases de données relationnelles/non relationnelles, certaine expérience avec Databricks Unity Catalog et des environnements cloud (Azure, AWS, GCP) ainsi que des principes de sécurité et de gouvernance des données (atout) 

  • Maîtriser le français et l’anglais, tant à l’oral qu’à l’écrit. Un niveau de connaissance fonctionnel de l’anglais est nécessaire afin de communiquer à l’occasion avec des fournisseurs et des partenaires situés à l'extérieur du Québec. 

Pourquoi nous choisir  

  • Travail hybride adapté aux exigences du poste avec présences planifiées au bureau 

  • Vacances dès la première année 

  • Possibilité d’avancement à l’interne 

  • Boni annuel 

  • Régime d’assurance collective (soins dentaires, vue et assurance voyage) 

  • Régime de retraite à prestations déterminées 

  • Bien être des employés : compte mieux-être de 400 $, programme d’aide aux employés et à leurs familles et service de télémédecine 

#li-Hybrid  

Thank you to all applicants for your interest in this position. Only candidates selected for an interview will be contacted.