Data Engineer | Porto – Híbrido

A Associação Porto Digital está a recrutar um/a Data Engineer para integrar a equipa de Arquitetura de Dados e Inteligência Artificial, no Porto, em regime híbrido. O contrato será inicialmente a termo, com possibilidade de renovação e/ou passagem a contrato sem termo, de acordo com a experiência demonstrada.

A oportunidade destina-se a profissionais com pelo menos 3 anos de experiência em Data Engineering, desenvolvimento de plataformas de dados ou áreas semelhantes, bons conhecimentos de SQL e Python e experiência prática na construção de pipelines ETL/ELT e processamento de dados em tempo real.

Responsabilidades:

• Desenhar, desenvolver e manter pipelines de dados batch e streaming para dados estruturados e não estruturados;
• Desenvolver e otimizar processos ETL utilizando Python e/ou SQL;
• Trabalhar com tecnologias open source como Spark, Kafka, NiFi e Airflow em ambientes on-premises;
• Gerir e otimizar bases de dados, assegurando desempenho, integridade e disponibilidade;
• Garantir a qualidade, integridade e fiabilidade dos dados através de processos de validação, monitorização e testes;
• Projetar e melhorar arquiteturas de dados, assegurando escalabilidade, desempenho e segurança;
• Transformar necessidades de Cientistas de Dados, Analistas de Dados e equipas de Inteligência Artificial em requisitos técnicos e soluções de tratamento de dados;
• Implementar processos incrementais e mecanismos de controlo de qualidade;
• Monitorizar pipelines e diagnosticar problemas em sistemas distribuídos;
• Contribuir para a evolução da Plataforma Urbana da cidade do Porto;
• Desenvolver novas formas de aumentar o valor e a qualidade dos dados utilizados na tomada de decisão.

Requisitos:

• Formação em Engenharia Informática, Análise de Dados, Ciência de Computadores, Engenharia Eletrotécnica e de Computadores ou área semelhante;
• Mínimo de 3 anos de experiência em Data Engineering, desenvolvimento de plataformas de dados ou áreas semelhantes;
• Bons conhecimentos de SQL e experiência com bases de dados relacionais e analíticas;
• Experiência no desenvolvimento de pipelines ETL/ELT;
• Bons conhecimentos de Python para processamento de dados, automatização e integração de sistemas;
• Experiência prática com Apache Kafka, incluindo tópicos, partições, chaves, consumer groups, offsets, retenção e replay;
• Conhecimentos dos principais desafios associados ao processamento de dados em tempo real, incluindo ordenação, duplicação, idempotência, latência, tratamento de erros e evolução de schemas;
• Experiência com ferramentas de orquestração como Apache Airflow ou equivalentes;
• Conhecimentos de modelação de dados, Data Warehouses, Data Lakes e arquiteturas Lakehouse;
• Experiência com processos incrementais, controlo de qualidade e monitorização de pipelines;
• Familiaridade com Git, code review e práticas de CI/CD;
• Conhecimentos de Docker e de operação de serviços em ambientes distribuídos;
• Bons conhecimentos de inglês;
• Autonomia, proatividade e sentido de responsabilidade;
• Boa capacidade analítica e de resolução estruturada de problemas;
• Organização, rigor e atenção ao detalhe;
• Capacidade para trabalhar em equipas multidisciplinares e comunicar decisões técnicas de forma clara.

Será valorizado:

• Experiência com ClickHouse ou outras bases de dados colunares;
• Experiência com dbt;
• Conhecimentos de Apache NiFi;
• Experiência com Change Data Capture através de Debezium;
• Conhecimentos de Flink ou Kafka Streams;
• Experiência com Apache Iceberg, Parquet e armazenamento de objetos;
• Experiência com dados geográficos, PostGIS ou sistemas GIS;
• Conhecimentos de FIWARE, NGSI-LD e Orion-LD;
• Experiência com catálogos de dados e mecanismos de data lineage;
• Interesse por domínios urbanos como mobilidade, economia, ambiente, território e serviços municipais.

Oferta:

• Contrato inicialmente a termo, com possibilidade de renovação e/ou passagem a contrato sem termo consoante a experiência demonstrada;
• Regime de trabalho híbrido no Porto;
• Horário flexível;
• Subsídio de alimentação;
• Seguro de saúde;
• Telemóvel e serviço de comunicações;
• APP ANDA;
• Participação em projetos de transformação digital urbana com impacto direto na cidade do Porto e nos seus cidadãos.