Data Engineer | Lisboa e Porto

A Syone está a recrutar um/a Data Engineer para integrar a área de Professional Services, a tempo inteiro e em regime híbrido, com possibilidade de trabalhar a partir de Lisboa ou do Porto. A função terá um papel central na conceção e evolução de uma plataforma empresarial de dados baseada em Microsoft Fabric, suportando pipelines de dados, governance, arquitetura Lakehouse e preparação de informação para aplicações de Inteligência Artificial.

O/A profissional será responsável pela infraestrutura de dados end-to-end, desde a ingestão e transformação de informação proveniente de diferentes sistemas empresariais até à criação de modelos semânticos, mecanismos de governance e datasets preparados para soluções de Retrieval Augmented Generation e outras aplicações de IA.

Responsabilidades:

• Conceber e gerir a infraestrutura central de dados em Microsoft Fabric;
• Implementar uma arquitetura Medallion Lakehouse, com camadas Bronze, Silver e Gold;
• Utilizar Delta Lake para assegurar fiabilidade, consistência e versionamento dos dados;
• Desenvolver pipelines escaláveis de ingestão a partir de sistemas empresariais como SharePoint, Salesforce, Azure SQL, SQL Server, Microsoft 365, OneDrive, ERP e CRM;
• Integrar repositórios de ficheiros e APIs REST;
• Desenvolver pipelines ETL e ELT em batch e streaming;
• Implementar mecanismos de evolução de schemas, validação da qualidade dos dados e transformação automatizada;
• Otimizar o armazenamento e processamento de dados estruturados e não estruturados;
• Implementar monitorização, alertas e mecanismos destinados a garantir a fiabilidade operacional dos pipelines;
• Definir taxonomias empresariais e standards de metadata;
• Desenvolver modelos semânticos de dados;
• Criar frameworks de classificação documental e bases para knowledge graphs;
• Definir estratégias de catálogo de dados, data lineage e gestão da propriedade dos dados;
• Implementar mecanismos de controlo de acessos, segurança e compliance;
• Promover a descoberta centralizada de dados, garantindo que diferentes equipas conseguem encontrar e utilizar informação de confiança;
• Preparar dados e conhecimento empresarial para consumo por aplicações e agentes de Inteligência Artificial;
• Definir estratégias de divisão de documentos em chunks otimizados para retrieval e context windows;
• Desenvolver pipelines de embeddings e datasets preparados para bases de dados vetoriais e soluções de Retrieval Augmented Generation;
• Criar serviços reutilizáveis de conhecimento, disponibilizáveis a aplicações de IA através de APIs;
• Apoiar integrações com Azure AI Search e bases de dados vetoriais.

Requisitos:

• Experiência profissional mínima de sete anos em Data Engineering;
• Pelo menos três anos de experiência na construção de plataformas cloud de dados à escala empresarial;
• Experiência comprovada na conceção de arquiteturas empresariais de dados de raiz;
• Experiência no suporte a workloads de Inteligência Artificial e Machine Learning e na preparação de dados para consumo por modelos;
• Conhecimentos avançados de Python;
• Conhecimentos avançados de SQL;
• Experiência com Apache Spark;
• Experiência com Microsoft Fabric;
• Conhecimentos da Azure Data Platform;
• Experiência com Azure Data Factory;
• Conhecimentos de Delta Lake;
• Experiência com arquiteturas Lakehouse e Medallion;
• Experiência no desenvolvimento de pipelines ETL e ELT;
• Conhecimentos de Data Modelling e Data Warehousing;
• Experiência na integração de APIs REST;
• Conhecimentos de Data Governance e Metadata Management;
• Conhecimentos de Master Data Management;
• Experiência com Semantic Modelling;
• Conhecimentos de Git e processos CI/CD.

Será valorizado:

• Experiência na integração de Salesforce;
• Experiência com SharePoint e Microsoft 365;
• Conhecimentos de Azure Data Lake, Azure SQL e Azure Storage;
• Experiência com Power Platform;
• Experiência com Azure AI Search;
• Conhecimentos de bases de dados vetoriais e arquiteturas RAG;
• Experiência com knowledge graphs e classificação documental.

Oferta:

• Trabalho a tempo inteiro em regime híbrido, em Lisboa ou no Porto;
• Integração numa empresa em crescimento sustentado;
• Participação em projetos tecnológicos inovadores;
• Planos de formação especializados na área das Tecnologias da Informação;
• Oportunidades de evolução profissional;
• Participação em projetos tecnológicos ambiciosos a nível nacional e internacional.