A Causeway está a recrutar um/a Senior Data Engineer para integrar a equipa de Engineering em Lisboa, em regime híbrido e full-time.
A função terá um papel central na construção da nova plataforma de dados da Causeway em Databricks, reunindo dados de vários produtos e fontes externas num gémeo digital tipado, preparado para ser utilizado por agentes de inteligência artificial.
Responsabilidades:
- Desenhar e gerir pipelines medallion, desde a camada bronze até às camadas silver e gold;
- Definir padrões de ingestão de dados a partir de diferentes fontes, incluindo Auto Loader, APIs, eventos, réplicas de bases de dados, CDC e modelos CQRS;
- Construir e manter camadas silver e gold com Delta Live Tables e notebooks PySpark;
- Assegurar processos de deduplicação, entity resolution, atribuição de IDs canónicos e projeção em tabelas tipadas de objetos e relações;
- Gerar e manter um grafo relacional tipado que transforme dados gold num gémeo digital navegável;
- Desenvolver a camada de serving para tornar o grafo consultável por agentes de IA com latência interativa;
- Contribuir para a arquitetura global da plataforma de dados da Causeway;
- Garantir escalabilidade, manutenção e alinhamento com boas práticas cloud-native;
- Implementar frameworks automatizadas de validação de completude, precisão, consistência e conformidade de schema;
- Assegurar governação de dados através de Unity Catalog, incluindo isolamento multi-tenant, row-level security, lineage, audit logging e schemas de extensão por cliente;
- Garantir que os ativos de dados estão catalogados com metadata, classificações de segurança e labels de sensibilidade adequadas;
- Monitorizar saúde dos pipelines e métricas de qualidade de dados;
- Mentorar engenheiros da equipa de dados, liderar discussões arquiteturais e realizar revisões de pull requests;
- Colaborar com equipas de Platform e Agent na exposição do grafo a agentes de IA;
- Trabalhar com Data Engineers na transformação de requisitos analíticos complexos em datasets e features reutilizáveis;
- Contribuir para a melhoria contínua de práticas, ferramentas e standards de data engineering.
Requisitos:
- Experiência sólida em produção com Databricks, incluindo Delta Lake, Delta Live Tables, Auto Loader, Unity Catalog, Databricks Asset Bundles, serverless, job compute e Structured Streaming;
- Forte domínio de Python e PySpark para processamento e transformação de dados em larga escala;
- Conhecimentos avançados de SQL, incluindo recursive CTEs, window functions, query planning, interpretação de EXPLAIN e otimização de índices;
- Experiência com arquiteturas lakehouse e modelação de dados para workloads de grafos;
- Conhecimento de entidades tipadas, edge tables, modelação dimensional, modelação baseada em eventos e entity resolution entre sistemas sem chaves comuns;
- Experiência prática com PostgreSQL como camada de serving;
- Conhecimentos de pgvector para pesquisa semântica, pg_trgm para fuzzy matching, HNSW, IVFFlat, tuning de índices e queries de baixa latência com concorrência;
- Experiência em transformação, validação e desenho de contratos de dados;
- Experiência na construção de frameworks de teste e observabilidade de dados;
- Conhecimentos de cloud storage e identidade em AWS, Azure e GCP, incluindo S3, ADLS Gen2, GCS, IAM roles e storage credentials;
- Interesse genuíno em agentes de IA e na forma como consomem dados;
- Compreensão do que torna um dataset legível e útil para agentes de IA.
Será valorizado:
- Experiência com técnicas e ferramentas de entity resolution probabilística;
- Familiaridade com conceitos de knowledge graph e linguagens de consulta de grafos;
- Experiência com workflows de IA/ML e feature engineering para modelos de machine learning.
Oferta:
- Regime full-time;
- Modelo de trabalho híbrido em Lisboa;
- Integração numa empresa internacional com equipas no Reino Unido, Europa e Índia;
- Oportunidade de trabalhar em produtos utilizados à escala global;
- Participação numa transformação digital de grande escala;
- Ambiente colaborativo, moderno e orientado para inovação;
- Equilíbrio entre vida pessoal e profissional;
- Oportunidade de desenvolvimento técnico e progressão de carreira.
Sobre a Causeway:
A Causeway desenvolve software especializado para os setores da construção e áreas semelhantes, oferecendo soluções end-to-end para todo o ciclo de vida dos projetos. A empresa atua à escala global e está focada em crescimento, transformação digital e desenvolvimento de tecnologia com impacto real.
Valores:
A Causeway valoriza colaboração, agilidade, confiança e ambição. A empresa acredita que equipas diversas, positivas e orientadas para a ação são essenciais para criar soluções de qualidade e melhorar continuamente os seus produtos.
Diversidade e sustentabilidade:
A Causeway promove a diversidade, igualdade e inclusão, incentivando cada colaborador a ser autêntico no local de trabalho. A empresa é carbon neutral, compensa a sua pegada carbónica calculada e define objetivos ambientais para reduzir o seu impacto ano após ano.