A Mindrift está à procura de um/a Freelance Agent Evaluation Engineer para colaboração em projetos de avaliação de agentes de AI aplicados a tarefas de desenvolvimento de software, em regime remoto e part-time, a partir de Portugal.
Esta oportunidade é baseada em projetos e não corresponde a emprego permanente. A função envolve criar ambientes, tarefas e critérios de avaliação para testar a capacidade de modelos de AI em resolver desafios realistas de programação.
Responsabilidades:
- Criar ambientes realistas de desenvolvimento, incluindo empresa virtual, codebase, infraestrutura e contexto de projeto;
- Construir histórico credível de desenvolvimento com tickets, documentação e conversas simuladas;
- Desenhar tarefas a partir de estados intermédios desses ambientes;
- Criar prompts, definir critérios de sucesso e garantir que as tarefas são resolúveis por agentes de AI;
- Escrever testes que validem soluções geradas por agentes de AI;
- Garantir que os testes aceitam abordagens válidas e rejeitam soluções incorretas;
- Rever soluções produzidas por agentes, analisar falhas e melhorar tarefas e testes;
- Iterar com base em feedback de QA até que a avaliação seja justa, robusta e exigente;
- Contribuir para a criação de datasets usados na avaliação de AI coding agents.
Requisitos:
- Mais de 5 anos de experiência em desenvolvimento de software;
- Experiência com Python, nomeadamente FastAPI;
- Experiência com JavaScript ou TypeScript, incluindo React;
- Conhecimentos de Docker, Postgres, Kafka e Redis;
- Experiência na escrita de testes funcionais e de integração;
- Capacidade para compreender cenários técnicos complexos e identificar onde modelos de AI podem falhar;
- Capacidade para criar critérios de avaliação equilibrados, nem demasiado rígidos nem demasiado permissivos;
- Inglês nível B2 ou superior;
- Capacidade para trabalhar de forma autónoma e cumprir deadlines de projeto.
Condições:
- Colaboração freelance e project-based;
- Regime part-time;
- Trabalho remoto a partir de Portugal;
- Possibilidade de trabalhar a partir de Lisboa, Porto ou outra localização em Portugal;
- Compensação até 40 USD por hora, dependendo do nível e ritmo de trabalho;
- Tarefas estimadas em cerca de 20 horas cada, dependendo da complexidade;
- Horário flexível, com autonomia para escolher quando e como trabalhar;
- Pagamento mediante conclusão de tarefas aceites e dentro dos critérios definidos.
Processo:
- Candidatura;
- Realização de qualificações;
- Entrada em projeto;
- Conclusão de tarefas;
- Pagamento pelas tarefas aceites.
Candidatura:
Os candidatos devem submeter o CV em inglês e indicar o respetivo nível de proficiência em inglês.
Sobre a Mindrift:
A Mindrift liga especialistas a oportunidades project-based na área de AI, em colaboração com empresas tecnológicas. Os projetos têm foco em testar, avaliar e melhorar sistemas de AI através de contributos especializados.