Freelance Agent Evaluation Engineer | Remoto – Porto

AIA Mindrift está a procurar um/a Freelance Agent Evaluation Engineer para uma oportunidade remota, em regime part-time e baseada em projetos, ligada à avaliação e melhoria de sistemas de inteligência artificial.

Esta colaboração não corresponde a emprego permanente. A função envolve a criação de tarefas e critérios de avaliação para testar agentes de IA em cenários realistas de desenvolvimento de software.

Responsabilidades:

• Criar ambientes realistas de desenvolvimento, incluindo codebase, infraestrutura, tickets, documentação e contexto de uma empresa simulada;
• Desenhar tarefas a partir de estados intermédios desses ambientes;
• Definir prompts, critérios de resolução e condições de aceitação para cada tarefa;
• Garantir que as tarefas são solucionáveis por agentes de IA;
• Escrever testes que validem soluções corretas e rejeitem abordagens incorretas;
• Ajustar tarefas e testes com base em feedback de QA;
• Analisar soluções geradas por agentes de IA e identificar falhas;
• Refinar avaliações para garantir que são justas, robustas e tecnicamente relevantes.

Requisitos:

• Mais de 5 anos de experiência em desenvolvimento de software;
• Experiência com Python, nomeadamente FastAPI;
• Experiência com JavaScript ou TypeScript, incluindo React;
• Conhecimentos de Docker, Postgres, Kafka e Redis;
• Experiência na criação de testes funcionais e de integração;
• Conhecimentos sólidos sobre desenvolvimento de software e avaliação de soluções técnicas;
• Capacidade para criar cenários que desafiem modelos avançados de IA;
• Proficiência em inglês, nível B2 ou superior.

Será valorizado:

• Experiência na avaliação de sistemas de IA ou agentes de código;
• Capacidade para identificar limitações de modelos avançados em tarefas reais de desenvolvimento;
• Experiência na definição de critérios de aceitação flexíveis, capazes de validar diferentes soluções corretas.

O que esta oportunidade não é:

• Não é data labeling;
• Não é prompt engineering puro;
• Não é uma função para escrever código do zero, uma vez que o agente de IA escreve a maior parte do código e o papel principal é orientar, testar e avaliar.

Condições:

• Colaboração freelance, baseada em projetos;
• Regime part-time;
• Trabalho remoto;
• Compensação até 40 USD por hora equivalente, dependendo do nível e ritmo de trabalho;
• Tarefas estimadas em cerca de 20 horas cada, dependendo da complexidade;
• Horário flexível, com entrega das tarefas dentro dos prazos definidos e de acordo com os critérios de aceitação.

Processo:

• Submissão da candidatura;
• Realização de qualificações;
• Entrada num projeto;
• Conclusão das tarefas atribuídas;
• Pagamento após aceitação do trabalho realizado.

Candidatura:

Os candidatos devem submeter o CV em inglês e indicar o respetivo nível de proficiência em inglês.

Sobre a Mindrift:

A Mindrift liga especialistas a oportunidades de projeto na área de inteligência artificial para empresas tecnológicas, com foco em testar, avaliar e melhorar sistemas de IA.