Accueil
Mercor

Ingénieur Appliqué, Rôle Évaluations

  • Rémunération : 100 $US à 120 $US / heure
  • Contrat : Temps partiel
  • Qui peut postuler : Ouvert au monde entier
  • Publiée le 2 juin 2025

En bref

Tu peux gagner 100 à 120 USD par heure avec ce poste à distance, en temps partiel. Mercor cherche des ingénieurs logiciel pour construire et peaufiner des évaluations qui comparent les grands modèles de langage. Si tu aimes décortiquer du code complexe et traquer les petits bugs, ce job est fait pour toi.

Ce que tu feras

  • Repérer des dépôts de code assez riches pour bâtir des évaluations exigeantes, puis choisir les pull requests terminées les plus adaptées.
  • Analyser chaque problème, sa solution de référence, l'architecture du dépôt, ses tests et ses conventions.
  • Écrire les consignes des tâches et construire les évaluations avec des tests automatisés, des commandes shell et des prompts de notation par LLM.
  • Lancer les évaluations plusieurs fois sur différents modèles et outils, puis chercher si l'échec vient de l'agent, de l'environnement ou de la notation.
  • Documenter tes résultats et tes décisions de notation, puis intégrer les retours pour affiner le travail.

Ce qu’il faut pour postuler

  • Des bases solides en programmation et de l'expérience sur des bases de code vastes et complexes.
  • Une vraie capacité à écrire des tests pertinents, avec les cas limites et la non-régression.
  • De l'aisance avec les outils de codage IA, tout en vérifiant leurs erreurs.
  • Une bonne maîtrise de Git, des lanceurs de tests et des outils CI, avec une communication claire à l'écrit comme à l'oral.

Qui peut postuler

Tu peux postuler de partout dans le monde : aucune restriction de pays n'est indiquée.

Le conseil de Romowork

Mets en avant un projet où tu as dû comprendre du code que tu ne connaissais pas, qu'il soit open-source ou privé. Nous te conseillons aussi de montrer comment tu as vérifié le travail d'un outil IA.

Publiée à l'origine sur Mercor

Offres similaires

micro1

Ingénieur logiciel full-stack senior

Rémunération : 50 $US à 100 $US / heure

  • Contrat : Freelance
  • Qui peut postuler : Ouvert au monde entier

Publiée le 11 nov. 2026