Startseite
Mercor

SWE-Bench Task Auditor

  • Vergütung: 70 $ bis 90 $ / Stunde
  • Vertrag: Freiberuflich
  • Wer sich bewerben kann: Vereinigte Staaten
  • Veröffentlicht am 28. Aug. 2026

Kurz gesagt

Stellen Sie sich vor: 70 bis 90 USD pro Stunde, bequem von zu Hause aus. Als freiberufliche Kraft prüfen Sie, ob Programmieraufgaben für KI-Modelle sauber funktionieren. Wenn Sie viel Erfahrung im Code haben, ist das genau Ihr Feld.

Ihre Aufgaben

  • Sie prüfen Aufgaben aus Software-Benchmarks, mit denen KI-Modelle trainiert und getestet werden.
  • Sie kontrollieren, ob Code-Änderungen und Testabläufe innerhalb ganzer Repositories korrekt sind.
  • Sie prüfen, ob sich Ergebnisse zuverlässig nachvollziehen und wiederholen lassen.
  • Sie achten darauf, dass die Bewertung nicht manipuliert oder durch Lecks bei den Antworten verfälscht wird.
  • Sie schreiben klare Rückmeldungen nach festen Bewertungskriterien.

Das brauchen Sie für die Bewerbung

  • Mindestens 3 Jahre Berufserfahrung in der Softwareentwicklung.
  • Eigene Open-Source-Beiträge, etwa angenommene Pull Requests oder Rollen als Maintainer oder Committer.
  • Sicherer Umgang beim Prüfen von Referenz-Patches, Testläufern und Docker-Isolation sowie beim Erkennen von Reward Hacking.
  • Sicher in Python und mindestens einer weiteren Sprache: Java, Go, TypeScript oder C++.
  • Von Vorteil: Erfahrung mit SWE-Bench (Verified) oder ähnlichen Repository-Benchmarks sowie Maintainer-Erfahrung bei großen Python-Projekten.

Wer sich bewerben kann

Bewerben können sich Personen mit Wohnsitz in den USA. Die Stelle ist ein freiberuflicher Vertrag für 3 freie Plätze.

Ein Tipp von Romowork

Wir raten Ihnen, in Ihrer Bewerbung konkrete Open-Source-Beiträge mit Links zu nennen, damit man Ihre Erfahrung sofort prüfen kann.

Ursprünglich veröffentlicht auf Mercor

Ähnliche Angebote

micro1

Senior Full-Stack-Softwareentwickler

Vergütung: 50 $ bis 100 $ / Stunde

  • Vertrag: Freiberuflich
  • Wer sich bewerben kann: Weltweit offen

Veröffentlicht am 11. Nov. 2026