Startseite
Mercor

AI Evaluation Rubric Reviewer

  • Vergütung: 40 $ bis 75 $ / Stunde
  • Vertrag: Freiberuflich
  • Wer sich bewerben kann: Weltweit offen
  • Veröffentlicht am 16. Nov. 2026

Kurz gesagt

Sie testen KI-Agenten bei echten Einkaufs- und Lieferaufgaben und entscheiden, ob ein Fehler fair ist. Die Arbeit ist remote, im Freelance-Vertrag, mit 40 bis 75 USD pro Stunde und 10 Stellen. Für alle, die flexibel von überall arbeiten wollen, ist das eine spannende Chance.

Ihre Aufgaben

  • Sie prüfen von KI entworfene Aufgaben mit Prompt und Bewertungsraster.
  • Sie sehen sich die Lösungsversuche der KI an und entscheiden, ob ein Fehler fair bewertet wurde.
  • Sie korrigieren unfaire Kriterien im Raster und markieren Aufgaben, die sich nicht retten lassen.
  • Sie schreiben zu jeder Entscheidung eine kurze Notiz.

Das brauchen Sie für die Bewerbung

  • Umfangreiche Erfahrung beim Schreiben oder Prüfen von Bewertungsrastern für LLM-Evaluationen.
  • Ihre Projekte listen Sie in der Bewerbung auf.
  • Sie finden in langen Agenten-Protokollen schnell die Stelle, an der etwas schiefgelaufen ist.
  • Sie schreiben präzise und prüfen die Daten, statt der Referenzantwort blind zu vertrauen.

Wer sich bewerben kann

Die Stelle ist remote und im Freelance-Vertrag, weltweit ausgeschrieben. Eine Länderbeschränkung wird nicht genannt.

Ein Tipp von Romowork

Wir empfehlen, Ihre Projekte mit Bewertungsrastern für LLM-Evaluationen konkret und vollständig aufzulisten, denn genau danach wird gefragt.

Ursprünglich veröffentlicht auf Mercor

Ähnliche Angebote

Mercor

Scientific / ML Engineer

Vergütung: 90 $ bis 140 $ / Stunde

  • Vertrag: Teilzeit
  • Wer sich bewerben kann: Vereinigte Staaten

Veröffentlicht am 9. Nov. 2026

Mercor

Experte für Datenanalyse

Vergütung: 70 $ bis 120 $ / Stunde

  • Vertrag: Teilzeit
  • Wer sich bewerben kann: Weltweit offen

Veröffentlicht am 15. Sept. 2026

Mercor

Experte für maschinelles Lernen

Vergütung: 70 $ bis 120 $ / Stunde

  • Vertrag: Teilzeit
  • Wer sich bewerben kann: Weltweit offen

Veröffentlicht am 15. Sept. 2026