Amazon Mechanical Turk

Texten/Schreiben  sonstiges Microtasking  

US-basierter Microtasking-Marktplatz, der von Amazon.com, Inc. betrieben ist. Ältester Microtasking-Marktplatz.

Plattform-Bewertung

2.5out of five stars

2out of five stars
2.5out of five stars
2out of five stars
3.5out of five stars
2.5out of five stars

Über die Bewertungen

Allgemeine Geschäftsbedingungen

Rejection:negative rating Change:negative rating Gewährleistungspflichten:negative rating Client Contact:positive rating Worker Contact:positive rating

Rejection:negative rating
Change:negative rating
Gewährleistungspflichten:negative rating
Client Contact:positive rating
Angemeldete Beschäftigte
500.000 (2011); geschätzt 10.000 aktiv
Arbeitnehmerstatus
  • Selbstständig
Bezahlungsmodell
  • Bezahlung je Auftrag
Sprachen
Englisch
Hat den Code of Conduct unterschrieben
Nein
Unternehmen
Amazon.com, Inc.
Gegründet
2005
Hauptsitz
Seattle, WA, USA
Tochterfirmen
Keine
Geschäftsführung
Mark Chien (Head of Product and Engineering), Sourabh Miglani (Head of Business Operations), Dave Schultz (Head of Business Development), Janak Meyer (Senior Data Scientist) (March 2017)
Investoren
N/A
Festangestellte
ungefähr 10
Geschäftsvolumen
Zwischen USD 10 Million und USD 150 million pro Jahr (2012 Einschätzung)
Aufgabenvolumen
Zwischen 100.000 und 600.000 Aufgaben zu jedem beliebigen Zeitpunkt verfügbar
Webseite
http://mturk.com
Worker-Webseiten
Platform Overview

Amazon Mechanical Turk (AMT oder MTurk) ist ein in den USA ansässiger Marktplatz für Microtasks, der von Amazon.com betrieben wird. Es handelt sich dabei um den unseres Wissens ältesten Marktplatz für Microtasks. AMT ist auch einer der drei größten englischsprachigen Marktplätze für Microtasks, was das Marktvolumen und die Zahl der Beschäftigten angeht (die anderen beiden sind CrowdFlower, ebenfalls in den USA ansässig, und Clickworker, mit Sitz in Deutschland). AMT wurde 2005 gegründet. Amazon berechnet Kunden, sogenannten Requesters, eine Gebühr von 20 bis 45 Prozent der Summe, die die Requester den Beschäftigten für deren Arbeit zahlen.

Aus dem Englischen von Max Henninger

  • Kurzinformation
    Angemeldete Beschäftigte
    500.000 (2011); geschätzt 10.000 aktiv
    Arbeitnehmerstatus
    • Selbstständig
    Bezahlungsmodell
    • Bezahlung je Auftrag
    Sprachen
    Englisch
    Hat den Code of Conduct unterschrieben
    Nein
    Unternehmen
    Amazon.com, Inc.
    Gegründet
    2005
    Hauptsitz
    Seattle, WA, USA
    Tochterfirmen
    Keine
    Geschäftsführung
    Mark Chien (Head of Product and Engineering), Sourabh Miglani (Head of Business Operations), Dave Schultz (Head of Business Development), Janak Meyer (Senior Data Scientist) (March 2017)
    Investoren
    N/A
    Festangestellte
    ungefähr 10
    Geschäftsvolumen
    Zwischen USD 10 Million und USD 150 million pro Jahr (2012 Einschätzung)
    Aufgabenvolumen
    Zwischen 100.000 und 600.000 Aufgaben zu jedem beliebigen Zeitpunkt verfügbar
    Webseite
    http://mturk.com
    Worker-Webseiten
  • Hintergrundinformationen

    Alle ausblenden Alle einblenden
  • Geschichte der Plattform

    Vertreter von Amazon beschreiben AMT als ein System, das ursprünglich entwickelt wurde, um die in Amazons sehr umfangreichen Produktkatalog einfließenden Informationen »aufzuräumen«. Amazon war eine Verrechnungsstelle für die Produkte einer Vielzahl unterschiedlicher Verkäufer und kümmerte sich um alles von der Zahlungsabwicklung über die Inventur bis hin zur Versandlogistik.[1] Die verschiedenen Verkäufer luden mitunter mehrere Einträge für identische Produkte hoch. Das hatte zur Folge, dass die nach Produkten suchenden Kunden mehrere Suchergebnisse angezeigt bekamen, die sich auf augenscheinlich identische Produkte bezogen. Die Entwickler von Amazon wollten solche Doppelungen vermeiden, was sich aber als »unlösbare« computertechnische Aufgabe für die Ingenieure des Konzerns erwies.[2] Amazon wollte auch den Verkäufern nicht die Aufgabe aufbürden, jene auf Amazon eingetragenen Produkte zu kennzeichnen, die mit ihrem eigenen Produkt identisch sind.

    Die Systementwickler beschlossen, diese Arbeit einer durch »Crowdsourcing« zusammengestellten Beschäftigtengruppe zu übertragen. Die Ingenieure von Amazon entwickelten eine Website, über die Amazon-Angestellte, wenn sie bei der Arbeit einige Minuten Zeit hatten, einen Beitrag zur Identifizierung und Unsichtbarmachung der doppelten Einträge leisten konnten. Dieser Ansatz erwies sich als erfolgreich, und es wurden schließlich auch Beschäftigte und Anfragesteller von außerhalb des Amazon-Konzerns miteinbezogen. Die Website wurde außerdem dahingehend erweitert, dass über sie nun auch andere Aufgaben als die Erkennung von doppelten Produkteinträgen erledigt werden konnten. Außerdem wurde ein Verfahren zur Bezahlung der Beschäftigten entwickelt. Und es wurde der freche aber zutreffende Slogan »artificial artificial intelligence« (»künstliche künstliche Intelligenz«) geprägt, um die neue Dienstleistung zu beschreiben.[3] Mit diesen Zusätzen wurde AMT zu einem Prototyp der Ausweitung von Informatikarbeit durch erweiterte Beschäftigtenpools und Arbeitsformen – zur nächsten Etappe sowohl in der Entwicklung der künstlichen Intelligenz als auch in der von Cloud-Computing. Während eines 2006 am Massachussetts Institute of Technology gehaltenen Vortrags beschrieb Amazon-Vorstand Jeff Bezos das System folgendermaßen: »Sie haben von Software als Dienstleistung („Software-as-a-Service“) gehört. Nun, hier geht es um menschliche Tätigkeit als Dienstleistung („Human-as-a-Service“).«[4]

    Quelle: M. Six Silberman und Lilly Irani, „Operating an employer reputation system“ (Englisch)
    Aus dem Englischen von Max Henninger

  • Geschäftsmodell

    Mechanical Turk berechnet Kunden eine Gebühr, die sich auf 25 bis 40 Prozent der den Beschäftigten gezahlten Vergütung beläuft.

  • Auftrag-/Arbeitnehmer-Status

    Selbstständig.

  • Aufgaben und Kunden

    MTurk wird von allen möglichen Individuen und Organisationen zum Zweck der Datenverarbeitung verwendet, etwa zur Datenbereinigung, Transkription, Übersetzung, Erstellung von Metadaten, Kategorisierung, Kennzeichnung, Inhaltsverwaltung, Generierung von Datensätzen und Sentiment-Analyse. Zu den Organisationen zählen Software-Startups wie SnapMyLife[5] und C-SATS,[6] große Technologieunternehmen wie Google, YouTube und Twitter, aber auch Regierungsstellen wie DARPA[7] und die US Army Research Lab.[8] MTurk wird auch von Akademikern verwendet, insbesondere von Informatikern und Sozialwissenschaftlern. Informatiker verwenden MTurk vor allem, um Algorithmen zu entwickeln, die in den Bereichen »maschinelles Lernen« und »künstliche Intelligenz« zum Einsatz kommen sollen. Ein Beispiel ist Gilts Programm zur »präemptiven Auslieferung« (bei dem »Datenanalytik eingesetzt wird, um vorherzusagen, was [Kunden] zu einem bestimmten Zeitpunkt kaufen könnten«).[9] Sozialwissenschaftler verwenden die Plattform, um menschliche Subjekte für Umfragen und Experimente zu rekrutieren.

    Eine typische akademische Forschungsaufgabe (»HIT« oder »Human Intelligence Task«) beinhaltet, dass ein Beschäftigter einen HIT auswählt und akzeptiert, einer Erklärung zum »institutionellen Prüfungsgremium« (Institutional Review Board, IRB) zustimmt und dann eine Reihe von Fragebögen ausfüllt oder Aufgaben erledigt, wobei letztere meistens über eine externe Website wie Qualtrics oder SurveyMonkey abgerufen werden. Die Aufgaben können unterschiedlicher Art sein. Dazu können etwa typische psychologische Denkaufgaben wie das Trolley-Problem oder das Gefangenendilemma gehören. Gängig sind auch Stroop-Aufgaben, Umfragen zu Produktideen oder -designs sowie Persönlichkeitstests. Oft gibt es vorbereitende Aufgaben. Auf die Erledigung der Aufgaben folgt eine abschließende Unterrichtung; den Beschäftigten wird gedankt und sie erhalten einen Code, mittels dessen sie auf der HIT-Seite von MTurk ihre Bezahlung anfordern können. Manche sagen, Beschäftigten müssten für ihre Arbeit einen angemessenen Lohn erhalten, andere unterstützen diese Forderung jedoch nicht und weisen zur Begründung auf die Möglichkeit finanzieller Einflussnahme hin. Es handelt sich um eine anhaltende Diskussion zwischen Beschäftigten, Requestern und IRB-Gruppen.

    Ein typischer Inhaltsverwaltungs-HIT beinhaltet die Durchsicht von Fotos, Videos oder Texten und die Kennzeichnung anstößiger Inhalte. Es gibt keine standardisierten Anweisungen dazu, was als anstößig einzuschätzen ist; die Anforderungen können von einem Requester zum nächsten variieren. Manche Beschäftigte meiden diese HITs, da sie oft pornografische Inhalte, explizite Bilder und Darstellungen extremer Gewalt beinhalten. Mechanical Turk erlaubt es Requestern, ihre Identität zu verschleiern, sodass die Beschäftigten meist nicht wissen, woher die Inhalte stammen oder wo sie verwendet werden. Die Erledigung solcher HITs kann für einige Beschäftigte psychologisch belastend oder sogar traumatisch sein.[10] Die Vergütung variiert je nach dem Aufbau des HITs; in der Regel werden einige Cent pro Inhalt gezahlt.

    Für HITs aus dem Bereich maschinelles Lernen ist es typisch, dass die Beschäftigten Datensätze entwickeln oder Algorithmen »beibringen« sollen, bestimmte Vorgänge ohne menschliches Zutun durchzuführen. Bei diesen HITs werden Beschäftigte oft aufgefordert, den emotionalen Gehalt einer Aussage zu analysieren, bestimmte Wörter als mit bestimmten Emotionen verbunden zu kennzeichnen oder die Bedeutung eines Satzes zu bestimmen. Die Ergebnisse werden dann gebündelt und für die weitere Entwicklung der Forschung zu maschinellem Lernen sowie entsprechender Systeme genutzt. Beschäftigte bemerken häufig, dass die Erledigung solcher HITs letztlich zu Systemen führen wird, die die Beschäftigten überflüssig machen. Ein Beispiel dafür ist OCR (optical character recognition, optische Zeichenerkennung). Vor Jahren gab es auf der Plattform viele HITs, bei denen Beschäftigte Nummern oder Zahlen von Bildern ablasen und eingaben.[11] In der Folge wurden Systeme entwickelt, die dies automatisch leisten, und HITs dieser Art werden nun kaum noch gepostet. Die Vergütung von HITs aus dem Bereich maschinelles Lernen variiert je nach Komplexität und Umfang des Textes.

    Text: Rochelle LaPlante
    Aus dem Englischen von Max Henninger

  • Arbeitsprozess

    Der grundlegende Arbeitsvorgang zerfällt in drei Hauptschritte. Zunächst umreißen die Requester ihre Arbeitsaufgaben und stellen die entsprechenden Beschreibungen auf die Plattform; das beinhaltet auch die Festlegung der Vergütung. Auf der Plattform werden Aufgaben als »HITs« bezeichnet (»Human Intelligence Tasks«, Aufgaben für menschliche Intelligenz). Im zweiten Schritt suchen sich die Beschäftigten Aufgaben aus und erledigen diese. Im dritten Schritt bewerten die Requester dann die von den Beschäftigten erledigte Arbeit und entscheiden, ob sie diese bezahlen wollen oder nicht (»Annahme« oder »Ablehnung«).

    Den Beschäftigten wird eine Liste unerledigter Aufgaben präsentiert; sie wählen selbst die Aufgaben aus, die sie gegen die vom Requester festgelegte Vergütung erledigen wollen. Es gibt kein der Auswahl und Erledigung der Aufgabe vorangehendes Bieterverfahren und keinen Aushandlungsprozess zwischen den Requestern und den Beschäftigten. Dieser Vorgang der selbständigen Aufgabenwahl hat zu Bedenken über mögliche Selektionseffekte bei Aufgaben geführt, die auf der Nutzung zufälliger Stichproben beruhen (etwa Umfragen im Rahmen akademischer Forschung).[12]

    Hat ein Beschäftigter einmal einen HIT ausgewählt und auf »Annehmen« geklickt, muss er diese Ausgabe innerhalb einer vorab vom Requester festgelegten Frist erledigen. Läuft die Frist ab, bevor der Beschäftigte den HIT erledigt hat, dann verliert der Beschäftigte den Zugriff auf den HIT; seine Arbeit wird nicht gespeichert und er erhält keine Vergütung.

    Hat der Beschäftigte einen HIT erledigt, klickt er auf »Abschicken«. Die Arbeit wird dann dem Requester übermittelt, der die Möglichkeit hat, sie zu bewerten. Der Requester kann den HIT dann entweder akzeptieren, womit der Beschäftigte die Vergütung erhält, oder er kann den HIT ablehnen. Wird der HIT abgelehnt, erhält der Beschäftigte keinerlei Vergütung. Laut den Nutzungsbedingungen von Mechanical Turk hat der Requester das Recht, alle abgeschickten Arbeiten zu behalten, unabhängig davon, ob er sich entschließt, den Beschäftigten zu bezahlen oder nicht.[13] Wird der HIT vom Requester nicht innerhalb von dreißig Tagen akzeptiert oder abgelehnt, dann wird der HIT automatisch akzeptiert, und der Beschäftigte wird vergütet.

    Requester müssen für alle von ihnen hochgeladenen HITs im Voraus zahlen. Damit stehen die Gelder für die Vergütung des Beschäftigten bereit, sobald dessen Arbeit akzeptiert wird (oder aber, wenn der Requester die Arbeit nicht innerhalb von dreißig Tagen bewertet, womit der Beschäftigte automatisch bezahlt wird). Requester müssen über ein Bankkonto in den Vereinigten Staaten sowie über ein Amazon-Payments-Nutzerkonto verfügen, um HITs hochladen zu können; es gibt jedoch Firmen, die Aufgaben gegen Entrichtung einer zusätzlichen Gebühr hochladen, wenn der Requester kein US-amerikanisches Bankkonto und/oder kein Amazon-Payments-Nutzerkonto hat.[14]

    Beschäftigte können in US-Dollar oder indischen Rupien bezahlt werden, oder aber die Vergütung wird ihrem Amazon Geschenkgutschein gutgeschrieben, je nach dem Wohnsitz des Beschäftigten und dessen Präferenz. US-amerikanische Beschäftigte können wählen, ob die Vergütung einem Bankkonto oder einer Prepaid-Debitkarte gutgeschrieben wird; außerdem können auch sie die Vergütung einem Amazon.com-Geschenkgutschein gutschreiben lassen. Geschenkgutscheincodes werden nicht ausgestellt und das Guthaben auf bestehenden Geschenkgutscheinen ist nicht übertragbar. Indische Arbeiter haben dieselben Optionen, mit dem Unterschied, dass sie in indischen Rupien bezahlt werden. Die Gutschrift findet über Amazon Payments statt. Daher müssen Beschäftigte, um auf der Plattform arbeiten zu können, nicht nur über ein aktives MTurk-Nutzerkonto verfügen, sondern auch über ein Amazon-Payments-Nutzerkonto. Beschäftigte können für jeden Zeitraum von 24 Stunden eine Gutschrift anfordern. Es gibt eine Mindestsumme für Gutschriften; sie beläuft sich auf einen US-Dollar pro Gutschrift. Die Gutschriften gehen mit keinerlei Gebühren einher.

    Die einzige Möglichkeit, die Beschäftigten außerhalb der USA und Indiens zur Vefügung steht, sich vergüten zu lassen, besteht daran, ihre Vergütung einem Amazon.com-Geschenkgutschein gutschreiben zu lassen. Käufe aus länderspezifisch bestimmten Top-Level Amazon-Domains sind nicht zulässig, die Beschäftigten können ihren Geschenkgutschein nur bei Amazon.com einlösen und es kann sein, dass sie dann hohe Versandkosten zu begleichen haben.

    Amazon stellt Beschäftigten keinerlei Instrumente für gemeinsames Arbeiten zur Verfügung. Außerdem gibt Amazon den Beschäftigten kaum Hinweise, wie sie Aufgaben zu erledigen haben. Stattdessen haben die Beschäftigten mehrere unabhängige Communities zur wechselseitigen Unterstützung entwickelt, in Gestalt von Facebook-Gruppen, IRC-Kanälen und Foren.[15] Andere Beschäftigte nutzen Skype oder Mobilfunk-Apps wie SnapChat oder WhatsApp, um Informationen zu HITs und Requestern zu teilen. Beschäftigte mit Informatikkenntnissen haben Browser Scripts programmiert, um die Nutzerfreundlichkeit von MTurk zu erhöhen und um es anderen Beschäftigten zu erlauben, Aufgaben genauer und schneller zu erledigen. Dutzende solcher Scripts finden sich auf Sharing-Portalen wie GreasyFork. Insbesondere unter indischen Arbeitern werden über Mundpropaganda HITs empfohlen, die zu erledigen sich lohnt, und es werden die Namen vertrauenswürdiger Requester ausgetauscht.[16] Beschäftigte nutzen auch eine Website namens Turkopticon, um Requester zu bewerten.

    Bedenken

    Für Beschäftigte in den Industrieländern – sie stellen die Mehrheit, da ja die meisten Beschäftigten von Mechanical Turk in den USA leben – ist die Vergütung relativ niedrig im Vergleich zur Vergütung vergleichbarer, aber nicht über eine Plattform vermittelter Tätigkeiten (siehe Daten zur Vergütung).

    Missverständliche Kommunikation zwischen Beschäftigten, Requestern und Amazon ist ein Dauerproblem. Amazon bietet kein Nachrichtensystem, dass die Kommunikation erleichtern könnte. Schreibt ein Beschäftigter einem Requester über die Plattform eine Email, dann gibt er damit seinen vollständigen Namen und seine Email-Adresse preis, womit jegliches Vertrauen der Beschäftigten in die eigene Anonymität negiert wird.[17]

    Amazon bietet Beschäftigten kaum Unterstützung. Schreiben Beschäftigte Amazon eine Email, dann fällt die Antwort oft unzureichend aus, und Beschäftigte berichten, dass sie auf dieselbe Frage sehr unterschiedliche Antworten erhalten. Es gibt kein System von Hilfe-Einträgen und kein Verfahren, um Problemen nachzugehen, über die Amazon per Email berichtet worden ist. Amazon hat Beschäftigten geraten, ihre Fragen in Beschäftigtenforen zu stellen, oder auf der von Freiwilligen betriebenen Plattform zur Bewertung von Requestern, Turkopticon, anstatt Beschäftigte selbst zu unterstützen. Die Dokumentierung von Abläufen ist auf MTurk oft falsch oder nicht auf dem aktuellen Stand. Beispielsweise ist im Praxisleitfaden für Requester zu lesen: »Beschäftigte, die mehrfach und von unterschiedlichen Requestern als unerwünscht eingestuft werden, werden suspendiert und dürfen nicht länger auf Mechanical Turk arbeiten.«[18] In dem von Amazon Web Services moderierten Diskussionsforum zu Mechanical Turk schreibt jedoch ein Amazon-Angestellter:

    Wir ignorieren es, wenn Requester einen Beschäftigten ohne bestimmten Grund für unerwünscht erklären. So soll die Qualität unserer Beschäftigten gewährleistet bleiben. Eine solche Erklärung kann also nicht dazu führen, dass ein Beschäftigter suspendiert wird. Daher empfehlen wir Requestern, nicht zu zögern, Beschäftigte für unerwünscht zu erklären, wenn sie auf diesem Weg die Gesamtzahl der ihre Aufgaben erledigenden Beschäftigten begrenzen möchten. Denn das hat keine negativen Folgen für die Nutzerkonten der betroffenen Beschäftigten.[19]

    Versehentliche oder böswillige Ablehnungen von HITs stellen ein weiteres häufig zu verzeichnendes Problem dar. Wird eine erledigte Aufgabe verschickt, können Requester diese entweder akzeptieren oder ablehnen. Wird ein HIT abgelehnt, erhält der Beschäftigte keinerlei Vergütung und seine Gesamtbewertung verschlechtert sich. Das wird dann zum Problem, wenn andere HITs eine hohe Gesamtbewertung verlangen, damit auf sie zugegriffen werden kann. Hat ein Requester die Arbeit eines Beschäftigten einmal abgelehnt, hat der Beschäftigte keinerlei Möglichkeit, die Ablehnung anzufechten. In den Nutzungsbedingungen (terms of service, TOS) von Mechanical Turk heißt es:

    Da Amazon Mechanical Turk an der tatsächlichen Transaktion zwischen Providern [Beschäftigten] und Requestern nicht beteiligt ist, wird sich Amazon Mechanical Turk auch nicht an der Schlichtung etwaiger Konflikte zwischen Nutzern beteiligen, die aus der Verwendung von Mechanical-Turk-Dienstleistungen oder aus Transaktionen gleich welcher Art erwachsen.[20]

    Die Nutzungsbedingungen übertragen das Eigentum an der Arbeit auch dann dem Requester, wenn dieser die Arbeit abgelehnt hat.

    Es gibt vier Hauptursachen versehentlicher oder böswilliger Ablehnung von HITs. Erstens empfiehlt Amazon Requestern ein Qualitätskontrollverfahren namens »Pluralität« (plurality). In diesem Verfahren wird ein HIT von drei Beschäftigten erledigt. Wenn sich zwei Beschäftigte einig sind, der dritte aber einen anderen Standpunkt vertritt, wird die Arbeit des Dritten abgelehnt.[21] Zweitens kann es geschehen, dass der Requester die Plattform in betrügerischer Absicht nutzt, also auf der Suche nach kostenloser Arbeit ist. Drittens kann es auch geschehen, dass ein Requester eine beträchtliche Menge Arbeit ablehnt, weil er die Folgen solcher Ablehnungen für die Beschäftigten nicht versteht. Viertens können Fehler im HIT-Design oder bei der Bewertung zu versehentlichen und fehlerhaften Ablehnungen führen.

    Der ethische Umgang mit Beschäftigten gibt im Allgemeinen dauerhaft Anlass zu Sorge. Forscher aus so unterschiedlichen Bereichen wie Computerlinguistik und Politikwissenschaft haben über die ethischen Fragen geschrieben, die der Einsatz von Crowd-Beschäftigten als Pool für wissenschaftliche Untersuchungen oder als Arbeitskräfte beinhaltet.[22] In diesem Diskurs wird MTurk oft als System digitaler Akkordarbeit beschrieben, das sich durch vergleichsweise niedrige Vergütung und begrenzten (oder gänzlich fehlenden) Arbeitsschutz auszeichnet. In den Nutzungsbedingungen von MTurk ist festgelegt, dass die Beschäftigten selbständige Unternehmer sind. Daher haben sie keinen Anspruch auf Mindestlohn, Mindestarbeitszeit, Kündigungsschutz, Schutz vor Diskriminierung, Überstundenlohn, bezahlten Urlaub oder arbeitgeberfinanzierte Krankenversicherung und Altersvorsorge; sie haben auch nicht das Recht, sich zu organisieren und Tarifverträge mit Requestern oder Amazon auszuhandeln.[23]

    Beschäftigte, Requester und Forscher haben gemeinsam ein Dokument mit dem Titel Guidelines for Academic Requesters (»Richtlinien für Requester aus dem Wissenschaftsbereich«) erstellt, das einige der gängigen ethischen und logistischen Probleme skizziert und Lösungen sowie Erfolgsmethoden bietet, durch die Beschäftigte geschützt und deren Rechte gewahrt werden können.[24]

    Text: Rochelle LaPlante
    Aus dem Englischen von Max Henninger

  • Plattform-Bewertung

    Alle ausblenden Alle einblenden
  • Introduction and Survey Notes

    Das Gros der Menschen, die auf unsere Befragung reagiert haben, waren professionelle oder semi-professionelle Crowdworker (Turkers?). Insofern spiegeln die Ergebnisse unserer Studie vor allem die Erfahrungen einer elitären Gruppe von Crowdworkern wieder. Daher nehmen wir an, dass etwa die Bezahlung bei MTurk insgesamt niedriger ausfällt als in den Fällen, über die wir hier berichten.

    Aus dem Englischen von Dorothee Wolf

  • Bezahlung 2out of five stars
    Stundenlöhne
    MINIMUM: €3.77
    MAXIMUM: €29.43
    DURCHSCHNITT: €10.65
    MEDIAN: €8.67
    Bezahlungsübersicht

    Die Löhne der Teilnehmenden an unserer Befragung waren im Vergleich zu anderen Plattformen relativ hoch. Dennoch lagen sie vielfach unter dem Mindestlohn.

    Unbezahlte Arbeit gab es für die meisten Beschäftigten nur selten. Allerdings wurde es vielfach erwähnt und durchgängig als frustrierend empfunden.

    Stundenlöhne

    Die meisten Befragten gaben an, weniger als den US-amerikanischen Mindestlohn von $7,25 pro Stunde zu verdienen. Einige von ihnen verdienen in der Stunde sogar nur 3,77 Euro.

    Verteilung des Stundenlohns

    Prozentanteil von Befragten, deren Stundenlohn in diesen Kategorien liegt

    Die Befragten verbringen 20 bis 50% ihrer Zeit damit, nach Aufträgen zu suchen. (In dieser Zeit verdienen sie nichts.)

    Vorkommnisse von Nichtzahlung

    60.00 % von Befragten haben mindestens eine Nichtzahlung erlebt

    60% der Befragten sind schon mindestens einmal bei Tätigkeiten auf der Plattform leer ausgegangen. Allerdings passierte das den meisten nicht häufiger als ein- bis zweimal.

    Frequenz der Nichtzahlung

    Unbezahltes Arbeiten war zwar eine seltene, doch sehr frustrierende Erfahrung. Entsprechend häufig waren die Kommentare der Befragten zu diesem Thema. (Ausführliche Schilderungen dazu finden Sie in der englischen Version dieser Seite). Erfahrenere Turk-Arbeiter/innen vermeiden unbezahltes Arbeiten, indem sie nur Auftraggeber mit guter Reputation wählen.

  • Kommunikation 2.5out of five stars

    Die Kommunikation mit Auftraggebern und mit anderen Clickworkern halten die meisten Befragten für zufriedenstellend. Allerdings wussten die wenigsten von ihnen, wie sie mit den Plattformbetreibern kommunizieren können.

    Zusätzlich zu offiziellen Tools nutzen die MTurk-Arbeiter inoffizielle Websites.

    Kommunikation mit Plattform-Betreiber

    Weniger als ein Viertel der Befragten hatte bereits mit den Plattformbetreibern kommuniziert. Daher können wir zu diesem Thema keine Bewertung wiedergeben. Auch von den erfahrenen Turkern gaben 40% an, sie wüssten nicht, wie man mit den Plattformbetreibern Kontakt aufnehmen könne. Ein Teil hielt dies gar für unmöglich.

    Kommunikation mit Kunden

    Fast alle Befragten hatten mindestens einmal mit einem Auftraggeber („Requester“) kommuniziert. Obwohl sich nur wenige Turker zu ihren Erfahrungen äußerten, zeigen die Antworten, dass diese Erfahrung akzeptabel war. Obwohl nur wenige Turkers die Klientenkommunikation als besonders zielführend, respektvoll oder hilfreich einschätzten, wurden die Interaktionen meist als positiv eingeschätzt.

    Prozentanteil von Befragten, die gesagt haben, dass die Kommunikation mit Kunden _____ ist

    Kommunikation mit anderen Crowdworkern

    Mechanical Turk stellt keine offiziellen Kommunikationskanäle für alle Turker bereit. Dennoch bieten sie ein Forum speziell für Beschäftigte, die eine „Master“ Qualifikation haben. Diejenigen Befragten, die über offizielle Kanäle mit anderen kommuniziert hatten, empfanden dies im Allgemeinen als positive Erfahrungen.

    Prozentanteil von Befragten, die gesagt haben, dass die Kommunikation mit den anderen Beschäftigten über die Plattform _____ ist

    Inoffizielle Foren

    Die meisten Befragten kommunizieren mit ihren Kollegen am effektivsten jenseits der offiziellen Plattform – auf Facebookgruppen, Reddit und in privaten Foren, darunter:

    Sie nutzen diese Foren, um sich mit ihren (ortsfernen) Kollegen auszutauschen und den Erfolg ihrer Arbeit zu erhöhen.

  • Evaluation 2out of five stars

    Auch die Beschäftigten die Bewertungen ihrer Arbeit in der Regel für angemessen und fair hielten, fehlt auf der Plattform eine Möglichkeit, unangemessene Bewertungen anzufechten oder richtig zu stellen. Außerdem werden Auftraggeber bei negativen Bewertungen nicht nach Gründen gefragt und die Beschäftigten können umgekehrt ihre Auftraggeber nicht bewerten.

    Qualifikationen

    Auf Mechanical Turk können Auftraggeber ihre Aufträge auf Beschäftigte mit bestimmten ‚Qualifikationen‘ beschränken. Allerdings den Clickworkern nicht immer klar, wie man Qualifikationen erwirbt oder aberkannt bekommt. Wie man die „Master“-Qualifikation erlangt, die vom Plattformbetreiber verliehen wird, ist den meisten völlig unklar. (Kommentare dazu finden Sie in der englischen Version dieser Seite.)

    Bewertung der Auftraggeber

    Während die Auftraggeber auf der Plattform Definitionsmacht über die Reputation der Arbeiter haben, gibt es für die Beschäftigten keinen offiziellen Weg, ihre Auftraggeber zu bewerten. Viele tun dies über externe Seiten wie Turkopticon.

    Prozentanteil von Befragten, die gesagt haben, dass die Evaluation von Beschäftigten _____ ist

  • Aufgaben 3.5out of five stars

    In der Frage, wie sinnvoll, interessant, unterhaltsam oder befriedigend die Aufträge auf Mechanical Turk sind, gingen die Meinungen auseinander. Allerdings beurteilten die wenigsten ihre Arbeit regelmäßig als besonders negativ. Nur ein verschwindend geringer Anteil erhielt gefährliche, sinnlose oder ethisch fragwürdige Aufträge.

    Positive Merkmale von Aufgaben bei Amazon Mechanical Turk

    Wie oft sind die Aufgaben ...

    ... sinnvoll?

    ... interessant?

    ... lustig?

    ... zufriedenstellend?

    Negative Merkmale von Aufgaben bei Amazon Mechanical Turk

    Wie oft sind die Aufgaben ...

    ... gefährlich oder physisch schädlich?

    ... erniedrigend oder psychisch schädlich?

    ... ethisch bedenklich?

  • Technik 2.5out of five stars

    Die meisten Befragten fanden die Plattform verlässlich und schnell, aber einige beanstandeten geringe Nutzerfreundlichkeit. Fast alle benutzten Scripts und Plugins, um effizienter zu arbeiten.

    Prozentanteil von Befragten, die gesagt haben, die Technologie ist...

  • Was gefällt den Beschäftigten?

    Die Clickworker mögen die Flexibilität der MTurk Angebote. Sie können wählen, wann und wo sie arbeiten. Das ist wichtig für Freelancer, die einen kurzen Leerlauf überbrücken wollen, für Pflegende, die zuhause arbeiten, und für Menschen, die wegen Angststörungen oder Depression keine „normale“ Beschäftigung aufnehmen können. Die Beschäftigten können unterschreiben und sofort zu arbeiten beginnen, ohne Bewerbungs- und Einstellungsverfahren.

    „Ich bin alleinerziehend mit vier Kindern in drei verschiedenen Schulen. Traditionelle Arbeitsplätze passen derzeit nicht zu meinen Bedürfnissen.“

    „So kann ich mit meiner Tochter zuhause bleiben und habe keine Ausgaben für Kinderbetreuung.“

    „Ich brauche das Geld und ich muss zuhause erreichbar sein. Meine Mutter ist an Krebs erkrankt und hat einen Hund, der versorgt werden muss. Mir ist es lieber, in ihren letzten Jahren da zu sein, wenn sie mich braucht.“

    „Ich arbeite auf Mechanical Turk, weil ich unter Depression und Angstzuständen leide. Hier muss ich nicht mit anderen in der realen Welt kommunizieren.“

  • Bedenken

    MTurk bietet kein geregeltes Einkommen. Den Beschäftigten ist es unangenehm, um Aufträge zu konkurrieren, ebenso wie das Machtgefälle zwischen Auftraggebern und Beschäftigten. Unerfahrene Clickworker brauchen hohe Anstrengungen, um den Mindestlohn zu verdienen. Ein vernünftiges Arbeitsentgelt bekommen sie erst nach einiger Zeit, indem sie Communities finden, die Browser-add-ons nutzen und besser verstehen, wie die Plattform funktioniert.

    Die Beschäftigten finden es nicht richtig, dass die Kunden ihre Arbeit ohne Begründung ablehnen können. Ablehnung bedeutet nicht nur, für die Arbeit nicht bezahlt zu werden, sondern beeinträchtigt auch ihre Aussichten auf künftige Jobs. Viele Clickworker sind frustriert, weil Amazon nicht bei Uneinigkeiten zwischen Arbeitern und Auftraggebern vermittelt. Einige Befragte sind der Ansicht, Amazon sollte seine Dokumentation für die Auftraggeber verbessern, so dass diese besser verstehen, wie die Plattform arbeitet.

    „Timing ist alles. Man muss online sein, wenn die guten Aufträge gepostet werden, und schnell genug sein, um den Job zu bekommen. Ich habe wenig Kontrolle, wie viel ich von heute auf morgen schaffe.“

    „Mich ärgert, dass manche Auftraggeber es in Ordnung finden, Hungerlöhne zu bezahlen. Zu viele Clickworker denken, 2 Dollar pro Stunde wäre ausreichend. Amazon geht zu locker mit der Plattform um. Wenn es Probleme mit den Auftraggebern gibt, sollen die Beschäftigten das einfach selbst klären.“

    „Erst letzte Woche musste ich einem neuen Auftraggeber erklären, wie er mir einen Bonus bezahlt. Solche Dinge sollten offensichtlich und klar sein.“

  • Nichtzahlung Rejection:negative rating
    Auftraggeber darf aus irgendeinem Grund die Bezahlung verweigern. Auftragnehmer hat keinerlei Anspruch darauf bzw. es gibt kein Mechanismus, die Nichtzahlung anzufechten.
  • Änderung der AGB: Change:negative rating
    Plattform-Betreiber darf den AGBs ändern, ohne die Beschäftigte zu informieren. Weitere Nutzung der Seite wird als Akzeptanz gedeutet.
  • Gewährleistungspflichten Gewährleistungspflichten:negative rating
    Bei Mängeln verweigert der Auftraggeber die Bezahlung. Es gibt keine Nachbearbeitungsmöglichkeit.
  • Kontaktverbote/Meldepflicht zu Auftraggebern Client Contact:positive rating
    Keine.
  • Kontaktverbote/Meldepflicht zu anderen Crowdworkern der Plattform Rejection:positive rating
    Keine.

Reviews of Other Platforms

Clickworker
Texten/Schreiben  Software-Testing  Mobiles-Microtasking  sonstiges Microtasking  

Deutsche Microtasking-Plattform. Sie bietet einen "Full-Service" und auch eine Selbstbedienungs-Plattform an.

Allgemeine Geschäftsbedingungen
Rejection:negative rating Change:positive rating Gewährleistungspflichten:positive rating Client Contact:positive rating Worker Contact:positive rating
Plattform-Bewertung
2.5out of five stars
content.de
Texten/Schreiben  

Deutsche Texterstellungs-Plattform.

Allgemeine Geschäftsbedingungen
Rejection:positive rating Change:positive rating Gewährleistungspflichten:positive rating Client Contact:positive rating Worker Contact:positive rating
Crowd Guru
sonstiges Microtasking  

Deutsche Microtasking Plattform. Crowd Guru bietet keinen “self service” an; alle Projekte werden von einem Betreuer der Plattform gemanaget.

Allgemeine Geschäftsbedingungen
Rejection:negative rating Change:negative rating Gewährleistungspflichten:positive rating Client Contact:positive rating Worker Contact:positive rating
CrowdFlower
sonstiges Microtasking  

US-basierte Microtasking-Plattform. Größte englischsprachige Microtasking-Plattform (nach veröffentlichten Einschätzungen im Jahre 2014). Sie bietet einen "Full-Service" und auch eine Selbstbedienung-Plattform an.

Allgemeine Geschäftsbedingungen
Rejection:negative rating Change:negative rating Gewährleistungspflichten:negative rating Client Contact:positive rating Worker Contact:positive rating
Plattform-Bewertung
2.5out of five stars
Jovoto
Grafikdesign  Texten/Schreiben  sonstiges Freelancing  

Deutsche Designplattform. Der öffentliche Bereich funktioniert wettbewerbsbasiert. Im privaten Bereich wird “Top”-Designern ein fixer Tagessatz bezahlt, damit sie an Projekten teilnehmen.

Allgemeine Geschäftsbedingungen
Rejection:positive rating Change:positive rating Gewährleistungspflichten:positive rating Client Contact:positive rating Worker Contact:positive rating
MyLittleJob
Grafikdesign  Texten/Schreiben  sonstiges Freelancing  sonstiges Microtasking  

Deutsche Microtasking- und Freelancing-Plattform. Dort sind ausschließlich Studierende registriert. Sie kommen aus Deutschland, Österreich, Spanien, Italien, Großbritannien und den USA.

Allgemeine Geschäftsbedingungen
Rejection:positive rating Change:negative rating Gewährleistungspflichten:positive rating Client Contact:positive rating Worker Contact:positive rating
Plattform-Bewertung
2.5out of five stars
Prolific
sonstiges Microtasking  

Plattform mit Sitz in Großbritannien. Ihr Ziel ist es, Beteiligte für wissenschaftliche Aufgaben – z. B. Befragungen und Online-Experimente – zu rekrutieren.

Allgemeine Geschäftsbedingungen
Rejection:negative rating Change:negative rating Gewährleistungspflichten:negative rating Client Contact:positive rating Worker Contact:positive rating
Plattform-Bewertung
3out of five stars
Upwork
Grafikdesign  Texten/Schreiben  sonstiges Freelancing  

Größter englischsprachiger Freelance-Marktplatz, mit Beschäftigte aus dutzenden Ländern. Ist 2015 aus dem Zusammenschluss von Elance und oDesk entstanden.

Allgemeine Geschäftsbedingungen
Rejection:positive rating Change:negative rating Gewährleistungspflichten:positive rating Client Contact:positive rating Worker Contact:positive rating
Plattform-Bewertung
3.5out of five stars