Amazon Mechanical Turk
Texten/Schreiben sonstiges Microtasking
US-basierter Microtasking-Marktplatz, der von Amazon.com, Inc. betrieben ist. Ältester Microtasking-Marktplatz.
Allgemeine Geschäftsbedingungen
Rejection:negative rating Change:negative rating Gewährleistungspflichten:negative rating Client Contact:positive rating Worker Contact:positive rating
Rejection:negative rating
Change:negative rating
Gewährleistungspflichten:negative rating
Client Contact:positive rating
Rejection:positive rating
Platform Overview
Amazon Mechanical Turk (AMT oder MTurk) ist ein in den USA ansässiger Marktplatz für Microtasks, der von Amazon.com betrieben wird. Es handelt sich dabei um den unseres Wissens ältesten Marktplatz für Microtasks. AMT ist auch einer der drei größten englischsprachigen Marktplätze für Microtasks, was das Marktvolumen und die Zahl der Beschäftigten angeht (die anderen beiden sind CrowdFlower, ebenfalls in den USA ansässig, und Clickworker, mit Sitz in Deutschland). AMT wurde 2005 gegründet. Amazon berechnet Kunden, sogenannten Requesters, eine Gebühr von 20 bis 45 Prozent der Summe, die die Requester den Beschäftigten für deren Arbeit zahlen.
Aus dem Englischen von Max Henninger
- Inhaltsverzeichnis
- Hintergrundinformationen
- Plattform-Bewertung
- AGB-Check
-
Geschichte der Plattform
Vertreter von Amazon beschreiben AMT als ein System, das ursprünglich entwickelt wurde, um die in Amazons sehr umfangreichen Produktkatalog einfließenden Informationen »aufzuräumen«. Amazon war eine Verrechnungsstelle für die Produkte einer Vielzahl unterschiedlicher Verkäufer und kümmerte sich um alles von der Zahlungsabwicklung über die Inventur bis hin zur Versandlogistik.[1] Die verschiedenen Verkäufer luden mitunter mehrere Einträge für identische Produkte hoch. Das hatte zur Folge, dass die nach Produkten suchenden Kunden mehrere Suchergebnisse angezeigt bekamen, die sich auf augenscheinlich identische Produkte bezogen. Die Entwickler von Amazon wollten solche Doppelungen vermeiden, was sich aber als »unlösbare« computertechnische Aufgabe für die Ingenieure des Konzerns erwies.[2] Amazon wollte auch den Verkäufern nicht die Aufgabe aufbürden, jene auf Amazon eingetragenen Produkte zu kennzeichnen, die mit ihrem eigenen Produkt identisch sind.
Die Systementwickler beschlossen, diese Arbeit einer durch »Crowdsourcing« zusammengestellten Beschäftigtengruppe zu übertragen. Die Ingenieure von Amazon entwickelten eine Website, über die Amazon-Angestellte, wenn sie bei der Arbeit einige Minuten Zeit hatten, einen Beitrag zur Identifizierung und Unsichtbarmachung der doppelten Einträge leisten konnten. Dieser Ansatz erwies sich als erfolgreich, und es wurden schließlich auch Beschäftigte und Anfragesteller von außerhalb des Amazon-Konzerns miteinbezogen. Die Website wurde außerdem dahingehend erweitert, dass über sie nun auch andere Aufgaben als die Erkennung von doppelten Produkteinträgen erledigt werden konnten. Außerdem wurde ein Verfahren zur Bezahlung der Beschäftigten entwickelt. Und es wurde der freche aber zutreffende Slogan »artificial artificial intelligence« (»künstliche künstliche Intelligenz«) geprägt, um die neue Dienstleistung zu beschreiben.[3] Mit diesen Zusätzen wurde AMT zu einem Prototyp der Ausweitung von Informatikarbeit durch erweiterte Beschäftigtenpools und Arbeitsformen – zur nächsten Etappe sowohl in der Entwicklung der künstlichen Intelligenz als auch in der von Cloud-Computing. Während eines 2006 am Massachussetts Institute of Technology gehaltenen Vortrags beschrieb Amazon-Vorstand Jeff Bezos das System folgendermaßen: »Sie haben von Software als Dienstleistung („Software-as-a-Service“) gehört. Nun, hier geht es um menschliche Tätigkeit als Dienstleistung („Human-as-a-Service“).«[4]
Quelle: M. Six Silberman und Lilly Irani, „Operating an employer reputation system“ (Englisch)
Aus dem Englischen von Max Henninger -
Geschäftsmodell
Mechanical Turk berechnet Kunden eine Gebühr, die sich auf 25 bis 40 Prozent der den Beschäftigten gezahlten Vergütung beläuft.
-
Auftrag-/Arbeitnehmer-Status
Selbstständig.
-
Aufgaben und Kunden
MTurk wird von allen möglichen Individuen und Organisationen zum Zweck der Datenverarbeitung verwendet, etwa zur Datenbereinigung, Transkription, Übersetzung, Erstellung von Metadaten, Kategorisierung, Kennzeichnung, Inhaltsverwaltung, Generierung von Datensätzen und Sentiment-Analyse. Zu den Organisationen zählen Software-Startups wie SnapMyLife[5] und C-SATS,[6] große Technologieunternehmen wie Google, YouTube und Twitter, aber auch Regierungsstellen wie DARPA[7] und die US Army Research Lab.[8] MTurk wird auch von Akademikern verwendet, insbesondere von Informatikern und Sozialwissenschaftlern. Informatiker verwenden MTurk vor allem, um Algorithmen zu entwickeln, die in den Bereichen »maschinelles Lernen« und »künstliche Intelligenz« zum Einsatz kommen sollen. Ein Beispiel ist Gilts Programm zur »präemptiven Auslieferung« (bei dem »Datenanalytik eingesetzt wird, um vorherzusagen, was [Kunden] zu einem bestimmten Zeitpunkt kaufen könnten«).[9] Sozialwissenschaftler verwenden die Plattform, um menschliche Subjekte für Umfragen und Experimente zu rekrutieren.
Eine typische akademische Forschungsaufgabe (»HIT« oder »Human Intelligence Task«) beinhaltet, dass ein Beschäftigter einen HIT auswählt und akzeptiert, einer Erklärung zum »institutionellen Prüfungsgremium« (Institutional Review Board, IRB) zustimmt und dann eine Reihe von Fragebögen ausfüllt oder Aufgaben erledigt, wobei letztere meistens über eine externe Website wie Qualtrics oder SurveyMonkey abgerufen werden. Die Aufgaben können unterschiedlicher Art sein. Dazu können etwa typische psychologische Denkaufgaben wie das Trolley-Problem oder das Gefangenendilemma gehören. Gängig sind auch Stroop-Aufgaben, Umfragen zu Produktideen oder -designs sowie Persönlichkeitstests. Oft gibt es vorbereitende Aufgaben. Auf die Erledigung der Aufgaben folgt eine abschließende Unterrichtung; den Beschäftigten wird gedankt und sie erhalten einen Code, mittels dessen sie auf der HIT-Seite von MTurk ihre Bezahlung anfordern können. Manche sagen, Beschäftigten müssten für ihre Arbeit einen angemessenen Lohn erhalten, andere unterstützen diese Forderung jedoch nicht und weisen zur Begründung auf die Möglichkeit finanzieller Einflussnahme hin. Es handelt sich um eine anhaltende Diskussion zwischen Beschäftigten, Requestern und IRB-Gruppen.
Ein typischer Inhaltsverwaltungs-HIT beinhaltet die Durchsicht von Fotos, Videos oder Texten und die Kennzeichnung anstößiger Inhalte. Es gibt keine standardisierten Anweisungen dazu, was als anstößig einzuschätzen ist; die Anforderungen können von einem Requester zum nächsten variieren. Manche Beschäftigte meiden diese HITs, da sie oft pornografische Inhalte, explizite Bilder und Darstellungen extremer Gewalt beinhalten. Mechanical Turk erlaubt es Requestern, ihre Identität zu verschleiern, sodass die Beschäftigten meist nicht wissen, woher die Inhalte stammen oder wo sie verwendet werden. Die Erledigung solcher HITs kann für einige Beschäftigte psychologisch belastend oder sogar traumatisch sein.[10] Die Vergütung variiert je nach dem Aufbau des HITs; in der Regel werden einige Cent pro Inhalt gezahlt.
Für HITs aus dem Bereich maschinelles Lernen ist es typisch, dass die Beschäftigten Datensätze entwickeln oder Algorithmen »beibringen« sollen, bestimmte Vorgänge ohne menschliches Zutun durchzuführen. Bei diesen HITs werden Beschäftigte oft aufgefordert, den emotionalen Gehalt einer Aussage zu analysieren, bestimmte Wörter als mit bestimmten Emotionen verbunden zu kennzeichnen oder die Bedeutung eines Satzes zu bestimmen. Die Ergebnisse werden dann gebündelt und für die weitere Entwicklung der Forschung zu maschinellem Lernen sowie entsprechender Systeme genutzt. Beschäftigte bemerken häufig, dass die Erledigung solcher HITs letztlich zu Systemen führen wird, die die Beschäftigten überflüssig machen. Ein Beispiel dafür ist OCR (optical character recognition, optische Zeichenerkennung). Vor Jahren gab es auf der Plattform viele HITs, bei denen Beschäftigte Nummern oder Zahlen von Bildern ablasen und eingaben.[11] In der Folge wurden Systeme entwickelt, die dies automatisch leisten, und HITs dieser Art werden nun kaum noch gepostet. Die Vergütung von HITs aus dem Bereich maschinelles Lernen variiert je nach Komplexität und Umfang des Textes.
Text: Rochelle LaPlante
Aus dem Englischen von Max Henninger -
Arbeitsprozess
Der grundlegende Arbeitsvorgang zerfällt in drei Hauptschritte. Zunächst umreißen die Requester ihre Arbeitsaufgaben und stellen die entsprechenden Beschreibungen auf die Plattform; das beinhaltet auch die Festlegung der Vergütung. Auf der Plattform werden Aufgaben als »HITs« bezeichnet (»Human Intelligence Tasks«, Aufgaben für menschliche Intelligenz). Im zweiten Schritt suchen sich die Beschäftigten Aufgaben aus und erledigen diese. Im dritten Schritt bewerten die Requester dann die von den Beschäftigten erledigte Arbeit und entscheiden, ob sie diese bezahlen wollen oder nicht (»Annahme« oder »Ablehnung«).
Den Beschäftigten wird eine Liste unerledigter Aufgaben präsentiert; sie wählen selbst die Aufgaben aus, die sie gegen die vom Requester festgelegte Vergütung erledigen wollen. Es gibt kein der Auswahl und Erledigung der Aufgabe vorangehendes Bieterverfahren und keinen Aushandlungsprozess zwischen den Requestern und den Beschäftigten. Dieser Vorgang der selbständigen Aufgabenwahl hat zu Bedenken über mögliche Selektionseffekte bei Aufgaben geführt, die auf der Nutzung zufälliger Stichproben beruhen (etwa Umfragen im Rahmen akademischer Forschung).[12]
Hat ein Beschäftigter einmal einen HIT ausgewählt und auf »Annehmen« geklickt, muss er diese Ausgabe innerhalb einer vorab vom Requester festgelegten Frist erledigen. Läuft die Frist ab, bevor der Beschäftigte den HIT erledigt hat, dann verliert der Beschäftigte den Zugriff auf den HIT; seine Arbeit wird nicht gespeichert und er erhält keine Vergütung.
Hat der Beschäftigte einen HIT erledigt, klickt er auf »Abschicken«. Die Arbeit wird dann dem Requester übermittelt, der die Möglichkeit hat, sie zu bewerten. Der Requester kann den HIT dann entweder akzeptieren, womit der Beschäftigte die Vergütung erhält, oder er kann den HIT ablehnen. Wird der HIT abgelehnt, erhält der Beschäftigte keinerlei Vergütung. Laut den Nutzungsbedingungen von Mechanical Turk hat der Requester das Recht, alle abgeschickten Arbeiten zu behalten, unabhängig davon, ob er sich entschließt, den Beschäftigten zu bezahlen oder nicht.[13] Wird der HIT vom Requester nicht innerhalb von dreißig Tagen akzeptiert oder abgelehnt, dann wird der HIT automatisch akzeptiert, und der Beschäftigte wird vergütet.
Requester müssen für alle von ihnen hochgeladenen HITs im Voraus zahlen. Damit stehen die Gelder für die Vergütung des Beschäftigten bereit, sobald dessen Arbeit akzeptiert wird (oder aber, wenn der Requester die Arbeit nicht innerhalb von dreißig Tagen bewertet, womit der Beschäftigte automatisch bezahlt wird). Requester müssen über ein Bankkonto in den Vereinigten Staaten sowie über ein Amazon-Payments-Nutzerkonto verfügen, um HITs hochladen zu können; es gibt jedoch Firmen, die Aufgaben gegen Entrichtung einer zusätzlichen Gebühr hochladen, wenn der Requester kein US-amerikanisches Bankkonto und/oder kein Amazon-Payments-Nutzerkonto hat.[14]
Beschäftigte können in US-Dollar oder indischen Rupien bezahlt werden, oder aber die Vergütung wird ihrem Amazon Geschenkgutschein gutgeschrieben, je nach dem Wohnsitz des Beschäftigten und dessen Präferenz. US-amerikanische Beschäftigte können wählen, ob die Vergütung einem Bankkonto oder einer Prepaid-Debitkarte gutgeschrieben wird; außerdem können auch sie die Vergütung einem Amazon.com-Geschenkgutschein gutschreiben lassen. Geschenkgutscheincodes werden nicht ausgestellt und das Guthaben auf bestehenden Geschenkgutscheinen ist nicht übertragbar. Indische Arbeiter haben dieselben Optionen, mit dem Unterschied, dass sie in indischen Rupien bezahlt werden. Die Gutschrift findet über Amazon Payments statt. Daher müssen Beschäftigte, um auf der Plattform arbeiten zu können, nicht nur über ein aktives MTurk-Nutzerkonto verfügen, sondern auch über ein Amazon-Payments-Nutzerkonto. Beschäftigte können für jeden Zeitraum von 24 Stunden eine Gutschrift anfordern. Es gibt eine Mindestsumme für Gutschriften; sie beläuft sich auf einen US-Dollar pro Gutschrift. Die Gutschriften gehen mit keinerlei Gebühren einher.
Die einzige Möglichkeit, die Beschäftigten außerhalb der USA und Indiens zur Vefügung steht, sich vergüten zu lassen, besteht daran, ihre Vergütung einem Amazon.com-Geschenkgutschein gutschreiben zu lassen. Käufe aus länderspezifisch bestimmten Top-Level Amazon-Domains sind nicht zulässig, die Beschäftigten können ihren Geschenkgutschein nur bei Amazon.com einlösen und es kann sein, dass sie dann hohe Versandkosten zu begleichen haben.
Amazon stellt Beschäftigten keinerlei Instrumente für gemeinsames Arbeiten zur Verfügung. Außerdem gibt Amazon den Beschäftigten kaum Hinweise, wie sie Aufgaben zu erledigen haben. Stattdessen haben die Beschäftigten mehrere unabhängige Communities zur wechselseitigen Unterstützung entwickelt, in Gestalt von Facebook-Gruppen, IRC-Kanälen und Foren.[15] Andere Beschäftigte nutzen Skype oder Mobilfunk-Apps wie SnapChat oder WhatsApp, um Informationen zu HITs und Requestern zu teilen. Beschäftigte mit Informatikkenntnissen haben Browser Scripts programmiert, um die Nutzerfreundlichkeit von MTurk zu erhöhen und um es anderen Beschäftigten zu erlauben, Aufgaben genauer und schneller zu erledigen. Dutzende solcher Scripts finden sich auf Sharing-Portalen wie GreasyFork. Insbesondere unter indischen Arbeitern werden über Mundpropaganda HITs empfohlen, die zu erledigen sich lohnt, und es werden die Namen vertrauenswürdiger Requester ausgetauscht.[16] Beschäftigte nutzen auch eine Website namens Turkopticon, um Requester zu bewerten.
Bedenken
Für Beschäftigte in den Industrieländern – sie stellen die Mehrheit, da ja die meisten Beschäftigten von Mechanical Turk in den USA leben – ist die Vergütung relativ niedrig im Vergleich zur Vergütung vergleichbarer, aber nicht über eine Plattform vermittelter Tätigkeiten (siehe Daten zur Vergütung).
Missverständliche Kommunikation zwischen Beschäftigten, Requestern und Amazon ist ein Dauerproblem. Amazon bietet kein Nachrichtensystem, dass die Kommunikation erleichtern könnte. Schreibt ein Beschäftigter einem Requester über die Plattform eine Email, dann gibt er damit seinen vollständigen Namen und seine Email-Adresse preis, womit jegliches Vertrauen der Beschäftigten in die eigene Anonymität negiert wird.[17]
Amazon bietet Beschäftigten kaum Unterstützung. Schreiben Beschäftigte Amazon eine Email, dann fällt die Antwort oft unzureichend aus, und Beschäftigte berichten, dass sie auf dieselbe Frage sehr unterschiedliche Antworten erhalten. Es gibt kein System von Hilfe-Einträgen und kein Verfahren, um Problemen nachzugehen, über die Amazon per Email berichtet worden ist. Amazon hat Beschäftigten geraten, ihre Fragen in Beschäftigtenforen zu stellen, oder auf der von Freiwilligen betriebenen Plattform zur Bewertung von Requestern, Turkopticon, anstatt Beschäftigte selbst zu unterstützen. Die Dokumentierung von Abläufen ist auf MTurk oft falsch oder nicht auf dem aktuellen Stand. Beispielsweise ist im Praxisleitfaden für Requester zu lesen: »Beschäftigte, die mehrfach und von unterschiedlichen Requestern als unerwünscht eingestuft werden, werden suspendiert und dürfen nicht länger auf Mechanical Turk arbeiten.«[18] In dem von Amazon Web Services moderierten Diskussionsforum zu Mechanical Turk schreibt jedoch ein Amazon-Angestellter:
Wir ignorieren es, wenn Requester einen Beschäftigten ohne bestimmten Grund für unerwünscht erklären. So soll die Qualität unserer Beschäftigten gewährleistet bleiben. Eine solche Erklärung kann also nicht dazu führen, dass ein Beschäftigter suspendiert wird. Daher empfehlen wir Requestern, nicht zu zögern, Beschäftigte für unerwünscht zu erklären, wenn sie auf diesem Weg die Gesamtzahl der ihre Aufgaben erledigenden Beschäftigten begrenzen möchten. Denn das hat keine negativen Folgen für die Nutzerkonten der betroffenen Beschäftigten.[19]
Versehentliche oder böswillige Ablehnungen von HITs stellen ein weiteres häufig zu verzeichnendes Problem dar. Wird eine erledigte Aufgabe verschickt, können Requester diese entweder akzeptieren oder ablehnen. Wird ein HIT abgelehnt, erhält der Beschäftigte keinerlei Vergütung und seine Gesamtbewertung verschlechtert sich. Das wird dann zum Problem, wenn andere HITs eine hohe Gesamtbewertung verlangen, damit auf sie zugegriffen werden kann. Hat ein Requester die Arbeit eines Beschäftigten einmal abgelehnt, hat der Beschäftigte keinerlei Möglichkeit, die Ablehnung anzufechten. In den Nutzungsbedingungen (terms of service, TOS) von Mechanical Turk heißt es:
Da Amazon Mechanical Turk an der tatsächlichen Transaktion zwischen Providern [Beschäftigten] und Requestern nicht beteiligt ist, wird sich Amazon Mechanical Turk auch nicht an der Schlichtung etwaiger Konflikte zwischen Nutzern beteiligen, die aus der Verwendung von Mechanical-Turk-Dienstleistungen oder aus Transaktionen gleich welcher Art erwachsen.[20]
Die Nutzungsbedingungen übertragen das Eigentum an der Arbeit auch dann dem Requester, wenn dieser die Arbeit abgelehnt hat.
Es gibt vier Hauptursachen versehentlicher oder böswilliger Ablehnung von HITs. Erstens empfiehlt Amazon Requestern ein Qualitätskontrollverfahren namens »Pluralität« (plurality). In diesem Verfahren wird ein HIT von drei Beschäftigten erledigt. Wenn sich zwei Beschäftigte einig sind, der dritte aber einen anderen Standpunkt vertritt, wird die Arbeit des Dritten abgelehnt.[21] Zweitens kann es geschehen, dass der Requester die Plattform in betrügerischer Absicht nutzt, also auf der Suche nach kostenloser Arbeit ist. Drittens kann es auch geschehen, dass ein Requester eine beträchtliche Menge Arbeit ablehnt, weil er die Folgen solcher Ablehnungen für die Beschäftigten nicht versteht. Viertens können Fehler im HIT-Design oder bei der Bewertung zu versehentlichen und fehlerhaften Ablehnungen führen.
Der ethische Umgang mit Beschäftigten gibt im Allgemeinen dauerhaft Anlass zu Sorge. Forscher aus so unterschiedlichen Bereichen wie Computerlinguistik und Politikwissenschaft haben über die ethischen Fragen geschrieben, die der Einsatz von Crowd-Beschäftigten als Pool für wissenschaftliche Untersuchungen oder als Arbeitskräfte beinhaltet.[22] In diesem Diskurs wird MTurk oft als System digitaler Akkordarbeit beschrieben, das sich durch vergleichsweise niedrige Vergütung und begrenzten (oder gänzlich fehlenden) Arbeitsschutz auszeichnet. In den Nutzungsbedingungen von MTurk ist festgelegt, dass die Beschäftigten selbständige Unternehmer sind. Daher haben sie keinen Anspruch auf Mindestlohn, Mindestarbeitszeit, Kündigungsschutz, Schutz vor Diskriminierung, Überstundenlohn, bezahlten Urlaub oder arbeitgeberfinanzierte Krankenversicherung und Altersvorsorge; sie haben auch nicht das Recht, sich zu organisieren und Tarifverträge mit Requestern oder Amazon auszuhandeln.[23]
Beschäftigte, Requester und Forscher haben gemeinsam ein Dokument mit dem Titel Guidelines for Academic Requesters (»Richtlinien für Requester aus dem Wissenschaftsbereich«) erstellt, das einige der gängigen ethischen und logistischen Probleme skizziert und Lösungen sowie Erfolgsmethoden bietet, durch die Beschäftigte geschützt und deren Rechte gewahrt werden können.[24]
Text: Rochelle LaPlante
Aus dem Englischen von Max Henninger
-
Introduction and Survey Notes
Das Gros der Menschen, die auf unsere Befragung reagiert haben, waren professionelle oder semi-professionelle Crowdworker (Turkers?). Insofern spiegeln die Ergebnisse unserer Studie vor allem die Erfahrungen einer elitären Gruppe von Crowdworkern wieder. Daher nehmen wir an, dass etwa die Bezahlung bei MTurk insgesamt niedriger ausfällt als in den Fällen, über die wir hier berichten.
Aus dem Englischen von Dorothee Wolf
-
Bezahlung
Stundenlöhne MINIMUM: €3.77 MAXIMUM: €29.43 DURCHSCHNITT: €10.65 MEDIAN: €8.67 Bezahlungsübersicht
Die Löhne der Teilnehmenden an unserer Befragung waren im Vergleich zu anderen Plattformen relativ hoch. Dennoch lagen sie vielfach unter dem Mindestlohn.
Unbezahlte Arbeit gab es für die meisten Beschäftigten nur selten. Allerdings wurde es vielfach erwähnt und durchgängig als frustrierend empfunden.
Stundenlöhne
Die meisten Befragten gaben an, weniger als den US-amerikanischen Mindestlohn von $7,25 pro Stunde zu verdienen. Einige von ihnen verdienen in der Stunde sogar nur 3,77 Euro.
Verteilung des Stundenlohns
Prozentanteil von Befragten, deren Stundenlohn in diesen Kategorien liegt
Die Befragten verbringen 20 bis 50% ihrer Zeit damit, nach Aufträgen zu suchen. (In dieser Zeit verdienen sie nichts.)
Vorkommnisse von Nichtzahlung
60.00 % von Befragten haben mindestens eine Nichtzahlung erlebt
60% der Befragten sind schon mindestens einmal bei Tätigkeiten auf der Plattform leer ausgegangen. Allerdings passierte das den meisten nicht häufiger als ein- bis zweimal.
Frequenz der Nichtzahlung
Unbezahltes Arbeiten war zwar eine seltene, doch sehr frustrierende Erfahrung. Entsprechend häufig waren die Kommentare der Befragten zu diesem Thema. (Ausführliche Schilderungen dazu finden Sie in der englischen Version dieser Seite). Erfahrenere Turk-Arbeiter/innen vermeiden unbezahltes Arbeiten, indem sie nur Auftraggeber mit guter Reputation wählen.
-
Kommunikation
Die Kommunikation mit Auftraggebern und mit anderen Clickworkern halten die meisten Befragten für zufriedenstellend. Allerdings wussten die wenigsten von ihnen, wie sie mit den Plattformbetreibern kommunizieren können.
Zusätzlich zu offiziellen Tools nutzen die MTurk-Arbeiter inoffizielle Websites.
Kommunikation mit Plattform-Betreiber
Weniger als ein Viertel der Befragten hatte bereits mit den Plattformbetreibern kommuniziert. Daher können wir zu diesem Thema keine Bewertung wiedergeben. Auch von den erfahrenen Turkern gaben 40% an, sie wüssten nicht, wie man mit den Plattformbetreibern Kontakt aufnehmen könne. Ein Teil hielt dies gar für unmöglich.
Kommunikation mit Kunden
Fast alle Befragten hatten mindestens einmal mit einem Auftraggeber („Requester“) kommuniziert. Obwohl sich nur wenige Turker zu ihren Erfahrungen äußerten, zeigen die Antworten, dass diese Erfahrung akzeptabel war. Obwohl nur wenige Turkers die Klientenkommunikation als besonders zielführend, respektvoll oder hilfreich einschätzten, wurden die Interaktionen meist als positiv eingeschätzt.
Prozentanteil von Befragten, die gesagt haben, dass die Kommunikation mit Kunden _____ ist
Kommunikation mit anderen Crowdworkern
Mechanical Turk stellt keine offiziellen Kommunikationskanäle für alle Turker bereit. Dennoch bieten sie ein Forum speziell für Beschäftigte, die eine „Master“ Qualifikation haben. Diejenigen Befragten, die über offizielle Kanäle mit anderen kommuniziert hatten, empfanden dies im Allgemeinen als positive Erfahrungen.
Prozentanteil von Befragten, die gesagt haben, dass die Kommunikation mit den anderen Beschäftigten über die Plattform _____ ist
Inoffizielle Foren
Die meisten Befragten kommunizieren mit ihren Kollegen am effektivsten jenseits der offiziellen Plattform – auf Facebookgruppen, Reddit und in privaten Foren, darunter:
- MTurkCrowd.com
- mturkforum.com
- TurkerHub.com
- MturkGrind.com
- Turker Nation
- www.reddit.com/r/mturk
- www.reddit.com/r/hitsworthturkingfor
- Facebook: Turkers United Facebook Group
- IRC: #Mturk on Snoonet
Sie nutzen diese Foren, um sich mit ihren (ortsfernen) Kollegen auszutauschen und den Erfolg ihrer Arbeit zu erhöhen.
-
Evaluation
Auch die Beschäftigten die Bewertungen ihrer Arbeit in der Regel für angemessen und fair hielten, fehlt auf der Plattform eine Möglichkeit, unangemessene Bewertungen anzufechten oder richtig zu stellen. Außerdem werden Auftraggeber bei negativen Bewertungen nicht nach Gründen gefragt und die Beschäftigten können umgekehrt ihre Auftraggeber nicht bewerten.
Qualifikationen
Auf Mechanical Turk können Auftraggeber ihre Aufträge auf Beschäftigte mit bestimmten ‚Qualifikationen‘ beschränken. Allerdings den Clickworkern nicht immer klar, wie man Qualifikationen erwirbt oder aberkannt bekommt. Wie man die „Master“-Qualifikation erlangt, die vom Plattformbetreiber verliehen wird, ist den meisten völlig unklar. (Kommentare dazu finden Sie in der englischen Version dieser Seite.)
Bewertung der Auftraggeber
Während die Auftraggeber auf der Plattform Definitionsmacht über die Reputation der Arbeiter haben, gibt es für die Beschäftigten keinen offiziellen Weg, ihre Auftraggeber zu bewerten. Viele tun dies über externe Seiten wie Turkopticon.
Prozentanteil von Befragten, die gesagt haben, dass die Evaluation von Beschäftigten _____ ist
-
Aufgaben
In der Frage, wie sinnvoll, interessant, unterhaltsam oder befriedigend die Aufträge auf Mechanical Turk sind, gingen die Meinungen auseinander. Allerdings beurteilten die wenigsten ihre Arbeit regelmäßig als besonders negativ. Nur ein verschwindend geringer Anteil erhielt gefährliche, sinnlose oder ethisch fragwürdige Aufträge.
Positive Merkmale von Aufgaben bei Amazon Mechanical Turk
Wie oft sind die Aufgaben ...
... sinnvoll?
... interessant?
... lustig?
... zufriedenstellend?
Negative Merkmale von Aufgaben bei Amazon Mechanical Turk
Wie oft sind die Aufgaben ...
... gefährlich oder physisch schädlich?
... erniedrigend oder psychisch schädlich?
... ethisch bedenklich?
-
Technik
Die meisten Befragten fanden die Plattform verlässlich und schnell, aber einige beanstandeten geringe Nutzerfreundlichkeit. Fast alle benutzten Scripts und Plugins, um effizienter zu arbeiten.
Prozentanteil von Befragten, die gesagt haben, die Technologie ist...
-
Was gefällt den Beschäftigten?
Die Clickworker mögen die Flexibilität der MTurk Angebote. Sie können wählen, wann und wo sie arbeiten. Das ist wichtig für Freelancer, die einen kurzen Leerlauf überbrücken wollen, für Pflegende, die zuhause arbeiten, und für Menschen, die wegen Angststörungen oder Depression keine „normale“ Beschäftigung aufnehmen können. Die Beschäftigten können unterschreiben und sofort zu arbeiten beginnen, ohne Bewerbungs- und Einstellungsverfahren.
„Ich bin alleinerziehend mit vier Kindern in drei verschiedenen Schulen. Traditionelle Arbeitsplätze passen derzeit nicht zu meinen Bedürfnissen.“
„So kann ich mit meiner Tochter zuhause bleiben und habe keine Ausgaben für Kinderbetreuung.“
„Ich brauche das Geld und ich muss zuhause erreichbar sein. Meine Mutter ist an Krebs erkrankt und hat einen Hund, der versorgt werden muss. Mir ist es lieber, in ihren letzten Jahren da zu sein, wenn sie mich braucht.“
„Ich arbeite auf Mechanical Turk, weil ich unter Depression und Angstzuständen leide. Hier muss ich nicht mit anderen in der realen Welt kommunizieren.“
-
Bedenken
MTurk bietet kein geregeltes Einkommen. Den Beschäftigten ist es unangenehm, um Aufträge zu konkurrieren, ebenso wie das Machtgefälle zwischen Auftraggebern und Beschäftigten. Unerfahrene Clickworker brauchen hohe Anstrengungen, um den Mindestlohn zu verdienen. Ein vernünftiges Arbeitsentgelt bekommen sie erst nach einiger Zeit, indem sie Communities finden, die Browser-add-ons nutzen und besser verstehen, wie die Plattform funktioniert.
Die Beschäftigten finden es nicht richtig, dass die Kunden ihre Arbeit ohne Begründung ablehnen können. Ablehnung bedeutet nicht nur, für die Arbeit nicht bezahlt zu werden, sondern beeinträchtigt auch ihre Aussichten auf künftige Jobs. Viele Clickworker sind frustriert, weil Amazon nicht bei Uneinigkeiten zwischen Arbeitern und Auftraggebern vermittelt. Einige Befragte sind der Ansicht, Amazon sollte seine Dokumentation für die Auftraggeber verbessern, so dass diese besser verstehen, wie die Plattform arbeitet.
„Timing ist alles. Man muss online sein, wenn die guten Aufträge gepostet werden, und schnell genug sein, um den Job zu bekommen. Ich habe wenig Kontrolle, wie viel ich von heute auf morgen schaffe.“
„Mich ärgert, dass manche Auftraggeber es in Ordnung finden, Hungerlöhne zu bezahlen. Zu viele Clickworker denken, 2 Dollar pro Stunde wäre ausreichend. Amazon geht zu locker mit der Plattform um. Wenn es Probleme mit den Auftraggebern gibt, sollen die Beschäftigten das einfach selbst klären.“
„Erst letzte Woche musste ich einem neuen Auftraggeber erklären, wie er mir einen Bonus bezahlt. Solche Dinge sollten offensichtlich und klar sein.“
-
Nichtzahlung Rejection:negative rating
Auftraggeber darf aus irgendeinem Grund die Bezahlung verweigern. Auftragnehmer hat keinerlei Anspruch darauf bzw. es gibt kein Mechanismus, die Nichtzahlung anzufechten. -
Änderung der AGB: Change:negative rating
Plattform-Betreiber darf den AGBs ändern, ohne die Beschäftigte zu informieren. Weitere Nutzung der Seite wird als Akzeptanz gedeutet. -
Gewährleistungspflichten Gewährleistungspflichten:negative rating
Bei Mängeln verweigert der Auftraggeber die Bezahlung. Es gibt keine Nachbearbeitungsmöglichkeit. -
Kontaktverbote/Meldepflicht zu Auftraggebern Client Contact:positive rating
Keine. -
Kontaktverbote/Meldepflicht zu anderen Crowdworkern der Plattform Rejection:positive rating
Keine.
-
Fußnoten
- Birgitta Bergvall-Kåreborn und Debra Howcroft, Crowdsourcing and Open Innovation: A Study of Amazon Mechanical Turk and Apple iOS (Proc. 6th Intl. Society for Professional Innovation Management Symposium, 2013).
- U.S. Patent No. 7,197,459 (27 März 2007).
- Jason Pontin, “Artificial intelligence, with help from the humans.” New York Times, 25 März 2007.
- Jeff Bezos, Vortrag und Interview, MIT Emerging Technologies Conference, 27 Sep 2006.
- Amazon Mechanical Turk Case Studies: SnapMyLife. Abrufdatum 3. Mai 2017.
- C-SATS. Abrufdatum 3. Mai 2017.
- Amazon Mechanical Turk Case Studies: DARPA
- Amazon Mechanical Turk Case Studies: US Army Research Lab. Abrufdatum 3. Mai 2017.
- Nicole Laskowski. 2014. Mechanical Turk supplies Gilt with ‚artificial artificial intelligence‘. Search CIO. Abrufdatum 3. Mai 2017.
- Sarah T. Roberts. 2014. Behind the Screen: the Hidden Digital Labor of Commercial Content Moderation. Doktorarbeit, University of Illinois at Urbana-Champaign. Abrufdatum 3. Mai 2017.
- Z. B. Amazon Mechanical Turk Case Studies: Acxiom. Abrufdatum 3. Mai 2017.
- Futurism, Samping bias in science: here’s why you need to go back to the source (13. Aug. 2015, Abrufdatum 3. Mai 2017) und David Geiger, Personalized Task Recommendation in Crowdsourcing Systems, S. 73 (2015; Google Books-Seite Abrufdatum 3. Mai 2017).
- Amazon Mechanical Turk Participation Agreement, § 3b.
- Clickhappier, Middlemen / Intermediary Requesters List. 18. Jan 2016. Abrufdatum 3. Mai 2017.
- MTurk Communities (/r/mturk wiki). Aktualisiert Jan 2017. Abrufdatum 3. Mai 2017.
- Neha Gupta, David Martin, Benjamin V. Hanrahan und Jacki O’Neill, Turk-Life in India (2014).
- Matthew Lease, Jessica Hullman, Jeffrey P. Bigham, Michael S. Bernstein, Juho Kim, Walter Lasecki, Saeideh Bakhshi, Tanushree Mitra und Robert C. Miller. 2013. Mechanical Turk is not anonymous. Abrufdatum 4. Mai 2017.
- Amazon Mechanical Turk Requester Best Practices Guide. 2015. Abrufdatum 4. Mai 2017.
- IsaacM@AWS. Re: Prevent workers from doing survey more than once ? AWS Developer Forums, 25. Feb 2012.
- Mechanical Turk AGBs, § 3f.
- Amazon Mechanical Turk API Documentation | HIT Review Policies.
- Vanessa Williamson. 2014. On the ethics of crowdsourced research. John F. Kennedy School of Government, Harvard University.
- Siehe z. B. Matt Finkin, 2016, Beclouded work in historical perspective, Comparative Labor Law & Policy Journal 37(3); und Valerio De Stefano, 2016, The rise of the „just-in-time workforce“: On-demand work, crowdwork and labour protection in the „gig economy“, Conditions of Work and Employment Series No. 71, International Labour Office.
- Guidelines for Academic Requesters – WeAreDynamo Wiki. Version 2.0. Abrufdatum 4. Mai 2017.
