© Shutterstock

Nettoyage numérique -

Les entreprises technologiques tentent de lutter contre l'extrémisme et la violence en ligne. Par exemple, Google a supprimé 160 000 cas de contenus préjudiciables sur des plateformes telles que Drive, Photos et Blogger en un an. De même, Facebook a pris des mesures contre environ 3,5 millions de contenus violents au cours du premier trimestre 2024.

© Shutterstock

Conformité en ligne -

Les contenus en ligne non conformes prennent de nombreuses formes, notamment des violations de droits d'auteur, des infractions aux réglementations régionales en matière d'expression et des infractions aux lois sur l'obscénité, telles que le blasphème ou l'indécence.

© Shutterstock

Politiques de modération du contenu -

Les politiques de modération des contenus défient l'universalisation et les hiérarchies rigides en raison de leur dépendance au contexte. Les cultures locales, les langues, les lois nationales et les normes distinctes défendues par les différentes plateformes déterminent la manière dont ces politiques sont élaborées et mises en œuvre.

© Shutterstock

Équilibrer l'IA et la modération humaine -

Si l'apprentissage automatique est prometteur pour la détection des contenus problématiques, la supervision humaine reste cruciale. La nécessité d'une grande précision et d'un minimum d'erreurs, ainsi que la nature subjective et évolutive des politiques de modération et des contenus incriminés, requièrent une interprétation humaine pour compléter les systèmes automatisés.

© Shutterstock

Main-d'œuvre mondiale -

On estime à plus de 100 000 le nombre de modérateurs de contenu rémunérés dans le monde. Cette main-d'œuvre diversifiée comprend des réviseurs internes, des travailleurs contractuels d'entreprises tierces et des travailleurs en ligne externalisés, qui s'efforcent tous de relever les défis liés au maintien d'un environnement numérique plus sûr.

© Getty Images

Prix caché de la modération -

La modération de contenu est un défi en soi, mais son coût psychologique est de plus en plus reconnu. L'exposition continue à des contenus pénibles, combinée à un soutien insuffisant sur le lieu de travail, peut avoir un impact profond sur la santé mentale des modérateurs humains.

© Getty Images

Expérience du modérateur -

Gael, ancien modérateur indépendant pour Bumble, travaillait souvent de nuit depuis son domicile au Brésil. Commençant sa journée de travail vers 21 ou 22 heures, il consacrait jusqu'à six heures à son travail, qu'il terminait au petit matin. 

© Getty Images

Modération multilingue -

Après s'être connecté au système de Bumble, Gael commençait à examiner une file d'attente de rapports couvrant plusieurs langues, ce qui met en évidence la diversité linguistique et culturelle impliquée dans la modération de contenu.

© Getty Images

Violations courantes sur Bumble -

La plateforme Bumble est confrontée à une série de violations des règles, comme le décrit Gael. Il s'agit notamment d'utilisateurs mineurs, de contenus abusifs ou offensants sous diverses formes et d'une prévalence significative du harcèlement sexuel, qui reste l'un des principaux défis de la plateforme.

© Shutterstock

Relever les défis -

La discrimination et le comportement toxique des hommes font partie des problèmes récurrents sur Bumble, selon Gael.

© Shutterstock

Relever les défis -

En outre, la plateforme est confrontée à des comportements commerciaux répréhensibles, notamment des profils qui tentent de générer des revenus par le biais d'escroqueries ou de promotions commerciales légitimes.

© Shutterstock

Comment les modérateurs font-ils respecter les règles de Bumble ? -

Une fois le rapport examiné, les modérateurs déterminent si le comportement signalé enfreint les directives de Bumble. Si les règles sont enfreintes, ils déterminent l'action appropriée, qui peut aller jusqu'à l'interdiction de l'utilisateur incriminé sur la plateforme.

© Shutterstock

Comment les modérateurs font-ils respecter les règles de Bumble ? -

"Si quelqu'un envoie une photo indécente de manière non consensuelle à quelqu'un, c'est un blocage immédiat", explique Gael. Si un utilisateur tient des propos racistes, "c'est un blocage immédiat".

© Shutterstock

Comment les modérateurs font-ils respecter les règles de Bumble ? -

Gaël ajoute : "Ensuite, il y a des situations plus graves, comme la pédophilie, par exemple. Ce type de situation est plus difficile à bloquer, car elle nécessite également une enquête."

© Getty Images

Quand les équipes dirigeantes interviennent -

En cas de comportement illégal, Gael transmet le rapport à une équipe interne plus expérimentée. Ce groupe spécialisé s'occupe des violations les plus graves et veille à ce que des mesures appropriées soient prises pour lutter contre les activités illégales sur la plateforme.

© Shutterstock

Humain et IA -

Les signalements d'abus sur Bumble proviennent de deux sources principales : les soumissions des utilisateurs et la détection automatique. Selon Gael, le logiciel d'apprentissage automatique de la plateforme identifie des mots, des phrases ou des images spécifiques qui signalent des violations potentielles, déclenchant le système pour signaler le contenu en vue d'un examen plus approfondi.

© Shutterstock

Pression sur les modérateurs -

Selon Gael, les modérateurs devaient traiter 100 rapports par heure, soit une moyenne d'un rapport toutes les 36 secondes. Toutefois, ces objectifs varient en fonction de la nature spécifique des tâches assignées.

© Shutterstock

Pression sur les modérateurs -

Gael était généralement en mesure d'atteindre l'objectif exigeant de traiter 100 rapports par heure, mais il avoue que cela a des conséquences : "C'est un véritable lavage de cerveau pour l'agent, parce qu'au bout de cinq heures, vous avez traité... 600 rapports de comportement abusif".

© Shutterstock

Cas graves -

Les cas les plus graves auxquels Gael a été confronté l'ont marqué durablement. Ces situations difficiles ont mis en évidence la charge émotionnelle et psychologique que le travail de modération peut imposer lorsqu'il s'agit de contenus pénibles ou traumatisants.

© Shutterstock

Poids émotionnel -

Gael a raconté deux cas particulièrement troublants qu'il a rencontrés dans le cadre de son travail de modération. L'un concernait des images explicites suggérant un individu plus âgé avec une très jeune fille, tandis que l'autre présentait des photos explicites d'un jeune garçon déshabillé.

© Shutterstock

Fossé de la santé mentale -

Alors que Bumble offre un soutien en matière de santé mentale à son personnel, les freelances comme Gael ont été exclus de ces avantages. Cette disparité met en évidence les difficultés rencontrées par les travailleurs contractuels pour accéder à des ressources essentielles à leur bien-être.

© Shutterstock

Sous-préparation aux traumatismes -

Gael a exprimé sa frustration face au manque de formation pour gérer des contenus profondément angoissants. "C'est comme s'ils attendaient de vous que vous soyez suffisamment intelligents et agiles pour faire face à ces situations", a-t-il déclaré.

© Shutterstock

Sécurité des modérateurs en question -

Gael a critiqué le manque de soutien apporté aux modérateurs, soulignant une ironie frappante : alors que Bumble met l'accent sur la sécurité des utilisateurs, il néglige le bien-être de ceux qui sont chargés de l'assurer.

© Getty Images

Position de Bumble -

Bumble a déclaré que les modérateurs de contenu indépendants ont la possibilité de choisir les tâches qu'ils entreprennent et de gérer leur propre charge de travail quotidienne. L'entreprise a également mis l'accent sur son engagement en matière de sécurité, en soulignant que ses investissements dans ce domaine ont été multipliés par deux depuis 2021.

© Shutterstock

Position de Bumble -

Bumble a également indiqué que ses modérateurs recevaient des directives d'application détaillées et des procédures de signalement normalisées pour traiter les différents types d'abus présumés. (Photo : Lidiane Jones, PDG de Bumble)

© Getty Images

Rémunération équitable -

Gael gagnait 10 euros (environ 11,09 dollars américains) de l'heure pour son travail de modérateur indépendant. Une fois converti en réals brésiliens, il considère que ce salaire est très bon et qu'il lui offre une certaine stabilité financière en échange de la nature exigeante de son travail.

© Shutterstock

Salaire pour avoir la paix -

Malgré une rémunération attrayante, Gael a constaté que le travail avec modération nuisait considérablement à son bien-être. "Une ou deux semaines après avoir démissionné et être passé à mon emploi actuel, je me suis senti beaucoup plus léger", a-t-il déclaré.

© Shutterstock

Adieu à la modération de contenu -

En réfléchissant à son expérience de modérateur de contenu, Gael l'a décrite comme une expérience difficile mais précieuse. Malgré cela, il a admis "ne pas vouloir recommencer", soulignant les défis et la pression émotionnelle qui accompagnent ce rôle.

Sources : (The New Yorker) (The Bureau of Investigative Journalism) (Crowd Intelligence Lab)

Découvrez aussi : Les applications de rencontre ont un impact sur votre cerveau ? 

© Shutterstock