L’IA peut-elle vaincre le Cyber-harcèlement ?

lia-peut-elle-vaincre-le-cyber-harcelement

Sur Internet, on peut tous donner notre avis, et c’est bien ! Mais le faire avec respect dans la dignité de chacun, c’est mieux !

Depuis quelques années, nous avons vu une déferlante de haine s’abattre sur les réseaux : commentaires haineux, harcèlement sexuel, revenge porn (publier un contenu à caractère pornographique sans le consentement de la personne), swatting (canular téléphonique qui fait passer la victime pour un terroriste), j’en passe et des meilleurs.

Sur les réseaux sociaux, la modération de contenus et principalement des commentaires, est assez restreinte. Mais c’était jusqu’à l’arrivé de Bodyguard. Non on parle pas de Kevin Costner mais d’une application de modération des commentaires sur Youtube et Twitter.

Bodyguard est une application mis au point par un jeune français de 22 ans qui détectent les commentaires haineux. Elle fonctionne grâce à une intelligence artificielle qui reproduit l’action de modération. L’application est gratuite et disponible sur l’Apple Store  et sur Google Play.

Charles Cohen, le créateur de l’app travaille sur ce projet depuis plus d’un an. Sans aucune data, il a dû faire un travail d’étiquetage pendant presque 3 mois ; c’est à dire, rentrer à la main tous les mots et phrases à caractère haineux en se basant sur des clashs twitter. Il dispose aujourd’hui d’une base de données de 500 000 commentaires classifiés.

Comment fonctionne cette technologie ?

Dans un premier temps, l’IA analyse des phrases et détecte les commentaires haineux, peu importe le langage et l’orthographe ou si l’utilisateur essaie de contourner Bodyguard.

Puis lors de la seconde phase, l’IA s’intéresse au contexte et prend une première décision : haineux ou pas haineux.

Exemples :

  • n’écoute pas connards qui disent que t’es une pute -> détecté comme non haineux par Bodyguard.
  • t’es une p uuuuuuuuuuuuu t e -> haineux.
  • j’suis grave un connard parfois -> non haineux.
  • t’es vraiment une groooooossssssssseeeeeeeeeeeeeeeeee ****** -> haineux
  • t mère c tlmnt 1 p*te -> haineux.

L’IA permet de retrouver tous les types de violences : menaces, harcèlement sexuel, moral, troll, moqueries, haine, homophobie, insultes, racisme…

La dernière phase, quant à elle, détermine la gravité des termes en fonction du profil de l’utilisateur. “Si l’utilisateur est homosexuel nous serons intransigeants avec l’homophobie, si l’utilisateur est un homme qui se maquille nous allons être bien plus sévères avec certaines remarques, si l’utilisateur a une différence physique (obésité, handicap), nous serons intransigeants sur les moqueries, etc… Nous nous adaptons également à l’âge : si l’utilisateur est très jeune, nous allons le protéger bien plus efficacement” nous explique le fondateur de l’app.

A partir de cette troisième étape, l’application peut faire la distinction entre un commentaire se voulant sur le ton de l’humour ou si il est haineux.

Exemples :

  • Mdr t’es un enculé 😂 -> non haineux selon l’utilisateur.
  • Montre nous tes fesses 😂 -> supprimé si l’utilisateur est une fille, conservé si l’utilisateur est un homme majeur.

L’IA ultime solution ?

On peut s’interroger sur les limites d’une intelligence artificielle de ce type. Certains utilisateurs mal-intentionnés pourraient s’en servir pour modérer seulement les commentaires positifs, élogieux etc, et donc a fortiori limiter la liberté d’expression des utilisateurs. On peut d’ailleurs penser aux faux avis de consommateurs, qui font grossir les notes des services et produits en ligne.

Une application de protection est un premier pas. Mais pour aller encore plus loin, le gouvernement, par la voix de Marlène Schiappa (secrétaire d’Etat chargée de l’Egalité entre les femmes et les hommes) propose de renforcer les condamnations pour cyber-harcèlement. Une proposition de loi devrait être faite en juin 2018.

 

Ludine Truchot

Le pôle des chefs de projet

La tribu aurait pu s’égarer si elle n’avait pas à sa tête ses deux merveilleux chefs de projet caméléon. Tout le long du projet, nos deux cameleon manager ont fait en sorte que tout se passe comme sur des roulettes. Le résultat que vous voyez ici est la somme du travail accompli par l’ensemble des groupes alors enjoy !