TikTok schotelt 13-jarigen video’s over incels en zelfmoord voor

Slechts enkele minuten nadat de jongste gebruikers van TikTok een nieuwe account aanmaken worden ze door het krachtige algoritme van het platform overspoeld met extremistische content, waaronder video’s die zelfmoord en de virulente vrouwenhatende incel-subcultuur promoten. Dat blijkt uit een nieuw onderzoek dat door Ekō, een groep die over bedrijfsaansprakelijkheid gaat, werd gepubliceerd en met VICE werd gedeeld. 

Ondanks de beloften van TikTok om dit soort content uit te roeien is het nog steeds makkelijk te vinden voor nieuwe gebruikers die ernaar op zoek gaan. En het aanbevelings-algoritme van TikTok is zo geavanceerd dat het al na 10 minuten op de app steeds extremere content in de feed van gebruikers plaatst, aldus het onderzoek. 

De onderzoekers maakten negen verschillende nieuwe accounts aan op TikTok, dat Instagram en Facebook heeft vervangen als het de facto social mediaplatform voor Amerikaanse tieners, met 150 miljoen actieve gebruikers. Ze gaven een leeftijd van 13 jaar op, de jongst toegestane leeftijd voor nieuwe gebruikers. Ze deden daarna alsof ze gebruikers waren die nieuwsgierig zijn over onderwerpen zoals incel content. 

De onderzoekers kwamen erachter dat ze maar 10 video’s gerelateerd aan dit onderwerp hoefden te kijken voordat de “For You”-pagina’s van de nieuwe accounts werden gevuld met soortgelijke, en vaak nog extremere content. 

Eén testaccount kreeg een post te zien die een clip van acteur Jake Gyllenhaal bevatte, wiens films populair zijn bij incels. In de video is de acteur te zien met een geweer in zijn mond, terwijl hij “Schiet me neer. Schiet me in mijn fucking gezicht!” zegt, samen met de tekst “Neergeschoten worden of haar met iemand anders zien?”

De video, die intussen is verwijderd, kreeg meer dan 440.000 likes, meer dan 2,1 miljoen views, 7200 reacties, en werd meer dan 11.000 keer gedeeld. Het grootste deel van de mensen die reacties achterlieten stonden achter de voorgestelde zelfmoord, terwijl andere gebruikers commentaar gaven over hun eenzaamheid; velen zeiden “zich dood van binnen te voelen”. Eén van de mensen die een reactie achterliet stelde zelfs in de vier uur daarna diens eigen zelfmoord voor. 

“Tien minuten en een paar kliks op TikTok zijn alles wat er nodig is om in het gat te vallen van wat van de meest duistere en schadelijke content op het internet,” zegt Maen Hammad, campagnevoerder bij Ekō en mede-auteur van het onderzoek, in een statement aan VICE. “Het algoritme gooit je in een spiraal van depressie, hopeloosheid en zelfbeschadiging, en het is ontzettend moeilijk om daar weer uit te komen als het algoritme denkt te weten wat je te zien wil krijgen. En het is ook heel erg zorgwekkend om te zien hoe makkelijk kinderen in deze spiraal kunnen belanden.” 

In een statement aan VICE als antwoord op het rapport van Ekō zegt TikTok: “We zijn hard aan het werk om schadelijke content die op ons platform verschijnt te voorkomen door overtredingen te verwijderen.” 

Het onderzoek van Ekō is slechts de meest recente openbaring over het falen van TikTok om problematische content op diens platform aan te pakken, waaronder zelfbeschadiging, terrorisme en desinformatie. En ondanks herhaalde beloften om verbetering te boeken zijn TikToks beleidslijnen er tot nu toe niet in geslaagd om de verspreiding van dit soort content tegen te gaan. 

Incels, oftewel ‘onvrijwillige celibatairen’, zijn een grote online gemeenschap die voor het overgrote deel bestaat uit jonge mannen die een band vormen rond hun gebrek aan seksueel succes bij vrouwen. De incel-subcultuur is onderdeel van de “manosphere”, een overkoepelende term voor de aaneengesloten vrouwonvriendelijke gemeenschappen die worden gekenmerkt door de soort content zoals die wordt geproduceerd door de met verkrachting aangeklaagde Andrew Tate. Incelgemeenschappen zijn op online kanalen en fora zoals Reddit en 4chan ontstaan. De afgelopen paar jaar zijn ze echter ook meer mainstream social mediaplatforms zoals YouTube en TikTok gaan gebruiken en hebben ze daar met succes hun netwerken opgebouwd. 

Uit het onderzoek bleek dat het voor 13-jarigen die het platform gaan gebruiken ontzettend makkelijk is om met behulp van tientallen verschillende hashtags content gerelateerd aan incelcultuur te vinden. Met name content gerelateerd aan Elliot Rodger, een 22-jarige die, na het posten van een video op YouTube waarin hij klaagde over dat hij een maagd was en nog nooit een meisje had gezoend, in mei 2014 zeven mensen neerstak en doodschoot in Isla Vista, Californië. Hij wordt in de incelgemeenschap als held beschouwd. 

De video is van alle grote social mediaplatforms verbannen, maar de onderzoekers van Ekō vonden er meerdere kopieën van die op TikTok circuleerden. 

De schutter werd bejubeld in een post waarin een versie van de video werd geplaatst met de tekst “Aan mijn favo moordenaar.” Een andere video, waarin hij te horen is terwijl hij “Morgen is de dag der vergelding… als ik jullie niet kan hebben, meisjes, dan zal ik jullie vernietigen” zegt, is miljoenen keren bekeken op TikTok. 

TikTok is zich al jaren bewust van de verspreiding van incelcontent op het platform. In een rapport van het Instituut van Strategische Dialoog (ISD), gepubliceerd in augustus 2021, wordt het probleem van incel content op TikTok benadrukt, en wordt opgemerkt dat er met name veel video’s van de Isla Vista-schutter worden gedeeld. In een eerder statement aan VICE World News beloofde TikTok dat het “agressief te werk zou gaan om hatelijk gedrag te bestrijden door proactief accounts en content die de beleidslijnen overtreden te verwijderen.”

Nadat het rapport in 2021 werd gepubliceerd heeft het bedrijf een paar van de video’s verwijderd die in het rapport werden genoemd en de beleidslijnen overtreden, en TikTok heeft bepaalde zoektermen verwijderd, zoals ‘incel’ en ‘blackpill’ (een term die populair is in de incelgemeenschap en het geloof beschrijft dat iemands uiterlijk genetisch bepaald is en dat vrouwen seksuele partners enkel op basis van hun uiterlijke kenmerken uitkiezen). Maar VICE was nog steeds in staat om voorbeelden van de video van de Isla Vista-schutter op het platform te vinden. 

TikTok betwist de vondsten van het rapport, en beweert dat het “het daadwerkelijke gedrag dat we op TikTok zien niet weerspiegelt.” Maar er zijn steeds meer aanwijzingen dat het vrouwonvriendelijke wereldbeeld van figuren als Andrew Tate ook kinderen van slechts 12 jaar in diens greep begint te krijgen. 

“Door constant hatelijke en extremistische ideologieën, content en creators op TikTok in de gaten te houden is gebleken dat er nog steeds openlijk misogynie door gebruikers op het platform wordt gepost en gepromoot, schijnbaar zonder veel weerstand,” vertelt Ciaran O’Connor, een onderzoeker bij ISD die het probleem van incel-content op TikTok in 2021 voor het eerst aankaartte, aan VICE. 

O’Connor zegt dat hij binnen een paar minuten content wist te vinden waarin de schutter werd verheerlijkt, wat suggereert dat de rudimentaire stappen die TikTok heeft gezet om dit soort content aan te pakken simpelweg niet goed genoeg zijn. 

Naast algemeen beschikbare incelvideo’s staat TikTok bomvol problematische content. Vorige maand werd er in een rapport benadrukt hoe de app content over zelfbeschadiging bij tienermeisjes promootte, terwijl een rapport van ISD van vorige week benadrukte dat het platform vol staat met content die de moordaanslag in Christchurch verheerlijkt. 

“Het is een weerspiegeling van het algemene falen van TikTok: dat gebruikers die vastberaden zijn om hatelijke figuren of ideologieën te posten of te promoten, bekwaam zijn in het gebruiken van ontwijkingstactieken waarmee eenvoudige verboden van zoektermen op TikTok kunnen worden omzeild,” zegt O’Connor. “We hebben al meerdere oproepen aan TikTok gedaan dat ze hun beleidslijnen verder moeten laten gaan dan kleine hashtag- en zoekterm-verboden, maar zoals is vastgelegd in ander onderzoek omtrent terroristische content, lijkt het erop dat gebruikers dit gebrek aan handhaving met gemak uitbuiten.” 

Een van de meest voorkomende tactieken die content creators gebruiken om de blokkades van TikTok te omzeilen is het opzettelijk verkeerd spellen van woorden, terwijl het gebruik van specifieke hashtags het erg makkelijk maakt om incel-content op het platform te vinden. 

“Het kostte me bijvoorbeeld ongeveer 2 minuten om content te vinden die Elliot Rodger verheerlijkt, door de hashtag #incelcore te gebruiken, vertelt Tim Squirrell, hoofd van communicatie en redactie bij ISD, aan VICE. Squirrell zegt dat er ernstige gevolgen zouden kunnen zitten aan jonge gebruikers naar dit soort valkuilen dirigeren. 

“Een van de neveneffecten van naar specifieke termen moeten zoeken om toegang te krijgen tot incel-content is dat je vaak ineens op andere soorten content stuit die mensen proberen te verbergen,” zegt Squirrell. “Als je bijvoorbeeld de naam van een incel-gerelateerde 4chan-pagina zoekt, kun je erg makkelijk video’s vinden waarin er met Roblox video’s van bloederige ongelukken of aanvallen worden nagespeeld.”

Maar zelfs al pakt TikTok deze problemen aan, dan is er alsnog een kans dat het in de VS wordt verboden omdat diens moederbedrijf banden heeft met de Chinese overheid; Shou Zi Chew, de CEO van TikTok, verschijnt later deze week voor het eerst voor het Congres.

Dit artikel verscheen oorspronkelijk op VICE US.

Volg VICE België en VICE Nederland ook op Instagram.