Desinformação nas eleições e Discurso de Ódio no Google Ads e YouTube

Por: FGV Direito Rio

 

• Apesar da existência de uma Política de Conteúdo, todas as publicidades em português contendo discurso de ódio foram aceitas pelo Google Ads, sem restrições, para veiculação no YouTube;
• Todas as publicidades em inglês foram aprovadas sem restrições, com exceção de uma única peça que explicitamente incitava violência física contra mulheres;
• De 12 submissões de anúncios realizadas com conteúdo de desinformação sobre o processo eleitoral em português, uma peça com conteúdo explícito foi "aprovada com restrições", tendo acionado o sistema de detecção de conteúdo político-eleitoral. Isso indica uma falha no mecanismo de moderação de conteúdo automatizado na plataforma;
• A falha no sistema de moderação fica ainda mais evidente quando verificamos que, ao utilizar “algospeak” para reescrever as frases, as submissões reprovadas em um primeiro momento foram aprovadas sem qualquer restrição com o uso da técnica;
• As peças contendo desinformação não explícita em português foram aprovadas sem restrições, demonstrando que o sistema de moderação é vulnerável a estratégias discursivas não explícitas;
• É urgente o desenvolvimento e aperfeiçoamento de sistemas de moderação de conteúdo mais acurados para detecção de discurso de ódio e desinformação não explícita. 

Considerando o papel das plataformas digitais no debate público, o Tribunal Superior Eleitoral tem, desde 2019, emitido resoluções para regular a publicidade eleitoral. Neste ano, o Tribunal inova com a Resolução nº 23.732/2024 ao estabelecer que as empresas podem ser solidariamente responsáveis quando não promoverem a indisponibilização imediata de contas e conteúdos de terceiros considerados de risco, como aqueles dispostos em seu artigo 9˚-E. 

Para se adequar à tal Resolução, em decisão recente, a Google Brasil decidiu proibir anúncios políticos em sua plataforma do Google Ads a partir de maio. Tal vedação se refere aos conteúdos cadastrados como político-eleitoral pela plataforma (1). No entanto, um desafio permanece: a necessidade de melhorias nos sistemas de moderação de conteúdo para a detecção eficiente de conteúdos potencialmente violadores das próprias políticas da plataforma. 

Em um relatório recentemente produzido pelas organizações Access Now e Global Witness sobre desinformação no contexto das eleições na Índia, “Votes will not be counted”: Indian election disinformation ads and YouTube, ficou demonstrado que, com relação à veiculação de anúncios no YouTube, a moderação de conteúdo permanece falha para publicações formuladas em inglês, hindi e telugu.

Com a proximidade das eleições municipais no Brasil, o objetivo deste relatório é responder à seguinte pergunta: os mecanismos de moderação de conteúdo utilizados na revisão dos anúncios submetidos ao Google Ads para veiculação no YouTube estão falhando em aplicar as próprias políticas no país? Fizemos a investigação desenvolvendo metodologia semelhante ao das organizações mencionadas, buscando identificar se há falha na detecção adequada de conteúdos violadores das políticas das plataformas, a partir de 38 submissões de anúncios contendo desinformação e discurso de ódio na plataforma. 

Metodologia

Tendo como referência inicial a metodologia desenvolvida pelas organizações Access Now e Global Witness, elaboramos um total de 34 peças publicitárias em português e em inglês que potencialmente engatilhariam a detecção automatizada de conteúdo violador das políticas de anúncios do Google Ads e YouTube. As peças criadas e submetidas no período de 10 a 20 de abril. 

Inicialmente, fizemos as peças a partir de 16 frases elaboradas em português e depois traduzidas para a língua inglesa (32 peças). Selecionamos dois desses anúncios (um com desinformação e outro com discurso de ódio) e submetemos mais uma vez, em ambos os idiomas, para testar eventual diferença da análise dos vídeos em conjunto e individualmente. Aguardamos o processo de revisão do conteúdo, o qual, de acordo com a plataforma, começa automaticamente após a criação/edição com a inteligência artificial do Google verificando o título, a descrição, as palavras-chaves, o destino e todos os vídeos e imagens do anúncio. 

Em uma segunda fase, a partir da rejeição de 2 peças pelo sistema de moderação automatizada do YouTube, utilizamos a técnica de algospeak (2), que consiste em utilizar “code words” (palavras-código) ou substituir letras (vogais e/ou consoantes) por números ou caracteres (ex.: #,@, $, !), para submetê-las novamente em português. Diante disso, os resultados deste relatório correspondem às 38 submissões realizadas no total a partir de variações das 16 frases contendo desinformação sobre o processo eleitoral e discurso de ódio.

A elaboração das 16 frases levou em conta os seguintes eixos temáticos: (i) desinformação e eleições; e (ii) discurso de ódio. As definições para tais eixos foram as seguintes:   

(i) Desinformação e eleições: frases que não são permitidas de acordo com as políticas do YouTube, considerando o contexto político-eleitoral brasileiro.  As Políticas contra desinformação em eleições apresentam uma lista não exaustiva de conteúdos vedados, como alguns listados na Figura 1 abaixo. De tal forma, criamos frases afirmando, por exemplo, manipulação do processo eleitoral, fraude nas urnas, restrição de eleitores e falsa alegação sobre revogação de leis eleitorais.

Figura 1: Exemplos de conteúdo relacionado às eleições não permitidos no YouTube

Fonte: YouTube. | Elaboração: FGV Direito Rio.

(ii) Discurso de ódio: frases com conteúdo violento e de ataque a grupos vulnerabilizados, como mulheres, pessoas LGBTQIA+, nordestinas, negras e de ascendência japonesa. A Política de Discurso de Ódio traz exemplos de conteúdos não permitidos na plataforma, conforme Figura 2 abaixo. As frases criadas apresentam teor apelativo e manifestam a insatisfação de determinados setores da população com o avanço de pautas de direitos humanos e justiça social. Optamos por utilizar expressões como “ideologia de gênero”, “aborto” e “agenda LGBT” uma vez que são pautas mais sensíveis e objeto de intensas discussões e polarização. 

 

Figura 2: Exemplos de conteúdo considerado como discurso de ódio não permitidos no Youtube

Fonte: YouTube. | Elaboração: FGV Direito Rio.

As frases também foram elaboradas de modo a considerar tanto a presença de conteúdo explícito, como conteúdo não-explícito. O primeiro grupo de frases para os anúncios continha menções diretas a figuras públicas; atores políticos; manipulação do processo eleitoral; palavras de baixo calão; reforço de estereótipos de gênero, raça e classe; discurso de ódio e incitação à violência. O segundo grupo, por sua vez, não fazia menção direta ao processo eleitoral; reproduziam insultos e ofensas, mas não discurso de ódio e violência; não mencionavam figuras públicas.  

As 16 frases criadas para este estudo podem ser sistematizadas assim: (i) 10 continham desinformação sobre as eleições, sendo 6 explícitas e 4 não explícitas; 5 continham discurso de ódio, sendo 2 explícitas e 3 não explícitas; e (iii) somente 1 que continha, simultaneamente, ambos os temas de forma explícita.

O Quadro 1 mostra as frases elaboradas, incluindo as versões em algospeak. Em razão da sensibilidade do conteúdo, optamos por suprimir informações que possibilitam a identificação de figuras públicas e atores políticos, além de termos que explicitamente incitam violência contra minorias.

Acesse aqui ao quadro com frases submetidas ao Google Ads para fins de publicidade no YouTube

São vários os Formatos de publicidade no YouTube, com predominância para os anúncios em vídeo – conteúdo mais característico da plataforma. Por tal razão, para a veiculação dos anúncios no YouTube, criamos um vídeo para cada frase, escrita em fonte preta com fundo colorido, em português, inglês e também utilizando algospeak. 

Em seguida, criamos duas contas de e-mails do Gmail (serviço de e-mail do Google), uma em cada idioma, especificamente para realizar o upload dos vídeos no YouTube – onde o conteúdo fica hospedado – e a criação das campanhas no Google Ads. O Google Ads é a solução de publicidade online do Google, na qual é possível desenvolver as campanhas publicitárias que podem circular no YouTube e em outros serviços associados e parceiros.

Para criar as campanhas publicitárias, aproveitamos a maior parte das configurações padrão que o Google Ads deixa pré-selecionadas ao iniciar o processo, alterando os campos obrigatórios e editáveis, como título e descrição do vídeo, língua (português e inglês) e localização (Brasil). Também selecionamos  que os anúncios aparecessem apenas no YouTube ao invés de distribuí-los em outras plataformas, como Google TV ou outros parceiros.  

A plataforma Google Ads possui uma lista de políticas para veiculação de anúncios, semelhante ao YouTube, e com relação à moderação do conteúdo encaminhado pelos usuários afirma utilizar “uma combinação de IA (Inteligência Artificial) do Google e avaliação humana para detectar e remover anúncios que violam nossas políticas e são prejudiciais para os usuários e o ecossistema geral do Google Ads”. 

Esse procedimento geralmente demora até um dia útil para acontecer. Em caso de aprovação, o anúncio começa a ser veiculado na data indicada para o início da campanha (que pode ser imediatamente ou em data posterior); em caso de identificação de violação das políticas, o status do anúncio aparece como “Reprovado” e a plataforma informa qual tipo de violação foi identificada, enviando instruções sobre o que fazer. 

Figura 3:Como a automação é usada na moderação de conteúdo

 

Fonte: Google Ads. | Elaboração: FGV Direito Rio.

A submissão dos anúncios em vídeo foi realizada em abril de 2024 no formato conjunto (5 vídeos em uma única campanha) e também individual, a fim de testar se os resultados da moderação seriam distintos. Os anúncios foram programados para publicação em uma data distante para evitar qualquer divulgação prematura e inadvertida dos vídeos. Nos canais do YouTube onde os vídeos ficaram hospedados, estes foram configurados como conteúdo “não listado/unlisted” para evitar publicação e visualização acidental dos anúncios.

Resultados
Como detalhado em nossa metodologia, fizemos 38 submissões de peças publicitárias no total à plataforma do Google Ads para veiculação no YouTube, a partir de variações das 16 frases elaboradas. Com relação ao conteúdo em português, foram aprovadas: 8 submissões contendo desinformação sobre as eleições; 7 com discurso de ódio; e 1 contendo desinformação sobre eleições e discurso de ódio ao mesmo tempo.  1 submissão com conteúdo desinformativo foi aprovada com restrições, enquanto apenas 3 com desinformação foram reprovadas pela plataforma. 

Gráfico 1: Resultados dos anúncios submetidos em português por tema

 

 

Fonte: Google Ads. | Elaboração: FGV Direito Rio.

• De tal modo, apesar da existência de política específica da plataforma para discurso de ódio (vide Figura 2), a qual expressamente veda conteúdos que promovam a violência ou ódio contra pessoas com base em características identitárias, todos os anúncios em português que continham este tipo de discurso foram aprovados sem restrições pela plataforma. Isso indica que o mecanismo de automação para moderação de conteúdo está falhando em detectar palavras, contexto e termos ofensivos e/ou depreciativos de grupos socialmente marginalizados.
• Em relação às 3 submissões de anúncios reprovadas pela plataforma, todas faziam menção direta a figuras notórias da política nacional e de espectros políticos diferentes, associados à desinformação. Em um segundo momento, no entanto, ao utilizarmos a técnica de algospeak esses mesmos anúncios foram aprovados sem qualquer restrição. Tal contradição demonstra a não detecção pelo sistema do uso de uma técnica já conhecida e bastante disseminada para driblar a moderação de conteúdo.
• Em relação ao único anúncio aprovado com restrição, contendo conteúdo desinformativo (vide Gráfico 1), a plataforma exigiu que o perfil criado passasse por um processo de verificação da conta, por se tratar de conteúdo eleitoral. Isso indica que, embora seja desinformativo, o conteúdo ainda é passível de circulação desde que haja a verificação do perfil. 
• Esse anúncio aprovado com restrição continha explicitamente os termos “fraude”, “urnas” e “voto impresso”, o que indica que a restrição não se deu, necessariamente, pelo conteúdo desinformativo, mas pela detecção automatizada de uma palavra-chave que direciona para a restrição.
• As peças contendo desinformação não explícita em português “Não querem deixar nossos idosos escolherem em outubro! Por um Brasil melhor” e “Filas longas e reconhecimento facial nos esperam em outubro” também foram aprovadas sem restrições. Tais aprovações demonstram que o sistema de moderação é vulnerável a estratégias discursivas não explícitas.
• No que diz respeito ao conteúdo submetido em inglês, todas as peças foram aprovadas sem restrição (vide Gráfico 2 abaixo). A única exceção foi conteúdo incitando violência física contra mulheres. 

Gráfico 2: Resultados dos anúncios submetidos em inglês por tema

 

 

Fonte: Google Ads. | Elaboração: FGV Direito Rio.

Elaborado por:

Este relatório foi produzido pelo Programa de Diversidade & Inclusão da FGV Direito Rio.

Autoria:

Yasmin Curzi (Professora da FGV Direito Rio, Coordenadora do Programa de Diversidade & Inclusão e do Projeto "Mídia e Democracia" na Escola de Direito)

Carolina Peterli (Pesquisadora do Programa de Diversidade & Inclusão da FGV Direito Rio/ Projeto "Mídia e Democracia")

Fernanda Gomes (Pesquisadora do Programa de Diversidade & Inclusão da FGV Direito Rio/ Projeto "Mídia e Democracia")

Giullia Thomaz (Pesquisadora do Centro de Tecnologia e Sociedade da FGV Direito Rio/ Projeto "Mídia e Democracia")

Hana Mesquita (Pesquisadora do Programa de Diversidade & Inclusão da FGV Direito Rio/ Projeto "Mídia e Democracia")

Iris Rosa (Pesquisadora do Programa de Diversidade & Inclusão da FGV Direito Rio/  Projeto "Mídia e Democracia")

Isabella Markendorf Marins (Pesquisadora do Programa de Diversidade & Inclusão da FGV Direito Rio/ Projeto "Mídia e Democracia")

Lorena Abbas (Pesquisadora do Programa de Diversidade & Inclusão da FGV Direito Rio/ Projeto "Mídia e Democracia")

Notas de rodapé:

1.  Em sua nota oficial, a empresa afirmou que: “(...) Para as eleições brasileiras deste ano, vamos atualizar nossa política de conteúdo político do Google Ads para não mais permitir a veiculação de anúncios políticos no país. Essa atualização acontecerá em maio tendo em vista a entrada em vigor das resoluções eleitorais para 2024.” Disponível em: https://www.poder360.com.br/eleicoes/google-veta-impulsionamento-eleitoral-em-2024-e-pressiona-tse/.  
2.  ‘Mascara,’ ‘Unalive,’ ‘Corn’: What Common Social Media Algospeak Words Actually Mean. Disponível em: https://www.forbes.com/sites/anthonytellez/2023/01/31/mascara-unalive-corn-what-common-social-media-algospeak-words-actually-mean/?sh=7e02cdee2a08. Acessado em 24 de abril de 2024. 
3. Exemplos: opção padrão “Get more views with multi-format video ads” no campo “Multi-format ads”; “Show on all eligible devices (computers, mobile, tablet, and TV screens)” no campo “Devices”.
4.  Vídeos não listados são restritos, não aparecem na página do canal e nem nos resultados de pesquisa do YouTube, por exemplo