Ontem à noite, a Apple removeu temporariamente o Telegram da App Store porque um único usuário havia inserido conteúdo pornográfico ilegal em um grupo de bate-papo público.

O Telegram foi restaurado em poucas horas. Mas quero explicar o que aconteceu — para alertar outros desenvolvedores de aplicativos e ajudar a proteger as comunidades online de ataques semelhantes.

Como o Telegram remove rapidamente conteúdo ilegal de grupos públicos usando uma variedade de ferramentas de moderação, o atacante teve que recorrer a uma artimanha técnica. Ele inseriu conteúdo ilegal modificado por IA, editando uma mensagem antiga em um grupo de bate-papo ativo. Como resultado, o conteúdo foi efetivamente ocultado dos membros do grupo, impedindo-os de vê-lo e denunciá-lo prontamente.

O atacante era um extorsionista: alguém que exige resgate dos proprietários de grupos em troca de não atacar suas comunidades. Esses extorsionistas usam contas automatizadas para inserir conteúdo ilegal em grupos públicos e, em seguida, o denunciam diretamente à Apple, tentando forçar a remoção de comunidades legítimas cujos proprietários se recusaram a pagar.

Do ponto de vista prático, o conteúdo pornográfico ilegal em grupos públicos do Telegram não é um problema sistêmico. Nossa moderação é eficaz. O fato de que os atacantes precisam recorrer a conteúdo datado, efetivamente invisível, e outras artimanhas técnicas comprova isso.

No entanto, existem duas lições importantes para desenvolvedores de aplicativos e comunidades online:

— Os extorsionistas encontraram uma maneira de manipular a Apple para que reaja de forma exagerada. A Apple removeu o Telegram da App Store antes de entrar em contato conosco. Isso cria um risco sistêmico potencial para todos os aplicativos móveis que hospedam conteúdo gerado pelo usuário. Se um aplicativo usado por mais de um bilhão de pessoas pode ser removido da App Store sem aviso prévio, qualquer aplicativo pode.

— As táticas usadas pelos extorsionistas estão evoluindo, colocando comunidades em todas as plataformas de mídia social em risco. O Telegram tem vasta experiência na identificação das artimanhas usadas por grupos de denúncia coordenados e na proteção de comunidades legítimas (mesmo quando isso envolve o risco de que nosso próprio aplicativo seja temporariamente removido da App Store). Outras plataformas podem não estar igualmente preparadas.

Mantenham-se vigilantes!