La modération de contenu est un exercice d'équilibre délicat pour les plateformes de médias sociaux qui tentent d'élargir leur base d'utilisateurs. Les grandes plateformes telles que Facebook et Twitter, qui tirent l'essentiel de leurs bénéfices de la publicité, ne peuvent pas se permettre de perdre des regards ou de l'engagement sur leurs sites. Pourtant, ils subissent d'énormes pressions publiques et politiques pour mettre fin à la désinformation et supprimer les contenus préjudiciables. Pendant ce temps, les petites plateformes qui répondent à des idéologies particulières laisseraient plutôt régner la liberté d'expression.

Dans leur article à paraître, intitulé "Implications of Revenue Models and Technology for Content Moderation Strategies", les professeurs de marketing de Wharton, Pinar Yildirim et Z. John Zhang, et le candidat au doctorat de Wharton, Yi Liu, montrent comment la stratégie de modération de contenu d'une entreprise de médias sociaux est principalement influencée par son modèle de revenus. Une plateforme sous publicité est plus susceptible de modérer son contenu qu'une sous abonnement, mais elle modère moins agressivement que cette dernière lorsqu'elle le fait. Dans l'essai suivant, les auteurs discutent de leur recherche et de ses implications pour les décideurs politiques qui souhaitent réglementer les plateformes de médias sociaux.

Chaque jour, des millions d'utilisateurs à travers le monde partagent leurs opinions diverses sur les plateformes de médias sociaux. Toutes ces vues ne sont pas en harmonie. Certains sont considérés comme offensants, nuisibles, voire extrêmes. Avec des opinions diverses, les consommateurs sont en conflit :d'une part, ils veulent exprimer librement leurs opinions sur les problèmes politiques, sociaux et économiques en cours sur les plateformes de médias sociaux sans intervention et sans se faire dire que leurs opinions sont inappropriées. D'un autre côté, lorsque d'autres expriment librement leurs opinions, ils peuvent considérer certains de ces contenus comme inappropriés, insensibles, nuisibles ou extrêmes et souhaiter qu'ils soient supprimés. De plus, les consommateurs ne sont pas toujours d'accord sur les publications répréhensibles ou sur les actions que les plateformes de médias sociaux doivent entreprendre. Selon une enquête de Morningconsult, par exemple, 80 % des personnes interrogées souhaitent que les propos haineux, tels que les messages utilisant des insultes contre un groupe racial, religieux ou sexuel, soient supprimés, 73 % souhaitent que les vidéos illustrant des crimes violents soient supprimées, et 66 % souhaitent que les représentations d'actes sexuels soient supprimées.

Les plateformes de médias sociaux sont confrontées au défi d'agir en tant que gardiens d'Internet, tout en étant en même temps le centre de l'expression de soi et du contenu généré par les utilisateurs. En effet, les efforts de modération de contenu consomment des ressources importantes des entreprises. À lui seul, Facebook s'est engagé à allouer 5% des revenus de l'entreprise, 3,7 milliards de dollars, à la modération de contenu, un montant supérieur à l'ensemble des revenus annuels de Twitter. Pourtant, ni les consommateurs ni les régulateurs ne semblent satisfaits de leurs efforts. Sous une forme ou une autre, les entreprises doivent décider comment modérer le contenu pour protéger les utilisateurs individuels et leurs intérêts. Les contenus sensibles doivent-ils être retirés d'Internet ? Ou la liberté d'expression devrait-elle régner librement, indiquant que chacun est libre de publier ce qu'il veut, et que c'est la décision du consommateur d'adhérer ou de ne pas participer à ce monde de liberté d'expression ? Supprimer le contenu de quelqu'un réduit le plaisir de cet utilisateur (et de certains autres utilisateurs) du site, tout en ne le supprimant pas peut également offenser les autres. Therefore, in terms of a social media platform's economic incentives, content moderation can affect user engagement, which ultimately can affect the platform's profitability.

Moderating Content, Maximizing Profits

In our forthcoming paper, "Implications of Revenue Models and Technology for Content Moderation Strategies," we study how social media platforms driven by profits may or may not moderate online content. We take into account the considerable user heterogeneity and different revenue models that platforms may have, and we derive the platform's optimal content moderation strategy that maximizes revenue.

When different social media platforms moderate content, the most significant determinant is their bottom line. This bottom line may rely heavily on advertising, or delivering eyeballs to advertisers, or the subscription fees that individual consumers are paying. But there is a stark contrast between the two revenue models. While advertising relies on delivering many, many eyeballs to advertisers, subscription revenues depend on being able to attract paying customers. As a result of the contrast, the content moderation policy in an effort to retain consumers also looks different under advertising vs. subscription. Social media platforms running on advertising revenue are more likely to conduct content moderation but with lax community standards in order to retain a larger group of consumers, compared to platforms with subscription revenue. Indeed, subscription-based platforms like Gab and MeWe are less likely to do content moderation, claiming free speech for their users.

A second important factor in content moderation is the quality of the content moderation technology. A significant volume of content moderation is carried out with the help of computers and artificial intelligence. Why, then, do social media executives claim the technology is not sufficient? When asked about content moderation, most executives at Facebook emphasize that they care a lot about content moderation and allocate large amounts of firm revenue to the task.

We find that a self-interested social media platform does not always benefit from technological improvement. In particular, a platform whose main source of revenue is from advertising may not benefit from better technology, because less accurate technology creates a porous community with more eyeballs. This finding suggests that content moderation on online platforms is not merely an outcome of their technological capabilities, but their economic incentives.

The findings from the paper overall cast doubt on whether social media platforms will always remedy the technological deficiencies on their own. We take our analysis one step further and compare the content moderation strategy for a self-interested platform with that for a social planner, which is a government institution or similar acting body that sets rules for the betterment of societal welfare. A social planner will use content moderation to prune any user who contributes negatively to the total utility of society, whereas a self-interested platform may keep some of these users, if it serves its interests. Perhaps counter to lay beliefs, we find that a self-interested platform is more likely to conduct content moderation than a social planner, which indicates that individual platforms have more incentives to moderate their content compared to the government.

However, more incentives do not mean right incentives. When conducting content moderation, a platform under advertising will be less strict than a social planner, while a platform under subscription will be stricter than a social planner. Moreover, a social planner will always push for perfect technology when the cost of developing technology is not an issue. Only a platform under subscription will have its interest aligned with a social planner in perfecting the technology for content moderation. These conclusions overall demonstrate that there is room for government regulations, and when they are warranted, they need to be differentiated with regard to the revenue model a platform adopts.