Предвзятость ИИ Типичные системы модерации на базе ИИ в социальных сетях используют классификаторы машинного обучения для анализа сообщений, а также выявления и пометки контента, нарушающего правила платформы. Но машине сложно понять нюансы сарказма, сатиры и сленга. Кроме того, некоторые исследования (примеры здесь, здесь и здесь) показывают, что модерация ИИ может непропорционально затронуть маргинализированные группы. Без человеческого контроля ИИ может в конечном итоге наказать те самые сообщества, которые наиболее уязвимы к ненавистническому контенту, для борьбы с которым предназначены системы. Гилберт, который также является директором по исследованиям Лаборатории граждан и технологий Корнелла, говорит, что «маргинализированные и уязвимые группы населения относятся к числу тех, кто испытывает самые высокие показатели модерации, и что обычно это является результатом «ложных срабатываний», часто вызванных случаями контрречи, языкового восстановления и «реакцией на ненавистнический контент». “Ложные срабатывания - это проблема равенства