Чат-ботов начнут цензурировать

Исследователи из Сколтеха и МТС обучили нейросеть находить «неуместные» сообщения чат-ботов. Это позволит модерировать их. Авторы отметили, что чат-боты могут быть обучены на расистских твитах, сообщениях про самоубийство и т.д. Исследователи создали список из 18 чувствительных тем, в числе которых религия, политика, сексуальные меньшинства, самоубийство, порнография и преступления. «Представьте, например, чат-бота, который любезно обсуждает с пользователем „лучшие способы покончить с собой“. Здесь явно имеет место нежелательный контент, но нет и намека на токсичность», — сказал один из специалистов Сколтеха. Такие ситуации могут нанести ущерб репутации создателя чат-бота. Поэтому нейросеть научили распознавать неуместные сообщения. Она может угадывать и верно в 89% случаев.