Microsoft объяснила ложь и агрессию их чат-бота на основе нейросети

Microsoft наконец дала объяснения странному поведению интегрированного в поисковик Bing чат-бота ChatGPT. Ранее за ним заметили подмену фактов, а также агрессивное отношение к пользователям, если они указывали на эти ошибки со стороны нейросети. Так, компания признала, что чат-бот сталкивается с “проблемами при поиске ответов, которые требуют очень своевременных данных, например, прямых спортивных результатов”. Помимо прочего они обнаружили, что “при длительных, продолжительных сеансах чата из 15 и более вопросов Bing может повторяться или писать ответы, которые не всегда полезны, а также не соответствуют задуманному нами тону”. Они считают, что это связано с несколькими факторами: Очень длинные сеансы чата. Они могут запутать модель в том, на какие вопросы она отвечает, и поэтому в компании считают, что им, возможно, нужно добавить инструмент, позволяющий легче обновить контекст или начать с нуля. Модель иногда пытается отвечать или размышлять в том тоне, в котором ее просят дать ответы, что может привести к стилю ответа, “который мы не планировали”, отмечает компания. “Это нетривиальный сценарий … поэтому большинство из вас не столкнется с этим”. Компания пишет, что все еще дорабатывает новый инструмент, поэтому в последующем будет выходить больше обновлений, нацеленных на улучшение опыта использования ChatGPT в поисковике Bing.