Французький ШІ-стартап Mistral запускає API модерації контенту для користувачів. Компанія використовує його для модерування в своєму Le Chat, йдеться у блозі. Клієнти стартапу зможуть адаптувати його для своїх програм і стандартів безпеки.
Йдеться, що модель є багатомовною і, зокрема, навчена працювати з арабською, китайською, англійською, французькою, німецькою, італійською, японською, корейською, португальською, російською, іспанською, французькою та англійською мовами.
API можна використовувати як для необробленого тексту, так і для розмовного контенту. Він працює на основі точно налаштованої моделі Ministral 8B і навчений класифікувати вхідні дані за дев’ятьма категоріями.
«За останні кілька місяців ми спостерігаємо зростаючий ентузіазм в індустрії та дослідницькому співтоваристві щодо нових систем модерації на основі LLM, які можуть допомогти зробити модерацію більш масштабованою та надійною в різних додатках», — кажуть у Mistral.
Системи модерації на основі ШІ корисні. Але вони також схильні до тих самих упереджень і технічних недоліків. Наприклад, деякі моделі, навчені виявляти токсичність, вважають фрази афроамериканською народною англійською мовою (AAVE), якою користуються деякі чорношкірі американці, непропорційно «токсичними» — пише TechCrunch.
