Microsoft працює над новою ШІ-моделлю MAI-1 — вона набагато більша за попередні моделі компанії та має конкурувати з моделями від Google і навіть OpenAI. Про це пише The Information із посиланням на двох обізнаних співробітників компанії.
- Оскільки MAI-1 буде більшою, вона потребуватиме більше обчислювальних потужностей і навчальних даних, а отже, буде дорожчою. Проте, скільки це коштує, у статті не йдеться.
- Модель матиме приблизно 500 мільярдів параметрів. Для порівняння, GPT-4 від OpenAI має понад 1 трильйон параметрів, а менші моделі з відкритим кодом від Meta і Mistral — 70 мільярдів.
- Для навчання MAI-1 Microsoft виділила великий кластер серверів, оснащених графічними процесорами Nvidia. А також збирає навчальний матеріал для вдосконалення: туди входять дані, на яких раніше навчалися інші ШІ-моделі, загальнодоступна інформації з інтернету та текст, створений OpenAI GPT-4.
- MAI-1 — це поки внутрішня назва. Проєктом керує Мустафа Сулейман, колишній керівник відділу Google АІ, який донедавна обіймав посаду гендиректора стартапу Inflection. У березні Microsoft найняла більшість співробітників стартапу і заплатила $650 млн за права на його інтелектуальну власність.
- За інформацію джерел, MAI-1 — не перенесена з Inflection. Але може навчатися на їхніх навчальних даних.
Для чого створили MAI-1
Видання пише, що нині Microsoft «йде подвійним шляхом» у галузі ШІ. Тобто створює малі та недорогі мовні моделі, типу нещодавньої Phi-3, а також потужніші та сучасніші. Також це сигналізує про готовність компанії «прокласти новий шлях у ШІ, відмінний від технологій OpenAI». Нагадаємо, саме ШІ OpenAI зараз лежить в основі всіх чатботів Copilot у продуктах Microsoft.
Проте точна мета MAI-1 поки невідома. Треба спершу подивитися, наскільки добре вона працюватиме, сказали два співробітники компанії. За словами одного з них, Microsoft може представити нову модель уже на конференції для розробників Build наприкінці цього місяця. Усе залежно від того, наскільки добре розробка піде в найближчі тижні.