Американський виробник чипів Nvidia презентував сімейство ШІ-моделей NVLM 1.0 з відкритим кодом, що може конкурувати з провідними пропрієтарними моделями — про це виробник пише у своєму блозі.

Флагманська модель сімейства NVLM-D-72B має 72 мільярди параметрів і показує хороші результати як у візуальних, так і в текстових завданнях.

Найкращий результат модель отримала в категорії OCRBench — 853, що вказує на чудові здібності NVLM 1.0 в оптичному розпізнаванні символів. Другий найкращий результат у розумінні природних зображень — VQAv2. У цій категорії він досягає 85.4, що краще за показники GPT-4V та Gemini 1.5 Pro.


Хороші показники NVLM-D-72B має також у розумінні діаграм і графіків — AI2D. Результат 94,2 на рівні з провідною GPT-4о, але поступається Llama 3–76В і Claude 3.5 Sonnet (94.7).

Nvidia на прикладах показує можливості своєї моделі. На основі інструкцій вона детально описала зображення СЕО компанії Дженсеном Хуангом і змогла ідентифікувати його.


Модель пояснила, у чому гумор мему, різницю між зображеннями, зробила математичні міркування на основі рукописного тексту тощо.

Нагадаємо, у червні Nvidia представила Project G-Assist, помічника на базі штучного інтелекту, що орієнтований на геймерів. Він здатний оцінювати те, що відбувається на екрані комп’ютера та розуміти контекст, а також «може запропонувати переможну тактику в грі».

А на початку лютого — новий інструмент Chat with RTX, який є багатообіцяльним чатботом зі штучним інтелектом, що може працювати без інтернету та аналізувати відео на YouTube.

Випуск Nvidia NVLM 1.0 як відкриту модель, що може кардинально змінити галузь штучного інтелекту, пише VentureBeat.

Чому це цікаво

  • Це важливий крок, оскільки він може змусити інших технологічних гігантів також відкривати свої дослідження, що прискорить розвиток штучного інтелекту.
  • Водночас зростають ризики зловживання цією технологією, тому перед AI-спільнотою постає завдання знайти баланс між інноваціями та етичною відповідальністю.
  • Також випуск NVLM 1.0 може змінити бізнес-моделі компаній, адже коли найсучасніші технології стають доступними безкоштовно, їм потрібно шукати нові способи залишатися конкурентними.