Компанія AMD представила свою першу мовну модель AMD-135M, яка належить до сімейства Llama. Вона орієнтована на персональне та комерційне використання і працює на принципі спекулятивного декодування.
Ця техніка передбачає використання невеликої чорнової моделі для створення набору токенів-кандидатів, які потім перевіряються більшою цільовою моделлю. Це значно знижує споживання пам'яті й підвищує швидкість обробки.
Нова модель доступна у двох версіях: AMD-Llama-135M та AMD-Llama-135M-code.
Базова модель AMD-Llama-135M була навчена з нуля на базі 670 млрд токенів загальних даних. Цей процес зайняв шість днів із використанням чотирьох вузлів на базі MI250. Модель AMD-Llama-135M-code у свою чергу була покращена завдяки донавчанню на базі додаткових 20 млрд токенів, що зайняло чотири дні на тому самому обладнанні.
AMD вважає, що подальша оптимізація може призвести до кращої продуктивності.
Таким чином, компанія прагне завоювати нові сегменти ринку, де її конкурент Nvidia ще не присутній.
Раніше Microsoft викотила останню версію своєї невеликої мовної моделі Phi-3.5. Вони розроблені, щоб бути високопродуктивними та економічними, перевершуючи моделі подібних і більших розмірів за різними бенчмарками в мові, міркуванні, кодуванні та математиці.
