Неискусственный интеллект

AMD покупает грабли❓ AMD купила торонтский стартап Taalas. Компания основана в 2023 году выходцами из AMD и Tenstorrent, сумма сделки не раскрыта. Чем интересен Taalas? Они переносят LLM в чип. Веса модели хранятся не в HBM, а в mask-ROM, под KV-кэш и адаптеры дообучения отведена отдельная SRAM-область. Компания называет это model-specific integrated circuit: один чип под одну модель. Тестовый HC1 на 6nm TSMC выдал в феврале 16 960 токенов в секунду на Llama 3.1 8B, второе поколение HC2 обещают на 20 млрд параметров на чип. Taalas, по сути, занимается тем, что и Etched, только в предельной форме. Etched запекал в кремнии архитектуру, оставляя веса в памяти. Taalas убирает и это: обращений в HBM нет, потому что нет HBM. Не чип под класс моделей, а чип под один конкретный чекпойнт с конкретными весами внутри. И проблема ровно та же, что у Etched, только в той же предельной форме. Там устаревала ветвь архитектуры, здесь устаревает отдельная модель. Смена означает респин (повторную печать) кремния. Taalas пытается оправдаться тем, что перезаливать надо всего два слоя металлизации, а не весь стек. Проще говоря, не все фотошаблоны в урну. Но даже дешевый респин это все равно поход на фабрику TSMC и месяц ожидания даже в лучшие времена. Заявленной экономии на масштабе никто со стороны пока не видел. Как подход поведет себя на MoE моделях, компания не рассказывает: демо было на плотной Llama 3.1 8B, выпущенной в июле 2024. Разница с Etched в том, что здесь на кон поставлена не вся компания. Taalas скорее всего пойдет в стойку Helios одним компонентом рядом с Instinct и EPYC, риск устаревания перекладывается на заказчика, который сам решает, какую модель готов "запекать". Логика самой AMD, кажется, понятна. За девять месяцев компания купила MK1, Mext и теперь Taalas, в июле забрала команду FastFlowLM и договорилась о партнерстве с Cerebras. Ни одна сделка не про обучение. Похоже, отвоевывать у NVIDIA рынок обучения там не пытаются и собирают вместо этого "железо" под инференс. @anti_agi

Не знаем, как там Mistral, но мы точно покидаем рабочую неделю. С пятницей! @anti_agi

Бесплатно, пока не взлетело Открытые модели всё чаще получают занятное условие использования: можешь бесплатно скачать веса, развернуть их у себя и даже построить бизнес. Но если бизнес стал слишком большим, разработчик модели тоже хочет заработать. Следующей такую схему собирается ввести Alibaba. По данным Reuters, компания оставит веса Qwen3.8-Max доступными для скачивания, но крупным провайдерам, которые продают доступ к модели, придётся заключать отдельное коммерческое соглашение и делиться выручкой. Какой именно долей, Alibaba ещё обсуждает. Далеко ходить за примером ей не пришлось. У вышедшей в июле Kimi K3 от Moonshot AI бесплатность заканчивается после $20 млн продаж построенного на модели сервиса за 12 месяцев. Дальше нужно договариваться с разработчиком, причём, по сведениям Reuters, Moonshot просит до 30% выручки. DigitalOcean такое соглашение уже заключила, хотя его условия не раскрывает. MiniMax M2 можно коммерчески использовать бесплатно и после роста бизнеса, однако при достижении $30 млн ARR или 100 млн активных пользователей в месяц название модели обязательно должно появиться в интерфейсе продукта. Ну а если вам не нравиться отчитываться перед коварными китайцами, всегда можно написать на почту одному там отечественному вендору и попросить разрешения использовать его модель 😏 @anti_agi

‼️Вот теперь видно, что Moonshot AI тоже готовится к IPO @anti_agi