Майкрософт представил ИИ который работает на обычном компьютере без дорогой видеокарты

Редакция Trendymen

Microsoft открыла исходный код прорывной технологии — искусственного интеллекта, способного работать прямо на CPU, без использования дорогой видеокарты. Новый фреймворк BitNet.cpp позволяет запускать модели сжатого ИИ, используя минимальные ресурсы — даже на стандартных процессорах. Теперь технологии, ранее доступные лишь владельцам мощных машин, могут работать практически на любом устройстве, получить доступ к фреймворку можно прямо сейчас, даже со смартфона. 

Идея 1-битных языковых моделей (LLMs) зародилась несколько месяцев назад, когда исследователи предложили метод, позволяющий сократить объем памяти для хранения весов моделей. Если раньше для хранения весов модели требовались 16 или 32 бита, то 1-битные LLM используют всего 1 бит для каждого параметра, что значительно снижает требования к памяти. 

В новой модели BitNet1.58, представленной Microsoft, это позволило уменьшить размер модели в десятки раз — с 26 ГБ до 0.815 ГБ для модели с 7 млрд параметров. Это делает возможным запуск таких моделей даже на смартфонах.

Фреймворк BitNet.cpp стал ключевым инструментом для внедрения 1-битных моделей на локальные устройства, использующие лишь процессоры, без необходимости в мощных видеокартах. 

Главное преимущество 1-битных LLM заключается в их способности сохранять производительность, несмотря на значительное сокращение памяти. BitNet1.58 — это революционная модель, которая открывает новую эру в развитии искусственного интеллекта, делая его более компактным и доступным для повседневного использования. 

BitNet1.58 также позволит запускать сложные модели с эффективностью 7 токенов в секунду на одном процессоре. В Microsoft полагают, что 1-битные LLM могут в целом изменить подход к разработке ИИ, сделав его более доступным и эффективным для широкого круга пользователей. 

Со стороны решение Microsoft действительно кажется серьезным прорывом. Кроме того, локальное использование ИИ будет важным и для тех, кто заботится о конфиденциальности своих данных. 

Trendymen в Telegram Подписаться

Популярное на этой неделе

  1. Поролон внутри шин. Разбираемся, есть ли толк от кустарной вклейки внутрь колеса

  2. ЗИЛ-130 монгольского дальнобойщика. Бензовоз времен СССР лучше чем новый с завода

  3. ГАЗ-66 до сих пор обходит современные грузовики на бездорожье. В чем его секрет

  4. Toyota готовит роскошное купе уровня Bentley. Century может получить 800-сильный V12

  5. В холода стекла автомобиля часто запотевают изнутри. Как быстро убрать конденсат

  6. Какие клички давали собакам на Руси. Про Шарика и Тузика тогда никто не слышал

  7. 1К17 «Сжатие»: как был устроен советский световой танк и почему машину держали в тайне

  8. Как режиссеры в СССР создавали фантастические миры без компьютерной графики

  9. Какой реальный расход топлива был у «Жигулей». Цифры отличались от паспортных

  10. Что было на территории России 4500 лет назад, когда в Египте строили пирамиды

Все статьи: События