Компании Meta и Microsoft объединили усилия и представили Llama 2 — большую языковую модель нового поколения, предназначенную как для коммерческих, так и для исследовательских целей.
Llama 2 распространяется бесплатно. По данным Meta, модель тренировали на 40% больше данных, чем при создании Llama 1. Контекстная длина была увеличена вдвое.
Релиз включает веса моделей и стартовый код, а количество параметров варьируется от 7 млрд до 70 млрд. В Meta заявили, что Llama 2 превосходит другие языковые модели с открытым исходным кодом по многим внешним показателям, включая тесты на рассуждения, кодирование, квалификацию и знания.
При разработке Llama 2 больше внимания уделили ответственности. Разработчики провели «красное тестирование» моделей и создали схему прозрачности, в которой подробно описаны возможные проблемы.
Кроме того, они включают в себя руководство по ответственному использованию, а также политику приемлемого применения для предотвращения таких злоупотреблений, как преступная деятельность, вводящие в заблуждение представления и спам.
Microsoft предоставляет модель через каталог Azure AI для использования в облачных инструментах, таких как фильтрация контента. Инструмент также может работать непосредственно на ПК с Windows и будет доступен через внешних провайдеров вроде Amazon Web Services и Hugging Face.
Первая версия модели была с открытым исходным кодом, но предназначалась исключительно для ученых и исследователей. Llama 2 позволяет компаниям настраивать технологию для своих целей, например, для создания чат-ботов или генераторов изображений. Это позволяет компаниям извлекать выгоду из модели, а сторонним разработчикам — проверять ее на предвзятость, неточность и другие недостатки.
