Рейтинг открытости генеративных AI-моделей

Изображение: Shutterstock / Phonlamai Photo

Исследователи из Университета Неймегена (Нидерланды) подготовили рейтинг сорока больших языковых моделей и семи моделей для генерации изображений по текстовому описанию, которые заявлены производителями как полностью открытые и свободные от ограничений в использовании.

Большинство моделей, позиционируемых как «открытые», не стоит воспринимать как «полностью свободные» или «доступные для всех». В большинстве случаев, они распространяются под ограничивающими лицензиями, запрещающими использование в коммерческих продуктах. Сторонние исследователи могут экспериментировать с подобными моделями, но не имеют возможность адаптировать модель под свои нужды. Более половины моделей не предоставляют детальные сведения о данных, используемых для обучения, а также не публикуют информацию о внутреннем устройстве и архитектуре.

Из-за того, что критерии открытости моделей машинного обучения окончательно не сформированы, и не имеют четко выраженных определений, под видом открытых распространяются модели, имеющие лицензию, ограничивающую область использования.

Наиболее открытыми признаны модели BloomZ, AmberChat, OLMo, Open Assistant и Stable Diffusion, которые опубликованы под открытыми лицензиями вместе с исходными данными, кодом и реализацией API. Модели от Google (Gemma 7B), Microsоft (Orca 2) и Meta* (Llama 3), позиционируемые производителями как открытые, оказались ближе к концу рейтинга, так как они не предоставляют доступ к исходным данным, не раскрывают технические детали реализации и распространяют их под лицензиями, ограничивающими область использования. Популярная модель Mistral 7B оказалась примерно в середине рейтинга, так как поставляется под открытой лицензией, но лишь частично документирована, не раскрывает используемые при обучении данные и имеет не полностью открытый сопутствующий код.

Исследователями предложены четырнадцать критериев открытости AI-моделей. В их списох входят: условия распространения кода, открытость данных для обучения, весовых коэффициентов, вариантов данных и коэффициентов, оптимизированных при помощи обучения с подкреплением (RL), а также наличие готовых к использованию пакетов, API, документации и детального описания реализации.

* признана экстремистской организацией и запрещена в РФ

Источник: nature.com