Розвиток сучасних АІ-моделей потребує талановитих інженерів та обходиться компаніям у сотні мільйонів доларів. Навчання великих мовних моделей потребує потужної інфраструктури, графічні процесори та спеціалістів, що коштує значних сум.
У цій статті видання InvestNews розповість, скільки коштує навчання сучасного АІ та що найбільше потребує вкладень.
Що входить у вартість навчання АІ
Навчання АІ-моделей складається з багатьох етапів, які потребують значних інвестицій. Найбільші витрати припадають на обчислювальні потужності, проте ними бюджет не обмежується.
Графічні моделі є найбільшою складовою витрат. Вони виконують математичні операції під час навчання моделі, що дозволяє скоротити час навчання з років до кількох місяців.
Не менш важливо є інфраструктура дата-центрів, тому на їх працездатність витрачаються значні кошти.
Окреме місце займає збір та підготовка даних. Перед початком навчання інформацію необхідно зібрати, очистити, перевірити та структурувати.
Зокрема, крім технічних моментів, кошти спрямовуються на роботу інженерів, фахівців та дослідників.
Чому навчання сучасних моделей дороге
Одна з головних причин – стрімкий розвиток та зростання складності. Експерти зазначили, що навчання моделей збільшується у 2,4 рази з кожним роком.
Чи не найдорожчим компонентом є обчислювальна інфраструктура та споживна потужність, яка становила близько 25МВт .
Також важливим фактором є і вартість обладнання. Один сучасний GPU NVIDIA H100 коштує десятки тисяч доларів,а АІ-кластери, в свою чергу, потребують сотні мільйонів доларів. Крім самих чипів, необхідно фінансувати сервери, мережеве обладнання, системи охолодження та дата-центри.
Також значних витрат потребують тести, перед запуском фінальної версії. У результаті загальні витрати на розробку можуть значно перевищувати вартість одного навчального запуску.
Вартість навчання провідних АІ-моделей
Хоча технологічні компанії не розкривають вартість навчання своїх моделей, аналітики та дослідники регулярно публікують оцінки.
Наприклад, навчання GPT-4 коштувало понад $100 млн, якщо враховувати використання обчислювальних потужностей, дата-центрів та інфраструктури. Водночас повні витрати на розробку моделі, включно з дослідженнями, тестуванням і безпекою, могли бути ще вищими.
Модель від Google також потребувала інвестицій у розмірі $100–200 млн. Компанія використовує власні дата-центри та спеціалізовані AI-прискорювачі TPU, що дозволяє оптимізувати витрати порівняно з орендою сторонньої інфраструктури.
Claude від Anthropic оцінюється у десятки мільйонів доларів. Завдяки оптимізації архітектури компанія прагне досягти високої продуктивності без такого різкого збільшення витрат, як у найбільших конкурентів.
А навчання відкритої моделі Llama 3 405B від Meta, за оцінками аналітиків, становила $30–60 млн. Попри нижчу ціну порівняно з деякими закритими моделями, це все одно один із найдорожчих відкритих AI-проєктів.
Експерти зазначають, що з кожним роком та новим поколінням АІ бюджети лише збільшуються та в майбутньому можуть перевищувати $1 млрд.
