Onetera об’єднала зусилля з Lenovo, щоб зробити свої рішення на основі штучного інтелекту для місцевих органів влади доступними для локального впровадження, що дозволило суттєво знизити витрати на виконання робочих навантажень, що вимагають значного використання токенів.
Компанія Onetera зі штаб-квартирою в Лос-Анджелесі надає рішення на базі агентного ШІ для місцевих органів влади будь-якого масштабу — від невеликих містечок до мегаполісів і цілих округів. Щоб задовольнити різноманітні потреби цих юрисдикцій, Onetera пропонує гнучкість розгортання своєї ШІ-платформи для урядового сектору як у хмарному середовищі, так і на власній інфраструктурі.
Прагнучи надати своїм муніципальним клієнтам можливість використовувати переваги ШІ у власних захищених середовищах та знизити витрати на обробку робочих ШІ-навантажень, компанія Onetera співпрацювала з Центром передового досвіду у галузі ШІ (CoE) компанії Lenovo, щоб підтвердити швидше досягнення точки беззбитковості та вигідну економіку використання токенів локальної інфраструктури.
Виклик
-
Місцеві органи влади перебувають під постійним тиском, оскільки їм доводиться робити більше з меншими ресурсами
-
Великі обсяги токенів та високі ціни на хмарні API підвищують вартість агентного ШІ
-
Суверенність даних також є важливим питанням, яке викликає занепокоєння
Рішення
-
Розгорнуто великі мовні моделі (LLM) на сервері Lenovo ThinkSystem SR675 V3
-
Кожен етап конвеєра залишався в межах інфраструктури
-
Протягом 40-денного тестового періоду активно використовувався лише один із восьми графічних процесорів (GPU) сервера
Результат
-
Економія витрат до 98% для робочих навантажень із високим споживанням токенів
-
Нижча вартість робить агентний ШІ доступнішим для місцевих органів влади
-
Забезпечується повний контроль над місцем зберігання даних та напрямками їх передачі
“Результати нашого пілотного проєкту з тестування програмного забезпечення виявилися надзвичайними, і велика заслуга в цьому належить компанії Lenovo за її підтримку”. — Фелікс Руано, засновник і генеральний директор компанії Onetera.
