Onetera объединила усилия с Lenovo, чтобы сделать свои решения на основе искусственного интеллекта для местных органов власти доступными для локального внедрения, что позволило существенно снизить расходы на выполнение рабочих нагрузок, требующих значительного использования токенов.
Компания Onetera со штаб-квартирой в Лос-Анджелесе предоставляет решения на базе агентного ИИ для местных органов власти любого масштаба — от небольших городков до мегаполисов и целых округов. Чтобы удовлетворить разнообразные потребности этих юрисдикций, Onetera предлагает гибкость развертывания своей ИИ-платформы для государственного сектора как в облачной среде, так и на собственной инфраструктуре.
Стремясь предоставить своим муниципальным клиентам возможность использовать преимущества ИИ в собственных защищённых средах и снизить расходы на обработку рабочих ИИ-нагрузок, компания Onetera сотрудничала с Центром передового опыта в области ИИ (CoE) компании Lenovo, чтобы подтвердить более быстрое достижение точки безубыточности и выгодную экономику использования токенов локальной инфраструктуры.
Вызов
-
Местные органы власти находятся под постоянным давлением, так как им приходится делать больше при меньших ресурсах
-
Большие объёмы токенов и высокие цены на облачные API увеличивают стоимость агентного ИИ
-
Суверенитет данных также является важным вопросом, вызывающим обеспокоенность
Решение
-
Развернуты большие языковые модели (LLM) на сервере Lenovo ThinkSystem SR675 V3
-
Каждый этап конвейера оставался в пределах инфраструктуры
-
В течение 40-дневного тестового периода активно использовался только один из восьми графических процессоров (GPU) сервера
Результат
-
Экономия затрат до 98% для рабочих нагрузок с высоким потреблением токенов
-
Более низкая стоимость делает агентный ИИ доступнее для местных органов власти
-
Обеспечивается полный контроль над местом хранения данных и направлениями их передачи
“Результаты нашего пилотного проекта по тестированию программного обеспечения оказались чрезвычайными, и большая заслуга в этом принадлежит компании Lenovo за её поддержку”. — Феликс Руано, основатель и генеральный директор компании Onetera.
