Inc. рассказал о продуктах ЭСТЕСИС — и о том, как мы строим инфраструктуру для корпоративного ИИ
В спецпроекте Инк. и Cloud.ru о семи компаниях, которые создают ИИ-продукты на облачной платформе, есть глава про нас: три инструмента для работы с большими языковыми моделями и то, как они вместе экономят часы работы и деньги на нейросетях.
Что написали
Три инструмента для работы с большими языковыми моделями
ЭСТЕСИС вышла на рынок в 2019 году как исследовательская лаборатория: машинное обучение и голосовая биометрия. Потом команда сосредоточилась на комплексных ИИ-сервисах.
Собственная линейка выросла из наших же потребностей: быстрее создавать ИИ-агентов, контролировать расходы на языковые модели и защищать чувствительные данные. Так появились LLMBox, LLMGW и LLMGuard.
Как партнёр Cloud.ru мы используем Evolution ML Inference — быстро запускаем и сравниваем модели по качеству и стоимости. Для шлюза, который выбирает модель под каждый запрос, это ключевая возможность.
Пример из статьи
Производственный отчёт — за минуты вместо часов
- 01LLMBoxИИ-помощник собирает данные из документов и корпоративных систем, анализирует их и готовит отчёт.
- 02LLMGatewayШлюз нейросетей. Предоставляет модель, подходящую для задачи по возможностям и стоимости.
- 03LLMGuardПроверяет запросы и ответы ИИ, чтобы конфиденциальное не ушло во внешние сервисы.
Линейка продуктов LLMCore
Пять продуктов, которые проводят ИИ от выбора модели до продуктива
01 / Шлюз к моделям
LLMGateway
Один API к 300+ моделям. Маршрутизация, учёт и контроль расходов
- Cloud
- llmgw.ru
- Единый API
- OpenAI-совместимый интерфейс: подключили один раз — работаете с любыми моделями
- Маршрутизация
- Запрос уходит в модель, подходящую по возможностям и цене
- Учёт и лимиты
- Расходы по ключам и проектам, бюджеты и контроль трат
- Оплата в рублях
- Без зарубежных карт и отдельных договоров с каждым провайдером
02 / Защита данных
LLMGuard
AI-firewall для LLM. Проверяет запросы и ответы, не пропускает конфиденциальное
- On-Prem
- Cloud
- llmguard.ru
- Запросы и ответы
- Проверка трафика к моделям в обе стороны, до и после генерации
- Персональные данные и секреты
- ML-детекция ПДн на русском, ключей, паролей и проприетарного кода
- Правила как код
- Политики на уровне организации, проекта и ключа; сначала наблюдение, потом блокировка
- Свой контур
- Разворачивается на серверах заказчика или в закрытом контуре
03 / Платформа агентов
LLMBox
Конструктор ИИ-агентов с инструментами, базой знаний и любыми моделями
- On-Prem
- Cloud
- Агенты под задачу
- Системный промпт, инструменты MCP, RAG и база знаний — без отдельной разработки
- Любые модели
- Подключение через LLMGateway: внешние и локальные модели в одном окне
- Защита по умолчанию
- Запросы агентов проходят через LLMGuard
- Ролевая модель
- Доступы по ролям и интеграция с корпоративными системами
04 / Проверка безопасности
LLMRed
Red teaming для LLM-систем. Находит уязвимости до запуска, а не после инцидента
- Сервис
- Отчёт
- Атаки на модель
- Промпт-инъекции, джейлбрейки и обход ограничений
- Утечки
- Проверка, не выдаёт ли система конфиденциальные данные
- Агенты и инструменты
- Тесты небезопасных действий агента во внешних системах
- Отчёт и правила
- Найденные уязвимости превращаются в правила LLMGuard
05 / Оценка качества
LLMEval
Метрики качества для моделей и агентов. Выбор модели — по цифрам, а не по ощущениям
- Сервис
- Отчёт
- Тесты под задачу
- Собственные наборы проверок и метрики под домен заказчика
- Сравнение моделей
- Качество, скорость и стоимость на одних и тех же данных
- Регрессия
- Проверка перед сменой модели, промпта или версии агента
- Связка с шлюзом
- Лучшая модель по результатам оценки становится маршрутом в LLMGateway
Как это работает вместе
Один контур — от приложения до модели
- Приложения и агентыLLMBox
- ЗащитаLLMGuard
- ШлюзLLMGateway
- МоделиСвои и внешние
LLMEval и LLMRed проверяют систему до запуска и при каждом изменении
Читайте также
Исследования и агентные системы
Все статьиАккредитованная ИТ-компания · реестр Минцифры России № 20142