Data Sapience о рынке Lakehouse: комментарии Евгения Вилкова к исследованию «Кругов Громова»

Отечественный рынок аналитических хранилищ данных класса Data Lakehouse преодолел этап пилотных проектов и перешел в фазу промышленных внедрений. Исследование «Отечественные решения Data Lakehouse Круг Громова 2026» выявило фундаментальную трансформацию отрасли: регуляторные требования стали драйвером развития, архитектура платформ разделилась на два противоположных лагеря, а вопросы информационной безопасности превратились в главный критерий выбора. А вот искусственный интеллект в российских Lakehouse-системах пока остается точечной инновацией. Свою оценку происходящих изменений дал Евгений Вилков, технический руководитель решений Data Ocean, компания Data Sapience.

Ключевой структурный сдвиг на рынке — формирование двух принципиально разных подходов к построению платформ, каждый из которых находит своего заказчика. Первая модель — «интегрированные платформы», собираемые из набора компонентов с открытым исходным кодом (open-source) (например, Spark, Trino, Impala, Airflow), которые вендор объединяет единой системой управления, мониторинга и безопасности. Такие платформы обеспечивают максимальную универсальность и гибкость, но требуют высокой квалификации команды и несут значительную операционную сложность.

Вторая модель — «унифицированные системы». Эти продукты изначально проектируются как целостная архитектура, а не конструируются из готовых блоков. Внутри может использоваться один или несколько движков, но все они глубоко интегрированы в единую среду с общим хранилищем, моделью безопасности и интерфейсом управления. Унифицированные системы проще в установке и сопровождении, однако могут уступать интегрированным платформам в широте функциональных возможностей. Оба подхода активно развиваются, и выбор между ними определяется балансом между гибкостью и простотой, универсальностью и управляемостью.

По итогам обзора «Кругов Громова», интегрированные платформы доминируют там, где важна адаптация под существующие компетенции и избежание vendor lock-in (зависимости от одного поставщика), а унифицированные системы находят нишу в проектах, где приоритетом являются скорость запуска и снижение эксплуатационных расходов.

Уход западных вендоров и ужесточение требований к отечественному ПО ускорили формирование рынка. Реестр российского ПО, сертификация ФСТЭК, законы о КИИ и персональных данных создали понятные правила игры и сформировали платежеспособный спрос. Производители воспринимают регуляторные требования как рыночный фактор: наличие сертификатов открывает доступ к крупным государственным и корпоративным заказчикам. Спрос сместился от концепций к реальным внедрениям.

Традиционно высокий интерес сохраняется в финансовом секторе и ритейле, где большие объемы данных сочетаются с жесткой конкуренцией. Активно подтягиваются телеком и промышленность, осознавшие завершение цикла поддержки предыдущего поколения аналитических систем.

Для заказчиков из регулируемых отраслей возможность организовать сквозную аутентификацию и авторизацию на основе ролевой модели RBAC (Role-Based Access Control — управление доступом на основе ролей) стала критическим фактором выбора. Интеграция нескольких компонентов с открытым исходным кодом (open-source) в единую систему управления доступом — нетривиальная задача, и не все вендоры предлагают готовое решение «из коробки».

Выбор объектного хранилища часто недооценивают, считая его второстепенным компонентом. Однако в архитектуре Lakehouse S3 — это основа всей системы. В сценариях локального развертывания (on-premise) этот выбор становится критическим. Экономия на S3 оборачивается деградацией производительности при работе с метаданными, нестабильностью при высокой конкуренции запросов и простое дорогих вычислительных ресурсов в ожидании I/O-операций (операций ввода-вывода). Надежность, масштабируемость и совокупная стоимость владения объектным хранилищем напрямую определяют эффективность всей платформы.

Несмотря на глобальный интерес к ИИ, в российских Data Lakehouse полноценные ИИ-агенты, самостоятельно пишущие SQL, создающие дашборды и тестирующие гипотезы, почти не реализованы. В основном вендоры, включая Data Sapience, предлагают либо copilot-функции (ИИ-ассистенты) для генерации запросов, либо анонсируют агентные возможности в будущих релизах.

В перспективе пяти лет ИИ станет органичной частью самих платформ: от формирования запросов на естественном языке до автоматической оптимизации инфраструктуры и прогнозирования нагрузки.