Нажмите «принять», если вы соглашаетесь с условиями обработки куки‑файлов/cookie-файлов и данных о поведении на сайте, нужных нам для аналитики. Запретить обработку куки‑файлов/cookie-файлов можно через браузер

Принять

Nova

Flex Loader

SDI

Lakehouse-платформа данных нового поколения: высокая производительность при минимальных затратах

Инструмент для быстрого наполнения хранилища или озера данных на базе GreenPlum, Hadoop или S3

Low-code инструмент для потоковой обработки и репликации данных

UI Deploy — установка и обновление Data Ocean, UI Control — администрирование платформы, UI Explore — пользовательская self-service среда анализа данных

Platform UI

Высокопроизводительное объектное хранилище данных для аналитики

Data Ocean Store

Подписаться на дайджест

Узнайте больше о решениях Data Ocean

Ответим на все ваши вопросы и поможем определиться с выбором

Пишите нам:

info@dataplatform.ru

Data Sapience запустил новостной дайджест!

Только полезное и ничего лишнего

Раз в две недели — только ценная аналитика. Самые важные и интересные новости в одном письме.

[{"lid":"1725607971367","ls":"10","loff":"","li_parent_id":"","li_type":"em","li_ph":"Email","li_name":"Email","li_req":"y","li_inputwidth":"1","li_nm":"Email"},{"lid":"1725608128179","ls":"20","loff":"","li_parent_id":"","li_type":"cb","li_label":"\u041e\u0437\u043d\u0430\u043a\u043e\u043c\u043b\u0435\u043d (\u0430) \u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e \u0443\u0441\u043b\u043e\u0432\u0438\u044f <a href=\"\/privacy-policy\" style=\"color: rgb(43, 0, 165);\">\u041f\u043e\u043b\u0438\u0442\u0438\u043a\u0438 \u043a\u043e\u043d\u0444\u0438\u0434\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438*<\/a>","li_name":"privacy-policy","li_req":"y","li_nm":"privacy-policy"},{"lid":"1772790939804","ls":"30","loff":"","li_parent_id":"","li_type":"cb","li_label":"\u0414\u0430\u044e \u0441\u0432\u043e\u0435 <a href=\"\/data-policy\" target=\"_blank\" rel=\"noreferrer noopener\" style=\"color: rgb(43, 0, 165);\">\u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445*<\/a>","li_name":"data-policy","li_req":"y","li_nm":"data-policy"},{"lid":"1772790941345","ls":"40","loff":"","li_parent_id":"","li_type":"cb","li_label":"\u0425\u043e\u0447\u0443 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0438 \u0438 \u043f\u0438\u0441\u044c\u043c\u0430 \u043e\u0442 Data Ocean. \u0421\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0439 \u043e\u0431 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438 \u043d\u043e\u0432\u043e\u0441\u0442\u044f\u0445, \u0432\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0442\u043f\u0438\u0441\u0430\u0442\u044c\u0441\u044f","li_name":"rassylka","li_nm":"rassylka"}]

Spark SQL Scripting. Новые возможности...

Spark SQL Scripting. Новые возможности для инженеров данных

09.04.2026

В блоге Data Sapience на Habr вышла новая статья.

До недавнего времени для реализации сложной многошаговой логики в экосистеме Apache Spark разработчикам приходилось выходить за рамки декларативного SQL. Оркестрация последовательных вызовов, вычисление промежуточных переменных и ветвление логики требовали привлечения внешних языков программирования, таких как Python (PySpark) или Scala и дополнительных инструментов.

Spark SQL Scripting, который стал доступен, начиная с 4-й версии, кардинально меняет этот подход, представляя собой процедурное расширение классического Spark SQL. Теперь разработчики могут писать полноценные многошаговые сценарии непосредственно на уровне SQL-артефактов, внедряя в них управляющую логику.

В новой публикации команда Data Sapience разбирает возможности Spark scripting на практике.

Вам может быть интересно

Больше новостей