ТЕРН ETL

Удобная цифровая платформа для извлечения, преобразования и загрузки данных из различных источников в многоуровневые корпоративные хранилища данных и файлы

ETL-дизайнер

Планировщик

Высокая скорость

Визуальный интерфейс для разработки, отладки и запуска сложных ETL-процессов
Высокая скорость обработки больших объемов данных методами «ОЗУ» и «На диске»
Единый репозиторий метаданных и полная независимость от зарубежных вендоров

ТЕРН ETL —  собственная разработка ТЕРН, созданная для автоматизации всего цикла работы с данными: извлечения (Extract), преобразования (Transform) и загрузки (Load). Платформа объединяет визуальный конструктор потоков, мощный функционал параллельного выполнения потоков данных и массовой вставки, планировщик задач, единый репозиторий метаданных и средства мониторинга, позволяя предприятиям строить надежные и масштабируемые ETL-процессы любой сложности.

ВОЗМОЖНОСТИ

Инструменты промышленного уровня для работы с данными

Платформа предоставляет полный набор компонентов для интеграции с корпоративными системами, преобразования и очистки данных и формирования семантического слоя для решения аналитических задач

Визуальный дизайнер

Интуитивный конструктор для проектирования рабочих процессов и цепочек трансформаций без написания рутинного кода.

Планировщик заданий

Гибкая оркестрация запусков по требованию, расписанию и внешним событиям.

Единый репозиторий

Централизованное хранение метаданных, потоков, схем подключений и параметров в защищенном контуре.

Мониторинг и логи

Контроль выполнения задач в реальном времени, анализ графов выполнения и детализированное логирование.

Конвейерная обработка

Высокоскоростное чтение и запись без промежуточных преобразований для максимальной производительности.

Широкий набор трансформаций

Фильтрация, агрегация, генерация ключей, математические, строковые функции и скрипты.

Безопасность и ролевая модель

Интеграция с Active Directory, разграничение прав доступа и централизованная консоль администрирования.

Реестр российского ПО

Официальная регистрация №19155, гарантия технологического суверенитета и независимости от импорта.

ПРОИЗВОДИТЕЛЬНОСТЬ И МАСШТАБИРУЕМОСТЬ

Обработка десятков миллионов строк за считанные минуты

Архитектура ТЕРН ETL оптимизирована для промышленных нагрузок и работы с крупными массивами информации. Платформа поддерживает режимы обработки данных как в оперативной памяти (ОЗУ), так и непосредственно на диске, обеспечивая эффективное распределение ресурсов сервера.

Например, загрузка массива из 55.4 млн строк выполняется всего за 6 минут 3 секунды в режиме ОЗУ.

Результаты нагрузочного тестирования

55.4 млн строк / 13 Гб: 6 мин 03 сек (метод: ОЗУ)
32.6 млн строк / 3 Гб: 6 мин 15 сек (метод: на диске)
1 млн строк: 2 мин 51 сек (чтение, трансформация и запись)
Конвейерная обработка «на лету» без избыточных задержек
АРХИТЕКТУРА ПОЦЕССОВ

Как работает ТЕРН ETL

1.

Подключения

Установка защищенных соединений с базами данных, корпоративными системами и файловыми хранилищами.

2.

Проектирование

Создание потоков данных, выбор таблиц, настройка фильтрации, агрегации и правил сопоставления столбцов в визуальном дизайнере.

3.

Оркестрация

Настройка расписаний и параметров запуска в планировщике задач.

4.

Мониторинг

Контроль количества обработанных строк, прогресса и статуса задания загрузки в реальном времени, анализ логов.

ФУНКЦИОНАЛЬНЫЕ МОДУЛИ

Решения для любых задач интеграции данных

Платформа включает специализированные инструменты для построения комплексных архитектур обработки информации.

Визуальный редактор потоков

Проектирование цепочек преобразований с поддержкой ветвления потоков, условий и сопоставления полей.

Редактор формул и выражений

Встроенные функции работы с датой, временем, строками, математическими операциями и проверкой синтаксиса.

Менеджер расписаний

Запуск по требованию и гибкая настройка расписаний, повторов.

Консоль мониторинга

Отслеживание статусов выполнения рабочих процессов, счетчиков обработанных строк и графов задач.

Работа с файлами и архивами

Автоматизированное перемещение, копирование, поиск по маске и распаковка ZIP/RAR архивов на сетевых ресурсах.

Система логирования

Детальные логи каждого шага задания загрузки, фиксация ошибок.

ИСТОЧНКИ И ПРЕЕМНКИ ДАННЫХ

Подключение к любым корпоративным системам

ТЕРН ETL поддерживает интеграцию со всеми популярными СУБД, облачными хранилищами и форматами файлов.
ENTERPRISE-ВОЗМОЖНОСТИ

Масштабируемость
и безопасность

Централизованный репозиторий для командной разработки
Ролевая модель доступа и разграничение полномочий пользователей
Автоматическая рассылка уведомлений о результатах выполнения задач
Поддержка параллельного выполнения и разделения больших объемов на узлы
ИМПОРТОЗАМЕЩЕНИЕ

Технологическая независимость

100% собственная российская разработка компании ТЕРН
Отсутствие скрытых лицензионных рисков и санкционных ограничений
Возможность доработки функционала под специфические требования заказчика
Профессиональная техническая поддержка и экспертиза вендора
FAQ

Часто задаваемые вопросы

Что такое ТЕРН ETL?

ТЕРН ETL — это российская цифровая платформа для извлечения, преобразования и загрузки данных из различных источников в многоуровневые корпоративные хранилища данных и файлы.

Какие источники и приемники данных поддерживает ТЕРН ETL?

Платформа поддерживает подключение к популярным реляционным и аналитическим СУБД (PostgreSQL, Oracle, SAP HANA, MS SQL Server, Greenplum, ClickHouse), а также работу с файлами форматов CSV, Excel, TXT, XML и сетевыми хранилищами по протоколам FTP.

Требуются ли навыки программирования для создания ETL-потоков?

Нет. Большинство задач решается с помощью интуитивного визуального конструктора методом drag-and-drop. Для сложных расчетов предусмотрен встроенный редактор формул и поддержка пользовательских скриптов.

Как организован контроль выполнения и мониторинг ошибок?

В интерфейсе системы доступна вкладка «Мониторинг», которая отображает статусы процессов в реальном времени, счетчики обработанных строк, графы последовательности задач и детальные логи выполнения каждого шага.

Какова производительность ТЕРН ETL при обработке больших объемов данных?

ТЕРН ETL демонстрирует высокую производительность: тестирование на промышленных базах показало успешную обработку более 55 миллионов строк за 6 минут 3 секундыв режиме ОЗУ.

Попробуйте ТЕРН ETL в работе

Расскажите о ваших источниках и задачах, а мы покажем, как с помощью ТЕРН ETL автоматизировать извлечение, преобразование и загрузку данных в корпоративные хранилища и витрины данных.

Стоимость лицензии — от 250 000 рублей.

Стоимость проектов и решений зависит от количества и сложности процессов обработки данных, состава источников, требований к интеграции и внедрению.

Цифровая платформа для трансформации и интеграции данных «ТЕРН ETL»
Реестровая запись №19155 от 18.09.2023
Произведена на основании поручения Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации от 18.09.2023 по протоколу заседания экспертного совета от 05.09.2023 №582пр

Акционерное общество «ТЕРН»
ОГРН: 1097746052887  /  ИНН: 7727683754  /  КПП: 772701001
Юридический адрес: 117418, г. Москва, ул. Зюзинская, д. 6, к. 2, помещ. XVI, к. 25
ОКВЭД: 62.01 — Разработка компьютерного программного обеспечения
Дополнительный ОКВЭД: 62.02, 62.09