Система анализа цепи поставок и товародвижения

Проект по созданию информационно — аналитической системы на основе хранилища данных

Главный Универсальный Магазин — универмаг, знакомый каждому россиянину. Столетняя история торгового предприятия снискала ему популярность в России и за рубежом. Сегодня ОАО «Торговый дом ГУМ» — это широкая сеть магазинов в Москве и других городах, на торговых площадях которых представлены непродовольственные и продовольственные товары.

Автоматизация учета финансовых и логистических операций в ТД «ГУМ» осуществлялась посредством системы, имеющей собственные встроенные средства формирования отчетов.
По мере нарастания объемов данных время выполнения отчетов стало неприемлемым, а также увеличилась нагрузка на сервер.
Руководители и сотрудники компании стали получать актуальную информацию с ощутимой задержкой.

Реализация проекта

Бизнес-задача:  Cоздание информационно-аналитической системы (ИАС) на базе единого хранилища данных.

Автоматизация учета финансовых и логистических операций в ТД «ГУМ» осуществляется посредством системы J.D.Edwards OneWorld, которая имеет собственные встроенные средства формирования отчетов. На ранних этапах эксплуатации системы аналитические отчеты, построенные с учетом корпоративных требований и специфики деятельности с использованием этих средств, давали приемлемое время отклика.

Однако по мере нарастания объемов данных время выполнения отчетов стало неприемлемым, а также увеличилась нагрузка на сервер, обслуживающий ERP-систему организации. Это вызвало затруднения при выполнении большинства отчетов в режиме on-line. Руководители и сотрудники компании стали получать актуальную информацию с ощутимой задержкой.

Реляционная нормализованная структура данных J.D.Edwards, типичная для ERP-систем, налагала ограничения на возможности извлечения и обработки значительных объемов данных, а также на вовлечение в процесс анализа информации большого количества аналитик. Необходимость использования встроенного языка программирования для создания стандартных отчетов требовала участия высококвалифицированных программистов, что затрудняло быстрое создание новых и модификацию уже имеющихся отчетов.

В результате компания пришла к выводу о необходимости создания информационно-аналитической системы (ИАС) на базе единого хранилища данных, предоставляющей актуальные, достоверные и непротиворечивые данные, и обеспечивающей формирование аналитических отчетов, как в режиме реального времени, так и в соответствии с регламентом (расписанием) их выполнения. При этом предполагалось, что денормализованная структура хранилища данных позволит существенно снизить время обработки запросов, включающих большое количество аналитик, и частично разгрузить основную ERP-систему, а использование средств формирования отчетности BusinessObjects сократит время и стоимость разработки отчетов, повысив вместе с тем их наглядность и интерактивность.

Технологическое решение: Пилотный проект по разработке структуры хранилища данных на базе СУБД Oracle, BusinessObjects и Ascential Software.  Создание первой очереди информационно-аналитической системы.

Реализация пилотного проекта

Совместную работу по созданию информационно-аналитической системы на базе хранилища данных было решено начать с обучения представителей проектной команды со стороны ТД «ГУМ» работе с ПО Business Objects и реализации первого этапа – пилотного проекта. Его целью являлось разработка структуры хранилища данных, организация процесса регламентной ежедневной загрузки в ХД суточных исторических данных, а также построение отчетов по разделам «Товародвижение» и «Остатки на дату». Поскольку система автоматизации J.D.Edwards работает в ТД «ГУМ» на базе СУБД Oracle, то и в качестве платформы для хранилища данных была выбрана та же СУБД.

В рамках пилотного проекта демонстрировалась и оценивалась эффективность методологических и технологических решений, а также инструментальных средств компаний Business Objects и Ascential Software, предлагаемых компанией «Терн» для решения задач ОАО «ТД ГУМ» в области бизнес-анализа. В процессе тестирования программных средств и анализа качества данных, загруженных в хранилище данных, уточнялись постановка задачи, алгоритмы извлечения, трансформации и загрузки данных, оценивались временные характеристики системы с определением требований к оптимизации времени выполнения отчетов, уточнялась предметная область системы.

По итогам реализации пилотного проекта Заказчиком было принято положительное решение о закупке и использовании ETL-средства DataStage компании Ascential Software для разработки процедур извлечения, преобразования и загрузки данных в ХД.

Создание первой очереди информационно-аналитической системы

Основной задачей второго этапа разработки являлась доработка и развитие первоначального варианта проекта ИАС «Логистика» для получения промышленного варианта системы.

Работы проводились на основании уточненной совместно со специалистами ТД «ГУМ» постановки задачи с учетом результатов пробной эксплуатации пилотного варианта системы. Кроме этого, были расширены требования к функциональности системы в связи с появлением дополнительных потребностей в аналитических данных.

Проводилась доработка пакета процедур загрузки (изменение имеющихся и написание новых процедур) в связи с уточнением алгоритмов загрузки и расширением функциональности системы, реорганизация юниверсов BusinessObjects для получения отчетов, оптимизированных по времени выполнения, а также физическая настройка базы данных ХД для сокращения времени выполнения запросов при обновлении отчетов. Были проанализированы существующие мощности и оценены предполагаемые объемы информации и темпы их роста, в результате чего было принято решение о размещении ХД на отдельном аппаратно-вычислительном комплексе.

По рекомендациям консультантов «Терн» силами специалистов ТД «ГУМ» были проведены работы на стороне источника в целях улучшения качества данных, загружаемых в хранилище.

Результаты: Создана информационно-аналитическая система на основе хранилища данных, которое содержит информацию из системы автоматизации J.D.Edwards OneWorld, и подготовлен набор отчетных форм и документов по товародвижению в компании.

По результатам опытной эксплуатации и тестирования были проведены работы, направленные на достижение полноты и достоверности данных, а также оптимизацию производительности системы. При этом значительно повысилась скорость формирования отчетных документов. К примеру, отчет по товародвижению на данных для всей компании за один месяц, выполнявшийся ранее около суток, теперь выполняется за 15 – 20 минут. У пользователей появилась возможность самостоятельно обращаться к необходимым данным и проводить анализ информации, используя Веб-портал на базе ПО WebIntelligence.

Представителям ТД «ГУМ» были переданы необходимые для сопровождения и развития ИАС документация и методологические навыки как в части работы с ETL- средством Ascential DataStage, так и в части использования аналитических средств Business Objects. Это позволяет Заказчику в настоящее время успешно администрировать и развивать систему собственными силами.