SAS Institute: добыть данные, чтобы добыть нефть

16 апреля 1999
–> вернуться на SAS Institute

Разведка и добыча нефти и газа является по самой своей природе высокорискованным бизнесом, как в материальном, так и в финансовом аспектах. Инвестиции в разработку многих месторождений делаются на протяжении нескольких лет, зачастую с перспективой на десятилетия, в то время как требования и условия ведения бизнеса (уровень цен, соотношение спроса и предложения, порядок законодательного регулирования и т.п.) меняются едва ли не ежедневно. В таких условиях чрезвычайно сложно осуществлять обоснованное финансовое и бизнес-планирование, конечный эффект которого напрямую связан с точным учетом широкого диапазона переменных, качеством и масштабами анализа всей совокупности поступающих данных и наличием у специалистов предприятия эффективных средств работы с полученной информацией.

Компания SAS Institute, основанная в 1976 году, является лидером в области построения интегрированных информационно-аналитических систем, предназначенных для принятия управленческих решений высшим руководящим звеном компаний.

Специфика нефтегазовой отрасли требует интеграции большого количества разнородных данных, поступающих из различных, в том числе территориально разнесенных источников: технологических данных с промыслов и трубопроводов, информации с фондовых рынков и товарно-сырьевых бирж, сведений о местном и федеральном законодательстве (например, по налогообложению, охране окружающей среды). По различным оценкам, на поиск и доступ к необходимой информации специалистами нефтяных компаний приходится тратить от 60 до 80% рабочего времени, при этом с особой остротой в настоящее время встала задача преобразования имеющейся информации в форму, пригодную для последующего анализа, а также проблема коллективного использования корпоративных данных.

Сегодня все больше предприятий топливно-энергетического комплекса, стремясь к минимизации потерь, вызванных изменением конъюнктуры на сырьевом рынке, обращают внимание также на радикальное повышение эффективности управления за счет внедрения новых информационных технологий.

Новейшие решения в области построения информационно-аналитических систем, предназначенных для принятия управленческих решений высшим руководством компаний, предлагает американская компания SAS Institute.

Системы, создаваемые SAS Institute, преобразуют многообразные информационные массивы, заключающие в себе разрозненные финансово-экономические, производственные, экологические, любые другие виды данных, представленных в разных форматах и полученных из самых разнообразных источников, в единое структурированное информационное пространство, предоставляющее, вместе с мощными средствами анализа и представления информации, высокоэффективные инструменты для принятия высшим управленческим звеном объективно обоснованных решений по руководству бизнесом.

Предлагаемые SAS Institute системы позволяют оперировать огромными объемами информации, относящейся к деятельности нефтегазовых предприятий, и осуществлять на ее основе оперативный и стратегический анализ в соответствии с рабочими планами и бизнес-моделями компании - от вычисления стоимости проведения разведки на конкретных участках и определения эксплуатационных расходов для каждой скважины, месторождения, объекта собственности - до моделирования важнейших процессов и тенденций и осуществления долгосрочного планирования инвестиций и развития основных фондов.

Среди ведущих нефтяных компаний мира, которые высоко оценили и на протяжении целого ряда лет успешно применяют технологии компании SAS Institute, находятся такие гиганты отрасли, как Chevron, Shell Oil, Elf Aquitaine, A/S Norske Shell, Phillips Petroleum, Halliburton Energy Services, Amoco. В настоящее время в Норвегии уже активно работает созданный компанией SAS Institute центр по использованию технологии SAS в нефтегазовой отрасли страны.

В ряду технологий и программных продуктов, предлагаемых SAS Institute, ключевыми являются: Data Warehouse (Хранилище данных), OLAP (Обработка аналитических запросов), Data Mining (Деловая разведка информации), EIS (Информационная система руководителя).

Data Warehouse компании SAS Institute

В большинстве существующих систем диалоговой обработки транзакций (OLTP) используются различные реляционные системы управления базами данных. Вместе с тем требования к современным информационно-управляющим системам вынуждают разработчиков переходить от традиционной модели данных к новым принципам, основанным на обработке аналитических запросов (OLAP).

Cпецифика таких систем обусловлена как отличной от OLTP природой данных, так и их обработкой, а также иной природой использования самих систем. В отличие от OLTP-систем, в OLAP-системах данные организуются по предметному принципу, что обеспечивает такие возможности, как доступ к данным по временному (историческому) срезу, интегрированное представление данных по предметным областям с целью обработки ограниченного числа сложных аналитических запросов для принятия ответственных бизнес-решений.

SAS Institute разработала концепцию интегрированной трехуровневой архитектуры построения Хранилища Данных, которая отражает непреложный принцип: "Data Warehouse нельзя купить, его надо строить самим".

Date Warehouse - управление данными

В соответствии с концепцией построения Хранилища данных, предлагаемой SAS Institute, на первом этапе -управления проектом - решаются следующие задачи:

• Организация доступа к данным. Система SAS обеспечивает оптимизацию доступа к конкретному источнику и при этом не требует от пользователей глубоких знаний реляционных (сетевых, постреляционных) моделей, SQL. Технология Multiple Engine Architecture (MEA) обеспечивает доступ к данным из самых разнообразных источников: различных баз данных (Oracle, Sybase, ADABAS, DB2,…), иерархических файлов (IMS), унаследованных файлов (VSAM), структурированных текстовых файлов разных форматов PC, Macintosh, Unix и пр., ODBC, JBDC (всего более 50 различных форматов). На этом же этапе определяется, как данные будут организованы в хранилище: в виде собственно набора данных хранилища либо в виде ссылок (VIEW) на источники.
• Преобразование данных. Для преобразования данных система SAS предоставляет следующие средства:
  • Интеграцию данных, представленных в разных форматах и в различных источниках.
  • Проверку загружаемых в хранилище данных с использованием различных аналитических методов.
  • Уменьшение объемов данных (в большинстве случаев для загрузки в хранилище требуются не все детальные данные из операционной системы, а обобщенные данные).
  • Планирование загрузки Data Warehouse. Система SAS Institute предоставляет разнообразные способы загрузки/обновления данных с использованием алгоритмов периодической загрузки (ежедневная, еженедельная и пр.), загрузки по событию, загрузка по дате последнего изменения, а также их комбинацию.
  • Формирование Менеджера Метаданных. Концепция информационного хранилища неразрывно связана с концепцией Метаданных - данных о данных. Предлагаемая SAS Institute технология организации и управления метаданными реализует возможность единого описания и хранения как "технических" метаданных (характеристики таблиц, полей, ссылки на источники и пр.), так и "логических" или предметно-ориентированных метаданных, описывающих их "бизнес"-использование (иерархии, анализируемые и классифицирующие переменные и пр.).

Date Warehouse - организация данных

Второй элемент интегрированной 3-х уровневой архитектуры Data Warehouse компании SAS Institute - организация данных - определяет логическую и физическую организацию структур данных. Помимо собственно Data Warehouse SAS Institute реализует также и концепции Data Mart (Витрины данных) и Information Mart (Информационной витрины).

На выбор пользователя предлагаются возможности: организация хранилища в виде многомерной базы данных (MDDB) либо использование механизма Relational OLAP (ROLAP). При этом система поддерживает моделирование данных как по схеме "звезда", так и по схеме "снежинка". Кроме того, SAS Institute предлагает в настоящее время и другое, во многом уникальное, решение - HOLAP-Hybrid (гибридный) OLAP. Эта технология позволяет в репозитарии метаданных системы описать совместное использование в рамках единого хранилища как многомерной базы данных (MDDB), так и ROLAP, что обеспечивает единое, унифицированное представление и доступ к данным, а также позволяет оптимизировать работу вычислительных ресурсов.

Date Warehouse - эксплуатация данных

Как самостоятельный уровень концепция SAS выделяет третий важнейший элемент организации Data Warehouse - эксплуатацию информационного хранилища. Система SAS предоставляет широкий набор как инструментальных средств построения приложений и пользовательских интерфейсов, так и готовый набор Объектов Деловой Отчетности (Business reporting Object). Встроенные в объекты методы Drill down ("сверление"), "сенсоры" и "цветовая раскраска", помогают пользователям ориентироваться в сложных данных, отслеживать тренды и зависимости и определять ключевые параметры.

Возможности использования методов картографии, предоставляемые модулем SAS/GIS, еще более повышают наглядность предоставления информации и позволяют совместить картографическую "подложку" с различными формами отчетности по регионам, территориям и другим картографическим объектам.

Data Mining - деловая разведка информации.

Для работы с гигантскими объемами данных, хранящимися в Data Warehouse, необходимо обеспечить возможность поиска закономерностей, взаимозависимостей между данными, трендов и т.д. Для этих целей SAS Institute предлагает различные подходы, такие как, например, sampling, summarization and modeling, data exploration. Для эффективной реализации этих подходов системой SAS поставляются различные аналитические решения: вероятностный анализ, проверка гипотез, регрессионный анализ, корреляционный анализ, композиционный анализ, анализ временных рядов, индексный анализ, анализ по модели "что-если", а также специализированные компоненты "нейронные сети" и "деревья решений".

На основе технологии Data Warehouse компания SAS Institute разработала целый ряд законченных решений для различных сегментов рынка. Среди этих решений следует отметить следующие: CFO Vision (предназначено для анализа финансовых рынков, обеспечивает тесную интеграцию с системой R3), IT Service Vision (для анализа состояния вычислительной и коммуникационной инфраструктуры), HR Vision (для анализа и управления персоналом), систему управления качеством (Quality Improvement). Особое внимание специалистов привлекает программный продукт SAS/GEO. Этот новый компонент системы SAS объединяет разнородную информацию в Data Warehouse и обеспечивает быстрый экспорт/импорт «геонаучной» информации между различными приложениями. SAS/GEO разработан в расчете на профессионалов, работающих в таких областях, как геология и геофизика, проектирование резервуаров и в других смежных геотехнических приложениях.

На протяжении нескольких последних лет программные разработки компании SAS Institute признавались лучшими в своей области. Так, авторитетным изданием Datamation Magazine лучшим продуктом 1997 года среди средств администрирования Data Warehouse был признан SAS/Warehouse Administrator компании SAS Institute. В рамках этого администратора хранилища данных формируется описание логической и физической структуры хранилища, составляется расписание выполнения различных программных модулей загрузки данных и определяются взаимозависимости между этими объектами. Эти взаимозависимости позволяют легко отследить соответствующие изменения при модификации какого-либо объекта.

Опыт внедрения разработок SAS Institute на нефтяных и газовых предприятиях начинают накапливать и российские предприниматели.

Решение насущных проблем топливно-энергетического комплекса с активным привлечением новых информационных технологий, в частности, высококонкурентных продуктов компании SAS Institute, несмотря на определенные затраты, в конечном счете значительно улучшит показатели прибыльности инвестиций, поскольку совершенные методы прогнозирования и моделирования на базе полученной информационной свободы позволят компаниям отрасли значительно снизить риск и эффективно планировать свою деятельность в стремительно меняющихся условиях современной российской экономики.