Что такое BI-система, и как она работает

Чтобы построить высотку, директор строительной компании должен знать о проекте все до последнего шурупа: количество этажей, объем необходимых материалов, проверенный макет здания. А еще нужно адаптироваться к сокращающимся графикам постройки, позаботиться о сдаче площадей, уладить множество вопросов с государственными органами.

Этап №2. Организация данных

Тут тоже можно пойти двумя путями: от общих бизнес-требований или от нужд каждого подразделения. В первом случае нужно сначала проанализировать все бизнес-требования, затем проработать нужды каждого департамента. Второй подход итеративный – мы разбиваем весь объем работ на отдельные области, и в деталях описываем, как будут выглядеть аналитика и отчеты для отдела маркетинга, затем для финансов, HR и дальше идем итерациями по всем отделам.

Если хотите быстрее получить результат в виде первых отчетов, то второй вариант подойдет больше – при работе итерациями, пока следующая модель проектируется, первая уже работает. При общем подходе вы быстрее получите конечный результат, то есть общую аналитику по всем отделам.

Этап №3. Выбор стека технологий

Тема безграничная. Кратко опишем, что важно сделать на этом этапе: определить источники данных и уточнить, есть ли в них необходимая информация и показатели. Очень часто приходится дорабатывать учетные системы, чтобы показатели заводились. Когда пул источников собран, можно переходить к учетным системам, веб-ресурсам и внутренним системам компании, чтобы покомпонентно спроектировать архитектуру и прописать роль источников для трансформации данных. Любые сведения в BI-систему поступают в сыром виде, и на этом этапе только от нас зависит, насколько точные и удобные для восприятия данные менеджеры получат на выходе.

Этап №4. Проектирование интерфейсов

Сотрудники, которые пользуются системой, ценят удобный и приятный глазу интерфейс возможно так же глубоко, как и возможности, которые решение дает. Поэтому на проектах часто вводится этап прототипирования, когда мы отрисовываем формы интерфейса. Причем, если внедряем систему SAP, то UX и UI стараемся делать в интерфейсе этой системы, если Qlik, то рисуем в интерфейсе этой платформы. Благодаря такому этапу клиент понимает, какие графики лучше использовать для визуализации тех или иных показателей, какие цвета подобрать, как удобнее расположить фильтр и т.д. После этапа трансформации данных этот прототип достаточно будет наполнить. В остальном он полностью соответствует ожиданиям бизнес-пользователей.

Этап №5. Тестирование системы

Если вы меняете существующую BI-систему, то убедить пользователей в точности данных и дополнительно проконтролировать расчеты, будет несложно. Нужно взять отчет из одной системы бизнес-аналитики, взять разработанный ответ в новой, и, если все цифры совпадают, то программой можно пользоваться - данные верные. Сложнее, когда разрабатываются новые отчеты или внедряется первая система бизнес-анализа, потому что сравнивать данные не с чем.

В этом случае нужно разработать сценарии тестирования. Возьмите выгрузки по одному из направлений за заданный период и точность сведений на этом же срезе данных из той же учетной системы. Например, вы взяли из системы отчет по остаткам с 1 по 15 февраля, и он был равен 1000 единиц. На этом же срезе данных в учетной системе остаток тоже 1000 единиц. Значит, системе можно верить – данные корректные. По-другому найти эту точку сходимости, на мой взгляд, невозможно.

Отдельная тема – внедрение системы на динамически меняющийся источник данных, или когда мы внедряем решение на данных Excel, но этап загрузки данных необходимо перенести на вновь внедренный источник, в котором могло поменяться все от структуры хранилища до самих сведений. Здесь внедрение и тестирование будет идти по иным правилам.

Этап №6. Обучение команды

На проектах мы стараемся обеспечить максимальный результат от использования системы. Для этого проводим обучение финансистов, маркетологов, IT-специалистов и управленцев: знакомим с платформой, возможностями доработки и управления нашим решением, учим менеджеров максимально использовать все возможности программы. В помощь администраторам и пользователям разрабатывается сопроводительная документация: классические «Руководство администратора» и «Руководство пользователя», а часто и обучающие видеоролики. Самый детальный и сложный, но полезный материал – тот, что обычно называется «Техпроект» или «Спецификация отчетов». Он описывает весь процесс движения данных от источников до конечных отчетных форм. Не пренебрегайте этим документом. С его помощью любой новичок в команде сможет разобраться, как данные попадают в первый слой загрузки, и где они находятся в выходных отчетных формах. С помощью этого материала любое изменение или просьба по доработке системы займут минимальное количество времени.

Частые ошибки при внедрении

Как мы уже говорили, популярная ошибка при построении дерева решений - это движение от потребностей низших уровней к верхним. Но есть еще несколько критичных моментов, на которых чаще всего «прокалываются» неопытные внедренцы.

• Не разбираться в типах платформ. Существуют системы класса in-memory, которым не нужны системные хранилища данных; и платформы, которые требуют двухкомпонентную архитектуру, то есть отдельное хранилище и отдельный BI-инструмент для визуализации.
• Работать крупными мазками. Этапы загрузки, трансформации и последующей загрузки данных в приложение всегда стоит максимально детализировать и разбивать на более короткие отрезки. Многие в одном скрипте загружают, трансформируют данные, и делают последующую выгрузку. С гигантскими кусками кода не справится ни подрядчик, ни клиент. Но если код разбит на маленькие кусочки, определить, что вышло из строя, будет легко. Это сэкономит время и деньги на последующую поддержку.
• Сразу автоматизировать . Нельзя сразу отдавать в разработку отчеты от бизнес-пользователей. Возможно, они не видели других, более удобных форматов. Может быть, раньше они сталкивались с техническими ограничениями и не могли представить анализ по-другому. Простая разработка не решает задач бизнеса – нужно глубже погружаться в отрасль и процессы в компании, выяснять, в чем заключаются проблемы и целенаправленно с ними работать.

Сколько это стоит и от чего зависит

Стоимость готовой системы начинается с маленьких проектов до миллиона рублей и заканчиваются крупными внедрениями под сотню миллионов. Цифры привязаны к объемам работ - количеству отделов и количеству необходимых отчетов. Случается, что клиент хочет очень компактный по времени проект. Такая срочность тоже повлияет на общую стоимость, потому что увеличит затраты на команду и оптимизацию ресурсов.

Чем помогут консультанты

Часто консультанты самостоятельно выполняют весь объем работ и минимально привлекают сотрудников клиента. Но случается, что объем работ собственных сотрудников соизмерим с объемом работ интегратора. В зависимости от задач и финансовых возможностей клиента, компания-консультант может участвовать в проекте в нескольких форматах.

Платформа не справляется с задачей. Неоправданно долгая загрузка, технические ограничения на ввод данных, инструменты визуализации не позволяют давать нужный результат – такие сложности решаются с помощью аудита систем. Консультант знает, как подобные проблемы решаются в других компаниях, много работал с разными платформами. Он разберется в корне проблем и предложит наиболее удачное решение.

Недостаток ресурсов. Чтобы проворно систематизировать требования и не менее стремительно построить на их основе систему, могут потребоваться дополнительные ресурсы, поскольку новые запросы появляются постоянно. Часто для анализа в компании используют один инструмент, для финансовой аналитики – другой, а маркетинговую эффективность считает третий. Целый штат IT-специалистов содержать бессмысленно и неэкономно. Здесь поможет подрядчик, который уже вырастил квалифицированные кадры и умеет оптимизировать затраты на подобные задачи.

Новая задача. Если внедрением IT-решений раньше вы не занимались и не очень четко понимаете, с какого конца начать, стоит хотя бы проконсультироваться со специалистом. Риск потери возможной прибыли и времени абсолютно точно окупит затраты на эту консультацию.

Выводы

Создать любую информационную систему непросто. Проектирование аналитических решений затрудняется капризным и сложным в работе элементом – данными. Команда с опытом решит эту задачу быстрее и без приключений. Независимо от того, предпочитаете ли вы одиночные спуски по порогам Амазонки или контролируемые инструктором, уделите наибольшее внимание действиям с данными. Тогда технические и методологические сложности будут представлять меньшую угрозу, а будущая система сможет решать сложные аналитические задачи без ошибок.

Каждый крупный бизнес и большинство средних структур сталкиваются с проблемой предоставления руководству неточных данных о состоянии дел компании. Причины могут быть разные, но последствия всегда одинаковы – неверные или несвоевременные решения, отрицательно сказывающиеся на результативности финансовых операций. Для исключения подобных ситуаций предназначена профессиональная система бизнес аналитики или BI ( с англ. – Business Intelligence ). Эти высокотехнологичные «помощники» способствуют построению системы управленческого контроля каждого аспекта внутри бизнеса.

По своей сути BI системы – это продвинутое аналитическое программное обеспечение для бизнес-анализа и формирования отчетности. Эти программы могут использовать данные из различных источников информации и предоставлять их в удобном виде и разрезе. В результате руководство получает быстрый доступ к полной и прозрачной информации о положении дел компании. Особенность отчетов, полученных с помощью BI – возможность самостоятельного выбора руководителем, в каком разрезе получить информацию.

Современные Business Intelligence системы многофункциональны. Именно поэтому в крупных компаниях они постепенно вытесняют другие способы получения бизнес-отчетности. К основным их возможностям специалисты относят:

• Подключения к различным базам данных;
• Формирование отчетов разной сложности, структуры, вида и компоновки с высокой скоростью. Также есть возможность задать расписание формирования отчетности по расписанию без непосредственного участия и рассылки данных;
• Прозрачную работу с данными;
• Обеспечение четкой связи между информацией из различных источников;
• Гибкую и интуитивно понятную настройку прав доступа сотрудников в системе;
• Сохранение данных в любом удобном для вас формате – PDF, Excel, HTML и многих других.

Возможности информационных систем бизнес-аналитики позволяют руководителю не зависеть от IT-отдела или своих помощников, подающих требуемую информацию. Также это отличная возможность демонстрировать правильное направление своих решений не словами, а точными цифрами. Многие крупные сетевые корпорации на Западе уже давно используют BI-системы, среди которых всемирно известные Amazon, Yahoo, Wall-Mart и др. Вышеназванные корпорации тратят приличные деньги на бизнес-аналитику, но внедренные BI системы приносят неоценимую пользу.

Польза профессиональных систем бизнес аналитики базируется на принципах, которые поддерживаются во всех передовых BI приложениях:

1. Наглядность. Основной интерфейс любого ПО для анализа бизнеса должен отражать основные показатели. Благодаря этому руководитель быстро сможет оценить положение дел на предприятии и начать предпринимать что-либо в случае необходимости;
2. Кастомизация. Каждый пользователь должен иметь возможность настроить интерфейс и функциональные клавиши максимально удобным для себя образом;
3. Многослойность. Каждый набор данных должен иметь несколько разрезов (слоев) для предоставления той детализации информации, которая необходима на конкретном уровне;
4. Интерактивность. Пользователи должны иметь возможность собирать информацию из всех источников и по нескольким направлениям одновременно. Необходимо, чтобы система имела функцию настройки оповещения по ключевым параметрам;
5. Многопоточность и разграничение доступа. В BI системе должна быть реализована одновременная работа большого количества пользователей с возможностью установки им различных уровней доступа.

Всё IT-сообщество сходиться во мнении, что информационные системы бизнес аналитики являются одним из перспективнейших направлений развития отрасли. Однако их внедрение зачастую затрудняют технические и психологические преграды, неслаженная работа менеджеров и отсутствие прописанных сфер ответственности.

При размышлении о внедрении систем класса BI важно помнить, что успех проекта будет во многом зависеть от отношения сотрудников компании к нововведению. Это относится ко всем IT-продуктам: скептическое отношение и страх перед сокращением могут свести на нет все усилия по внедрению. Поэтому очень важно понимать, какие чувства вызывает система бизнес аналитики у будущих пользователей. Идеальная ситуация сложится в случае, когда сотрудники компании будут относиться к системе как к помощнику и инструменту усовершенствования работы.

Перед началом проекта по внедрению BI технологии необходимо провести тщательный анализ бизнес-процессов компании и принципов принятия управленческих решений. Ведь именно эти данные будут участвовать в анализе ситуации в компании. Также это поможет сделать выбор BI системы вместе с другими основными критериями:

1. Цели и задачи внедрения BI систем;
2. Требования к хранению данных и возможность ими оперировать;
3. Функции интеграции данных. Без использования данных из всех источников в компании руководство не сможет получить целостной картины положения дел;
4. Возможности по визуализации. Для каждого человека идеальная BI аналитика выглядит по-разному, и система должна удовлетворять потребности каждого пользователя;
5. Универсальность или узкая специализация. В мире существуют системы, направленные на определенную отрасль, так и универсальные решения, позволяющие собрать информацию в любом разрезе;
6. Требовательность к ресурсам и цена на программный продукт. Выбор BI системы, как и любого ПО, зависит от возможностей компании.

Вышеперечисленные критерии помогут руководству сделать осознанный выбор среди всего многообразия известных систем бизнес аналитики. Существуют и другие параметры (например, структура хранения данных, веб-архитектура), но они требуют квалификации в узких IT-областях.

Недостаточно просто сделать выбор, купить ПО, установить и настроить его. Успешное внедрение BI систем любого направления основывается на следующих правилах:

• Корректность данных. Если данные для анализа неверные, то существует вероятность серьезной ошибки системы;
• Полноценное обучение каждого пользователя;
• Быстрое внедрение. Необходимо сосредоточится на верном формировании необходимых отчетов на всех ключевых местах, а не на идеальном обслуживании одного пользователя. Скорректировать внешний вид отчета или добавить еще один его разрез для удобства всегда можно после внедрения;
• Осознавайте окупаемость инвестиций в систему BI. Эффект зависит от множества факторов и в некоторых случаях оказывается виден лишь через несколько месяцев;
• Оборудование должно быть рассчитано не только на современную ситуацию, но и на ближайшее будущее;
• Осознавайте, зачем было начато внедрение системы BI, и не требуйте от программного обеспечения невозможного.

По статистике всего лишь 30% руководителей компаний довольны внедрением BI систем. За долгие годы существования ПО для анализа бизнеса специалисты сформулировали 9 ключевых ошибок, которые могут снизить эффективность до минимума:

1. Неочевидность цели внедрения для руководства. Зачастую проект создается силами IT-отдела без тесного участия руководителей. В большинстве случаев в процессе внедрения и функционирования появляются вопросы по цели и задачам BI системы, выгоде и удобству использования;
2. Отсутствие прозрачности в управлении, работе сотрудников и принятии решений. Менеджеры могут не знать алгоритмов работы сотрудников на местах, а управленческие решения могут приниматься не только на основе сухих фактов. Это приведет к невозможности сохранения существующей парадигмы в результате внедрения BI системы. И зачастую сломать сложившуюся годами культуру корпоративного управления невозможно;
3. Недостаточная достоверность данных. Попадание ложной информации в систему анализа бизнеса недопустимо, иначе сотрудники не смогут доверять ей и пользоваться ею;
4. Неверный выбор профессиональной системы бизнес аналитики. Множество примеров в истории, когда руководство нанимает стороннюю организацию для внедрения BI системы и не принимает участия в ее выборе, говорят сами за себя. В результате внедряется система, не позволяющая получить нужный отчет или с которой невозможна интеграция одного из существующих в компании ПО;
5. Отсутствие плана на будущее. Особенность BI систем в том, что это не статичное ПО. Невозможно закончить проект внедрения и не вспоминать о нем. Возникает множество требований от пользователей и руководства в части доработок;
6. Передача BI системы сторонней организации на поддержку. Как показывает практика, чаще всего такие ситуации приводят к изоляции продукта и оторванности системы от реального положения дел. Собственная служба поддержки намного быстрее и эффективнее реагирует на отзывы пользователей и требования руководства;
7. Желание сэкономить. В сфере бизнеса это нормально, но BI аналитика работает, только если принимает во внимание все аспекты деятельности компании. Именно поэтому наиболее эффективны глубокие аналитические системы с высокой стоимостью. Желание получить несколько отчетов по интересующим областям приводит к частым ошибкам в данных и большой зависимости от квалификации IT-специалистов;
8. Различная терминология в компании. Важно, чтобы все пользователи понимали основные термины и их смысл. Простое недопонимание может привести к неверной трактовке отчетов и показателей BI системы;
9. Отсутствие единой стратегии анализа бизнеса на предприятии. Без выбранного единого для всех сотрудников курса любая система класса BI будет лишь набором разрозненных отчетов, удовлетворяющих требования отдельных руководителей.

Внедрение BI систем – важный шаг, способный помочь вывести бизнес на новый уровень. Но для этого потребует не только достаточно большого вливания финансов, но и времени, и сил каждого сотрудника компании. Далеко не каждый бизнес готов грамотно закончить проект внедрения системы анализа бизнеса.

Модные словечки, востребованная терминология, не совсем понятные определения и совершенно незнакомые лексические единицы. Все вышеуказанное можно применить как к понятию «business intelligence», так и к словосочетанию «data science». Попробуем не только преодолеть трудности перевода, но и разобраться в том, чем разнятся «наука о данных» и «бизнес интеллект».

Business Intelligence: интеллект, разведка, осмысление, аналитика

Многие уверены, что термин «business intelligence» впервые появился на свет в 80-х гг. прошлого столетия, но это не совсем так. Дело в том, что первым этот термин использовал Ханс Питер Лун, исследователь из компании IBM, в далеком 1958 году. А в 1989-ом Говард Дреснер, который позже стал аналитиком в Gartner, дал определение «business intelligence» как тому, что описывает «концепции и методы для улучшения принятия бизнес-решений с использованием систем на основе бизнес-данных».

Давайте прислушаемся к другим экспертам. Так, Джонатан Ву, менеджер компании Netgear, определяет BI как процесс сбора многоаспектной информации о предмете, который исследуется. А вот какую трактовку предложил Институт хранилищ данных (The Data Warehousing Institute): Business intelligence – это процесс превращения данных в знания, а знаний в бизнес-действия для получения выгоды.

BI можно рассматривать не только как процесс, но и как результат процесса получения знаний. Однако если компилировать все определения, которые «дрейфуют» на рынке, можно утверждать, что business intelligence в самом широком смысле этого понятия – это процесс превращения полученных данных в знания о бизнесе, которые используются для принятия улучшенных решений. Кроме того, это еще и информационные технологии сбора данных и их консолидации. И, наконец, BI представляет собой знания о бизнесе, которые добываются путем проведения углубленного анализа данных. Если говорить коротко, то business intelligence – это технологии, анализ и знания.

Data Science: наука о хаосе, приведенном в порядок

С недавних пор наука о данных рассматривается не только как академическая дисциплина, но и как практическая межотраслевая сфера деятельности. Сам термин был предложен Уильямом Кливлендом, профессором университета Пердью, который считается одним из самых больших авторитетов в области статистики, машинного обучения и визуализации данных.

Согласно определению международного совета CODATA (International Council for Science: Committee on Data for Science and Technology), наука о данных представляет собой дисциплину, которая объединяет различные направления статистики, data mining и машинное обучение. Однако наиболее популярное определение дано в статье «Что такое Data Science?» Майка Лукидиса, редактора O"Reilly Media и автора книг об операционных системах, компьютерной архитектуре и программировании. Стоит отметить, что данная трактовка на сегодняшний день является основополагающей. – это обобщенное название технологий, которые предназначены для производства данных как продукта. Если сравнивать науку о данных с традиционной статистикой, то на первый взгляд может показаться, что между ними нет никаких отличий. Однако Data Science характеризуется комплексным подходом, а data-ученые не изучают данные, а используют их.

Таким образом, мы приходим к выводу, что Data Science изучает проблемы анализа, обработки и использования данных. Это такое фантастическое «ассорти», от которого голова идет кругом: здесь вам и статистика, и интеллектуальный анализ данных, и искусственный интеллект, обрабатывающий большие объемы data, и методы проектирования баз данных, и многое другое.

Ничто не ново под… data-небосводом

Облачные вычисления и другие технические достижения заставили компании сосредоточиться больше на будущем, а не анализировать отчеты на основании данных прошлого. Чтобы получить конкурентные преимущества, компании начали объединять и преобразовывать данные, которые являются частью реальной науки о данных.

В то же время они практикуют Business Intelligence, создавая графики, отчеты и таблицы на базе полученных данных. И хотя между Data Science и Business Intelligence есть большие различия, они в равной степени важны и дополняют друг друга.

Для того чтобы практиковать BI и Data Science, многие компании нанимают специалистов, которые совмещают сразу две должности – BI-аналитиков и дата-сайентистов. Тем не менее, именно здесь и возникает путаница из-за непонимания того, что эти роли требуют различных экспертных знаний.

Несправедливо ожидать, что BI-аналитик может сделать точные бизнес-прогнозы. А это может стать причиной катастрофических последствий для любой компании. Однако, изучив главные различия между BI и наукой о данных, можно научиться подбирать подходящих кандидатов для выполнения определенных задач, которые намерен решить ваш бизнес.

Сфера интересов

С одной стороны, традиционный подход Business Intelligence подразумевает создание инструментальных панелей для отображения исторических данных в соответствии с фиксированным набором ключевых показателей эффективности. Отсюда делаем вывод, что BI больше полагается на отчеты, современные тренды и ключевые показатели эффективности (KPI).

С другой стороны, наука о данных больше фокусируется на предсказании того, что в конечном итоге может случиться в будущем. Таким образом, дата-сайентисты больше сосредоточены на изучении закономерностей и различных моделей, а также на нахождении корреляций для бизнес-прогнозов.

Например, компаниям, занимающимся , нужно предсказывать растущую потребность в новых видах обучения, основываясь на существующих шаблонах и требованиях корпоративных компаний.

Анализ и качество данных

BI требует от аналитиков умения сосредотачиваться не только на настоящем и будущем, но и заглядывать в прошлое – то есть активно использовать исторические данные. Поэтому анализ BI-аналитиков является в большей степени ретроспективным. Фокус Business Intelligence – это абсолютно точные данные, основанные на том, что на самом деле произошло в прошлом.

Например, ежеквартальные результаты компании формируются из реальных данных о ведении бизнеса на протяжении последних трех месяцев. Ошибки в этом случае попросту невозможны, потому что отчетность носит описательный характер и не может быть субъективной.

Что касается науки о данных, то дата-сайентисты должны использовать предиктивную и директивную аналитику. Они обязаны довольно точно предсказывать то, что должно произойти в будущем, используя вероятности и уровни уверенности.

То, как компания будет выполнять необходимые действия на основе предиктивного анализа и прогнозов на будущее, не может базироваться на простых догадках. Конечно, наука о данных не может быть точной на 100%, но она должна быть «достаточно хороша» для бизнеса, чтобы принимать своевременные решения и действия, а также обеспечивать необходимые результаты.

Идеальный пример науки о данных в действии – оценка прибыли компании в следующем квартале.

Источники и преобразование данных

Business Intelligence – это заблаговременное планирование и подготовка к использованию правильной комбинации источников данных для их преобразования. Чтобы получить соответствующие инсайты о клиентах, деловых операциях и продуктах, Data Science в состоянии на лету преобразовывать данные, используя те источники информации, которые доступны по требованию.

Потребность в смягчении

BI-аналитики не должны смягчать любые неопределенности, окружающие исторические данные, так как они основаны на реальных ситуациях. Такие данные точны и не предполагают каких-либо вероятностей.

BI-системы – это аналитические системы, предназначенные для бизнес-анализа, которые способны объединить данные из совершенно разных источников информации. Данные программные системы обрабатывают информацию и предоставляют отчёт в удобном интерфейсе для детального изучения и последующей оценки полученных в процессе сведений.

Полученные отчётные данные и их оптимальное использование помогают в достижении поставленных бизнес-целей. Анализ данных в комплексе – это получение знаний, своего рода выжимка из массы источников, включая направление бизнеса, которая позволяет существенно повысить эффективность процесса и значительно снизить издержки.

BI-системы – это единый, предельно прозрачный и полный источник всех данных о бизнесе компании для её административного ресурса, но главным образом для руководства.

На сегодняшний день генерация отчётности и грамотный анализ уже далеко не роскошь, а, скорее, необходимость для компаний, отчётная документация требуется как внутри бизнеса, так и в каждом слагающем элементе всего процесса.

Решения, предусмотренные BI-системой, оптимальны для подготовки всей отчётности, в том числе охватывают все без исключения аспекты бизнеса, наличие таких возможностей уже считается обязательным и рассматривается вкупе с другими базовыми технологиями как корпоративный стандарт.

1. BI-инструменты . Данные инструменты делят на генераторы запросов и отчётов, BI-инструменты аналитической обработки, корпоративные BI-платформы и BI-наборы. Основная часть BI-инструментов состоит из корпоративных BI-наборов и BI-платформ. Средства, предусмотренные для генерации запросов и отчётов, в основном поглощаются, или же корпоративные BI-наборы заменяют их. OLAP-механизмы – оперативная аналитическая обработка данных или серверы, в том числе реляционные. OLAP-механизмы являются инфраструктурой для BI-платформ и BI-инструментов. Большинство инструментов применимы пользователями для доступа, а так же анализа, включая генерацию отчётов, которые в большинстве случаев располагаются в хранилищах, витрине данных или же оперативном складе для данных.
2. BI-приложения . Приложения, которые не рассматриваются как инструменты. Примером является EIS – информационная система для руководителя.

Характерные особенности BI-систем

• В системах используют портальные технологии, которые обеспечивают единую точку входа в Интернет и информационное пространство предприятий.
• Интерфейс представлен в виде пульта управления или приборной доски с отображением нескольких основных показателей. Это даёт возможность быстро оценить положение дел. Также предоставлена возможность быстро обращаться к ключевым показателям по отделам и подразделениям, они хранятся в отдельной папке, расположенной на приборной доске.
• Многослойность: все данные отображаются в виде нескольких слоёв, при этом каждый последующий слой представляет все более детальную информацию относительно показателей, событий или процессов.
• Интерактивность BI-систем, позволяющая пользователю быстро осуществлять навигацию, в том числе просматривать данные в различных разрезах и сечениях, а также проводить «бурение» данных, перемещаться по разного рода измерениям. Пользователи могут непосредственно выполнять операции над данными.
• Управляемость и актуальность. Проактивность, содержащая машину построения правил, дающая возможность пользователям определять цели и пороговые ограничения для разного рода показателей и определять, при каких значениях данных должно выдаваться предупреждение. В системе предусмотрена возможность задавать параметры или показатели: если таковые достигнут критических значений, на монитор выдаются тревожные сигналы — визуальные и/или звуковые.
• Кастомизация BI-систем — индивидуальная настройка пульта или приборной доски под уровень управления и роль пользователя. Персонализация даёт возможность пользователю самостоятельно выбирать объекты из авторизованных списков и располагать данные на приборной доске по мере их важности.
• Гибкий доступ позволяет пользователям интуитивно обращаться к нужным данным и отчётам из огромного набора отчётов с результатами и графиков, в том числе предоставляет удалённый доступ и мобильные приложения.
• Коллаборативность предусматривает одновременную совместную работу большой группы сотрудников, в том числе просмотр отчётов.

Магические квадранты

Грамотно оценить состояние современного рынка, а также дать исчерпывающее объективное описание основных его игроков – задача довольно нетривиальная. На рынке присутствует множество производителей, которые отличаются друг от друга размерами бизнеса, организационными структурами, стилем управления, стратегией и другими факторами.

Такое положение дел значительно усложняет процесс их сравнения, а также направление движения и развития рынка крайне неоднозначны и труднопредсказуемы. Для решения данной проблемы был разработан «магический квадрант» BI-систем, в котором используют 2 показателя, один из них – полнота видения. Другой – способность реализации.

В современном мире существуют определенные классы программного обеспечения, которое ориентированно в основном на корпоративный сегмент (крупный и средний бизнес) и соответственно не имеет широкого распространения. Но некоторые программные комплексы имеют достаточно интересные функции, которые можно применить не только в сфере мелкого бизнеса, но и в качестве персонального инструмента. Вот об одном из таких программных комплексов и пойдет речь в данной статье.

Примечание

Я являюсь техническим специалистом, соответственно статья имеет более технический уклон. Если есть желание почитать информацию по продукту, ориентированную на бизнес пользователей, то вам на офсайт IBM.

Основная цель этой статьи, показать вам как сделать свой первый «Hello World» (по аналогии с программированием) в IBM Cognos BI.

Также хочу отметить, что я имею большой опыт написания пошаговых инструкций со скриншотами каждого шага. Но эта статья не будет очередной пошаговой инструкцией, здесь я хочу показать концепцию работы с системой, а не сделать еще один мануал.

Что такое BI?

Итак, что же такое BI система? Если в трех словах, то это продвинутая система отчетности. Что-бы было более понятно, ниже перечислю список основных функций, которыми располагают современные системы класса BI:

• возможность подключения к различным источникам данных (от файла Excel до универсального ODBC подключения)
• возможность построения как простых отчетов (типа график или таблица), так и сложных параметризированных отчетов с комбинированной структурой и ссылочными связями (Drill-Trough, Drill-Up/Drill-Down)
• возможность прозрачной работы с разными источниками данных (например, Excel и SQL Server) с полноценной обработкой связей между ними
• возможность интерактивной работы с данными (формирование отчетов «на лету»)
• возможность представления реляционных данных как многомерные
• возможность распределения прав доступа используя как внутренние источники аутентификации, так и внешние (NTLM, LDAP и т. д.)
• возможность запуска формирования отчетов как вручную, так и автоматически по расписанию
• возможность автоматической рассылки сформированных отчетов
• возможность построения отчетов в различных форматах (Excel, HTML, PDF и т. д.)

Говоря простым русским языком, BI система – это такая программа, которая предоставляет пользователю удобные инструменты анализа фактически любых данных (будь то файл Excel либо промышленное хранилище данных).

Возможность применения BI системы в качестве персонального инструмента

Сразу становится вопрос, как можно использовать эту систему в качестве персонального инструмента? Отвечу по личному примеру, я использую IBM Cognos BI в качестве инструмента по анализу статистики в своих проектах и инструмента по анализу статистики домашней бухгалтерии.

Тут конечно можно возразить, что-то в духе «я и обычным SQL запросами отлично анализирую статистику» или «встроенных функций Excel вполне достаточно чтобы проанализировать всю домашнюю бухгалтерию», но «все познается в сравнении». Как показывает практика, гораздо проще просто натаскать мышкой нужные элементы данных и получить результат в готовом виде, чем возится с написанием SQL запросов или перенастраиванием функций Excel.

Опять-таки, все написанное это лично мое мнение, с которым вы не обязаны соглашаться.

Архитектура IBM Cognos BI

Архитектура системы относительно несложная (как для системы корпоративного класса). Итак, ключевым элементом системы является IBM Cognos BI сервер (см. схему ниже), который работает с источниками данных, используя созданное пользователем описание (именуемое метаданными). Далее, посредством Web доступа, IBM Cognos BI сервер предоставляет доступ ко всем основным функциям системы.

Концептуальная архитектура комплекса IBM Cognos BI (схема получилась весьма громоздкой)

Этапы работы с системой

Чтобы сделать свой первый отчет необходимо выполнить несколько основных этапов:

1. Создать подключение к источнику данных
2. Сформировать описание источника данных, т. е. создать метаданные
3. Создать и опубликовать пакет метаданных на IBM Cognos BI сервере
4. Создать отчет

Структура тестового источника данных

Перед тем как приступить к реализации вышеописанных этапов, я хочу сказать пару слов об тестовом источнике данных. С одной стороны, структура тестового источника данных относительно простая (как для промышленного хранилища данных) с другой стороны она несколько сложнее чем простой лист Excel. Все данные в источнике являются синтетическими (сгенерированы алгоритмами на основе случайных чисел), из-за этого агрегатные показатели выглядят весьма ровно.

Как видно на схеме выше, в тестовой базе данных содержится 3 иерархических измерения: «Группа товара -> Товар», «Континент -> Страна -> Город -> Торговая точка», «Год -> Полугодие -> Квартал -> Месяц -> Дата»; 2 плоских (одномерных) измерения: «Кассир», «Региональный руководитель»; и 2 таблицы фактов: «Продажи», «План продаж».
Причем измерение «Кассир» расположено в одной из таблиц фактов в денормализованном виде, а измерение «Региональный руководитель» привязано к уровню «Страна» измерения «Торговая точка» связью «многие ко многим» (подразумевается, что один руководитель может управлять разными странами).

Подключение к источнику данных

В IBM Cognos BI все необходимые параметры для подключения к источникам данных хранятся в специальных объектах системы, которые так и называются «Data Source Connections». Чтобы создать новое подключение, необходимо выполнить несколько простых шагов: зайти на портал IBM Cognos BI, перейти в раздел «Администрирование» («Administration»), открыть вкладку «Конфигурация» («Configuration»), выбрать подраздел «Подключения источника данных» («Data Source Connections») и нажать кнопку «Новый источник данных» («New Data Source») в панели инструментов. Далее появится серия диалоговых окон, в которых будет необходимо задать несколько параметров, таких как название подключения, тип соединения, сервер, логин, пароль и т. д.

Разработка метаданных

Разработка метаданных, это один из самых сложных и ответственных моментов. От качества метаданных зависит, как работоспособность системы (скорость формирования отчетов, корректность сформированных результатов и т. д.) так и удобство разработки отчетов. Но несмотря на вышесказанное, сложность разработки метаданных прямо пропорциональна сложности источника данных. Например, чтобы построить реляционное описание нашего тестового источника данных, достаточно запустить мастер построения метаданных, несколько раз кликнуть кнопку «Next», и метаданные готовы.

Итак, как я уже писал ранее, метаданные – это описание источника данных. В IBM Cognos BI. Фундаментом метаданных являются объекты «Query Subject» и связи между ними. Объект «Query Subject» это синоним «View» из реляционных СУБД. Т. е. в основе «Query Subject» стоит запрос к СУБД, определяющий структуру объекта источника, а связи между «Query Subject» это описание логического взаимодействия между этими запросами.

Для создания метаданных в IBM Cognos BI используется отдельное приложение IBM Cognos Framework Manager (единственное не Web приложение в комплексе IBM Cognos BI). После запуска Framework Manager будет предложено создать новый проект (необходимо будет ввести наименование проекта и его расположение в локальной файловой системе).

Следует понимать, что проект Framework Manager (также именуемый как модель Framework Manager) это набор локальных файлов, с которыми работает локальная программа, а пакет метаданных это результат, который располагается на IBM Cognos BI сервере (если проводить аналогию с программированием, то проект – это исходный код, а пакет – это скомпилированное приложение). На базе одного проекта Framework Manager можно создать несколько наборов пакетов.

После того как проект Framework Manager создан, лучше всего начать работу с запуска мастера импорта метаданных (Action -> Run Metadata Wizard …). Мастер импорта предложит выбрать существующий источник данных или создать новый и позволит выбрать необходимые объекты для импорта. В простейшем случае (например, когда источником данных является файл Excel, который в 99,9% случаев содержит данные в денормализованном виде) нужно будет полям объекта «Query Subject» задать правильный тип использования (атрибут «Usage») и на этом работу с моделью Framework Manager можно заканчивать и приступать к формированию и публикации пакета метаданных. В более сложном варианте (как в нашем тестовом примере), необходимо будет проверить правильность импортированных связей между объектами «Query Subject», исправить некорректные и добавить недостающие. В более профессиональных вариантах есть возможность создавать вычисляемые поля, менять структуру «Query Subject», сформировать многомерное (multidimensional) представление, определить алгоритмы безопасности и т.д.

Создание и публикация пакета метаданных

После того как метаданные созданы, необходимо сформировать метапакет и опубликовать его на IBM Cognos BI сервере. Как я упоминал ранее, метапакет – это некоторое подмножество метаданных, которое публикуется на сервере и с которым работают все Web приложения комплекса IBM Cognos BI. Настройки метапакета позволяют скрыть или не публиковать некоторые объекты метаданных. Например, в тестовых метаданных есть некоторый «Query Subject» , который влияет на логику обработки данных источника (является связующим звеном между страной и региональным директором), но не представляет ценности при разработке отчетов, вот такой объект метаданных имеет смысл скрыть на уровне пакета. Или, например, поля с идентификаторами, их тоже имеет смысл скрыть от пользователей метапакетов.

Чтобы создать метапакет необходимо в Framework Manager, в разделе «Packages» вызвать контекстное меню и выбрать пункт «Create -> Package», после чего появится мастер создания метапакета. После того как метапакет будет создан, система сразу предложит его опубликовать на сервере. Начинающему пользователю можно сильно не вникать опции мастера публикации пакетов (просто нажимать кнопку Next и Publish). Единственно что, на последней вкладке (где будет не кнопка Next, а кнопка Publish) будет птичка «Verify package before publish», она определяет проверять ли метапакет на наличие логических неоднозначностей перед публикацией и отображает список этих неоднозначностей, если они буду найдены. Настоятельно рекомендую никогда не пропускать этот шаг и исправлять все найденные неоднозначности перед публикацией.

Создание отчетов (анализ данных)

Вот мы потихоньку и подобрались к самому интересному и регулярному процессу – это создание отчетов. Так сложилось что инструменты для создания регулярных отчетов и инструменты для быстрого анализа данных в IBM Cognos BI одни и те же (несмотря на то что в одних удобнее проводить быстрый анализ, а в других удобнее формировать регулярные отчеты, все они позволяют сохранять свои результаты в виде отчетов).

Лично я предпочитаю для всех BI задач использовать инструмент IBM Cognos Report Studio. Это наиболее универсальный инструмент, позволяющий строить отчеты фактически любой сложности и в тоже время предоставляет относительно удобные инструменты для быстрого анализа данных.

Предположим, что нам необходимо создать быстрый отчет, содержащий факт продаж в разрезе страны, товарной группы и периодичностью в квартал. Этот достаточно простой отчет можно сделать, выполнив следующие шаги:

1. запустить веб приложение IBM Cognos Report Studio
2. в окне приветствия нажать кнопку «создать» («create»)
3. в списке базовых шаблонов выбрать «перекрестная таблица» («corsstab»)
4. разместить элементы данных согласно схеме, представленной ниже
5. запустить отчет на выполнение

После запуска отчета на выполнение, получится примерно такой результат.

Глядя на получившийся отчет можно смело сказать, что оформлен он откровенно плохо, числа не отформатированы, экономический смысл откровенно сомнителен и т. д. Но все эти недостатки оформления можно убрать путем задания свойств соответствующих элементов настроек, а чтобы экономический смысл был более интересен, можно, например, сделать план/факт анализ.

Например, чтобы сделать отчет, показанный ниже (на готовых метаданных) я, как специалист с опытом, потратил где-то 20-30 минут.

А чтобы его полностью переоформить в темную цветовую схему, я потратил где-то еще 10 минут.

Заключение

Я надеюсь, что в этой статье читатель смог получить общие сведения о BI системах и принципе их работы. Конечно в рамках небольшой статьи невозможно рассмотреть относительно подробно ни один из затронутых аспектов (например, о том, как правильно сформировать метаданные, можно написать целую книгу), но я думаю, что если вы решите попробовать, то эта статья подскажет с чего начать и какого результата ожидать.

Также я совсем не затронул некоторые интересные механизмы и функции (например, механизм представления реляционного источника данных как многомерного), но это из-за того, что количество необходимого материала (минимум теории и минимум практики) потянет на отдельную статью.

Немного о лицензиях

Если вы решите купить отдельно систему IBM Cognos BI для персонального пользования или для небольшой фирмы, то наверняка цены вас неприятно удивят, но у IBM есть специальная комплексная система IBM Cognos Express, которая рассчитана на небольшие организации, содержит в себе несколько продуктов (включая BI) и стоит значительно дешевле.