Аналитика

Методы визуализации данных доказали свою эффективность в повседневной управленческой деятельности, поскольку на их основе можно быстро оценить ситуацию, прогноз её развития и принять наиболее эффективные управленческие решения.

Так, например, распределение мощности (уровня) принимаемого абонентским устройством сигнала вдоль маршрута , представленное в виде таблицы, практически не несёт полезной информации, но, будучи нанесённым на географическую карту, позволяет мгновенно определить проблемные с точки зрения радиопокрытия участки сети и, соответственно, внести необходимые коррективы в план технического развития сети. Отчёт в виде карты с точками, где произошёл обрыв соединения, гораздо более информативен, нежели график или таблица.

Модуль Платформы "Аналитика" на базе среды визуализации, включающей в себя более 50 различных форм визуализации данных и предоставляет пользователю следующие основные возможности:

• Создание графиков и таблиц — предоставляется широкий выбор инструментов для создания графиков и таблиц, включая столбчатые, круговые, линейные, тепловые карты и другие;
• Фильтры — создание фильтров данных, позволяющих быстро и удобно настраивать отображение данных на инфопанели (dashboard);
• Агрегирование данных — возможность агрегировать данные по различным параметрам, что позволяет быстро и удобно анализировать большие объемы данных;
• Интерактивность — возможность создавать интерактивные инфопанели (dashboards), которые позволяют пользователям взаимодействовать с данными и изменять способ их отображения "на лету";
• Разделение доступа - возможность разделять доступ к данным между пользователями, что позволяет ограничить несанкционированный доступ к конфиденциальным данным.

По желанию заказчика в комплект поставки Платформы может быть включен набор аналитических форм и отчётов, созданных в соответствии с техническим заданием клиента. Пользователь имеет возможность самостоятельно формировать и редактировать собственные наборы аналитических форм и отчётов.

Иерархия или этапы подготовки данных для отчёта, выглядит следующим образом (рис 4.1)

Информационные панели (Dashboards) строятся на основе графиков/диаграмм/таблиц (Charts), а те, в свою очередь, на основе наборов данных (Datasets). Наборы данных являются результатом запроса к базе данных.

При этом результаты запросов не хранятся в наборах данных, сохраняются лишь сами запросы и структура/формат колонок (полей). Поэтому при открытии инфопанели или создания графика (Charts) запускается сохранённый запрос и, на основе полученных данных создаётся визуализация. Преимущество такого подхода в том, то не требуется выделения большого объёма памяти для хранения данных, однако для обеспечения оптимальной производительности требуется тщательная проработка архитектуры источника данных (хранилища).

Панель навигации

основные компоненты раздела "Аналитика":

• Dashboards — список созданных ранее инфопанелей (dashboards);
• Charts — список графиков и диаграмм;
• Datasets — список физических или виртуальных наборов данных;
• SQL — встроенный в Платформу редактор SQL запросов к базам данных, на основе имеющихся подключений. Эта часть предназначена для пользователей-аналитиков, которые могут использовать интерфейс для исследования данных.
  Созданные запросы можно сохранить в виде виртуального набора данных, который можно впоследствии отредактировать, копировать для изменения/отладки или удалить. На основе запросов могут построены различные графики и/или скомпонована информационная панель (dashboard). Платформа поддерживает режим групповой работы, когда запросы, созданные одним пользователем, могут использоваться другими пользователями или группой (при наличии прав доступа);
• Saved queries — список сохраненных запросов;
• Query history — история созданных/выполненных запросов, выполненных в редакторе SQL. Эта функция, как правило, может быть полезной для администраторов Платформы и специалистов по информационной безопасности.
• Settings — настройки функциональности, ролей, пользователей, безопасности и т.д.

Уровни аналитики

В Платформе организовано несколько уровней работы с данными:

Визуальные панели инструментов

Основная и наиболее востребованная возможность Платформы — создание интуитивно понятных визуальных информационных панелей. Для визуальной панели мониторинга предоставляются следующие функции:

• Создание интерактивной информационной панели с помощью различных готовых к использованию инструментов;
• Простой способ разработки панелей drag\&drop (перетаскивание компонентов в область редактирования;
• Широкий спектр поддерживаемых форматов и каналов, таких как URL, электронная почта, JSON для совместного использования информационных панелей.

Исследование данных

Изучение данных для получения соответствующих бизнес-идей и представление их в виде интуитивно понятных визуальных отчетов является ещё одним ключевым аспектом возможностей Платформы. Для исследования данных предлагаются следующие функции и возможности:

• Позволяет создавать визуализацию данных без кодирования (визуальное программирование);
• Способность извлекать глубоко лежащие в основе данные и представлять их в визуально привлекательной форме.
• Интуитивно понятный интерфейс данных.
• Наличие большого количества готовых к использованию, предварительно настроенных и настраиваемых плагинов для визуализации данных.
• Разрешение использовать релевантные для бизнеса метрики, определенные пользователями, наряду с семантическими слоями.
• Полный контроль визуализации данных с помощью операторов SQL.

SQL

Не менее важной особенностью Платформы является возможность создавать и адаптировать SQL-запросы для работы с базой данных и изучения данных. В Платформе предусмотрены все необходимые инструменты для обработки таких запросов:

• Многофункциональная интегрированная среда разработки SQL на основе React;
• Возможность обработки нескольких разных запросов с помощью нескольких вкладок, что облегчает запрос метаданных по разным разделам, таблицам индексов и столбцам.
• Возможность выполнения запросов на основе пользовательских показателей.
• Поддержка перекрёстных запросов, доступ к истории запросов, планирование и автозаполнение запросов.

Создание отчёта

Для создания отчёта необходимо подключиться к источнику данных, выбрав сам источник и схему (см.рис.4.3):

Рис.4.4. Выбор информационной схемы и таблицы набора данных

После того, как источник данных подключен, необходимо:

1. Создать набор данных (dataset)
2. Визуализировать эти данные (chart)
3. Разместить результаты визуализации на информационной панели (Dashboard)

Далее эти этапы рассмотрены более подробно.

Dataset (Набор данных)

Создать набор данных можно следующими способами:

Способ № 1: Импорт структуры существующей таблицы из базы данных:

На панели меню выбрать «Datasets» затем создать новый набор «+ Dataset» или на основной панели выбрать «+» -> «Data» -> «Create dataset».

Выбрать необходимые поля: database, schema, table, создать набор данных и перейти к созданию визуализации: «Create dataset and create chart»

Способ №2: Получить данные с помощью SQL запроса и сохранить результат в качестве набора данных

На панели управления выберите «SQL» -> «SQL Lab» или через «+» на главной панели -> «SQL query» перейдите в окно для работы с SQL запросами.

Выберите в полях "database", "schema" и "table", данные о подключении. Введите текст запроса в окне редактирования и нажмите "Run". Если результаты запроса соответствуют желаемым, сохраните его "Save" - > "Save dataset" Набор может быть сохранён поверх существующего или создан, как новый.

Созданные ранее наборы данных (Datasets) размещаются в списке, из которого могут быть открыты для редактирования, скопированы или удалены. Для перехода к редактированию набора данных следует использовать соответствующую пиктограмму (см.рис). Выбор строки из списка набора данных запускает редактор визуализаций (Chart) с этим набором данных.

Параметры набора данных

Source (источник данных)

Параметры группы «Source» отвечают за определение источника (базы данных), схемы и названия набора данных. Созданный набор данных по умолчанию блокируется для изменений (см. рис.4.9). Чтобы разблокировать его, достаточно кликнуть на пиктограмму с замком.

Metrics (метрики данных)

Метрика — это расчет, выполняемый с использованием меры для предоставления аналитической информации. Метрики требуют ключей, которые определяют контекст расчета.

В данном примере ключом метрики является уровень принимаемого сигнала (RX level). значения которого группируются по определённым диапазонам и в дальнейшем используются для расчёта доли уровня сигнала в общем объеме данных.

Для метрики можно определить ряд необязательных параметров:

• описание метрики;
• формат представления данных (дата, денежная единица и т.д.);
• пользователя или группу пользователей, сертифицирующих данную метрику;
• предупреждающее сообщение, которое будет показываться пользователям при использовании метрики.

Поля (Columns)

Свойства полей набора данных определяются в подразделе "Columns"

Для каждого поля может быть установлена метка, формат отображения данных, сертификационные данные, возможность фильтрации и использование как поля измерений.

Вычисляемые поля (Calculated columns)

Набор данных может содержать вычисляемые поля, рассчитываемые, как результат SQL запроса:

Общие настройки

В этом разделе содержатся общие необязательные настройки набора данных (Dataset):

• Описание (description) - произвольное текстовое описание набора данных;
• Default URL - ссылка по которой происходит переход из списка наборов данных;
• Autocomplete filters - «Автозаполнение фильтров» — это функция, которая призвана улучшить производительность запросов. Она позволяет применять предикаты (предложения WHERE) к запросам, которые выбирают отдельные значения из таблицы. Как правило, цель состоит в том, чтобы ограничить область поиска, используя относительный временной фильтр для секционированного или индексированного поля, связанного со временем.
• Owners - список владельцев набора данных;
• Cache timeout - время жизни кэша. Значение -1 - пропустить кэш.
• Hours Offset - Смещение по времени — это поле, с помощью которого можно настроить количество часов, добавляемых или вычитаемых из значения столбца времени. Например, с его помощью можно преобразовать время по UTC в местное время.
• Template parameters - набор параметров, которые будут доступны в запросе с использованием синтаксиса Jinja
• Normalize column names - возможность редактировать наименование полей (используется например, в Oracle Snowflake).

Chart (Визуализация)

На основе созданного набора данных (Dataset), пользователь может приступить к созданию визуализации (Chart). Также к этой функции можно попасть из главного меню, выбрав соответствующий пункт в панели навигации (Charts).

С помощью фильтра можно ограничить видимость элементов в списке, используя заданные критерии. Например, можно выбрать все компоненты, которые входят в определённую инфопанель (Dashboard), или визуализацию, использующую конкретный набор данных (Dataset), или визуализацию определённого типа (таблицу, график, столбчатую диаграмму и т.д.).

Для создания новой визуализации (Chart) выберите нужный набор данных (Dataset) из ранее созданных (выпадающий список). Вы можете создать новый набор данных перейдя по ссылке "Add dataset" (рис.4.15).

Для выбранного набора данных необходимо определить способ их представления. Этот способ можно выбрать из предложенных вариантов или из категории, которая наиболее подходит для визуализации.

Примеры визуализаций

Table (таблица)

Наиболее часто используемый вид таблиц — это таблица типа aggregate. Она позволяет добавлять агрегационные функции к уже существующим колонкам.

В этом примере в качестве поля для агрегации используется название компании-оператора. Затем в таблицу добавляются метрики, созданные в датасете, и создаётся новая метрика — среднее значение Call Setup Time.

Для создания простой "плоской" таблицы поле "Метрики" не используется, нужно просто выбрать нужные колонки в поле "Dimensions" и обновить данные ( "Update chart").

Bar chart (столбчатая диаграмма)

Столбчатая диаграмма — это инструмент, который позволяет сравнить значения разных категорий данных или проанализировать изменения определённого показателя за конкретный период. В данном примере мы видим сравнение средних значений RSRP для различных операторов.

На оси X можно выбрать категории, в данном случае это компании-операторы. В поле «Метрики» указано среднее значение RSRP (Reference Signal Received Power) в dBm за весь период измерений. В этой диаграмме можно усреднить данные за определённый период времени, который выбирается в поле «Фильтр».

Pivot table (сводная таблица)

Для создания сводной таблицы нужно выбрать поля для колонок и строк, а также метрику.

В приведённом примере сводная таблица содержит данные о средних значениях RSRP (Reference Signal Receive Power) для операторов с разбивкой по диапазонам (технологиям). Данные можно расположить в строках или в столбцах, при необходимости добавляются итоги/подитоги:

Dashboard (Сборка и публикация инфопанели)

После создания визуализации пользователь переходит в редактор инфопанелей (Dashboard). Из главного меню перейти к созданию новой инфопанели можно по кнопке "+Dashboard".

Инфопанель (Dashboard) включает заранее подготовленные компоненты (Charts), которые можно найти в списке в правой части экрана. Эти компоненты можно создавать непосредственно в редакторе инфопанелей, нажав кнопку «Create New Chart».

Чтобы разместить компоненты в рабочей области, используйте метод «drag & drop». Для этого выберите нужный компонент и, удерживая левую кнопку мыши, перетащите его в рабочую область (рис ).

Размещённые в рабочей области компоненты помечаются в списке соответствующим значком ("Added").

Не забудьте присвоить созданной вами инфопанели название, после чего сохраните результаты своей работы (кнопка "Save").

Свойства инфопанели (Dashboard properties)

На рис.4.23 приведён список свойств инфопанели, которые могут быть настроены пользователем.

• Title - заголовок панели. По нему вы сможете найти и выбрать созданную вами панель из списка;
• Access (owners, roles) - список пользователей (ролей), имеющих доступ к этой панели;
• Color scheme - цветовая гамма (выбирается из списка).
• Certification - сертификация данной панели автором, или его руководителем или группой пользователей. Нечто вроде контроля качества.

Кнопка «...» открывает список действий, которые вы можете выполнить с созданной вами панелью (см. рис.4.24).

Созданную панель можно сохранить под другим именем или в виде изображения для последующей вставки в отчёт. Также её можно отправить в виде ссылки, интегрировать в веб-приложение или отправить по электронной почте.

Кроме того, пользователь может настроить интервал автоматического обновления информационной панели. Этот интервал задаётся произвольно, и, как правило, зависит от частоты обновления данных в хранилище (базе данных).

Кнопка, расположенная справа от заголовка панели, отображает статус созданной вами панели: «Draft» или «Published». В статусе «Draft» панель недоступна для просмотра никому, кроме её автора. При переходе в статус «Published» панель становится видимой для всех пользователей в соответствии с их правами доступа.