Лучший BI

Ресурсы

Продукты

Партнёры

Цены

Загрузка данных на платформу Visiology 3.X и настройка модели данных

Загрузка данных

Знакомство с Visiology 3.X

Начало работы с данными

Чтобы начать работать с данными и создавать дашборды для начала необходимо эти данные загрузить. В этом разделе мы сделаем следующие шаги:

Загружаем таблицы

Определяем типы таблиц

Создаем модель данных

Настраиваем автообновление данных

Осуществляем загрузку всех необходимых таблиц пользуясь любым удобным загрузчиком.

Решаем какие таблицы будут таблицами справочниками, а какие таблицами фактов.

Графически связываем ключевые поля в таблицах. Направление связи от «справочника» к «факту». Повторяем, связывая все таблицы по схеме «Звезда» или «Созвездие».

Для данных, загруженных через JDBC настраиваем автообновление данных с заданной периодичностью.

Источники данных

Перед тем, как загрузить данные в платформу, нужно понять в каком виде они у нас хранятся и привести, если требуется, к подходящему формату. В первую очередь познакомимся со способами загрузки данных в Visiology.

Загрузка данных осуществляется через кнопку «Данные» в правом верхнем углу страницы. Вы можете выбрать отдельный способ загрузки для каждой таблицы.

Доступно три способа загрузки данных

JDBC

CSV

Excel

Загрузка из базы данных по протоколу JDBC

Загрузка CSV файла в расширении UTF-8

Загрузка Excel файла в расширении .xlsx

Загрузка из Базы Данных

Используя JDBC загрузчик можно подключиться к базе данных, поддерживающей протокол JDBC, указав ее адрес, имя базы данных, а так же логин и пароль или с помощью строки подключения. В поле «Название таблицы» вводится имя, которое вы хотите видеть модели данных для данной таблицы, а ниже должен находиться SQL запрос.

К примеру SELECT * FROM <имя_таблицы>, чтобы загрузить все столбцы из таблицы с названием <имя_таблицы> в вашей базе данных.

Прелесть использования JDBC подключения в том, что его легко можно автоматически обновлять через выбранный промежуток времени.

Интерфейс настройки данных при загрузке через протокол JDBC

Таблицы загруженные из базы данных легко можно автоматически обновлять через выбранный промежуток времени, в отличии от файлов excel и csv, которые, в случае изменения таблицы, придется загружать вручную.

ViTalk GPT

Виртуальный ассистент

Загрузка файла CSV

Загрузка CSV файлов поддерживается только в расширении UTF-8.

При использовании CSV файлов необходимо указать разделитель и выбрать опцию отображения заголовков, если это необходимо.

После этого можно выбрать столбцы, которые вы хотите загрузить из файла. По умолчанию все столбцы отмечены галочкой, то есть готовы к загрузке.

Интерфейс настройки данных при загрузке из файла CSV

Слева от галочки находится отображение типа данных в столбце. В данном случае Visiology автоматически определила тип данных как Int64 или целочисленный тип данных.

При клике по типу данных появляется выпадающий список и тип данных в столбце можно поменять.

Выпадающий список с типами данных

String - строковые тип данных
Int64 - целочисленный тип данных
Float - вещественны тип данных или числа с плавающей точкой
DateTime - данные в формате дата-время в виде ГГГГ-ММ-ДД ЧЧ:ММ:СС
Decimal - десятичный тип данных, обладающей повышенной точностью при вычислениях в сравнении с типом данных Float, округляемый до 2-ого знака после запятой

Платформа поддерживает работу со следующими типами данных

Тип данных результата в DAX зависит от оператора, а не от исходных столбцов, значения которых приводятся к нужному типу автоматически согласно требованиям выбранного оператора.

Советую вам вовсе избегать автоматического приведения типов данных.

ViTalk GPT

Виртуальный ассистент

загрузка EXCEL

Загрузка Excel файлов доступна только в формате .XLSX
Окно загрузчика Excel файлов очень похоже на окно загрузчика CSV файлов.

В правой части интерфейса можно выбрать один или несколько листов, которые вы хотите загрузить на платформу.

В данном случае файл с именем «offer» имеет внутри лист с названием «offer» и именно этот лист выбран как загружаемый.

Интерфейс настройки данных при загрузке из файла Excel

При загрузке CSV и Excel обращайте внимание на типы данных для каждого столбца.

ViTalk GPT

Виртуальный ассистент

Перед построением модели данных важно будет понять какая таблица у нас является фактовой, а какая из них таблица-справочник.

Типы таблиц

Загружаем таблицы

Определяем типы таблиц

Создаем модель данных

Настраиваем автообновление данных

выделяют два типа таблиц

Таблица, содержащая в себе количественные и качественный данные о событии факта, которым в свою очередь является строка в виде записи в таблице. Данные в таблице фактов можно агрегировать.

Например, в таких таблицах содержится информация по показаниям приборов, транзакциям, покупкам, планам.

Таблица фактов

Таблица, содержащая качественную информацию, на которую могут ссылаться значения из столбцов в таблице фактов. По этим данным обычно происходит фильтрация или более детальное рассмотрение информации.

В таких таблицах содержится информация по клиентам, адресам, товарам в магазине.

Таблица справочник

А если таблиц справочников несколько или очень много? Мы обращаемся к «Модели данных».

Модель данных

Загружаем таблицы

Определяем типы таблиц

Создаем модель данных

Настраиваем автообновление данных

Все мы знаем, что такое таблица. Это перечисление строк, содержащих информацию, при этом каждая строка поделена на столбцы. Столбец, в свою очередь, характеризуется определенным типом данных и содержит единый фрагмент информации. Обычно мы называем строку в таблице записью. Табличный способ хранения информации очень удобен в плане организации данных. По сути, таблица сама по себе является моделью данных в своей простейшей форме. А значит, когда мы вводим на лист Excel текст и цифры, мы создаем модель данных.

– это абстрактное, логическое определение объектов, операторов и других элементов, которые в совокупности составляют абстрактную машину доступа к данным, с которой взаимодействует пользователь. Эти объекты позволяют моделировать структуру данных, а операторы — поведение данных.

Модель данных (data model)

Три основных типа схем

VISIOLOGY 3.0 хранит данные в табличном виде (реляционные БД). Для корректной работы с данными необходимо эти таблицы связать между собой, то есть построить модель данных. Сделать это можно по-разному, на данный момент выделяют 3 основных типа.

Модель данных состоит из двух типов таблиц: таблицы фактов – центр «звезды» – и несколько таблиц справочников.

Схема «Звезда»

Модель данных состоит из нескольких таблиц фактов, которые имеют связь по общему справочнику. В данном случае это общий справочник №5.

Схема «Созвездие»

Модель данных состоит из двух типов таблиц: в центре расположена одна или несколько центральных таблиц фактов, а вокруг неё — таблицы измерений.

Схема «Снежинка»*

*На данный момент «Снежинка» не поддерживается в платформе Visiology

Пример модели данных «звезда»

С тем как будут располагаться таблицы мы определились, самое время их соединить (связать).

Создание связи

Представляет собой объединение двух таблиц. Такие таблицы называются связанными. Графически связь двух таблиц обозначается линией между ними.

Связь (relationship)

Связь между таблицами устанавливается путем перетаскивания столбца таблицы измерений в столбец таблицы фактов, при этом тип данных двух столбцов должен быть одинаковым.

Для просмотра связи наведите курсор мыши на ее графическое изображение – приложение подсветит поля, по которым вы связали таблицы.

Если вы ошибочно привязали таблицу и хотите удалить созданную связь, кликните на ее графическое изображение и нажмите «Удалить связь».

Куда должна смотреть стрелка

В модели данных Visiology есть направление связи. Оно играет важную роль в том, каким образом работает фильтрация. Понимание направления связи является важным шагом для построения модели данных.

Наверняка при изучении DAX вы задавались вопросом - Что подразумевает направление связи?

Ответ: это означает направление «Фильтрации».
Каким бы ни было направление отношений, это означает, что платформа фильтрует данные. В приведенном скриншоте вы можете видеть, что направление связи идет от таблицы «ЖК» к «offer».

Это означает, что любой столбец в справочнике «ЖК» может фильтровать данные в таблице фактов «offer». То есть вы можете сделать срезы и посмотреть данные в таблице "offer" по каждому наименованию из таблицы «ЖК».

Важные аспекты связей между таблицами

Таблицы, объединенные связью, выполняют разные роли. Одна из них представляет сторону «один», а вторая – «многие», которые помечаются символами «1» и «*» (звездочка).
Одной подкатегории может принадлежать несколько товаров, тогда как один товар может представлять только одну подкатегорию.
Столбцы, использующиеся для объединения таблиц и обычно имеющие одинаковые имена, называются ключами (keys) связи. При этом в ключевом столбце таблицы, представляющей сторону «один», должны находиться уникальные значения без пропусков.
Связи могут образовывать цепочки. Каждый товар принадлежит какой-то подкатегории, которая, в свою очередь, представляет определенную категорию товаров. Следовательно, каждый товар можно отнести к конкретной категории. Но чтобы получить ее название, необходимо пройти к ней от товаров через цепочку из двух связей.
Стрелкой посередине связи обозначается направление перекрестной фильтрации, то есть распространение фильтра по этой связи.

Вот и всё! Модель данных готова.

Если вы загружаете данные из Баз Данных, то для них можно настроить автообновление по расписанию.

Автообновление данных

Загружаем таблицы

Определяем типы таблиц

Создаем модель данных

Настраиваем автообновление данных

Как было упомянуто ранее для таблиц, загруженных через JDBC доступна опция автообновления данных. Что это значит?

Если данные в базе данных к которой вы подключились будут изменены или дополнены, вы можете автоматически обновить их в таблице на платформе, включив автообновление данных для выбранной таблицы и указав периодичность.

Данная функция не поддерживается для загрузчиков Excel и CSV.

Для того, чтобы включить эту функцию на сайтбаре в левой части экрана нажмите на кнопку назад. Перейдя в рабочую область с вашим набором данных выберите на сайтбаре кнопку «Расписание обновлений».

Меню обновления данных на сайдбаре. Чтобы включить автообновление нажмите на иконку календаря в строке с набором данных и настройте периодичность обновлений.

На страницу курса

Перейти к практике

Если у вас появились вопросы, напишите нам