Запросить демонстрацию платформы
Заполните форму, и наши специалисты свяжутся с вами для демонстрации продукта.
Нажимая на кнопку «Отправить», я даю согласие на обработку своих персональных данных и соглашаюсь с политикой конфиденциальности
Подписаться на новости
Будьте в курсе последних новостей компании «Visiology»
Нажимая на кнопку «Подписаться», я даю согласие на обработку своих персональных данных и соглашаюсь с политикой конфиденциальности
Доступ к демо-серверу
Оставьте ваши контакты, и вам будет автоматически выдан доступ
к демо-серверу Visiology
к демо-серверу Visiology
Нажимая на кнопку "Отправить", вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности.
Доступ к демо-серверу Visiology 3.Х
Заполните заявку и вам будет выдан доступ к демо-серверу Visiology 3
Внимание! Сервер очищается от всех загруженных данных 1 раз в сутки.
Внимание! Сервер очищается от всех загруженных данных 1 раз в сутки.
Нажимая на кнопку "Отправить", вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности.
Когда скорость и надежность на первом месте
ViQube 2.0
Знакомство с Visiology 3.X
Для начала немного теории
В своей архитектуре VISIOLOGY использует движок, в который загружаются и обрабатываются все данные, и называется он - ViQube 2.0.
Это не только хранилище данных, но ещё мощный инструмент, позволяющий объединять, трансформировать и оптимизировать данные для аналитических нужд. Это сердце Visiology, позволяющее аналитикам работать с информацией на более высоком уровне.
ViQube 2-го поколения построен на основе очень гибкой и высокопроизводительной СУБД ClickHouse. Но стоит понимать, что это глубоко переработанная и оптимизированная система специально под работу с VISIOLOGY.
Это не только хранилище данных, но ещё мощный инструмент, позволяющий объединять, трансформировать и оптимизировать данные для аналитических нужд. Это сердце Visiology, позволяющее аналитикам работать с информацией на более высоком уровне.
ViQube 2-го поколения построен на основе очень гибкой и высокопроизводительной СУБД ClickHouse. Но стоит понимать, что это глубоко переработанная и оптимизированная система специально под работу с VISIOLOGY.
Оптимизируем ClickHouse
Рассмотрим основные оптимизации, которые были реализованы при создании ViQube 2.
Процессы загрузки были построены так, чтобы не создавать лишних сложностей для СУБД. Чтобы все работало оптимально мы сделали принципы индексирования динамическими, оптимизировали схему модели данных для ClickHouse.
В целях достижения более высокой производительности была проведена глубокая модернизация по работе платформы с форматами данных. Например, если у вас есть две таблицы и настроены связи между ними. По умолчанию они могут быть сохранены как большой Integer. Но если связей не более 200 штук, значит нам нужно хранить всего 200 элементов. Зачем для 200 элементов использовать integer, если можно short integer? Благодаря этому уменьшается объем хранимых данных, ускоряются группировки и быстрее идут JOINы.
Теперь агрегаты (расчёты) могут кэшироваться "на лету", как и запросы, которые генерирует пользователь. Также создаются отдельные кэши под каждый виджет, который видит на экране пользователь BI-системы.
При загрузке для одной и той же модели данных система автоматически формируем несколько физических представлений (таблиц). Благодаря этому большинство произвольных запросов DAX работают намного быстрее.
Когда речь идет об одновременной загрузке данных и работе пользователей, возникает вопрос — как сделать так, чтобы в момент загрузки или по истечении времени для всех были видны консистентные данные? Ведь одновременно с их работой идет постоянная сортировка, балансировка, масштабирование? Увы, инструментами “по умолчанию”, в ClickHouse, сделать это не получится, потребуется привлечение разработчика.
Поэтому разработчики Visiology потратили немало времени на разработку алгоритмов, которые отслеживают кардинальность данных, связи между таблицами, индексирование и т.д.
Поэтому разработчики Visiology потратили немало времени на разработку алгоритмов, которые отслеживают кардинальность данных, связи между таблицами, индексирование и т.д.
В итоге получилась схема, которая состоит из следующих компонентов:
Подробнее про компоненты
Графический дизайнер, который работает в интернет-браузере (SPA-приложение). С помощью него можно:
- редактировать и просматривать существующие дашборды;
- редактировать и просматривать рабочие области:
- редактировать наборы данных.
Данный сервис отвечает за визуализацию виджетов на экране и обеспечивает отображение виджетов на экране с учетом всех настроек.
Позволяет создавать и публиковать интерактивные отчеты (дашборды). Данный сервис предоставляет следующие возможности:
- получение, редактирование и хранение дашбордов;
- формирование DAX-запросов для получения данных;
- экспорт данных в формате Excel;
- взаимодействие с пользовательскими виджетами, темами, пользовательскими JavaScript-скриптами, картинками
В MongoDB хранятся метаданные всех компонентов платформы.
Высокопроизводительное хранилище данных, реализованное на основе ClickHouse. Это логическое объединение нескольких компонентов.
– бэкенд-сервис, реализующий Tabular Object Model c помощью ClickHouse и конвертирует запросы DAX в SQL-запросы к ClickHouseОсновные функции:
- хранение и управление TOM-моделью (Tabular Object Model);
- хранение больших объемов данных;
- обработка аналитических запросов на языке DAX;
- построение оптимальных структур хранения и индексов для более быстрой обработки DAX-запросов;
- кэширование DAX-запросов;
- хранение прав доступа к наборам данных.
Непосредственно само место, где хранятся данные.
Состоит из разных компонентов и позволяет загружать данные из различных источников.
Пользователь видит только интерфейс Visiology Designer и настройки модели данных в webe.
Когда аналитик/бизнес-пользователь заходит на дашборд, либо пишет меру Visiology Designer отправляет соответствующий запрос в другой компонент - Dashboard Service, который переводит все запросы пользователя в понятный для платформы язык.
Далее Dashboard Service направляет может направлять запросы:
В последнем случае запрос приходит в ViQube 2 в компонент Formula-engine, который конвертирует запросы DAX в SQL-запросы к ClickHouse. И уже из него возвращаются данные, которые ранее были загружены в ViQube 2.
Когда аналитик/бизнес-пользователь заходит на дашборд, либо пишет меру Visiology Designer отправляет соответствующий запрос в другой компонент - Dashboard Service, который переводит все запросы пользователя в понятный для платформы язык.
Далее Dashboard Service направляет может направлять запросы:
- для проверки прав у пользователя;
- к метаданным, таким как модель данных, расписание загрузки данных и т.д.;
- для получения данных для отображения пользователю/аналитику.
В последнем случае запрос приходит в ViQube 2 в компонент Formula-engine, который конвертирует запросы DAX в SQL-запросы к ClickHouse. И уже из него возвращаются данные, которые ранее были загружены в ViQube 2.
!
Подобный подход, как минимум экономит 3-6 месяцев на разработку и кастомизацию хранилища, позволяет не держать в штате дорогостоящего специалиста по архитектуре КХД (потому что несколько таких есть у нас), но при этом дает серьезный прирост в производительности — по различным оценкам вплоть до 10 раз по сравнению с не оптимизированным ClickHouse.
Более подробно про архитектуру можно узнать в документации.
Документация
Если у вас появились вопросы, напишите нам
Если у вас появились вопросы, напишите нам