Чем Qlik похож на Axapta

[George Nordic]

Выделено отсюда: Бесплатное обучение для форумчан BI-системе Qlik 21 января 2015 года

Цитата:

Сообщение от wojzeh

хе-хе! меня-то за советскую власть можно не агитировать - я ж сертифицированный дев и дизайнер и фанат номер один этой штуки. очень давно не испытывал подобного кайфа от софтины.

Кстати, только недавно сформулировал, что мне так понравилось в Qlik. Две основные причины:

I. Быстро. Вернее, ОЧЕНЬ быстро. Ну, ты-то и сам знаешь, а для коллег - объясню: использование Qlik позволяет быстро получить итоговый результат. Ну, тут и в целом результаты в большинстве BI получаются гораздо быстрее (и нагляднее), чем в учетных системах. Но, все-таки, обычно, чтобы получить конечный результат, надо сделать кучу работы в разных системах.
1й слой: ETL - собирает данные из разных систем.
2й слой: А как их клеить? Что является мастер-данными, ключом, "золотой записью?" Хорошо, когда есть единая мастер-система - 1С, DAX, NAV. Но, бывает, данные разбросаны и их надо между собой корректно увязать - тут возникают вопросы управления справочной информацией (НСИ) и мастер-данными - это уже класс MDM систем.
3й слой: Возникают вопросы к качеству извлеченных данных - данные нужно чистить, убирать дубликаты, убирать выбросы, восстанавливать - например, интерполировать нулевые значения до средних и т.д. - DQM.
4й слой: Хранение данных - DHW. Извлеченные и трансформированные данные надо где-то хранить. Иногда это "классическое" хранилище данных или витрины в хранилище - но, в большинстве случает, основное предназначение подобных хранилищ это не подготовка данных к анализу, а хранение исторических данных или интеграция нескольких систем.
5й слой: Подготовка данных к аналитике - группировка, агрегация, построение срезов данных, расчетные показатели, простановка флагов и т.д. Фактически, на этом этапе строится аналитическое хранилище данных, многим известна, например, OLAP - технология ("кубы") - это оно.
6й слой: Портал. Т.к. мы живем в 21м веке, то многие хотят видеть результат на мобильном устройстве. Значит, надо постараться чтобы аналитические витрины были доступны (желательно, в красивом виде) с разных устройств.
7й слой: Визуализация. Здесь аналитик уже рисует аналитические отчеты, дашборды, KPI и т.д.

Так вот, в Qlik - все эти слои лежат внутри одного продукта. Стал строить витрину, каких-то данных нехватает - нажал Ctrl+E, открыл загрузку, загрузил и давай дальше строить. Данные кривые - прямо в загрузчике можно писать алгоритмы по чистке данных, маппингу и т.д. Данный подход очень много времени экономит - обычно очень много времени и трудозатрат приходится на интеграцию систем и "прокидывания" данных между ними. Ну и поиска ошибок еще - в каком слое косяк.

Тоже самое было в Axapta - мне не нужна была никакая другая система для решения задач немаленького, в общем-то, предприятия. Новый модуль можно было написать очень быстро - WMS (ну, или не очень быстро, но с чего-то начать а потом доделывать), ТСД оператора производства, портал поставщика, розницу допилить... Да, не стоило писать проектирование изделий (CAD) или календарное планирование (Project) - но с ними можно было легко интегрироваться. Хранилище? Да у меня в DAX вся информация лежала, не было большой надобности в отдельном DWH. Т.е. скорость разработки в DAX - просто поражала. Хотя, конечно, это имело и свои отрицательные последствия.

II Многооконность. Какой же кайф был открыть одно окно и получить в соседнем все связанные значения. Прям как в Qlik - выбираешь значения в одних фильтрах / закладках и видишь связанные значения во всех остальных. Т.е. видны не просто данные, а их связь.

Так что между продуктами много общего есть, на мой взгляд.

С Уважением,
Георгий

[mazzy]

Причина одна - меньше народа задействовано при сдаче результата. )

Чем меньше, тем легче подписать акт.
Можешь бизнес-консультантов спросить - они сдают только владельцам.
Или тренеров по личностному росту - там вообще только одному человеку )

Цитата:

Сообщение от George Nordic

Но, бывает, данные разбросаны и их надо между собой корректно увязать
...
в Qlik - все эти слои лежат внутри одного продукта.

эти два тезиса логически противоречат друг-другу.
да, понятно что ты хотел сказать.
но существующая формулировка требует доработки, чтобы не коробило от внутренних противоречий.

[gl00mie]

Исходные данные разбросаны по разным системам, а функциональные слои для сбора, склейки, чистки, подготовки, агрегирования, анализа, визуализации данных лежат внутри одного продукта. В чем противоречие?

[mazzy]

Цитата:

Сообщение от gl00mie

Исходные данные разбросаны по разным системам, а функциональные слои для сбора, склейки, чистки, подготовки, агрегирования, анализа, визуализации данных лежат внутри одного продукта. В чем противоречие?

1.
для данных есть слой обеспечения доступа к данным.
этот слой вряд ли может находится не в разбросанных системах.
по крайней мере, я хотел бы увидеть обоснование )

просто в формулировке не хватает слова ODBC или какой-нибудь другой провайдер данных.
но формулировка станет уже другой )

контрпример - данные "разбросаны" в Lotus Notes. Каким должно быть утверждение, чтобы оставаться хотя бы не ложным?

upd: контрпример2 - данные "разбросаны" по традиционным реляционным поставщикам. Но связь между ними происходит очень асинхронно и редко.
Например, данные с военных городков, где интернета нет в принципе, а связь осуществляется фельдъегерями на собачьих упряжках.
Или, например, данные с ноутбуков ремонтных бригад, которые занимаются обслуживанием газовой трубы.

2.
системы, предоставляющие исходные данные, как правило, содержат свои бизнес-правила для валидации и поддержки целостности данных. Причем таких бизнес-правил может быть очень много.

в данной формулировке подчеркивается, что "сбора, склейки, чистки, подготовки, агрегирования, анализа, визуализации данных лежат внутри одного продукт". но не говорится о том, что поддерживаются бизнес-правила чужих систем.

Другими словами, говорится, что в Qlik нужно пересоздавать бизнес-правила поддержки целостности, которые уже реализованы во внешних системах. Зная трудоемкость разработки таких бизнес-правил, начинаешь сомневаться в необходимости затрат на ПЕРЕСОЗДАНИЕ. в любом продукте.

и т.д.

Повторюсь, я отлично понимаю, что Nordic хотел сказать.
Я утверждаю, что "существующая формулировка требует доработки, чтобы не коробило от внутренних противоречий."

[gl00mie]

Цитата:

Сообщение от mazzy

для данных есть слой обеспечения доступа к данным.
этот слой вряд ли может находится не в разбросанных системах. контрпример - данные "разбросаны" в Lotus Notes. Каким должно быть утверждение, чтобы оставаться хотя бы не ложным?

Насколько я помню семинар по Qlik, в нем есть открытый API для написания адаптеров доступа к данным. На счет Lotus Notes не скажу, но как минимум для 1С такой адаптер на 2015 год имелся, так что Qlik'у достаточно было доступа к базе 1С, без прослойки в виде платформы 1С.

Цитата:

Сообщение от mazzy

контрпример2 - данные "разбросаны" по традиционным реляционным поставщикам. Но связь между ними происходит очень асинхронно и редко. Например, данные с военных городков, где интернета нет в принципе, а связь осуществляется фельдъегерями на собачьих упряжках.

И что доказывает этот контрпример? Что в Qlik нет функционального слоя "фельдъегерская служба"?.. Как в контексте данного контрпримера будут работать другие BI-решения? Почему-то вспоминаются суровые сибирские мужики и железобетонная шпала...

Цитата:

Сообщение от mazzy

системы, предоставляющие исходные данные, как правило, содержат свои бизнес-правила для валидации и поддержки целостности данных. Причем таких бизнес-правил может быть очень много. в данной формулировке подчеркивается, что "сбора, склейки, чистки, подготовки, агрегирования, анализа, визуализации данных лежат внутри одного продукт". но не говорится о том, что поддерживаются бизнес-правила чужих систем. Другими словами, говорится, что в Qlik нужно пересоздавать бизнес-правила поддержки целостности, которые уже реализованы во внешних системах.

Мне кажется, тут имеет место подмена понятий Не буду говорить за все системы, предоставляющие исходные данные, но по опыту Аксапты, в них обычно содержатся правила валидации и поддержки целостности для вводимых данных, когда те из условных журналов трансформируются в проводки. Для проводок же подобных бизнес-правил поддержки целостности обычно либо намного меньше, либо нет вовсе. Если BI-система в качестве исходных данных использует проводки, то нет необходимости в BI-системе применять к ним те же правила валидации и проверки целостности, какие применялись при формировании этих проводок из журналов в системе-источнике. Но может быть необходимость применять новые правила валидации и контроля целостности, которых в системе-источнике не было. Отсюда, утверждение, что "в Qlik нужно пересоздавать бизнес-правила поддержки целостности, которые уже реализованы во внешних системах", я лично считаю неверным (для любой BI-системы) при условии, что в качестве исходных берутся данные "проводок", а не "журналов".

Цитата:

Сообщение от mazzy

Зная трудоемкость разработки таких бизнес-правил, начинаешь сомневаться в необходимости затрат на ПЕРЕСОЗДАНИЕ. в любом продукте.

Это спор с самим собой

[mazzy]

?!

для дальнейшего обсуждения, предположим что ты прав
и как твои слова должны отразиться на исходном утверждении?

Цитата:

Сообщение от gl00mie

Насколько я помню семинар по Qlik, в нем есть открытый API для написания адаптеров доступа к данным. На счет Lotus Notes не скажу, но как минимум для 1С такой адаптер на 2015 год имелся, так что Qlik'у достаточно было доступа к базе 1С, без прослойки в виде платформы 1С.

возможно что QLIK'у достаточно.
как согласуются твои слова "Так вот, в Qlik - все эти слои лежат внутри одного продукта"
)))

Цитата:

Сообщение от gl00mie

И что доказывает этот контрпример? Что в Qlik нет функционального слоя "фельдъегерская служба"?.. Как в контексте данного контрпримера будут работать другие BI-решения?

а чё ты стрелки то переводишь? слабо говорить только про Клик в теме про Клик? ))))

а контрпример не доказывает.
контрпример опровергает утверждение "Так вот, в Qlik - все эти слои лежат внутри одного продукта."
))))))

Цитата:

Сообщение от gl00mie

Не буду говорить за все системы, предоставляющие исходные данные, но по опыту Аксапты, в них обычно содержатся правила валидации и поддержки целостности для вводимых данных, когда те из условных журналов трансформируются в проводки. Для проводок же подобных бизнес-правил поддержки целостности обычно либо намного меньше, либо нет вовсе.

конечно же ты не прав ))))
иначе не советовали бы пользоваться только семейством классов inventMov* для создания складских проводок
иначе не советовали бы пользоваться только семейством FormLetter для создания документов контрагентам

про производство и сводное планирование уж и говорить не стоит.
причем не только для ВВОДИМЫХ данных.

Нет, правил очень много.
Причем как правило идет дикая смесь бизнес-логики c чисто техническими аспектами поддержки целостности нормализованных данных.

Цитата:

Сообщение от gl00mie

Если BI-система в качестве исходных данных использует проводки, то нет необходимости в BI-системе применять к ним те же правила валидации и проверки целостности

Даже после чистки и другой "подготовка данных к аналитике - группировка, агрегация, построение срезов данных, расчетные показатели, простановка флагов и т.д"?

Цитата:

Сообщение от gl00mie

Отсюда, утверждение, что "в Qlik нужно пересоздавать бизнес-правила поддержки целостности, которые уже реализованы во внешних системах", я лично считаю неверным (для любой BI-системы) при условии, что в качестве исходных берутся данные "проводок", а не "журналов".
Это спор с самим собой

Ok. Как скажешь.

я утверждаю ровно то что уже написал:
"существующая формулировка требует доработки, чтобы не коробило от внутренних противоречий."

[George Nordic]

Цитата:

Сообщение от mazzy

Причина одна - меньше народа задействовано при сдаче результата

Это так, только если мы говорим про небольшие проекты. Да, если ты решаешь задачу одного отдела - Продаж, Маркетинга, Закупок - то да, приемка у тебя идет на уровне руководства данным отделом. Да ито - еще надо финансистов надо убедить, закупки, руководство... Но дело в том, что в последнее время я встречаюсь с проектами, которые гораздо больше виденных мною на DAX. И тут все гораздо сложнее - и много отделов, и уровней приемки.

Цитата:

Сообщение от mazzy

1.для данных есть слой обеспечения доступа к данным.
этот слой вряд ли может находится не в разбросанных системах.
по крайней мере, я хотел бы увидеть обоснование )

Да, есть слой для обеспечения к доступам. Это или ODBC / OLEDB / REST / табличные форматы, или готовые коннекторы (к SAP, SalesForce, Teradata, Informatica, Cloudera и т.д.) или написанные партнерами (например, к 1C, R или Hadoop), или открытый API для разработки собственных коннекторов.

Цитата:

Сообщение от mazzy

системы, предоставляющие исходные данные, как правило, содержат свои бизнес-правила для валидации и поддержки целостности данных. Причем таких бизнес-правил может быть очень много.

в данной формулировке подчеркивается, что "сбора, склейки, чистки, подготовки, агрегирования, анализа, визуализации данных лежат внутри одного продукт". но не говорится о том, что поддерживаются бизнес-правила чужих систем.

Другими словами, говорится, что в Qlik нужно пересоздавать бизнес-правила поддержки целостности, которые уже реализованы во внешних системах. Зная трудоемкость разработки таких бизнес-правил, начинаешь сомневаться в необходимости затрат на ПЕРЕСОЗДАНИЕ. в любом продукте.

Это не дело ETL. Это отдельная задача определенного класса BI, валидация данных до конечного результата, включая валидацию прав данных. Не надо дублировать бизнес-правила и внутреннию валидацию данных. BI должен показать, какие данные есть, и уже бизнес должен решать, что с ними делать. Или технические специалисты - почему так произошло. Но BI может взять и "сырые" данные, и "прошедшие внутренюю обработку" - смотря что за задачу ты ставишь.

Но я понимаю, о чем ты говоришь - про RLS. Да, если есть разграничение доступа к данным или настроен RLS, то любой ETL, включая Qlik, вытащат все доступные им данные. И, если надо будет пользователям снова обеспечить разграничение по данным, то придется дублировать структуру разграничения доступа. Обычно это делается созданием отдельно справочника разграничения прав доступа и заливкой в него данных из таблиц, отвечающих за доступ.

Да, тут есть важное "но!" Если в учетных системах требуется RLS вот как сейчас - т.е. ты же не разграничивешь права доступа "как они были год назад", то вот в BI мне пришлось столкнуться с очень непростым проектом, когда заказчик просил вот этому пользователю "заливать данные по март, а потом - в соответсвии с новыми правами". Пришлось делать иерархию прав, закачивать историчность доступа, потом грузить данные и резать их в соответствии с залитыми ограничениями.

Часто такое в банках есть, самое простое - это CRM. Вот менеджеры, вот права. Залили менеджеров, права, и нарубили исходник на группы. А вот с аудитом работы - не просто кто с чем имеет право работать, а кто что открывал и копировал в буфер - там посложнее. Но и это решается. Вот как бывает.

С Уважением,
Георгий

[mazzy]

Цитата:

Сообщение от George Nordic

Это так, только если мы говорим про небольшие проекты. Да, если ты решаешь задачу одного отдела - Продаж, Маркетинга, Закупок - то да, приемка у тебя идет на уровне руководства данным отделом. Да ито - еще надо финансистов надо убедить, закупки, руководство... Но дело в том, что в последнее время я встречаюсь с проектами, которые гораздо больше виденных мною на DAX. И тут все гораздо сложнее - и много отделов, и уровней приемки.

ok. услышал. надо подумать.

Цитата:

Сообщение от George Nordic

Не надо дублировать бизнес-правила и внутреннию валидацию данных.

даже ПОСЛЕ процедур очистки данных?
ведь в ходе очистки могут произойти и вставки данных. хотя бы "дефолтных".

с остальным - согласен.
про права - понял.

[wojzeh]

Цитата:

Сообщение от mazzy

ok. услышал. надо подумать.


даже ПОСЛЕ процедур очистки данных?
ведь в ходе очистки могут произойти и вставки данных. хотя бы "дефолтных".

с остальным - согласен.
про права - понял.

пара центов в беседу джентльменов:

1) кв - отличный инструмент для хранения данных, его файлы квд могут служить промежуточным (staging) хранилищем, скажем, для случаев инкрементной загрузки (дельта). один файл, сжатый, зашифрованный, скорость загрузки из него - наивысшая.

2) кв - отличный инструмент для проверки целостности данных. ему плевать на бизнес-правила, ибо би-ай не имеет цели сохранять транзацкии согласно моральному закону внутри нас, а наоборот, достигать космических скоростей вращения любых данных вокруг своего фаркопа.

грубо говоря, если стоит задача, например, мигрировать со старой ерп на ту же аксапту и нужно перетащить или добавить некоторые данные, например, для дополнения или корректировки тех же остатков, то сценарий крайне прост. засосал все таблицы в кв, открутил их там как бог черепаху и давай подгружать, чего душеньке угодно. ещё раз: никаких правил, sky is limit.

пример из жизни. медицинская компания ведёт учёт обращений застрахованных предприятий по целой куче показателей, вроде кровяного давления и т.п. при этом медицинские показатели, обращения существующих клиентов, выставление счетов и работа над продажами ведётся в четырёх специально заточенных системах (основная система - аксапта). каждый регион учитывается отдельно.

пообщавшись с одним представителем от каждого отдела, через три недели представили работающее решение с системой доступа к данным в разрезе регионов, автоматической доставкой отчётов, возможностью доступа ко всей визуализации с мобил, а вишенка на торте - найденная во время анализа (вот тут первый раз и появились на сцене их "бизнес-правила") дыра в их данных. размер дыры был чуть больше миллиона. руку жали, провожали, всё, как в песне было.

особенность проекта была в том, что в силу конфиденциальности персональных данных невозможно было получить доступ к живым базам. поэтому были созданы семплы всех нужных таблиц, в них перебиты все реальные персональные данные (фио, адреса, коды страхования и прочие телефоны), и вся разработка велась на "кошках". потом просто перенесли один единственный файл со скриптами и визуализациями и запустили -- скрипты подхватили строки подключения из внешнего файла, и всё заверте...


вы когда-нибудь за три недели миллион долларов находили?

[George Nordic]

Цитата:

Сообщение от mazzy

upd: контрпример2 - данные "разбросаны" по традиционным реляционным поставщикам. Но связь между ними происходит очень асинхронно и редко.
Например, данные с военных городков, где интернета нет в принципе, а связь осуществляется фельдъегерями на собачьих упряжках.
Или, например, данные с ноутбуков ремонтных бригад, которые занимаются обслуживанием газовой трубы.

Смысл этого утверждения? А баба Нюра складской журнал в тетрадке ведет. Есть данные - BI должен их достать и дать конечный результат (Визуализацию, отчеты) максимально быстро. И дать знать, что части данных нехватает. Или он некорректные.

Не надо в BI пихать "внутренные расчеты". Зачем дублировать упомянутый тобой InventMoment*, когда можно забрать итоговый InventSum???

С Уважением,
Георгий

[wojzeh]

имея конкретный практический опыт нескольких успешных проектов, могу ответить на конкретные вопросы.

вкратце, кликвью - бомба, жрёт всё подряд и быстро, имеет все необходимые инструменты для скриптов, поддержки, деплоймента, безопасности доступа, и всё в одном внутри себя. иммануил кант был бы в восторге (звёздное небо внутри нас и никаких моральных законов)

[Vals]

Цитата:

Сообщение от wojzeh

имея конкретный практический опыт нескольких успешных проектов, могу ответить на конкретные вопросы.

вкратце, кликвью - бомба, жрёт всё подряд и быстро, имеет все необходимые инструменты для скриптов, поддержки, деплоймента, безопасности доступа, и всё в одном внутри себя. иммануил кант был бы в восторге (звёздное небо внутри нас и никаких моральных законов)

Эту штуку пробовал? http://sisense.com/

[mazzy]

И еще.

Цитата:

Сообщение от George Nordic

объясню: использование Qlik позволяет быстро получить итоговый результат.

Qlik позволяет быстро получить промежуточный результат.
результат, который можно показать в качестве Proof of Concept
да, в области BI часто этого уже достаточно.

но итоговый?
В ERP под итоговым результатом подразумевается нечто, включающее и согласованное оформление результата, и защиту от дурака, и диагностику ошибок и т.д.
стоит ли использовать настолько толстую подмену понятий?

Полностью был бы согласен с формулировкой:
"Qlik позволяет быстро получить результат."

)))

[BIDeveloper]

Пора создавать ветку про сравнение BI )

[Ivanhoe]

Или форум в DynamicsBI переименовать

[cuba]

Да, обсудить некую статью
Например, вот такого плана: https://habr.com/ru/company/newprolab/blog/349186/ или https://habr.com/ru/post/438648/
С т.з. применения BI продукта в семействе продуктов Dynamics