Поговорим о глобальных кэшах в Аксапте? Как правильно?

[macklakov]

Цитата:

Сообщение от fed

А почему бы просто везде не заменить EntireTable Cache на FoundAndEmpty ? Не могу ни одного негативного последствия такого изменения придумать.
Я тоже время от времени на грабли с Entire Table cache с несколькими AOSами налетал, но я их там чинил тупо отрубая этот способ кэширования как таковой...
И по моему это малость оффтопик здесь. Все-таки тема про кэширование объектов, а не таблиц...

Ну, в принципе, EntireTable кэширование для параметров может иметь смысл. Но, значительная часть из таблиц которые хотелось бы закэшировать, большие. Нужно увеличивать лимит памяти, чтобы влезли. А этим лимитом тут же пользуются таблицы, которые на этом сервере не очень-то и нужны в кэше. Т.е. для того, чтобы закэшировать целиком несколько таблиц, общим объемом в 100 Мб, памяти приходится накидывать десятками Гб. Доработка напильником, до какой-то степени помагает, но опять таки, действует "средняя температура по больнице". Т.е. все через код, то настройки кэширования одинаковые для всех серверов. И память все равно пожирается ненужными кэшами.
В принципе, согласен что оффтоп.

[macklakov]

Цитата:

Сообщение от fed

Во вторых - ты не поверишь, но обычный LFU-алгоритм позволяет избавиться от табличных кэшей, которые не особо нужны на данном сервере.

LFU не всегда так бодренько чистит как хотелось бы. Если MRP упирается в лимит по кэшу, то может и заклинить. Но самое главное, я очень не люблю когда мне по работе приходится полагаться на веру. А в случае с объектным кэшем приходится. Я могу лишь догадываться что там происходит. Я тупо не могу узнать, степень заполнения. Понять что система тормозит из-за хронического превышения лимита и что надо этот лимит подкрутить, весьма нетривиально бывает.

[mazzy]

Цитата:

Сообщение от ALES

запилить "деструктор" или как уже отмечалось выше хотя бы "анализатор" текущих "ресурсов".

деструктор, он же "сборщик мусора", имеет свою цену. и не маленькую.

анализатор - да.

[Ace of Database]

Можно разработать кеш, который кеширует данные порциями на разных компьютерах. Например, ищет все запущенные Аксапты, и на них равномерно кеширует данные, нужные для какого-то алгоритма, который может использоваться как только одним компьютером, так и всеми. По аналогии с закрытием склада, распределенным в нескольких Аксаптах.
Тема для отдельной утилиты в Аксапте.

[Vadik]

Цитата:

Сообщение от Ace of Database

Можно разработать кеш, который кеширует данные порциями на разных компьютерах. Например, ищет все запущенные Аксапты, и на них равномерно кеширует данные, нужные для какого-то алгоритма, который может использоваться как только одним компьютером, так и всеми. По аналогии с закрытием склада, распределенным в нескольких Аксаптах.
Тема для отдельной утилиты в Аксапте.

А может все же определимся с конкретными претензиями к конкретным кэшам и их косякам? Ну, в виде
- вот этот кэширует слишком много и ест много памяти, вот сценарий это вопроизводящий
- вот этот не сбрасывается в таких-то и таких-то сценариях, а должен
- вот у этого очень низкий hit ratio, вот сценарий это вопроизводящий

Совершенно понятно (с), что если бы мы с вами, дорогие участники форума, разрабатывали бы механизм кэширования, мы бы сделали его правильным, максимально эффективным и настраиваемым (не то что эти бестолочи, не имеющие малейшего понятия о реальных внедрениях и принципах проектирования ПО). Но все же, может быть, попытаемся разобраться в том что конкретно на наш взгляд сейчас есть, но не работает или работает неоптимально (как бы дико эта идея ни звучала) ?

[ena_ax]

Цитата:

Сообщение от Vadik

А может все же определимся с конкретными претензиями к конкретным кэшам и их косякам? Ну, в виде
- вот этот кэширует слишком много и ест много памяти, вот сценарий это вопроизводящий
- вот этот не сбрасывается в таких-то и таких-то сценариях, а должен
- вот у этого очень низкий hit ratio, вот сценарий это вопроизводящий

Совершенно понятно (с), что если бы мы с вами, дорогие участники форума, разрабатывали бы механизм кэширования, мы бы сделали его правильным, максимально эффективным и настраиваемым (не то что эти бестолочи, не имеющие малейшего понятия о реальных внедрениях и принципах проектирования ПО). Но все же, может быть, попытаемся разобраться в том что конкретно на наш взгляд сейчас есть, но не работает или работает неоптимально (как бы дико эта идея ни звучала) ?

А что MS не в состоянии сам определить? Так и скажите и признайтесь.
Что- то сделали, придумали, но не понимаем. Поможите чем можете.

[macklakov]

Цитата:

Сообщение от Vadik

А может все же определимся с конкретными претензиями к конкретным кэшам и их косякам? Ну, в виде
- вот этот кэширует слишком много и ест много памяти, вот сценарий это вопроизводящий
- вот этот не сбрасывается в таких-то и таких-то сценариях, а должен
- вот у этого очень низкий hit ratio, вот сценарий это вопроизводящий

Так об том и речь. Как и что он делает, непонятно. Систему просто клинит регулярно, и память утекает.
Но самое главное не в этом. Основное раздражение, конечно в том, что продуктовая команда увлечена бессмысленными программизмами. Сперва делается безумное решение, а потом приходится вводить изощренные, а потому ненадежные, механизмы, чтобы это безумие хоть как-то работало.

[Vadik]

Цитата:

Сообщение от macklakov

Так об том и речь. Как и что он делает, непонятно. Систему просто клинит регулярно, и память утекает

Погодите... "В вашей аксапте ничего не работает" давайте оставим пользователям. Конкретно, где болит, кого клинит и куда утекает - разбирались ? Тикеты в саппорте - создавали ? (компания-то , судя по всему, не из мелких)

Цитата:

Но самое главное не в этом. Основное раздражение, конечно в том, что продуктовая команда увлечена бессмысленными программизмами. Сперва делается безумное решение, а потом приходится вводить изощренные, а потому ненадежные, механизмы, чтобы это безумие хоть как-то работало

Нет, я в чем-то, где-то, кое-где конечно с написанным выше согласен, и побурчать тоже люблю. Но применительно к SysGlobalCache конкретные претензии в этой ветке может кто-то привести?

[macklakov]

Цитата:

Сообщение от Vadik

Конкретно, где болит, кого клинит и куда утекает - разбирались ? Тикеты в саппорте - создавали ?

тикеты создавали в саппорте. После этого по полчаса объясняли что такое AX. Куда память течет, толком никто не понял. Просто подкрутили лимиты по кэшу и увеличили память на всех серверах в несколько раз. И все диски на extrime IO, или как они там называются. В результате, где-то что-то сработало и MRP почти не клинит. Но что именно сработало, до конца не понятно.
Против лома, конечно, нет приема. Если у тебя диски работают быстрее чем память, то плевать что система свопит файлы. Если у тебя памяти вогон и лимиты кэша подкручены в разы больше рекомендуемых лимитов, то вероятность переполнения кэша снижается.
Но система непредсказуема и неуправляема. Почти 2 года "научного тыка" из серии "а давайте еще на пару сотен тысяч сервера проапгрейдим, вдруг поможет?"
При этом основной эффект достигнут вопреки усилиям партнера и вендора. Тупым отрубанием XDS. Отрубанием некоторых fact boxes. Отрубанием активно рекламируемых alerts. Откровенным хакерством на SQL сервере. Отрубанием некторых табличных кэшей.
Нет, понятно что у нас внедрение необычное. Но ведь AX как раз целится на крупный сегмент.
P.S. справедливости ради, система таки заработала. И хоть пользователи и недовольны тем что все на порядки медленнее чем в старой системе, но они уже могут исполнять свои обязанности. Так что внедреж таки можно назвать успешным.

[Vadik]

macklakov, по каждому из пунктов можно отдельную дискуссию открыть, особенно по способности AX 2012 держать нагрузки уровня большого бизнеса со всеми свистелками и перделками (alerts, XDS, database log, бюджетирование и workflow) выкрученными на максимум. И то, что вам удалось запуститься - прекрасно. Я одного не пойму - к SysGlobalCache, обсуждаемому в этой ветке, все это какое-то отношение имеет ?

[mazzy]

давайте выделим часть про конкретный класс в отдельную ветку
Поговорим о SysGlobalObjectCacheItemWrapper? Кто использовал? Как правильно? Что можно сделать?

[Vadik]

А почему бы не наоборот - повыносить все не относящееся к SysGlobalCache и SysGlobalObjectCache, ради которых ветка создавалась ?

[mazzy]

Цитата:

Сообщение от Vadik

А почему бы не наоборот - повыносить все не относящееся к SysGlobalCache и SysGlobalObjectCache, ради которых ветка создавалась ?

Буду признателен, если ты сделаешь.
Я посмотрел на обсуждения и подумал что не смогу разделить безболезненно.

Ну и wrapper - немножко о другом... Хотя, фиг его знает.

Изначально я планировал поговорить о кэшах, способах анализа и сбора статистики о кэше, затем методах управления кэшем вообще и о конкретной реализации wrapper в частности. Конечно же по плану не получилось. Хотя проект по статистике все еще хочу доделать и выложить. Но тут слегоньца навалилось основной работы...

[macklakov]

Цитата:

Сообщение от mazzy

Изначально я планировал поговорить о кэшах, способах анализа и сбора статистики о кэше, затем методах управления кэшем вообще и о конкретной реализации wrapper в частности. Конечно же по плану не получилось. Хотя проект по статистике все еще хочу доделать и выложить. Но тут слегоньца навалилось основной работы...

Мне кажется что логически механизм кэширования это единая тема, решающая одну и ту же техническую проблему. То что их в AX несколько, это просто наследие, результат исторического развития. Но для всех механизмов справедлива хотелка иметь возможность, как минимум, мониторить, а крайне желательно еще и управлять. Причем управлять через настройки, а не через код. Даже на сопровождении 2012 внести изменения в систему может занять месяц. На 365, я так понимаю, это вообще невозможно. Т.е. остаются только настройки. И они нужны.