Shmya Cluster - Задачи, состояние, перспективы
Информация
29.9.2019
Цитата: hoarfrost от 27.11.2019, 01:45Новость-примечание техническая
Если 4-й узел (на Ryzen 3600X) работает просто как обычный компьютер (только без корпуса), то ощущения от работы 5-го узла - разительно другие. Это маленькая тепловая пушка. Маленькая, но эффект от его включения в масштабах одной комнаты - выполне заметен, особенно когда отопление хоть и работает уже нормально, но всё равно чуть-чуть тепла не помешает. То есть тепла выделяется на самом деле много и кулер на 180 Ватт лишним не стал.
Если коснуться радиаторов на подсистеме питания, то сразу же руку - не обжигаешь, но и больше секунды - не продержишь. При этом, элементы на ASUS PRIME B450M-A (в 4-м узле) - ещё более горячие, но на них и радиаторов нет. Рядом с 4-м и 5-м каждым узлом поставил по вентилятору, вытягивающему воздух из околосокетного пространства. В ферме Shmya Cluster аналогичную роль играют вентиляторы на входе, формирующие входящий поток воздуха.
Новость-примечание техническая
Если 4-й узел (на Ryzen 3600X) работает просто как обычный компьютер (только без корпуса), то ощущения от работы 5-го узла - разительно другие. Это маленькая тепловая пушка. Маленькая, но эффект от его включения в масштабах одной комнаты - выполне заметен, особенно когда отопление хоть и работает уже нормально, но всё равно чуть-чуть тепла не помешает. То есть тепла выделяется на самом деле много и кулер на 180 Ватт лишним не стал.
Если коснуться радиаторов на подсистеме питания, то сразу же руку - не обжигаешь, но и больше секунды - не продержишь. При этом, элементы на ASUS PRIME B450M-A (в 4-м узле) - ещё более горячие, но на них и радиаторов нет. Рядом с 4-м и 5-м каждым узлом поставил по вентилятору, вытягивающему воздух из околосокетного пространства. В ферме Shmya Cluster аналогичную роль играют вентиляторы на входе, формирующие входящий поток воздуха.
Информация
30.9.2019
Цитата: atch от 29.11.2019, 15:09Цитата: hoarfrost от 24.11.2019, 19:07
- А может быть просто не задействуются все потоки? Да, включены все ядра и SMT, но просто часть потоков оставлена для чего-то ещё? Ведь часто так делают для того, чтобы быстрее выполнялись вычисления на GPU! Вряд ли, конечно, освобождено много потоков, но так может быть много и не надо?
Заметил такую вещь. Если нагружать CPU на полную, т.е. считать одновременно столько заданий, сколько и потоков у CPU, то результат будет наихудший. Время выполнения заданий может увеличиться на столько, что количество заработанных баллов станет уменьшаться. Поэтому практически к каждому проекту необходимо подбирать число одновременно работающих WU. Всегда находится такое число, ниже которого опускаться не имеет смысла. И оно совсем не обязательно будет равно количеству физических ядер - как правило, больше. Не знаю, с чем это связано. Пробовал мониторить разные датчики с помощью утилит (AIDA, Afterburner и пр.) в надежде, что увижу на каком-нибудь датчике загрузку в 100%, но увы, пришел лишь к сократовскому философскому выводу о нехватке знаний по теме, потому что о проблеме может говорить как 100% загрузка, так и наоборот, отсутствие 100% загрузки.
Сейчас при поиске подходящего числа одновременно работающих WU ориентируюсь на показания двух датчиков: загрузка CPU и загрузка GPU. На CPU загрузка должна быть хотя бы чуть меньше постоянных 100%. На GPU загрузка должна быть максимально, на сколько это возможно, ровной. По опыту уменьшение времени выполнения WU после такой "оптимизации" может составить процентов 5-10. Это всё про Intel и Windows.
Проект RakeSearch - один из не многих, который позволяет задействовать все или почти все потоки CPU (самый худший в этом смысле - какой-то подпроект WorldConnunityGrid), и основываясь на своих наблюдениях, мне казалось, что время выполнения WU в проекте практически не зависит от числа одновременно работающих заданий (повторюсь, на Интеле и под Windows). Поэтому уменьшение времени выполнения задания аж на 25% после уменьшения числа потоков CPU у коллеги звучит для меня крайне удивительно, почти шокирующее.
Что же это за "узкое горлышко", от которого в конечном итоге зависит время выполнения WU? Может, получится составить какую-то формулу для расчета оптимального количества потоков?
Цитата: hoarfrost от 24.11.2019, 19:07
- А может быть просто не задействуются все потоки? Да, включены все ядра и SMT, но просто часть потоков оставлена для чего-то ещё? Ведь часто так делают для того, чтобы быстрее выполнялись вычисления на GPU! Вряд ли, конечно, освобождено много потоков, но так может быть много и не надо?
Заметил такую вещь. Если нагружать CPU на полную, т.е. считать одновременно столько заданий, сколько и потоков у CPU, то результат будет наихудший. Время выполнения заданий может увеличиться на столько, что количество заработанных баллов станет уменьшаться. Поэтому практически к каждому проекту необходимо подбирать число одновременно работающих WU. Всегда находится такое число, ниже которого опускаться не имеет смысла. И оно совсем не обязательно будет равно количеству физических ядер - как правило, больше. Не знаю, с чем это связано. Пробовал мониторить разные датчики с помощью утилит (AIDA, Afterburner и пр.) в надежде, что увижу на каком-нибудь датчике загрузку в 100%, но увы, пришел лишь к сократовскому философскому выводу о нехватке знаний по теме, потому что о проблеме может говорить как 100% загрузка, так и наоборот, отсутствие 100% загрузки.
Сейчас при поиске подходящего числа одновременно работающих WU ориентируюсь на показания двух датчиков: загрузка CPU и загрузка GPU. На CPU загрузка должна быть хотя бы чуть меньше постоянных 100%. На GPU загрузка должна быть максимально, на сколько это возможно, ровной. По опыту уменьшение времени выполнения WU после такой "оптимизации" может составить процентов 5-10. Это всё про Intel и Windows.
Проект RakeSearch - один из не многих, который позволяет задействовать все или почти все потоки CPU (самый худший в этом смысле - какой-то подпроект WorldConnunityGrid), и основываясь на своих наблюдениях, мне казалось, что время выполнения WU в проекте практически не зависит от числа одновременно работающих заданий (повторюсь, на Интеле и под Windows). Поэтому уменьшение времени выполнения задания аж на 25% после уменьшения числа потоков CPU у коллеги звучит для меня крайне удивительно, почти шокирующее.
Что же это за "узкое горлышко", от которого в конечном итоге зависит время выполнения WU? Может, получится составить какую-то формулу для расчета оптимального количества потоков?
Информация
29.9.2019
Цитата: hoarfrost от 29.11.2019, 18:28Тут лучше говорить о конкретных процессорах. Если оставить в стороне тему с GPU (обеспечение его нагрузки - отдельная тема и в данном случае не имеющая к нам отношения - у нас GPU нужен для того, чтобы система запускалась), то как правило, увеличение числа считающих процессов до числа логических потоков CPU - даёт прирост. Но разный. В случае Intel и Hyper-Threading, выигрыш в валовой производительности обычно от 0% до 20% (но бывает и по другому). В случае с AMD и SMT - он значительно больше.
Поэтому ситуация когда человек на 12-ядерном и 24-поточном запускает всего 12 потоков, а время исполнения задания у него уменьшается всего на 25% - это очень хорошо, так как это значит что если мы нагрузим CPU на все 100%, то мы поднимем валовую производительность (по сравнению с 12 потоками) - в ~ 2*(1 / 0.75) = 1.5 раза.
Тут лучше говорить о конкретных процессорах. Если оставить в стороне тему с GPU (обеспечение его нагрузки - отдельная тема и в данном случае не имеющая к нам отношения - у нас GPU нужен для того, чтобы система запускалась), то как правило, увеличение числа считающих процессов до числа логических потоков CPU - даёт прирост. Но разный. В случае Intel и Hyper-Threading, выигрыш в валовой производительности обычно от 0% до 20% (но бывает и по другому). В случае с AMD и SMT - он значительно больше.
Поэтому ситуация когда человек на 12-ядерном и 24-поточном запускает всего 12 потоков, а время исполнения задания у него уменьшается всего на 25% - это очень хорошо, так как это значит что если мы нагрузим CPU на все 100%, то мы поднимем валовую производительность (по сравнению с 12 потоками) - в ~ 2*(1 / 0.75) = 1.5 раза.
Информация
29.9.2019
Цитата: hoarfrost от 28.12.2019, 10:39Новость статистическая
Наш Shmya Cluster прошёл отметки:
- 20 000 000 CS в Asteroids@Home
- 10 000 000 CS в Universe@Home
- 4 000 000 CS в RakeSearch
- 750 000 CS в TN-Grid
(Факта прохождения 10 миллионов в статистике пока не видно, из-за того, что не была поставлена галочка экспортирования статистики. Поставил, посмотрим как она обновится).
Новость статистическая
Наш Shmya Cluster прошёл отметки:
- 20 000 000 CS в Asteroids@Home
- 10 000 000 CS в Universe@Home
- 4 000 000 CS в RakeSearch
- 750 000 CS в TN-Grid
(Факта прохождения 10 миллионов в статистике пока не видно, из-за того, что не была поставлена галочка экспортирования статистики. Поставил, посмотрим как она обновится).
Информация
29.9.2019
Цитата: hoarfrost от 09.02.2020, 21:36Пара новостей:
Новость статистическая:
За несколько последних недель были пройдены следующие вехи в вычислениях:
- 22 миллиона Cobblestones в проекте Asteroids@Home
- 20 миллионов в Universe@Home
- 5 миллионов в RakeSearch
- 1 миллион в TN-GridИ, также, пройдена отметка в 55 миллионов Cobblestones вычислений в общем зачёте BOINC.
Новость организационная:
4-й и 5-й узел перенесены в помещение, специально выделенное для вычислиетельной техники (типа серверной комнаты) с более стабильным (по сравнению с жилым зданием) энергообеспечением, да и меньшим количеством пыли. Теперь решать научные задачи и разгадывать загадки природы им будет легче!
🙂
Пара новостей:
Новость статистическая:
За несколько последних недель были пройдены следующие вехи в вычислениях:
- 22 миллиона Cobblestones в проекте Asteroids@Home
- 20 миллионов в Universe@Home
- 5 миллионов в RakeSearch
- 1 миллион в TN-Grid
И, также, пройдена отметка в 55 миллионов Cobblestones вычислений в общем зачёте BOINC.
Новость организационная:
4-й и 5-й узел перенесены в помещение, специально выделенное для вычислиетельной техники (типа серверной комнаты) с более стабильным (по сравнению с жилым зданием) энергообеспечением, да и меньшим количеством пыли. Теперь решать научные задачи и разгадывать загадки природы им будет легче!
🙂
Информация
29.9.2019
Цитата: hoarfrost от 22.02.2020, 10:13И ещё немного статистики:
- Пройдена веха в 25 миллионов Cobblestones в Universe@Home
- И 61 миллион в общем зачёте BOINC.
И ещё немного статистики:
- Пройдена веха в 25 миллионов Cobblestones в Universe@Home
- И 61 миллион в общем зачёте BOINC.
Информация
29.9.2019
Цитата: hoarfrost от 17.09.2020, 23:49Shmya Cluster: состояние и новости последних недель.
Как вы можете знать из ещё февральских новостей, 4-й и 5-й узел Shmya Cluster были перевезены в серверную, где продожили свою работы на благо науки. Несколько месяцев всё было хорошо, но летом, 5-й узел, на основе Ryzen 3900X перестал выходить на связь. Его снова включили, он какое-то время поработал, но снова завис. Ситуация осложнялась режимом удалённой работы, из-за которого до серверной надо было добираться. Но, в конце-концов, его достали, разобрали... и увидели, что "подошва" радиатора от кулера BeQuiet Shadow Rock II представляет из себя что-то похожее на сферическую поверхность пусть и большого радиуса, но никак не плоскость! С "горбом" около 1/4 .. 1/2 миллиметра!
Эксплуатировать узел с таким радиатором нельзя, поэтому, на какое-то время его оставили выключенным. Радиатор же надо было забрать и выправить ему подошву. Дополнительную интригу вносило то, что точно такой же кулер стоял и у меня дома! Снял его, проверил - точно такой же "горб"! С одной стороны - плохо, а с другой - ну раз у меня он тоже "горбатый", то можно начать переделку с него, а затем - просто поставить его в 5-й узел. (В домашний же компьютер был взят другой кулер - в этот раз от Zalman).
Но "подошву" ещё надо отшлифовать. Причём так, чтобы она стала действительно плоской с довольно высокой точностью. Где? И вот тут на помощь пришло другое хобби - астрономия и любительское телескопостроение! Уж если мы в в Подвале ВАГО учимся делать оптически точные сферы и параболы, то и "подошву" радиатора, по идее, должны суметь отшлифовать. И, получилось. Стальной план, мелкий абразив (один из последних перед уходом со шлифовки на полировку зеркал), минут 30 привыкания и ещё минут 45 спокойной работы... и, пусть и с несколькими мелкими царапинами, но "подошва" - ровная! Проверено специальным инструментом. 🙂
А ещё люди спрашивают - какой может быть прок от фундаментальной науки!
5-й узел кластера снова в деле, uptime 3 дня, задания - засчитываются, ошибок - нет! У 4-го узла - uptime со времени последнего обслуживания - 93 дня.
Shmya Cluster: состояние и новости последних недель.
Как вы можете знать из ещё февральских новостей, 4-й и 5-й узел Shmya Cluster были перевезены в серверную, где продожили свою работы на благо науки. Несколько месяцев всё было хорошо, но летом, 5-й узел, на основе Ryzen 3900X перестал выходить на связь. Его снова включили, он какое-то время поработал, но снова завис. Ситуация осложнялась режимом удалённой работы, из-за которого до серверной надо было добираться. Но, в конце-концов, его достали, разобрали... и увидели, что "подошва" радиатора от кулера BeQuiet Shadow Rock II представляет из себя что-то похожее на сферическую поверхность пусть и большого радиуса, но никак не плоскость! С "горбом" около 1/4 .. 1/2 миллиметра!
Эксплуатировать узел с таким радиатором нельзя, поэтому, на какое-то время его оставили выключенным. Радиатор же надо было забрать и выправить ему подошву. Дополнительную интригу вносило то, что точно такой же кулер стоял и у меня дома! Снял его, проверил - точно такой же "горб"! С одной стороны - плохо, а с другой - ну раз у меня он тоже "горбатый", то можно начать переделку с него, а затем - просто поставить его в 5-й узел. (В домашний же компьютер был взят другой кулер - в этот раз от Zalman).
Но "подошву" ещё надо отшлифовать. Причём так, чтобы она стала действительно плоской с довольно высокой точностью. Где? И вот тут на помощь пришло другое хобби - астрономия и любительское телескопостроение! Уж если мы в в Подвале ВАГО учимся делать оптически точные сферы и параболы, то и "подошву" радиатора, по идее, должны суметь отшлифовать. И, получилось. Стальной план, мелкий абразив (один из последних перед уходом со шлифовки на полировку зеркал), минут 30 привыкания и ещё минут 45 спокойной работы... и, пусть и с несколькими мелкими царапинами, но "подошва" - ровная! Проверено специальным инструментом. 🙂
А ещё люди спрашивают - какой может быть прок от фундаментальной науки!
5-й узел кластера снова в деле, uptime 3 дня, задания - засчитываются, ошибок - нет! У 4-го узла - uptime со времени последнего обслуживания - 93 дня.
Информация
1.10.2019
Цитата: Yura12 от 04.10.2020, 07:54
А может быть имеет смысл отключить проект Asteroids@home от всех узлов кластера?
Просто там, в Asteroids@home регулярно раз в 2 или 3 недели не бывает заданий на несколько дней, а это значит, что проекту Asteroids@home хватает мощностей, и ресурсы кластера можно отдать чему-то другому.
А может быть имеет смысл отключить проект Asteroids@home от всех узлов кластера?
Просто там, в Asteroids@home регулярно раз в 2 или 3 недели не бывает заданий на несколько дней, а это значит, что проекту Asteroids@home хватает мощностей, и ресурсы кластера можно отдать чему-то другому.
Информация
29.9.2019
Цитата: hoarfrost от 04.10.2020, 20:58Мне кажется, что ни один проект не откажется от возможности получить результат побыстрее. 🙂 Чем быстрее считаются задания - тем лучше.
Мне кажется, что ни один проект не откажется от возможности получить результат побыстрее. 🙂 Чем быстрее считаются задания - тем лучше.

Информация
11.10.2019
Цитата: Shmya-2 от 15.11.2020, 17:00Продолжает свою работу командный кластер Shmya-2.
Он конечно поскромнее, чем Shmya Cluster, но ему тоже есть чем похвастаться.
На ноябрь 2020 года кластер составляют 2 машины: каждая укомплектована одним процессором FX-8320e и одной видеокартой RX 470 4gb.
В марте 2020 года решил увеличить количество видеокарт: были куплены 4 видеокарты после майнинга (по 2,500р), но на сегодняшний день 3 из 4 выработали весь свой ресурс и ушли на разборку.
Два компьтера подключены к Einstein@home и TN-grid
В перспективах установка еще одного компьтера: FX-8320e, но уже с двумя RX 470.
Наконец-то удалось решить проблему с охлаждением. Теперь в помещении, где стоят компьтеры примерно весь год около 11-12 градусов. Такая температура позволяет использовать комплектные системы охлаждения процессора и видеокарты.
Так как наш основной командный кластер рассчитан на CPU проекты, то предлагаю второй кластер развивать, как GPU.
Продолжает свою работу командный кластер Shmya-2.
Он конечно поскромнее, чем Shmya Cluster, но ему тоже есть чем похвастаться.
На ноябрь 2020 года кластер составляют 2 машины: каждая укомплектована одним процессором FX-8320e и одной видеокартой RX 470 4gb.
В марте 2020 года решил увеличить количество видеокарт: были куплены 4 видеокарты после майнинга (по 2,500р), но на сегодняшний день 3 из 4 выработали весь свой ресурс и ушли на разборку.
Два компьтера подключены к Einstein@home и TN-grid
В перспективах установка еще одного компьтера: FX-8320e, но уже с двумя RX 470.
Наконец-то удалось решить проблему с охлаждением. Теперь в помещении, где стоят компьтеры примерно весь год около 11-12 градусов. Такая температура позволяет использовать комплектные системы охлаждения процессора и видеокарты.
Так как наш основной командный кластер рассчитан на CPU проекты, то предлагаю второй кластер развивать, как GPU.