Цитата: atch от 29.11.2019, 15:09

Цитата: hoarfrost от 24.11.2019, 19:07

• А может быть просто не задействуются все потоки? Да, включены все ядра и SMT, но просто часть потоков оставлена для чего-то ещё? Ведь часто так делают для того, чтобы быстрее выполнялись вычисления на GPU! Вряд ли, конечно, освобождено много потоков, но так может быть много и не надо?

Заметил такую вещь. Если нагружать CPU на полную, т.е. считать одновременно столько заданий, сколько и потоков у CPU, то результат будет наихудший.  Время выполнения заданий может увеличиться на столько, что количество заработанных баллов станет уменьшаться. Поэтому практически к каждому проекту необходимо подбирать число одновременно работающих WU. Всегда находится такое число, ниже которого опускаться не имеет смысла. И оно совсем не обязательно будет равно количеству физических ядер - как правило, больше. Не знаю, с чем это связано. Пробовал мониторить разные датчики с помощью утилит (AIDA, Afterburner и пр.) в надежде, что увижу на каком-нибудь датчике загрузку в 100%, но увы, пришел лишь к сократовскому философскому выводу о нехватке знаний по теме, потому что о проблеме может говорить как 100% загрузка, так и наоборот, отсутствие 100% загрузки.

Сейчас при поиске подходящего числа одновременно работающих WU ориентируюсь на показания двух датчиков: загрузка CPU и загрузка GPU. На CPU загрузка должна быть хотя бы чуть меньше постоянных 100%. На GPU загрузка должна быть максимально, на сколько это возможно, ровной. По опыту уменьшение времени выполнения WU после такой "оптимизации" может составить процентов 5-10. Это всё про Intel и Windows.

Проект RakeSearch - один из не многих, который позволяет задействовать все или почти все потоки CPU (самый худший в этом смысле - какой-то подпроект WorldConnunityGrid), и основываясь на своих наблюдениях, мне казалось, что время выполнения WU в проекте практически не зависит от числа одновременно работающих заданий (повторюсь, на Интеле и под Windows). Поэтому уменьшение времени выполнения задания аж на 25% после уменьшения числа потоков CPU у коллеги звучит для меня крайне удивительно, почти шокирующее.

Что же это за "узкое горлышко", от которого в конечном итоге зависит время выполнения WU? Может, получится составить какую-то формулу для расчета оптимального количества потоков?

Цитата: hoarfrost от 29.11.2019, 18:28

Тут лучше говорить о конкретных процессорах. Если оставить в стороне тему с GPU (обеспечение его нагрузки - отдельная тема и в данном случае не имеющая к нам отношения - у нас GPU нужен для того, чтобы система запускалась), то как правило, увеличение числа считающих процессов до числа логических потоков CPU - даёт прирост. Но разный. В случае Intel и Hyper-Threading, выигрыш в валовой производительности обычно от 0% до 20% (но бывает и по другому). В случае с AMD и SMT - он значительно больше.

Поэтому ситуация когда человек на 12-ядерном и 24-поточном запускает всего 12 потоков, а время исполнения задания у него уменьшается всего на 25% - это очень хорошо, так как это значит что если мы нагрузим CPU на все 100%, то мы поднимем валовую производительность (по сравнению с 12 потоками) - в ~ 2*(1 / 0.75) = 1.5 раза.

Цитата: hoarfrost от 28.12.2019, 10:39

Новость статистическая

Наш Shmya Cluster прошёл отметки:

• 20 000 000 CS в Asteroids@Home
• 10 000 000 CS в Universe@Home
• 4 000 000 CS в RakeSearch
• 750 000 CS в TN-Grid

(Факта прохождения 10 миллионов в статистике пока не видно, из-за того, что не была поставлена галочка экспортирования статистики. Поставил, посмотрим как она обновится).

Цитата: hoarfrost от 09.02.2020, 21:36

Пара новостей:

Новость статистическая:

За несколько последних недель были пройдены следующие вехи в вычислениях:
- 22 миллиона Cobblestones в проекте Asteroids@Home
- 20 миллионов в Universe@Home
- 5 миллионов в RakeSearch
- 1 миллион в TN-Grid

И, также, пройдена отметка в 55 миллионов Cobblestones вычислений в общем зачёте BOINC.

Новость организационная:

4-й и 5-й узел перенесены в помещение, специально выделенное для вычислиетельной техники (типа серверной комнаты) с более стабильным (по сравнению с жилым зданием) энергообеспечением, да и меньшим количеством пыли. Теперь решать научные задачи и разгадывать загадки природы им будет легче!
🙂

Цитата: hoarfrost от 22.02.2020, 10:13

И ещё немного статистики:

- Пройдена веха в 25 миллионов Cobblestones в Universe@Home

- И 61 миллион в общем зачёте BOINC.

 

Цитата: hoarfrost от 17.09.2020, 23:49

Shmya Cluster: состояние и новости последних недель.

Как вы можете знать из ещё февральских новостей, 4-й и 5-й узел Shmya Cluster были перевезены в серверную, где продожили свою работы на благо науки. Несколько месяцев всё было хорошо, но летом, 5-й узел, на основе Ryzen 3900X перестал выходить на связь. Его снова включили, он какое-то время поработал, но снова завис. Ситуация осложнялась режимом удалённой работы, из-за которого до серверной надо было добираться. Но, в конце-концов, его достали, разобрали... и увидели, что "подошва" радиатора от кулера BeQuiet Shadow Rock II представляет из себя что-то похожее на сферическую поверхность пусть и большого радиуса, но никак не плоскость! С "горбом" около 1/4 .. 1/2 миллиметра!

Эксплуатировать узел с таким радиатором нельзя, поэтому, на какое-то время его оставили выключенным. Радиатор же надо было забрать и выправить ему подошву. Дополнительную интригу вносило то, что точно такой же кулер стоял и у меня дома! Снял его, проверил - точно такой же "горб"! С одной стороны - плохо, а с другой - ну раз у меня он тоже "горбатый", то можно начать переделку с него, а затем - просто поставить его в 5-й узел. (В домашний же компьютер был взят другой кулер - в этот раз от Zalman).

Но "подошву" ещё надо отшлифовать. Причём так, чтобы она стала действительно плоской с довольно высокой точностью. Где? И вот тут на помощь пришло другое хобби - астрономия и любительское телескопостроение! Уж если мы в в Подвале ВАГО учимся делать оптически точные сферы и параболы, то и "подошву" радиатора, по идее, должны суметь отшлифовать. И, получилось. Стальной план, мелкий абразив (один из последних перед уходом со шлифовки на полировку зеркал), минут 30 привыкания и ещё минут 45 спокойной работы... и, пусть и с несколькими мелкими царапинами, но "подошва" - ровная! Проверено специальным инструментом. 🙂

А ещё люди спрашивают - какой может быть прок от фундаментальной науки!

5-й узел кластера снова в деле, uptime 3 дня, задания - засчитываются, ошибок - нет! У 4-го узла - uptime со времени последнего обслуживания - 93 дня.

Цитата: Yura12 от 04.10.2020, 07:54

 

 

А может быть имеет смысл отключить проект Asteroids@home от всех узлов кластера?

Просто там, в Asteroids@home регулярно раз в 2 или 3 недели не бывает заданий на несколько дней, а это значит, что проекту Asteroids@home хватает мощностей, и ресурсы кластера можно отдать чему-то другому.

 

Цитата: hoarfrost от 04.10.2020, 20:58

Мне кажется, что ни один проект не откажется от возможности получить результат побыстрее. 🙂 Чем быстрее считаются задания - тем лучше.

Цитата: Shmya-2 от 15.11.2020, 17:00

Продолжает свою работу командный кластер Shmya-2.

Он конечно поскромнее, чем Shmya Cluster, но ему тоже есть чем похвастаться.

На ноябрь 2020 года кластер составляют 2 машины: каждая укомплектована одним процессором FX-8320e и одной видеокартой RX 470 4gb.

В марте 2020 года решил увеличить количество видеокарт: были куплены 4 видеокарты после майнинга (по 2,500р), но на сегодняшний день 3 из 4 выработали весь свой ресурс и ушли на разборку.

 

Два компьтера подключены к Einstein@home и TN-grid

 

В перспективах установка еще одного компьтера: FX-8320e, но уже с двумя RX 470.

 

Наконец-то удалось решить проблему с охлаждением. Теперь в помещении, где стоят компьтеры примерно весь год около 11-12 градусов. Такая температура позволяет использовать комплектные  системы охлаждения процессора и видеокарты.

 

Так как наш основной командный кластер рассчитан на CPU проекты, то предлагаю второй кластер развивать, как GPU.