Shmya Cluster - Задачи, состояние, перспективы
Цитата: genseed от 26.10.2021, 23:21Цитата: Shmya-2 от 24.10.2021, 08:36Планируется закупка двух комплектов xeon e5 2650v3+16гб памяти
Тоже думал заказать что-нибудь с Али. А почему 2 отдельных комплекта, а не одна двухпроцессорная матплата?
Посчитал, что отдельные комплекты в корпусе Slim-desktop занимают меньше места и проще организовать их охлаждение, чем двухпроцессорные конфигурации. Все-таки 200 ватт отвести воздухом легче, чем 400.
Плюс хочу устроить эксперимент: что выгоднее масштабировать - однопроцессорные или многопроцессорные конфигурации.
Хотя профильные сайты пишут, что двухпроцессорная система охлаждается лучше + в нее можно добавить до 4-6-8 видеокарт на одну матплату.
Цитата: Shmya-2 от 27.10.2021, 17:16Хотя профильные сайты пишут, что двухпроцессорная система охлаждается лучше + в нее можно добавить до 4-6-8 видеокарт на одну матплату.
Компик с двумя X5670(1366) вполне себе хорошо держит температуру процессоров в районе 60-65 C на всех ядрах. Охлаждения не топовое. 24 потока, не очень быстро, но надежно. К примеру, на энштейне доверяют настолько, что replication factor = 1 для больше , чем 90 % задач. ECC и все такое ...
Доверяют не мне, а конкретному компику. На других моих компиках, как и положено, фактор равен 2, а иногда и 3.
И ещё немного о кластерах из одноплатных компьютеров.
О том, как, зачем и для чего в Oracle собрали систему из 1060 Rasbperry Pi: Building the world’s largest Raspberry Pi cluster. И ролик о том, как это делали.
Также, очень красивая машина из 40 узлов от Dave G: Общее описание и частичная разборка. Насколько вижу их делают очень давно, очень многие и для самых разных целей. А вам было бы интересно попробовать программирование с MPI на нашем "Соловье"? 
Цитата: hoarfrost от 29.10.2021, 22:26И ещё немного о кластерах из одноплатных компьютеров.
О том, как, зачем и для чего в Oracle собрали систему из 1060 Rasbperry Pi: Building the world’s largest Raspberry Pi cluster. И ролик о том, как это делали.
Также, очень красивая машина из 40 узлов от Dave G: Общее описание и частичная разборка. Насколько вижу их делают очень давно, очень многие и для самых разных целей. А вам было бы интересно попробовать программирование с MPI на нашем "Соловье"?
Если другие подхватят эту инициативу, то у мини-ПК появится свой рейтинг одноплатных компьютеров.
hoarfrost, смотрите почту.
Цитата: hoarfrost от 29.10.2021, 22:26И ещё немного о кластерах из одноплатных компьютеров.
О том, как, зачем и для чего в Oracle собрали систему из 1060 Rasbperry Pi: Building the world’s largest Raspberry Pi cluster. И ролик о том, как это делали.
Также, очень красивая машина из 40 узлов от Dave G: Общее описание и частичная разборка. Насколько вижу их делают очень давно, очень многие и для самых разных целей. А вам было бы интересно попробовать программирование с MPI на нашем "Соловье"? ?
В случае Boinc такие кластеры все равно будут проигрывать нескольким н оерам с "большими процессорами".
Как я понял у этих кластеров из одноплатников есть два применения: 1) отработать элементы большого кластера на маленькой модели; 2) выяснить можно ли разделить вычислительную задачу на много ядер.
Для Boinc больше подходит второй вариант.
Хотя есть исключения: в проектах, где нужна только fp32 прозводительность ARM ядра лишь в 1,5-2 раза слабее x86 (Ryzen/Skylake).
Ну и не надо забывать,что кластер из одноплатников будет дороже нескольких x86 компьтеров.
То, в чём подобные кластеры незаменимы - это создание многопроцессорных систем на которых, можно было бы учиться и экспериментировать. Учиться параллельному программированию, проверять алгоритмы, опробовать и некоторые идеи по конфигурации систем (но, это, наверное, уже в меньшей степени). И всё это - за значительно меньшие деньги и в весьма небольшом объёме. Приведу один из комментариев под видео на канале Oracle Developers:
"I see A LOT of comments like "but you could achieve way better performance using a single PC or server, or this, or that". If you have students graduating from any university, and those students will follow a career path on distributed computing, they need a safe and sane environment do run experiments regarding their software development. You can't graduate and have access to a bare-metal super-computer that costs 12 million US dollars to start doing research or tinkering with your first development experiences. So yes, you can achieve better performance with less investment, but no, you can't use those same suggestions for this purpose (to enable recently graduated researchers that must gain experience working with clusters)."
Если же считать стоимость гигафлопса, то всё зависит о того, по каким ценам покупается оборудование. Если брать стоимость системы для Ryzen 3900X в рознице и стоимость RPi 4, которые дадут аналогичную производительность в части CPU, то разница будет раза в 2: ~80 000 .. 90 000 для Ryzen-а и ~25 * 7100 = 177500. Но, насколько я понимаю, в стоимости RPi 4 у нас велика наценка именно за розницу. Они продаются за ~ $100, при рекомендованной производителем цене в $55 для модели с 4 Gb RAM. Наценка, конечно есть и обычного железа. Но не в 2 раза... Но, ведь:
- Есть не только RPi. Есть ODROID-ы, Nano и т.д.;
- Возможен разгон;
- Получается хорошая (по сравнению с обычным десктопом) плотность в части CPU, RAM и, особенно сетевых портов;
- И, если уж у вас есть учебный кластер, то он же может параллельно и в BOINC считать.
Еще одно видео, где рассказывается о кластерах на микрокомпьютерах.
hoarfrost, может, стоит уже начать подыскивать компоненты для ShmyaCluster на AliExpress?
Цены на aliexpress частенько выглядят очень привлекательными. Но непонятно что делать и говорить людям, если что-то купленное окажется неработоспособным или начнёт глючить. Одно дело, когда ты рискуешь только своими деньгами и, совсем другое - когда чужими. Так как низкие цены там на однозначно не новое оборудование, то вопрос важный.
Но если есть идеи, то можно попробовать самоорганизоваться.