Вычисления на сервисах облачных вычислений
Цитата: Shmya-2 от 05.06.2020, 10:36Использование сервисов облачных вычислений.
В 2016 году столкнулся с проблемой: для новых компьютеров уже не хватало места, а расширить домашний кластер хотелось.
Тогда обратил внимание на облачные сервисы.Стояло две задачи: 1) найти максимально эффективный сервис по соотношению затраты/очки в проектах; 2) сравнить затраты на покупку нового компьютера и использование облачных сервисов.
Вначале обратил внимание на активно рекламируемые google cloud, Amazon AWS, Azure.
Примечание: рассматривалась аренда виртуальных серверов (vps), так как производительные выделенные сервера начинались с цены 15-20 тыс рублев в месяц.
Amazon не совсем удобен в управлении + очень сложная система тарификации
Google cloud давал 300$ приветсвенных бонусов, за счет которых удалось набрать 2 млн очков в герасиме.
Azure тоже выдали 300 $. Так же 2 млн очков в герасиме.Производительность: оба раза попадались e5-2698v4. Один поток виртуальной машины на уровне одного потока i7-5930.
Итог использования иностранных облачных сервисов: мощь, до 64 ядер на виртуальную машину. Однако цена совсем не малая: 100 рублей за час работы. И это для одного потока с 1 гб Ram.
Далее перешел на поиск отечественных сервисов как более дешёвых. Зашел на агрегатор виртуальных серверов. И стал по списку от 1 до 50 места брать пробный период и класть по 200 рублей на счет для оценки производительности.
Итоги 2-месячного тестирования: самым лучшим по соотношению цена/производительность оказался сервис invs.ru Сервис не имеет ограничения по максимальной нагрузке процессора, что редкость в наших краях.Vps для разработчиков. Устанавливал Ubuntu 16.04
За 89 рублей в месяц получил один поток равный одному потоку fx 8300 и 1 гб памяти. Однако при покупке виртуального сервера нужно заплатить однократный взнос 99 руб (сервисы борются со спамом и майнингом, но цена демократичная). Дополнительный поток обходится в 149 рублей в месяц.За три года было потрачено около 15000 рублей.
Если брать для сравнения покупку своего компьютера на r5 3600, то компьютер + электричество + охлаждение будет по цене примерно (15,000 cpu + 20000 остальное + 10000 электричество + 10000 охлаждение). 55,000 рублей за три года.
Виртуальный сервер 50,000 рублей за три года: 16 потоков.
Использование сервисов облачных вычислений.
В 2016 году столкнулся с проблемой: для новых компьютеров уже не хватало места, а расширить домашний кластер хотелось.
Тогда обратил внимание на облачные сервисы.
Стояло две задачи: 1) найти максимально эффективный сервис по соотношению затраты/очки в проектах; 2) сравнить затраты на покупку нового компьютера и использование облачных сервисов.
Вначале обратил внимание на активно рекламируемые google cloud, Amazon AWS, Azure.
Примечание: рассматривалась аренда виртуальных серверов (vps), так как производительные выделенные сервера начинались с цены 15-20 тыс рублев в месяц.
Amazon не совсем удобен в управлении + очень сложная система тарификации
Google cloud давал 300$ приветсвенных бонусов, за счет которых удалось набрать 2 млн очков в герасиме.
Azure тоже выдали 300 $. Так же 2 млн очков в герасиме.
Производительность: оба раза попадались e5-2698v4. Один поток виртуальной машины на уровне одного потока i7-5930.
Итог использования иностранных облачных сервисов: мощь, до 64 ядер на виртуальную машину. Однако цена совсем не малая: 100 рублей за час работы. И это для одного потока с 1 гб Ram.
Далее перешел на поиск отечественных сервисов как более дешёвых. Зашел на агрегатор виртуальных серверов. И стал по списку от 1 до 50 места брать пробный период и класть по 200 рублей на счет для оценки производительности.
Итоги 2-месячного тестирования: самым лучшим по соотношению цена/производительность оказался сервис invs.ru Сервис не имеет ограничения по максимальной нагрузке процессора, что редкость в наших краях.
Vps для разработчиков. Устанавливал Ubuntu 16.04
За 89 рублей в месяц получил один поток равный одному потоку fx 8300 и 1 гб памяти. Однако при покупке виртуального сервера нужно заплатить однократный взнос 99 руб (сервисы борются со спамом и майнингом, но цена демократичная). Дополнительный поток обходится в 149 рублей в месяц.
За три года было потрачено около 15000 рублей.
Если брать для сравнения покупку своего компьютера на r5 3600, то компьютер + электричество + охлаждение будет по цене примерно (15,000 cpu + 20000 остальное + 10000 электричество + 10000 охлаждение). 55,000 рублей за три года.
Виртуальный сервер 50,000 рублей за три года: 16 потоков.
Цитата: DimOK от 05.06.2020, 11:11Написал инструкцию, которая будет полезна новичкам:
Введение
- Для начала лучше протестировать понравившийся вам тариф – многие провайдеры предоставляют такую услугу. Обязательно узнайте на сайте или в поддержке подробности тестового периода;
- На сайте провайдеров всегда много тарифов, но если вы не нашли нужного, то можно поискать конфигуратор – с его помощью можно собрать свой тариф, который подходит именно вам. Изменить конфигурацию (параметры) вашего сервера можно даже после того, как он был создан. Это можно сделать как на сайте, так и через службу поддержки – зависит от провайдера и параметров, какие вы хотите изменить. Для вступления изменений в силу необходимо перезагрузить сервер;
- Как правило, серверы создаются быстро – 10-30 минут;
- Многие считают, что для вычислений на процессорах лучше выбирать только процессорные проекты, т.е. те, для которых еще не написаны приложения для GPU;
- Прежде чем заказывать такую услугу, лучше заранее узнать в поддержке, разрешает ли провайдер использовать клиенты распределенных сетевых вычислений – на некоторых сайтах такая информация есть – а также какое количество серверов вы можете заказать в одном аккаунте;
Процессоры
- Чаще всего провайдеры VPS/VDS режут мощности серверных процессоров, чтобы обеспечить комфортную работу “соседей”, т.е. других пользователей на этом процессоре. Одни режут больше, другие – меньше. Некоторые провайдеры разрешают 100-процентную загрузку процессоров только в ночное время. Например, на тарифе за 82 рубля – https://firstbyte.ru/vps-vds - с 23 вечера до 9 утра – 100%, а с 9 утра до 23 вечера – 60%;
- Если хотите быть единоличным пользователем процессора, тогда вам придется заказать выделенный сервер, который будет стоить в несколько раз дороже;
- Чем больше процессоров (читай = ядер) вы заказываете на одном сервере, тем меньше будет их мощность в пересчете на один процессор;
- Информацию об используемых на серверах процессорах можно узнать либо на сайте, либо в поддержке;
- Если вы хотите знать, насколько загружены ваши процессоры, это можно сделать через панель управления, которые бывают платными и бесплатными;
Финансы
- Если вы планируете использовать сервер долгое время, то при оплате лучше выберите 3, 6, 12 месяцев и другие периоды – так можно сэкономить приличную сумму денег;
- Некоторые провайдеры списывают средства с вашего счета в личном кабинете сразу за месяц, а другие – только за время работы, которые может измеряться даже часами, а не только днями;
- Чтобы каждый раз не пополнять баланс в личном кабинете, убедитесь, что у вас включено автопродление;
- Можно найти дешевые промо-тарифы с ОС Linux с одним ядром, 512 Мб и 5 Гб дискового пространства дешевле 100 рублей, которые зачастую рассчитаны только на один аккаунт, например, - https://vdsina.ru;
- На некоторых серверах есть возможность получения уведомлений о внештатной остановке виртуальных машин – помогает получить компенсацию за простой сервера с провайдера;
Конфигурация
- Из двух типов виртуализации – OpenVZ или KVM – выбирайте вторую, т.к. KVM позволяет развертывать высокопроизводительные вычисления – https://firstbyte.ru/vps-vds/#compartion;
- Для экономии средств выбирайте диски HDD, а не SSD – на скорость обработки они никак не влияют;
- Можно также заказать вычисления на GPU у провайдеров – тестируя 3 дня подобную услугу на https://mcs.mail.ru/cloud-gpu/ никакой разницы между GPU и процессором не заметил, хотя в настройках проекта включил использование GPU в расчетах;
- Из Linux ОС выбирайте Ubuntu последней версии. Бесплатного IPv6-адреса будет достаточно – платный публичные IPv4-адрес не нужен. По поводу Windows Server – чем старше версия, тем больше памяти занимает;
- Прежде чем выбрать сервер нужной конфигурации, запустите проект на своем ПК и посмотрите, сколько ему требуется памяти для каждого задания и места на диске. Например, для MilkyWay@Home подойдет и минимальная конфигурация (512 Мб памяти и 5 Гб места на диске), а для “прожорливого” Rosetta@Home нужно больше – одно задание потребляет в среднем 600 Мб памяти, а место на диске должно быть где-то 8 Гб на одноядерном сервере;
- Параметры BOINC как на сервере, так и на вашем компьютере должны быть одинаковыми!!!
Если я где-то не прав, поправьте, пожалуйста.
Написал инструкцию, которая будет полезна новичкам:
Введение
- Для начала лучше протестировать понравившийся вам тариф – многие провайдеры предоставляют такую услугу. Обязательно узнайте на сайте или в поддержке подробности тестового периода;
- На сайте провайдеров всегда много тарифов, но если вы не нашли нужного, то можно поискать конфигуратор – с его помощью можно собрать свой тариф, который подходит именно вам. Изменить конфигурацию (параметры) вашего сервера можно даже после того, как он был создан. Это можно сделать как на сайте, так и через службу поддержки – зависит от провайдера и параметров, какие вы хотите изменить. Для вступления изменений в силу необходимо перезагрузить сервер;
- Как правило, серверы создаются быстро – 10-30 минут;
- Многие считают, что для вычислений на процессорах лучше выбирать только процессорные проекты, т.е. те, для которых еще не написаны приложения для GPU;
- Прежде чем заказывать такую услугу, лучше заранее узнать в поддержке, разрешает ли провайдер использовать клиенты распределенных сетевых вычислений – на некоторых сайтах такая информация есть – а также какое количество серверов вы можете заказать в одном аккаунте;
Процессоры
- Чаще всего провайдеры VPS/VDS режут мощности серверных процессоров, чтобы обеспечить комфортную работу “соседей”, т.е. других пользователей на этом процессоре. Одни режут больше, другие – меньше. Некоторые провайдеры разрешают 100-процентную загрузку процессоров только в ночное время. Например, на тарифе за 82 рубля – https://firstbyte.ru/vps-vds - с 23 вечера до 9 утра – 100%, а с 9 утра до 23 вечера – 60%;
- Если хотите быть единоличным пользователем процессора, тогда вам придется заказать выделенный сервер, который будет стоить в несколько раз дороже;
- Чем больше процессоров (читай = ядер) вы заказываете на одном сервере, тем меньше будет их мощность в пересчете на один процессор;
- Информацию об используемых на серверах процессорах можно узнать либо на сайте, либо в поддержке;
- Если вы хотите знать, насколько загружены ваши процессоры, это можно сделать через панель управления, которые бывают платными и бесплатными;
Финансы
- Если вы планируете использовать сервер долгое время, то при оплате лучше выберите 3, 6, 12 месяцев и другие периоды – так можно сэкономить приличную сумму денег;
- Некоторые провайдеры списывают средства с вашего счета в личном кабинете сразу за месяц, а другие – только за время работы, которые может измеряться даже часами, а не только днями;
- Чтобы каждый раз не пополнять баланс в личном кабинете, убедитесь, что у вас включено автопродление;
- Можно найти дешевые промо-тарифы с ОС Linux с одним ядром, 512 Мб и 5 Гб дискового пространства дешевле 100 рублей, которые зачастую рассчитаны только на один аккаунт, например, - https://vdsina.ru;
- На некоторых серверах есть возможность получения уведомлений о внештатной остановке виртуальных машин – помогает получить компенсацию за простой сервера с провайдера;
Конфигурация
- Из двух типов виртуализации – OpenVZ или KVM – выбирайте вторую, т.к. KVM позволяет развертывать высокопроизводительные вычисления – https://firstbyte.ru/vps-vds/#compartion;
- Для экономии средств выбирайте диски HDD, а не SSD – на скорость обработки они никак не влияют;
- Можно также заказать вычисления на GPU у провайдеров – тестируя 3 дня подобную услугу на https://mcs.mail.ru/cloud-gpu/ никакой разницы между GPU и процессором не заметил, хотя в настройках проекта включил использование GPU в расчетах;
- Из Linux ОС выбирайте Ubuntu последней версии. Бесплатного IPv6-адреса будет достаточно – платный публичные IPv4-адрес не нужен. По поводу Windows Server – чем старше версия, тем больше памяти занимает;
- Прежде чем выбрать сервер нужной конфигурации, запустите проект на своем ПК и посмотрите, сколько ему требуется памяти для каждого задания и места на диске. Например, для MilkyWay@Home подойдет и минимальная конфигурация (512 Мб памяти и 5 Гб места на диске), а для “прожорливого” Rosetta@Home нужно больше – одно задание потребляет в среднем 600 Мб памяти, а место на диске должно быть где-то 8 Гб на одноядерном сервере;
- Параметры BOINC как на сервере, так и на вашем компьютере должны быть одинаковыми!!!
Если я где-то не прав, поправьте, пожалуйста.
Цитата: Shmya-2 от 05.06.2020, 15:29Hoarfrost, прав.
Если есть возможность поставить компьютер в более-менее приспособленное место, то все виртуальные сервера (vps) проигрывают покупке нового компьютера.
Если брать отрезок времени более 5 лет, то при постоянной работе 24/7 выгоднее покупка собственного компьютера.
Однако если сравнивать в одинаковых условиях (компьтер + капитальные затраты на место с охлажением), то виртуальный сервер выигрывает
Hoarfrost, прав.
Если есть возможность поставить компьютер в более-менее приспособленное место, то все виртуальные сервера (vps) проигрывают покупке нового компьютера.
Если брать отрезок времени более 5 лет, то при постоянной работе 24/7 выгоднее покупка собственного компьютера.
Однако если сравнивать в одинаковых условиях (компьтер + капитальные затраты на место с охлажением), то виртуальный сервер выигрывает
Цитата: hoarfrost от 06.06.2020, 00:10Тут есть ещё одно "но" - с выходом Ryzen-ов, особенно 3000-х, дополнительные затраты, уходящие на вычисления, можно спрятать в тот же системный блок, с которым и так работаеешь. Т.е. взять, например, не 6-ядерный процессор, а 8-,10-,12-,16-ядерный или даже Threadripper на 64. Раньше для этого действительно потребовалось бы дополнительное место, если его не было "просто так". И вот это очень сильно изменило расклад.
И ещё момент - насколько я понимаю, наиболее дешёвые тарифы подразумевают и очень не новые CPU - где-то уровня Haswell. Это было вполне нормально до выхода Ryzen, но сейчас, особенно когда есть 3000-е - это существенный минус.
Тут есть ещё одно "но" - с выходом Ryzen-ов, особенно 3000-х, дополнительные затраты, уходящие на вычисления, можно спрятать в тот же системный блок, с которым и так работаеешь. Т.е. взять, например, не 6-ядерный процессор, а 8-,10-,12-,16-ядерный или даже Threadripper на 64. Раньше для этого действительно потребовалось бы дополнительное место, если его не было "просто так". И вот это очень сильно изменило расклад.
И ещё момент - насколько я понимаю, наиболее дешёвые тарифы подразумевают и очень не новые CPU - где-то уровня Haswell. Это было вполне нормально до выхода Ryzen, но сейчас, особенно когда есть 3000-е - это существенный минус.
Цитата: DimOK от 06.06.2020, 08:41Свежая информация:
- Также существует такое понятие как "вечный сервер", например - https://vdsina.ru/pricing/eternal-server
- Узнать, работает ли BOINC на вашем сервере, можно на странице "Last 60 days" ("Последние 60 дней") конкретного проекта в вашей учетной записи на сайте https://www.boincstats.com Если не работает, то в столбце "Credit per day" ("Очков в день") очков начислено не будет.
Свежая информация:
- Также существует такое понятие как "вечный сервер", например - https://vdsina.ru/pricing/eternal-server
- Узнать, работает ли BOINC на вашем сервере, можно на странице "Last 60 days" ("Последние 60 дней") конкретного проекта в вашей учетной записи на сайте https://www.boincstats.com Если не работает, то в столбце "Credit per day" ("Очков в день") очков начислено не будет.
Цитата: DimOK от 28.01.2022, 10:29Когда речь идет о соревнованиях, мы часто жалуемся, что нам не хватает мощностей. Но есть способ, который позволит заполучить дополнительные мощности бесплатно на время или навсегда. Об этом написано в статье "Как получить бесплатный VPS (VDS) сервер навсегда".
Если все пройдет также гладко, как написано в этой статье, то можно получить 4 виртуальных ядра. Многие из вас, скорее всего, уже слышали об этом, но новичкам будет полезно.
Статья была написана в начале 2020 года, поэтому за это время могли произойти некоторые изменения. В комментариях к ней пользователи делятся своими опытом.
А вот еще одна интересная статья - "Бесплатная пробная версия Microsoft Azure: Как создать и подключиться к виртуальной машине Windows".
Когда речь идет о соревнованиях, мы часто жалуемся, что нам не хватает мощностей. Но есть способ, который позволит заполучить дополнительные мощности бесплатно на время или навсегда. Об этом написано в статье "Как получить бесплатный VPS (VDS) сервер навсегда".
Если все пройдет также гладко, как написано в этой статье, то можно получить 4 виртуальных ядра. Многие из вас, скорее всего, уже слышали об этом, но новичкам будет полезно.
Статья была написана в начале 2020 года, поэтому за это время могли произойти некоторые изменения. В комментариях к ней пользователи делятся своими опытом.
А вот еще одна интересная статья - "Бесплатная пробная версия Microsoft Azure: Как создать и подключиться к виртуальной машине Windows".
Цитата: ale4316 от 28.01.2022, 10:45Минус:
- виртуальная машина может быть заблокирована, если администрация решит что вы занимаетесь майнингом (часто были случаи блокировки виртуалок считавшие Boinc).
- аренда потока а не ядра, что существенно уменьшает производительность.
Минус:
- виртуальная машина может быть заблокирована, если администрация решит что вы занимаетесь майнингом (часто были случаи блокировки виртуалок считавшие Boinc).
- аренда потока а не ядра, что существенно уменьшает производительность.
Цитата: Sid от 28.01.2022, 12:05Цитата: ale4316 от 28.01.2022, 10:45Минус:
- виртуальная машина может быть заблокирована, если администрация решит что вы занимаетесь майнингом (часто были случаи блокировки виртуалок считавшие Boinc).
- аренда потока а не ядра, что существенно уменьшает производительность.
Ну все не так трагично. Меня блокировали, обьяснил, дал ссылку на боинк - разблокировали.
Цитата: ale4316 от 28.01.2022, 10:45Минус:
- виртуальная машина может быть заблокирована, если администрация решит что вы занимаетесь майнингом (часто были случаи блокировки виртуалок считавшие Boinc).
- аренда потока а не ядра, что существенно уменьшает производительность.
Ну все не так трагично. Меня блокировали, обьяснил, дал ссылку на боинк - разблокировали.
Цитата: Yura12 от 28.01.2022, 16:44
Поскольку даётся 1 поток, то может быть тогда и не имеет особого смысла?
К тому же, абсолютно во всех сервисах требуется банковская карта, а если вот у человека её нет, он зарплату в кассе наличными получает?
Поскольку даётся 1 поток, то может быть тогда и не имеет особого смысла?
К тому же, абсолютно во всех сервисах требуется банковская карта, а если вот у человека её нет, он зарплату в кассе наличными получает?
Цитата: DimOK от 28.01.2022, 16:51Цитата: Yura12 от 28.01.2022, 16:44Поскольку даётся 1 поток, то может быть тогда и не имеет особого смысла?
К тому же, абсолютно во всех сервисах требуется банковская карта, а если вот у человека её нет, он зарплату в кассе наличными получает?
Может, виртуальные (цифровые) и не только карты Qiwi, ЮMoney и т.д. подойдут, попробуйте.
Цитата: Yura12 от 28.01.2022, 16:44Поскольку даётся 1 поток, то может быть тогда и не имеет особого смысла?
К тому же, абсолютно во всех сервисах требуется банковская карта, а если вот у человека её нет, он зарплату в кассе наличными получает?
Может, виртуальные (цифровые) и не только карты Qiwi, ЮMoney и т.д. подойдут, попробуйте.