Новости проекта RakeSearch
Цитата: hoarfrost от 22.11.2019, 08:27Подвели итоги первой половины ноября: Results of the first half of the November 2019!, благодаря соревнованию производительность проекта подросла примерно в 1.5 раза дней на 10 (и не исключено что будет и менее заметный, но более длительный эффект), из-за чего было завершено немало workunit-ов и среди них - получены ещё 2 пары со степенью ортогональности 89 и ещё одна - 90. Нашли их следующие участники:
whizbang from Ars Technica team
marsinph from BOINC.BE team
PinkFloyd from Russia Teamа вся статистика находок за первую половину ноября выглядит так:
Degree 81: 2043321
Degree 82: 480816
Degree 83: 101182
Degree 84: 19134
Degree 85: 3132
Degree 86: 473
Degree 87: 62
Degree 88: 5
Degree 89: 2
Degree 90: 1
Degree 91: 0
...
Degree 100: 0Пары со степенью (характеристикой) ортогональности >= 86, нашли 120 участников и все они получили бэйджик с мхом, который будет вручаться за находки этого ноября:
Мох был выбран и потому что он хорошо символизирует нынешний ноябрь (хотя под конец - начало холодать) и, потому что это очень интересные растения - по сути параллельная и независимая ветвь их эволюции, которая (и в прямом и в переносном смысле) оказалась в тени другого варианта - сосудистых растений, но, по видимому, именно так (или очень похожим образом) выглядели одни из самых первых наземных растений, после их выхода из океанов Земли! К тому же, на протяжении сотен лет мхи помогали человеку строить жилища в части теплоизоляции, давали перевязочный материал и антисептик - помогали создавать цивилизацию! И одним из следов этого, например, является улица Моховая в самом центре Москвы. 🙂
Подвели итоги первой половины ноября: Results of the first half of the November 2019!, благодаря соревнованию производительность проекта подросла примерно в 1.5 раза дней на 10 (и не исключено что будет и менее заметный, но более длительный эффект), из-за чего было завершено немало workunit-ов и среди них - получены ещё 2 пары со степенью ортогональности 89 и ещё одна - 90. Нашли их следующие участники:
whizbang from Ars Technica team
marsinph from BOINC.BE team
PinkFloyd from Russia Team
а вся статистика находок за первую половину ноября выглядит так:
Degree 81: 2043321
Degree 82: 480816
Degree 83: 101182
Degree 84: 19134
Degree 85: 3132
Degree 86: 473
Degree 87: 62
Degree 88: 5
Degree 89: 2
Degree 90: 1
Degree 91: 0
...
Degree 100: 0
Пары со степенью (характеристикой) ортогональности >= 86, нашли 120 участников и все они получили бэйджик с мхом, который будет вручаться за находки этого ноября:
Мох был выбран и потому что он хорошо символизирует нынешний ноябрь (хотя под конец - начало холодать) и, потому что это очень интересные растения - по сути параллельная и независимая ветвь их эволюции, которая (и в прямом и в переносном смысле) оказалась в тени другого варианта - сосудистых растений, но, по видимому, именно так (или очень похожим образом) выглядели одни из самых первых наземных растений, после их выхода из океанов Земли! К тому же, на протяжении сотен лет мхи помогали человеку строить жилища в части теплоизоляции, давали перевязочный материал и антисептик - помогали создавать цивилизацию! И одним из следов этого, например, является улица Моховая в самом центре Москвы. 🙂
Цитата: hoarfrost от 01.12.2019, 01:15Немного статистики из RakeSearch
(Копия/оригинал новости в VK)В первой половине ноября, в проекте RakeSearch проходило соревнование, объявленное на BOINC Stats по случаю возобновления работы сайта BOINC.Ru.
И вот теперь, спустя 2 недели после того, как оно завершилось, подавляющее число результатов - прошло проверку, а данные и за период соревнования, и за несколько дней после него - ушли в архив, можно строить различные графики! Например - полученного процессорного времени. Этот график интересен тем, что если просуммировать CPU time результатов, полученных за день и перевести это время также в сутки, то полученный ряд чисел, отображаемых в виде графика, будет соответствовать и числу потоков, "считающих на проект". А это - уже очень наглядная и понятная вещь.
Конечно, компьютеры в проекте участвуют разные, но для сравнения на относительно небольшом интервале времени - этого вполне достаточно. И даже для сравнения с суперкомпьютерами из TOP 50 России - тоже - разброс по поколениям процессоров там большой. 🙂
Интересно и то, что после соревнования число активных потоков - не вернулось на прежний уровень, а осталось на более высоком! Посмотрим, что будет дальше.
Немного статистики из RakeSearch
(Копия/оригинал новости в VK)
В первой половине ноября, в проекте RakeSearch проходило соревнование, объявленное на BOINC Stats по случаю возобновления работы сайта BOINC.Ru.
И вот теперь, спустя 2 недели после того, как оно завершилось, подавляющее число результатов - прошло проверку, а данные и за период соревнования, и за несколько дней после него - ушли в архив, можно строить различные графики! Например - полученного процессорного времени. Этот график интересен тем, что если просуммировать CPU time результатов, полученных за день и перевести это время также в сутки, то полученный ряд чисел, отображаемых в виде графика, будет соответствовать и числу потоков, "считающих на проект". А это - уже очень наглядная и понятная вещь.
Конечно, компьютеры в проекте участвуют разные, но для сравнения на относительно небольшом интервале времени - этого вполне достаточно. И даже для сравнения с суперкомпьютерами из TOP 50 России - тоже - разброс по поколениям процессоров там большой. 🙂
Интересно и то, что после соревнования число активных потоков - не вернулось на прежний уровень, а осталось на более высоком! Посмотрим, что будет дальше.
Цитата: AlexA от 01.12.2019, 08:45Сравнения с суперкомпьютерами в студию. Вот интересно будет посмотреть.
Вразрезе: неделя до соревнований, неделя гонки и неделя после.
Сравнения с суперкомпьютерами в студию. Вот интересно будет посмотреть.
Вразрезе: неделя до соревнований, неделя гонки и неделя после.
Цитата: hoarfrost от 01.12.2019, 11:54Время прошедшее с начала поиска R10 можно разбить на несколько интервалов:
- Период до момента "за неделю до соревнования" ~ 1024 потока;
- "Неделя перед соревнованием" ~ 1408 потоков;
- "Соревнование" ~ 1920 потоков
- "После соревнования" ~ 1536 потоков (уже на протяжении 2 недель)
С чем это можно сопоставить? Если брать недавний, 31-й список TOP 50 России, то, думаю, что мы близки к системам на 37 и 38 месте - это два идентичных (судя по описанию) кластера: один - Дальневосточного, а другой - Западно-Сибирского управления по гидрометеорологии и мониторингу окружающей среды. В составе каждого - по 60 узлов, по 2 процессора Intel Xeon E5-2697v4 (18 ядер + Hyper-Threading т.е. 36 потоков, 2.30 ГГц, 45 Мб кэша) в каждом узле. В сумме получается 60 * 2 * 18 = 2160 ядер и 4320 потоков.
4320 потоков - это в 2.8 раза больше, чем 1536, но: 1) и частота этих процессоров ниже почти что в 2 раза, чем десктопных (а то и просто в 2 раза); 2) и в нашем проекте и в РВ вообще давно уже есть немало Ryzen-ов (причём сейчас их становится всё больше и больше) у которых производительность отдельных потоков при включении SMT проседает намного слабее, чем на Xeon-ах.
Можно посчитать и по другому. Сейчас выработка проекта составляет около 1.2 миллиона Cobblestones в день. Это соответствует ~ 12 TFLOPS-ам в виде BOINC benchmark. Но BOINC benchmark всегда выдаёт значения раз 5 меньшие, чем Linpack (видимо это связано с тем, что и как прогоняется в них). Один из свежих примеров можно найти и в статье AMD Ryzen 3950x Compute Performance Linpack and NAMD - там и про 3950X и про 3900X. Результат 3900X - 539 GFLOPS, а BOINC benchmark выдаёт 123 GFLOPS. Т.е. в 4.38 раз меньше. А теперь - перемножаем: 12 TFLOPS * 4.38 = 52.5 TFLOPS. А результат в Linpack для упоминавшихся кластеров - 75.25 TFLOPS.
А теперь минутка технологического юмора. Выше мы говорили о производительности, о терафлопсах и т.п. Но если у нас приложение оперирует исключительно целыми числами, то какое эти TFLOPS-ы имеют отношение к производительности данного приложения? 🙂 Некоторая связь вида "больше бенчмарк -> лучше процессор -> лучше работает и с int-ами) - конечно есть, но она не прямая.
Время прошедшее с начала поиска R10 можно разбить на несколько интервалов:
- Период до момента "за неделю до соревнования" ~ 1024 потока;
- "Неделя перед соревнованием" ~ 1408 потоков;
- "Соревнование" ~ 1920 потоков
- "После соревнования" ~ 1536 потоков (уже на протяжении 2 недель)
С чем это можно сопоставить? Если брать недавний, 31-й список TOP 50 России, то, думаю, что мы близки к системам на 37 и 38 месте - это два идентичных (судя по описанию) кластера: один - Дальневосточного, а другой - Западно-Сибирского управления по гидрометеорологии и мониторингу окружающей среды. В составе каждого - по 60 узлов, по 2 процессора Intel Xeon E5-2697v4 (18 ядер + Hyper-Threading т.е. 36 потоков, 2.30 ГГц, 45 Мб кэша) в каждом узле. В сумме получается 60 * 2 * 18 = 2160 ядер и 4320 потоков.
4320 потоков - это в 2.8 раза больше, чем 1536, но: 1) и частота этих процессоров ниже почти что в 2 раза, чем десктопных (а то и просто в 2 раза); 2) и в нашем проекте и в РВ вообще давно уже есть немало Ryzen-ов (причём сейчас их становится всё больше и больше) у которых производительность отдельных потоков при включении SMT проседает намного слабее, чем на Xeon-ах.
Можно посчитать и по другому. Сейчас выработка проекта составляет около 1.2 миллиона Cobblestones в день. Это соответствует ~ 12 TFLOPS-ам в виде BOINC benchmark. Но BOINC benchmark всегда выдаёт значения раз 5 меньшие, чем Linpack (видимо это связано с тем, что и как прогоняется в них). Один из свежих примеров можно найти и в статье AMD Ryzen 3950x Compute Performance Linpack and NAMD - там и про 3950X и про 3900X. Результат 3900X - 539 GFLOPS, а BOINC benchmark выдаёт 123 GFLOPS. Т.е. в 4.38 раз меньше. А теперь - перемножаем: 12 TFLOPS * 4.38 = 52.5 TFLOPS. А результат в Linpack для упоминавшихся кластеров - 75.25 TFLOPS.
А теперь минутка технологического юмора. Выше мы говорили о производительности, о терафлопсах и т.п. Но если у нас приложение оперирует исключительно целыми числами, то какое эти TFLOPS-ы имеют отношение к производительности данного приложения? 🙂 Некоторая связь вида "больше бенчмарк -> лучше процессор -> лучше работает и с int-ами) - конечно есть, но она не прямая.
Цитата: hoarfrost от 06.12.2019, 17:39Итоги ноября 2019!
В рамках писка R10 был поставлен рекорд по числу workunit-ов обработанных за месяц - 84297. Во второй половине месяца пары со степенью ортогональности >= 86 обнаружили компьютеры 104 и 39 из них (ранее не отметившихся в первой половине) - получили значок со мхом, вручаемый за находки в этом месяце. (Полный список участников можно посмотреть в отчёте на форуме проекта).
Некоторым участникам повезло особенно - были найдены и 2 пары со степенью ортогональности 89. В этот раз это сделали компьютеры следующих участников:
Exnihilo Curatio из команды Crunching@EVGA
Spritex из команды BOINC@Denmark
whizbang из команды Ars Technica
Administrator {11320}.Статистика находок ноября 2019:
Degree 81: 3536805
Degree 82: 835310
Degree 83: 176621
Degree 84: 33471
Degree 85: 5565
Degree 86: 863
Degree 87: 126
Degree 88: 11
Degree 89: 4
Degree 90: 1
Degree 91: 0
...
Degree 100: 0Статистика находок с начала поиска:
Degree 81: 10076207
Degree 82: 2380309
Degree 83: 500613
Degree 84: 95296
Degree 85: 15659
Degree 86: 2481
Degree 87: 293
Degree 88: 39
Degree 89: 7
Degree 90: 2
Degree 91: 0
...
Degree 100: 0
Итоги ноября 2019!
В рамках писка R10 был поставлен рекорд по числу workunit-ов обработанных за месяц - 84297. Во второй половине месяца пары со степенью ортогональности >= 86 обнаружили компьютеры 104 и 39 из них (ранее не отметившихся в первой половине) - получили значок со мхом, вручаемый за находки в этом месяце. (Полный список участников можно посмотреть в отчёте на форуме проекта).
Некоторым участникам повезло особенно - были найдены и 2 пары со степенью ортогональности 89. В этот раз это сделали компьютеры следующих участников:
Exnihilo Curatio из команды Crunching@EVGA
Spritex из команды BOINC@Denmark
whizbang из команды Ars Technica
Administrator {11320}.
Статистика находок ноября 2019:
Degree 81: 3536805
Degree 82: 835310
Degree 83: 176621
Degree 84: 33471
Degree 85: 5565
Degree 86: 863
Degree 87: 126
Degree 88: 11
Degree 89: 4
Degree 90: 1
Degree 91: 0
...
Degree 100: 0
Статистика находок с начала поиска:
Degree 81: 10076207
Degree 82: 2380309
Degree 83: 500613
Degree 84: 95296
Degree 85: 15659
Degree 86: 2481
Degree 87: 293
Degree 88: 39
Degree 89: 7
Degree 90: 2
Degree 91: 0
...
Degree 100: 0
Цитата: hoarfrost от 25.12.2019, 02:20Пара новостей проекта:
№ 1: Тестировавшееся ранее приложение для Raspberry Pi теперь сделано официальным. По идее - должно работать не только на Raspberry Pi с Raspbian, но и на ARM + Linux вообще. За, может быть, исключением чипов без аппаратной поддержки операций с плавающей точкой. Так как различных сочетаний процессоров ARM и Linux - много, то в проекте пришлось зарегистрировать не приложения для всех вариантов, а для платформы с названием "arm-unknown-linux-gnueabihf". Чтобы получать задания, на компьютере надо создать файл cc_config.xml со следущим содержимым:
<cc_config> <options> <alt_platform>arm-unknown-linux-gnueabihf</alt_platform> </options> </cc_config>- тем самым вы скажете BOINC чтобы он запрашивал задания не только детектированной им аппаратной платформы компьютера (например armv7l-...) но и для указанной. Тогда с сервера придёт и официальное приложение и задания для него.
№ 2: Подвели итоги первой половины декабря. Полный вариант здесь, а если кратко, то за первую половину месяца было завершено 40139 workunit-ов, а статистика находок была такова:
Degree 81: 1786297
Degree 82: 424150
Degree 83: 91947
Degree 84: 17573
Degree 85: 3059
Degree 86: 404
Degree 87: 44
Degree 88: 3
Degree 89: 0
...
Degree 100: 0И тем, кто нашёл пары со степенью ортогональности (или "характеристикой ортогональности") большей или равно 86, по традиции был "вручён" новый значок - "Осенняя лиственница", который можно будет получить за находку, сделанную до конца этого декабря:
Пара новостей проекта:
№ 1: Тестировавшееся ранее приложение для Raspberry Pi теперь сделано официальным. По идее - должно работать не только на Raspberry Pi с Raspbian, но и на ARM + Linux вообще. За, может быть, исключением чипов без аппаратной поддержки операций с плавающей точкой. Так как различных сочетаний процессоров ARM и Linux - много, то в проекте пришлось зарегистрировать не приложения для всех вариантов, а для платформы с названием "arm-unknown-linux-gnueabihf". Чтобы получать задания, на компьютере надо создать файл cc_config.xml со следущим содержимым:
<cc_config> <options> <alt_platform>arm-unknown-linux-gnueabihf</alt_platform> </options> </cc_config>
- тем самым вы скажете BOINC чтобы он запрашивал задания не только детектированной им аппаратной платформы компьютера (например armv7l-...) но и для указанной. Тогда с сервера придёт и официальное приложение и задания для него.
№ 2: Подвели итоги первой половины декабря. Полный вариант здесь, а если кратко, то за первую половину месяца было завершено 40139 workunit-ов, а статистика находок была такова:
Degree 81: 1786297
Degree 82: 424150
Degree 83: 91947
Degree 84: 17573
Degree 85: 3059
Degree 86: 404
Degree 87: 44
Degree 88: 3
Degree 89: 0
...
Degree 100: 0
И тем, кто нашёл пары со степенью ортогональности (или "характеристикой ортогональности") большей или равно 86, по традиции был "вручён" новый значок - "Осенняя лиственница", который можно будет получить за находку, сделанную до конца этого декабря:
Информация
30.12.2019
Цитата: Igor Molchanov от 30.12.2019, 21:05А не планируется ли открытие исходников для сборки под анонимную платформу?
А то есть пара машин на процессорах "Эльбрус-8С" и "Эльбрус-8СВ", было бы интересно на них погонять RakeSearch не только в режиме эмуляции x86_64, но и нативно.
Помню, для R9 такое приложение было (и даже запустилось и работало), а вот для R10 уже полгода (или больше?) прошло, а исходников приложения всё не появилось.
А не планируется ли открытие исходников для сборки под анонимную платформу?
А то есть пара машин на процессорах "Эльбрус-8С" и "Эльбрус-8СВ", было бы интересно на них погонять RakeSearch не только в режиме эмуляции x86_64, но и нативно.
Помню, для R9 такое приложение было (и даже запустилось и работало), а вот для R10 уже полгода (или больше?) прошло, а исходников приложения всё не появилось.
Цитата: Yura12 от 30.12.2019, 21:38И ещё 1 смежный вопрос - а ведутся ли сейчас работы, чтобы сделать приложение для R10 для счёта на видеокартах NVidia или AMD?
И ещё 1 смежный вопрос - а ведутся ли сейчас работы, чтобы сделать приложение для R10 для счёта на видеокартах NVidia или AMD?
Цитата: hoarfrost от 30.12.2019, 23:32Цитата: Igor Molchanov от 30.12.2019, 21:05А не планируется ли открытие исходников для сборки под анонимную платформу?
А то есть пара машин на процессорах "Эльбрус-8С" и "Эльбрус-8СВ", было бы интересно на них погонять RakeSearch не только в режиме эмуляции x86_64, но и нативно.
Помню, для R9 такое приложение было (и даже запустилось и работало), а вот для R10 уже полгода (или больше?) прошло, а исходников приложения всё не появилось.
А они изначально открыты, просто их не перекладывали в официальный репозитарий. Будет интересно увидеть результаты на Эльбрусах!
Цитата: Igor Molchanov от 30.12.2019, 21:05А не планируется ли открытие исходников для сборки под анонимную платформу?
А то есть пара машин на процессорах "Эльбрус-8С" и "Эльбрус-8СВ", было бы интересно на них погонять RakeSearch не только в режиме эмуляции x86_64, но и нативно.
Помню, для R9 такое приложение было (и даже запустилось и работало), а вот для R10 уже полгода (или больше?) прошло, а исходников приложения всё не появилось.
А они изначально открыты, просто их не перекладывали в официальный репозитарий. Будет интересно увидеть результаты на Эльбрусах!