Форум

Уважаемые посетители. В связи с массовой регистрацией на форуме спамовых и рекламных аккаунтов нам пришлось установить некоторые защитные программные блоки. Если при регистрации на Ваш почтовый адрес не придет письмо с паролем для активации учетнойзаписи, прошу написать на адрес tpp12@rambler.ru или boinc.ru@yandex.ru. Я активирую учетку в ручную и вышлю Вам времнный пароль.
Пожалуйста or Регистрация для создания сообщений и тем.

Суперкомпьютеры России

Я решил провести небольшое расследование и выяснить, что же на самом деле происходит с суперкомпьютерной отраслью в России, и какое будущее ее ждет. Слово предоставляется Андрею Юрченко и Виктору Вексельбергу:

 

Заместитель директора Института вычислительных технологий СО РАН Андрея Юрченко подчеркнул критическое отставание России в суперкомпьютерной отрасли в своем опубликованном недавно докладе для широкой общественности.  Ранее с этой же позицией выступали и другие известные российские деятели. “Мы начинаем катастрофически отставать от наших конкурентов в мире. Я хотел бы подчеркнуть — катастрофически. Если интеллектуально, если с точки зрения разработки программных продуктов, алгоритмов, создания определенного софта мы соответствуем сегодня международному уровню, то по количеству суперкомпьютеров мы очень сильно отстаем. Как по мощности самих компьютеров, так и по их количеству”, — заявил председатель совета директоров Фонда “Сколково” Виктор Вексельберг в интервью телеканалу РБК в октябре прошлого года. По его словам, от США и Китая Россия в этой сфере отстает уже в десятки раз.  А. Юрченко уточняет – не просто в десятки, а более чем в 50 раз.

Источник.

 

Однако стоит отметить, что в начале 2019 года отставание было ещё более существенным. Улучшить всероссийскую производительность помог суперкомпьютер “Сбербанка” – Кристофари. С его запуском доля России в общем объёме производительности в мировом суперкомпьютерном рейтинге top500.org возросла с 0,24 до 0,6 процента, а занимаемое место по этому параметру поднялось с 21 до 13-го.

Источник.

 

Их мнение полностью разделяют и видные российские ученые:

 

- Назрела острая необходимость в перераспределении мощностей суперкомпьютеров России с учетом высокой научной результативности мирового уровня сибирских ученых, заявил 11 февраля замдиректора Института вычислительных технологий (ИВТ) СО РАН Андрей Юрченко изданию СО РАН “Наука в Сибири”.

- Масштабный проект по созданию Сибирского национального центра высокопроизводительных вычислений, обработки и хранения данных (СНЦ ВВОД) имеет ключевое значение для развития всего научного кластера Сибири.

- Он сообщил, что 90% всех мощностей находится в европейских регионах страны. При этом доля только сибирских ученых (не считая Урала и Дальнего Востока) в публикациях мирового уровня составляет 15%.

- Ученый сказал, что на Дальнем Востоке ситуация еще более тревожная — на карте распределения суперкомпьютерной инфраструктуры России (по данным рейтинга top50.supercomputers.ru) научные центры этого региона вообще отсутствуют.

- Юрченко привел пример США, где вычислительные мощности распределены одинаково по всем штатам — от востока (в частности, Массачусетский технологический институт) до запада (например, Ливерморская национальная лаборатория в Калифорнии).

Источник.

 

Академик Минкин тоже вот не сдержался:

— А вам без мощных суперкомпьютеров трудно?

— Невозможно! К примеру, уже не нужны аэродинамические трубы — расчет аэродинамики самолетов идет на компьютерах. Аналогичная ситуация и с лекарствами. Их эффективность рассчитывается не методом “тыка”, а моделируется опять-таки на компьютерах. Да и время исследований резко сокращается. Особенно у нас, химиков.

Источник.

 

С ним полностью солидарен и академик Фортов:

“Математическое моделирование развивается столь стремительно, что даже этих мощностей остро не хватает. Российские ученые вынуждены ждать в очереди многие недели и даже месяцы. Сегодня мы задыхаемся без современных ЭВМ петафлопcного и даже экзофлопсного диапазона мощностей. <...> Мегапроект [по созданию и производству этих машин в России], если он будет реализован, имел бы большое значение, так созданные [в России] супермощные ЭВМ станут доступны ученым, преподавателям и аспирантам не только в Москве и Санкт-Петербурге. Такой проект даст возможность нашим молодым ученым ставить и решать самые амбициозные задачи современной науки и техники”.

Источник.

 

Еще одно интервью с его участием - Петафлопс для научного лидерства: академик Фортов о том, зачем России суперкомпьютер

Array

Какие усилия принимает наше правительство, чтобы удовлетворить стремительно растущий спрос на суперкомпьютеры?

 

На проходившем в то же время в Кремле заседании президиума Государственного совета и Совета при Президенте РФ по науке и образованию в качестве одной из стратегических задач было обозначено создание в России петафлопного суперкомпьютера. При этом Китай, США, Европейское сообщество, Япония уже планируют создание более мощных экзафлопных машин.

Источник.

 

Президент России Владимир Путин поддержал идею создания сети мощных суперкомпьютерных центров на территории страны, в том числе и в Казани, сообщает пресс-служба Кремля. Об этом стало известно на встрече президента России с представителями общественности в Череповце 4 февраля.

“С нашей точки зрения, будет правильно развить сеть достаточно мощных суперкомпьютерных центров, чтобы они размещались не только в Москве, но и в Санкт-Петербурге, в Новосибирске, в Казани, во Владивостоке, — сказал первый замдиректора института вычислительных технологий СО РАН Андрей Юрченко. — Безусловно, необходимы центры не только супермощные, но и второго уровня, как мы их называем. Они тоже должны находиться в том числе в регионах: Томск, Тюмень нуждаются в таких центрах, Хабаровск, Екатеринбург. Такие центры могут стать базой, основой для создания в том числе сетей "фабрик данных".

Источник.

Array

По словам Олега Самоварова, построить суперкомпьютер любого масштаба для российских ученых проблем не составляет. Другое дело, что применимость этого суперкомпьютера для разного класса задач – вот это, действительно, может стать большой проблемой. Сам инструмент сделать под какую-то задачу можно, а вот придумать алгоритм, при помощи которого использование этого суперкомпьютера будет эффективным – это основная проблема, основные интеллектуальные и финансовые затраты, констатировал Самоваров.

Источник.

 

В России есть нечто подобное? Конечно, есть, иначе это не Россия! Один из авторов такого решения – младший научный сотрудник Сколковского института науки и технологий Сергей Матвеев – сообщил в интервью, что они “создали некую технологию, позволяющую ускорить процесс обработки больших массивов данных по сравнению с нынешним поколением суперкомпьютеров ... и разработали алгоритмы, которые для решения наших конкретных задач (моделирование роста и раздробления кластеров частиц) позволяют решать большие задачи с использованием хороших мощных ноутбуков и настольных компьютеров за разумные времена”.

Источник.

 

Уже что-то, надо сказать. Эти алгоритмы можно применить и в других различных системах, в которых “происходят агрегация (объединение в кластеры) и фрагментация (раздробление таких кластеров). Такие системы можно встретить в различных масштабах: это и образование полимерных цепочек в растворах, и формирование звезд и планет из межзвездной пыли. Оба процесса агрегации и фрагментации протекают одновременно в результате столкновения частиц.”

Источник.

 

По словам ведущего автора работы Владимира Кукулина, его группе удалось продемонстрировать, что персональный лабораторный компьютер со специализированным софтом справился с поставленными задачами в разы быстрее: за 15 минут он выполнил работу, на которую суперкомпьютер затрачивает 2-3 дня.

Источник.

 

Как видите, светлое будущее не за горами. Надеемся, что так оно и будет!

Array

В качестве продолжения обсуждения, начатого здесь, со ссылкой на эту ветку. 🙂

Изложение подобного видел уже давно... но то, каким образом эта информация подаётся, лично для меня начисто перечёркивает весь её посыл.

Во-первых - потому что идёт упор на исключительно числовые показатели в виде FLOPS-ов. Хотя все прекрасно знают, насколько они разные и как сильно различается их применимость.

Во-вторых - всё изложенно очень сильно дискредитируется разговорами о "Кристофари". Потому что основная идея вроде бы как о том, что учёным не хватает времени на суперкомпьютерах, но при это говорят что ввод в строй "Кристофари" как-то улучшил ситуацию. "Кристофари" - это GPU-система созданная Сбербанком прежде всего для собственных нужд. И никакого отношения к фундаментальной науке и научным вычислениям - она не имеет. Особенно с учётом того, что она создавалась для решения задач ИИ (оттого и GPU от NVIDIA).

В-третьих, просто посмотрите на то, кто организует проекты распределённых вычислений. В основном - это результат работы учёных из Европы и США. Rosetta@home - детище Дэвида Бейкера - у которого уже набор статей в Nature(!) и лаборатория, в которой делают молекулярные машины. Уж у него-то проблемы с доступом к вычислительному времени должны быть минимальными, по сравнению с другими. Однако же, Rosetta@home живёт и процветает, а сам Дэвид рассказывает об этом на TED. Так где же не хватает вычислительного времени - в Европе с США или в России?

В-четвёртых, на дворе уже как бы 2020-й год, а ещё один упор - на географическом расположении суперкомпьютеров, "под соусом" доступа к ним. Географическое расположение суперкомпьютеров, и для реального дела может быть важным, но прежде всего по другим причинам: а) наличию квалифицированного персонала, который сможет обслуживать суперкомпьютер; б) наличию инфраструктуры для его размещения - соответствующего здания, сетей связи и, климата (среднегодовая температура - многое значит) и, конечно же - электропитания. Если учитывать последние два фактора, то Сибирь дожна стать родиной суперкомпьютеров, не иначе. Но никак не потому, что "там есть учёные, которым они нужны". Если в Новосибирске и Иркустке, например, есть научные коллективы, которым сложно получить суперкомпьютерное время только потому, что они там работают, то начинать надо точно не с PFLOPS-ов, а с наведения порядка.

В-пятных стоит отметить, что от вычислений на суперкомпьютерах, всё-таки должен быть какой-то выход. Либо практический (в виде конструкций, новых соединений и пр.пр.пр. - то есть товаров, производство которых должно приносить прибыль, которая должна с лихвой должна покрывать затраты на покупку CPU Time), либо результатов в фундаментальной науке. И если сами же управленцы от этой отрасли жалуются, что им катастрофически не хватает финансирования, то хочешь-не хочешь закрадывается подозрение в том, что существующие суперкомпьютеры дают какой-то промышленный выход. В принципе, это не вызывало бы вопросов, если бы были результаты в фундаментальной науке. Но много ли их можно вспомнить за последнее время? Лично мне на память приходят только новости от лаборатории Артёма Оганова, в которой моделируются вещества в необычных состояниях и, это даёт как минимум необычные и интересные результаты. Если поискать, то наверное будут и другие результаты. Но есть, ли например, что-то подобное Illustris? Лично я - не встречал.

Есть и ещё одно, на мой взгляд обстоятельство, о котором, надеюсь, я напишу чуть позже. Продолжение следует! 🙂

Array

Статья спорная, но очень интересная....

Array
В продолжение темы:
“[КШ] Есть ли в России острая потребность в ещё более мощных суперкомпьютерах?
[ВВ] Издеваетесь? Пятьсот пятнадцать ждущих задач! Причём это только фундаментальная наука. И вы спрашиваете про потребности?!”
Статья хоть и датируется 2015 годом, но с тех пор не так много изменилось. "Кристофари" не в счет, т.к. он заточен именно под искусственный интеллект, машинное обучение, и пользоваться им будет, в основном, Сбербанк, хотя, например, недавно он стал доступен ученым и студентам Оренбургской области.
Array

Статья очень хорошая, но вопросов она вызывает ещё больше. Не качество статьи (она - отличная), а сама информация.

К примеру, там говорится о том, что в вычислительном центре МГУ выполняются расчёты в интересах промышленности. Но они должны подразумевать воплощение в виде товаров и прибыли. А коли так, то почему на суперкомпьютеры приходится просить деньги?

Не стоит забывать очень простую вещь - любой начальник хочет быть больше и важнее. 🙂 Это не значит, что суперкомпьютеры не нужны, но надо понимать, что среди причин построить их побольше есть и подобная. И которую надо уравновешивать трезвым отношением ко всему происходящему.

Array

Примерно с 2003 года Intel остаётся доминирующим поставщиком — по крайней мере, по количеству систем, использующих её процессоры. Сейчас CPU Intel применяются в 95,6 % представителей из списка Top 500, однако нужно сказать несколько слов и о самом рейтинге. Дело в том, что всё большее количество суперкомпьютеров из США, Китая, ЕС и Японии, отправляющих результаты Linpack, не имеют ничего (подчас абсолютно ничего) общего к реальным рабочим нагрузкам HPC или даже к нагрузкам в области искусственного интеллекта и просто участвуют в рейтинге ради престижа своих стран.

Нет правила, согласно которому входящая в рейтинг машина должна действительно выполнять задачи HPC или ИИ в качестве своей повседневной работы: важны лишь результаты Linpack. Это искажает характер списка: фактически из него вытесняются реальные центры высокопроизводительных вычислений, и, что быть может ещё важнее, создаётся впечатление, будто отставание от закона Мура не столь значительно, чем, вероятно, дело обстоит на самом деле.

Хотелось бы, чтобы в будущем в списке Top 500 была какая-то проверка, позволяющая убедиться, что суперкомпьютер действительно на деле выполнял задачи HPC бо́льшую часть времени до того, как попал в рейтинг. Смысл списка должен быть в понимании реальных тенденций HPC, а не тенденций систем, настроенных на тесты производительности Linpack.

Источник.

Получается, что на Западе не мало суперкомпьютеров, работающих не на полную катушку значительную часть времени, что для нас непозволительная роскошь. При этом там продолжают строить все новые, зная, что существующие суперкомпьютеры еще можно загружать все новыми заданиями. Видимо, там такая особенность, что вычислительные машины строят только для конкретных научных институтов и промышленных предприятий, поэтому сторонним организациям доступ к ним не предоставляется.

Array

Нет, смысл этого абзаца был совсем иной. 🙂 Просто есть тест Linpack, который очень долгое время используется как способ оценки вычислительной мощности. Но он например, хорошо выполняется и на GPU-машинах, что автоматически отбрасывает "большие CPU-суперкомпьютеры" во второй эшелон, а первый занимают системы на GPU, даже если по своим размерам они куда меньше. Но, как мы прекрасно знаем, GPU - подходит под значительно меньший круг задач чем CPU. Отсюда и первый пакет претензий к Linpack-у. Второй - к тому, что сейчас, вроде как никто специально не приезжает и производительность не проверяет. По сути, доверяют просто присланным результатам. Но, вообще говоря, а какая разница-то? От того, где находится в этом списке Ломоносов-2 его полезность ну никак не менятеся.

Array

В России разработали концепцию национальной суперкомпьютерной инфраструктуры

https://futurerussia.gov.ru/nacionalnye-proekty/v-rf-razrabotali-koncepciu-nacionalnoj-superkomputernoj-infrastruktury

Российские ученые предложили концепцию суперкомпьютерной инфраструктуры

https://rossaprimavera.ru/news/96110ac8

Array