Подпроект Africa Rainfall Project
Интервью с командой проекта «Africa Rainfall Project» (машинный перевод)
Узнайте о текущем состоянии и будущих планах проекта «Africa Rainfall Project» из этого краткого интервью.
Опубликовано: 29 июля 2022 г.
Дорогие волонтеры, сегодня у нас для вас кое-что необычное. Пока мы работаем над полным перезапуском World Community Grid, мы подумали, что сейчас будет отличный шанс напомнить сообществу о замечательных командах, с которыми мы сотрудничаем, и о том, что для них значит WCG. Для начала мы задали команде проекта «Africa Rainfall Project» ряд вопросов, которые ответят на любые вопросы, которые могут возникнуть у ветеранов и новых добровольцев об их исследованиях. Вот чем они поделились с нами.
> На что направлен ваш проект?
Проект African Rainfall Project направлен на запуск численной модели погоды для всей Африки к югу от Сахары с очень мелкой сеткой в 1 км. Причина, по которой мы используем такое высокое разрешение, заключается в том, что осадки в Африке в значительной степени образуются в результате так называемых конвективных ливней, которые развиваются в относительно небольших масштабах. С такой мелкой сеткой требуется много вычислительной мощности. WCG очень полезен, потому что мы можем разделить эту огромную задачу на множество маленьких. Каждая задача состоит из запуска модели на небольшой площади 50 на 50 км в течение двух дней. Для всей Африки к югу от Сахары нам нужно 35 609 районов.
> Как на проект повлиял период простоя WCG?
Пока WCG не работал, мы воспользовались возможностью, чтобы поработать над организацией данных, которые уже были там. Каждое моделирование генерирует около 60 МБ данных. Поскольку мы пытаемся запустить полный год, у нас будет 35 609 x 183 = 6 516 447 файлов объемом 390 ТБ. Сделать их доступными — это самостоятельная задача, над которой мы работали во время простоя.
> Чего достигли ваши исследования на данный момент?
Моделирование охватило около 260 дней из 366 дней. Следует отметить, что мы не запускаем прогноз, потому что для запуска модели требуется больше времени, чем в реальном времени. Поэтому мы используем результаты для изучения того, как распределяются осадки и насколько хорошо их можно смоделировать с помощью численных моделей погоды.
> Что могут сделать волонтеры?
Мы надеемся, что такое же количество волонтеров внесет свой вклад, как и до простоя WCG. В этом случае нам потребуется чуть меньше года, чтобы закончить проект.
> Планируются ли какие-либо расширения или новые проекты в ближайшем будущем?
Нам нужно действительно начать внимательно изучать данные, чтобы узнать, насколько хорошо мы можем моделировать погоду в Африке. Это займет много времени, в том числе с учетом огромного количества данных, которые стали доступны благодаря WCG.
___________________________________________________
Спасибо профессору Нику ван де Гейзену за ваш вклад, а также всей команде ARP за их участие в построении лучшего мира. Спасибо волонтерам за то, что позволили осуществить это, казалось бы, невозможное научное исследование. Команда World Community Grid.
Ссылка на оригинал: https://www.worldcommunitygrid.org/about_us/article.s?articleId=775
Пока WCG в отключке, команда ARP, похоже, готова вновь к выдаче заданий волонтерам.
Последние 100 дней проекта «Осадки в Африке»
Мы спросили команду ARP об их последних разработках, и вот что они поделились с нами:
«В рамках проекта «Африканские дожди» было очень тихо, по крайней мере, на начальном этапе. За кулисами были внесены необходимые изменения, чтобы снова начать работать. В предыдущих новостях мы много говорили о задействованных объемах данных, которые действительно впечатляют. Однако это также является серьезной проблемой с точки зрения хранения и перемещения их из одного места в другое. В случае с ARP результаты добровольцев отправляются WCG на компьютеры SURF, совместной организации по информационным технологиям в образовании и исследованиях в Нидерландах. Первые 200 ТБ можно хранить на диске, к которому относительно легко получить доступ. Однако это также была максимально допустимая сумма. Существует также «рабочее хранилище», где можно анализировать и сравнивать результаты. Официально максимально допустимый объем составляет 50 ТБ, но ARP отправил 150 ТБ, поэтому данные нужно было перенести в другое место. В этом случае «где-то еще» было хранилище на магнитной ленте, которое на самом деле по-прежнему является самым дешевым способом хранения данных, но также требует физического перемещения ленточных барабанов к устройствам чтения и записи и обратно. Даже несмотря на то, что эти ленты перемещаются роботом, можно себе представить, что это занимает некоторое время, и можно будет перемещать данные на ленту или с ленты только один раз время от времени. Вероятно, можно было бы дать команду просто скопировать каждый файловый накопитель на ленту, но это, вероятно, где-нибудь застрянет, а также могут быть ошибки транскрипции. Вместо этого мы перемещали данные по одному поколению за раз (т. е. два дня симуляции) и использовали так называемую хэш-функцию, чтобы убедиться, что биты на исходном носителе такие же, как и на новом носителе.
Теперь все это решено, поэтому у волонтеров есть место для дальнейшей деятельности в рамках проекта «Африканские осадки». Теперь у нас есть результаты примерно за 265 дней, и нам бы очень хотелось заполнить весь год последними 100 днями из-за очень сезонного характера осадков в Африке. Близко к экватору обычно бывает два сезона дождей и два засушливых сезона, поскольку зона межтропической конвергенции перемещается вместе с солнцем. На севере и юге обычно бывает один сезон дождей и один относительно продолжительный сухой сезон. Таким образом, полный год действительно увеличивает научную ценность набора данных. Поддержка больших хранилищ со стороны SURF прекратится, но было найдено другое долгосрочное решение, позволяющее ученым продолжать анализировать результаты, чтобы лучше понять погоду в Африке и ее предсказуемость».
Источник: https://www.worldcommunitygrid.org/about_us/article.s?articleId=781
Обновление перезапуска Africa Rainfall Project (ARP)
Команда ARP готовится к перезапуску после того, как проект был приостановлен в декабре 2022 года. В этой статье описаны шаги, которые мы предпринимаем для перезапуска этого проекта.
Проект: дождевые осадки в Африке
Опубликовано: 25 апреля 2024 г.
Фон
Проект Africa Rainfall Project (ARP) направлен на моделирование ливней в странах Африки к югу от Сахары для улучшения региональных прогнозов погоды. Цель состоит в том, чтобы запустить моделирование погоды с высоким разрешением (1 км) для всего региона в течение одного года.
Предоставление точных прогнозов погоды имеет решающее значение для самообеспеченности местного фермерского сообщества. Сравнивая результаты, полученные в результате расчета данных об осадках из различных источников с использованием World Community Grid, ученые могут создавать все более точные прогнозы, улучшать будущие симуляции и, в свою очередь, прогнозировать погоду.
Дополнительную информацию об этом проекте можно найти в нашем обновлении исследования за март 2022 года.
https://www.worldcommunitygrid.org/about_us/article.s?articleId=766
В декабре 2022 года проект был поставлен на паузу из-за ограничений емкости системы хранения. Чтобы узнать больше о деталях этого ограничения хранилища, обратитесь к обновлению ARP от марта 2023 года.
https://www.worldcommunitygrid.org/about_us/article.s?articleId=781
Как мы сообщали в обновлении от июля 2023 года, частью этой проблемы было то, что поддержка хранилища командой ARP со стороны SURF, совместной ассоциации голландских образовательных и научно-исследовательских учреждений прекратили свое существование.
К счастью, Amazon Web Services (AWS) согласилась разместить данные, и таким образом начался процесс их перемещения. После завершения переезда команда ARP предпринимает шаги, чтобы сделать данные более доступными через платформу AWS, но эта работа все еще находится на ранних стадиях. В настоящее время основное внимание уделяется завершению подготовки новых рабочих блоков и созданию данных, необходимых для перезапуска ARP.
Обновление перезапуска ARP
Мы начали работу над возобновлением рассылки волонтерам рабочих модулей ARP1. Наши партнеры по исследованиям из Делфтского технического университета уже прислали нам большую часть необходимых сценариев и документации, которые мы рассмотрели и внедрили на месте.
В настоящее время мы ожидаем решения о том, получим ли мы остальные необходимые данные и код приложения напрямую или нам нужно будет воспроизвести эти компоненты из документации, предоставленной командой TU Delft. Мы оценили, что оба подхода осуществимы, и хотели сообщить волонтерам, что мы находимся на определенном пути к перезапуску ARP1 в ближайшие недели.
Сроки возможного перезапуска этого проекта зависят от информации от команды ARP.
Если требуемый код и данные не полностью доступны нам, нам нужно будет создать недостающие компоненты конвейера для создания новой работы ARP1 и подтвердить, что мы можем воспроизвести те же входные данные, которые мы ранее получали от серверов TU Delft.
В любом случае, никаких изменений и действий со стороны добровольцев для облегчения процесса не потребуется, и когда ARP1 перезапустится, распределение рабочих единиц будет таким же, как и раньше.
Рисунок 1. Пример агрегата. Каждый блок состоит из трех вложенных доменов (однонаправленных) с разрешением соответственно 9 км, 3 км и 1 км.
https://www.worldcommunitygrid.org/forums/wcg/viewthread_thread,46631_offset,0#696179
Спасибо команде ARP за постоянное сотрудничество с WCG. Если у вас есть какие-либо вопросы или комментарии, пожалуйста, оставьте их в этой теме, чтобы мы могли ответить.
Загруженные файлы: