Подпроект Africa Rainfall Project
Интервью с командой проекта «Africa Rainfall Project» (машинный перевод)
Узнайте о текущем состоянии и будущих планах проекта «Africa Rainfall Project» из этого краткого интервью.
Опубликовано: 29 июля 2022 г.
Дорогие волонтеры, сегодня у нас для вас кое-что необычное. Пока мы работаем над полным перезапуском World Community Grid, мы подумали, что сейчас будет отличный шанс напомнить сообществу о замечательных командах, с которыми мы сотрудничаем, и о том, что для них значит WCG. Для начала мы задали команде проекта «Africa Rainfall Project» ряд вопросов, которые ответят на любые вопросы, которые могут возникнуть у ветеранов и новых добровольцев об их исследованиях. Вот чем они поделились с нами.
> На что направлен ваш проект?
Проект African Rainfall Project направлен на запуск численной модели погоды для всей Африки к югу от Сахары с очень мелкой сеткой в 1 км. Причина, по которой мы используем такое высокое разрешение, заключается в том, что осадки в Африке в значительной степени образуются в результате так называемых конвективных ливней, которые развиваются в относительно небольших масштабах. С такой мелкой сеткой требуется много вычислительной мощности. WCG очень полезен, потому что мы можем разделить эту огромную задачу на множество маленьких. Каждая задача состоит из запуска модели на небольшой площади 50 на 50 км в течение двух дней. Для всей Африки к югу от Сахары нам нужно 35 609 районов.
> Как на проект повлиял период простоя WCG?
Пока WCG не работал, мы воспользовались возможностью, чтобы поработать над организацией данных, которые уже были там. Каждое моделирование генерирует около 60 МБ данных. Поскольку мы пытаемся запустить полный год, у нас будет 35 609 x 183 = 6 516 447 файлов объемом 390 ТБ. Сделать их доступными — это самостоятельная задача, над которой мы работали во время простоя.
> Чего достигли ваши исследования на данный момент?
Моделирование охватило около 260 дней из 366 дней. Следует отметить, что мы не запускаем прогноз, потому что для запуска модели требуется больше времени, чем в реальном времени. Поэтому мы используем результаты для изучения того, как распределяются осадки и насколько хорошо их можно смоделировать с помощью численных моделей погоды.
> Что могут сделать волонтеры?
Мы надеемся, что такое же количество волонтеров внесет свой вклад, как и до простоя WCG. В этом случае нам потребуется чуть меньше года, чтобы закончить проект.
> Планируются ли какие-либо расширения или новые проекты в ближайшем будущем?
Нам нужно действительно начать внимательно изучать данные, чтобы узнать, насколько хорошо мы можем моделировать погоду в Африке. Это займет много времени, в том числе с учетом огромного количества данных, которые стали доступны благодаря WCG.
___________________________________________________
Спасибо профессору Нику ван де Гейзену за ваш вклад, а также всей команде ARP за их участие в построении лучшего мира. Спасибо волонтерам за то, что позволили осуществить это, казалось бы, невозможное научное исследование. Команда World Community Grid.
Ссылка на оригинал: https://www.worldcommunitygrid.org/about_us/article.s?articleId=775
Пока WCG в отключке, команда ARP, похоже, готова вновь к выдаче заданий волонтерам.
Последние 100 дней проекта «Осадки в Африке»
Мы спросили команду ARP об их последних разработках, и вот что они поделились с нами:
«В рамках проекта «Африканские дожди» было очень тихо, по крайней мере, на начальном этапе. За кулисами были внесены необходимые изменения, чтобы снова начать работать. В предыдущих новостях мы много говорили о задействованных объемах данных, которые действительно впечатляют. Однако это также является серьезной проблемой с точки зрения хранения и перемещения их из одного места в другое. В случае с ARP результаты добровольцев отправляются WCG на компьютеры SURF, совместной организации по информационным технологиям в образовании и исследованиях в Нидерландах. Первые 200 ТБ можно хранить на диске, к которому относительно легко получить доступ. Однако это также была максимально допустимая сумма. Существует также «рабочее хранилище», где можно анализировать и сравнивать результаты. Официально максимально допустимый объем составляет 50 ТБ, но ARP отправил 150 ТБ, поэтому данные нужно было перенести в другое место. В этом случае «где-то еще» было хранилище на магнитной ленте, которое на самом деле по-прежнему является самым дешевым способом хранения данных, но также требует физического перемещения ленточных барабанов к устройствам чтения и записи и обратно. Даже несмотря на то, что эти ленты перемещаются роботом, можно себе представить, что это занимает некоторое время, и можно будет перемещать данные на ленту или с ленты только один раз время от времени. Вероятно, можно было бы дать команду просто скопировать каждый файловый накопитель на ленту, но это, вероятно, где-нибудь застрянет, а также могут быть ошибки транскрипции. Вместо этого мы перемещали данные по одному поколению за раз (т. е. два дня симуляции) и использовали так называемую хэш-функцию, чтобы убедиться, что биты на исходном носителе такие же, как и на новом носителе.
Теперь все это решено, поэтому у волонтеров есть место для дальнейшей деятельности в рамках проекта «Африканские осадки». Теперь у нас есть результаты примерно за 265 дней, и нам бы очень хотелось заполнить весь год последними 100 днями из-за очень сезонного характера осадков в Африке. Близко к экватору обычно бывает два сезона дождей и два засушливых сезона, поскольку зона межтропической конвергенции перемещается вместе с солнцем. На севере и юге обычно бывает один сезон дождей и один относительно продолжительный сухой сезон. Таким образом, полный год действительно увеличивает научную ценность набора данных. Поддержка больших хранилищ со стороны SURF прекратится, но было найдено другое долгосрочное решение, позволяющее ученым продолжать анализировать результаты, чтобы лучше понять погоду в Африке и ее предсказуемость».
Источник: https://www.worldcommunitygrid.org/about_us/article.s?articleId=781
Обновление перезапуска Africa Rainfall Project (ARP)
Команда ARP готовится к перезапуску после того, как проект был приостановлен в декабре 2022 года. В этой статье описаны шаги, которые мы предпринимаем для перезапуска этого проекта.
Проект: дождевые осадки в Африке
Опубликовано: 25 апреля 2024 г.
Фон
Проект Africa Rainfall Project (ARP) направлен на моделирование ливней в странах Африки к югу от Сахары для улучшения региональных прогнозов погоды. Цель состоит в том, чтобы запустить моделирование погоды с высоким разрешением (1 км) для всего региона в течение одного года.
Предоставление точных прогнозов погоды имеет решающее значение для самообеспеченности местного фермерского сообщества. Сравнивая результаты, полученные в результате расчета данных об осадках из различных источников с использованием World Community Grid, ученые могут создавать все более точные прогнозы, улучшать будущие симуляции и, в свою очередь, прогнозировать погоду.
Дополнительную информацию об этом проекте можно найти в нашем обновлении исследования за март 2022 года.
https://www.worldcommunitygrid.org/about_us/article.s?articleId=766
В декабре 2022 года проект был поставлен на паузу из-за ограничений емкости системы хранения. Чтобы узнать больше о деталях этого ограничения хранилища, обратитесь к обновлению ARP от марта 2023 года.
https://www.worldcommunitygrid.org/about_us/article.s?articleId=781
Как мы сообщали в обновлении от июля 2023 года, частью этой проблемы было то, что поддержка хранилища командой ARP со стороны SURF, совместной ассоциации голландских образовательных и научно-исследовательских учреждений прекратили свое существование.
К счастью, Amazon Web Services (AWS) согласилась разместить данные, и таким образом начался процесс их перемещения. После завершения переезда команда ARP предпринимает шаги, чтобы сделать данные более доступными через платформу AWS, но эта работа все еще находится на ранних стадиях. В настоящее время основное внимание уделяется завершению подготовки новых рабочих блоков и созданию данных, необходимых для перезапуска ARP.
Обновление перезапуска ARP
Мы начали работу над возобновлением рассылки волонтерам рабочих модулей ARP1. Наши партнеры по исследованиям из Делфтского технического университета уже прислали нам большую часть необходимых сценариев и документации, которые мы рассмотрели и внедрили на месте.
В настоящее время мы ожидаем решения о том, получим ли мы остальные необходимые данные и код приложения напрямую или нам нужно будет воспроизвести эти компоненты из документации, предоставленной командой TU Delft. Мы оценили, что оба подхода осуществимы, и хотели сообщить волонтерам, что мы находимся на определенном пути к перезапуску ARP1 в ближайшие недели.
Сроки возможного перезапуска этого проекта зависят от информации от команды ARP.
Если требуемый код и данные не полностью доступны нам, нам нужно будет создать недостающие компоненты конвейера для создания новой работы ARP1 и подтвердить, что мы можем воспроизвести те же входные данные, которые мы ранее получали от серверов TU Delft.
В любом случае, никаких изменений и действий со стороны добровольцев для облегчения процесса не потребуется, и когда ARP1 перезапустится, распределение рабочих единиц будет таким же, как и раньше.
Рисунок 1. Пример агрегата. Каждый блок состоит из трех вложенных доменов (однонаправленных) с разрешением соответственно 9 км, 3 км и 1 км.
https://www.worldcommunitygrid.org/forums/wcg/viewthread_thread,46631_offset,0#696179
Спасибо команде ARP за постоянное сотрудничество с WCG. Если у вас есть какие-либо вопросы или комментарии, пожалуйста, оставьте их в этой теме, чтобы мы могли ответить.
Загруженные файлы:
Результаты исследования от команды ARP (июль 2025 г.)
Африканский проект по дождям (ARP) World Community Grid снова запущен! Мы рады поделиться обновленной информацией о нашем прогрессе с осени 2024 года.
Проект: Africa Rainfall Project
Опубликовано: 8 июля 2025 г.
Введение и обновления
95% фермерских хозяйств в странах Африки к югу от Сахары зависят от осадков для успешного выращивания своих культур. Однако из-за изменений погодных условий, вызванных изменением климата, ожидается значительное уменьшение количества осадков по всему континенту.
Используя приложение Weather Research and Forecasting Model (WRF) с высоким разрешением (1 км), мы проводим моделирование, которое значительно улучшит прогнозы осадков в регионе.
После завершения разработки прогностические модели ARP помогут ученым составлять более точные прогнозы погоды, что в конечном итоге поможет фермерам своевременно собирать урожай, чтобы максимизировать его урожайность.
Крупномасштабное моделирование, проводимое ARP, требует огромных вычислительных мощностей, что было бы невозможно без добровольцев WCG. Моделирование осадков в настоящее время выполнено примерно на две трети и, как ожидается, будет полностью завершено в течение 12 месяцев. Моделирование уникально для всего континента с очень высоким разрешением (1 км), что позволяет моделировать интенсивные конвективные ливни, которые приносят около 80% осадков. По состоянию на 7 июля 2025 года волонтеры помогли получить более 10,5 млн результатов в рамках этого проекта. Мы высоко ценим вашу постоянную поддержку!
Где ИИ терпит неудачу: Сохраняющаяся потребность в проекте по изучению осадков в Африке
По мере быстрого развития возможностей искусственного интеллекта (ИИ) возникает распространенный вопрос: могут ли прогнозы погоды, основанные на ИИ, в конечном итоге заменить сложные и дорогостоящие расчеты физических погодных моделей?
Чтобы понять контекст, рассмотрим ERA5: проект повторного анализа в рамках Европейского центра среднесрочных прогнозов погоды (ECMWF). Он может похвастаться пространственным разрешением с точностью до 31 км и глобальным охватом с 1940 года, включая численные погодные модели, все наземные наблюдения и спутниковые данные. ERA5 является выдающимся научным достижением и в настоящее время представляет собой наиболее точную оценку глобальных атмосферных условий за последние 85 лет, что делает его краеугольным камнем исследований климата.
Несмотря на успех, ERA5 обошелся недешево: около двадцати миллиардов долларов. Чтобы сэкономить деньги, не теряя при этом прогресса, следующим логичным шагом было бы использовать искусственный интеллект для имитации ERA5 и прогнозирования погодных условий по всему миру. Это именно то, что делают большинство крупных компаний, занимающихся ИИ, которые обнаружили, что запуск таких моделей ИИ обходится в миллионы, а не в миллиарды.
Несмотря на то, что искусственный интеллект представляет собой многообещающее решение, к сожалению, прогнозы осадков на основе ERA5 не очень эффективны конкретно для Африки. При сравнении с наземными данными сети TAHMO над Кенией, даже в месячном масштабе времени, ERA5 не отражает аномалии, которые определяют разницу между засухой и наводнением. Следовательно, если все прогнозы основаны на искусственном интеллекте и обучены на ERA5, сеть будет плохо охватывать количество осадков в Африке.
В рамках проекта African Rainfall Project мы создали “ERA5”, который имеет отношение к Африке.
Хотя его временной интервал может быть ограничен, необходимые процессы будут отражены в нужном масштабе для населения. Следующим логичным шагом было бы посмотреть, можно ли использовать искусственный интеллект для имитации физической модели, которая была создана благодаря World Community Grid и тысячам добровольцев по всему миру. Если это удастся, то прогнозирование погоды в Африке сделает огромный шаг вперед.
https://www.worldcommunitygrid.org/research/arp1/overview.do
а воть вообще -- разве можно рассматривать погоду в какомто одном отдельно взятом регионе (хоть в мухомуромске) _независимо_ от погод в прочих регионах нашей земли???
ведь оне же все взаимосвязаы... общая система... каждая часть влияет на прочие...
