Форум

Пожалуйста or Регистрация для создания сообщений и тем.

MLC@Home

PreviousPage 2 of 2

На этой неделе в MLC @ Home
Примечания к 5 октября 2020 г.
Еженедельный обзор новостей и заметок для MLC @ Home

Резюме
На этой неделе MLC @ Home исполняется 100 дней! С самого начала мы выпустили 3 набора данных WU, выпустили множество обновлений приложений, развернули поддержку 3 новых архитектур в Linux и развернули поддержку Windows. Но мы только начали.

Это была напряженная неделя: набор данных 3 приближается к своему первому рубежу - 100 сетей для 100 образцов (100x100), и прошло всего ~ 15 дней. Значки появились на сайте. Мы протестировали Dataset 3 WU на графическом процессоре (ускорение на 40% на AMD ROCm). У нас даже есть потенциальное движение по поддержке OSX. Читай дальше, чтобы узнать больше.

Но сначала извинения: сегодня у нас произошел сбой на сервере, когда планировщик работы был недоступен в течение нескольких часов. Мы устранили проблему и приняли меры, чтобы этого больше не повторилось.

Затем на этой неделе MLC @ Home с радостью представила значки. Теперь есть значки для высшего процента RAC и значки для достижения кредитных вех для каждого приложения. В настоящее время только новые кредиты (по состоянию на 1 октября) засчитываются в промежуточные этапы, но к концу этой недели мы сможем засчитать все предыдущие кредиты также и в их счет. Так что, если у вас еще нет значка, подождите, он скоро появится. Мы также предлагаем специальный значок Early Adopter всем, у кого есть кредит до нашего 100-го дня, 8 октября. Считайте это небольшой благодарностью за поддержку нашего нового проекта.

Новости:

Обработка WU набора данных 3 происходит фантастически, намного быстрее, чем ожидалось. Мы почти находимся на первом этапе (100x100) и выпустили больше WU к следующему этапу (100x1000). Как только мы достигнем 100x100 (см. Таблицу на главной странице для обновлений, мы проведем предварительный анализ и опубликуем этот набор данных).
Наборы данных 1 + 2 также продолжают развиваться параллельно с набором данных 3, но пока это происходит медленно. Мы можем потратить несколько циклов, чтобы выяснить, сможем ли мы ускорить эти оставшиеся WU. Мы сделаем официальный выпуск предварительного набора данных (1 + 2), когда у нас будет не менее 1000 примеров каждого типа машины.
На прошлой неделе в университет поступил новый сервер, завтра он будет в наших руках. Следите за объявлениями о плановых остановках на техническое обслуживание позднее на этой неделе или в выходные, когда мы перейдем на более мощный и более постоянный сервер.
Дополнительная информация о бейджах доступна здесь: https://www.mlcathome.org/mlcathome/forum_thread.php?id=88. Мы воспользуемся временем простоя, чтобы убедиться, что старые кредиты засчитываются для получения значков.
Поддержка графических процессоров: графические процессоры были чистой потерей для WU набора данных 1 + 2, но мы недавно взломали клиент для работы с AMD ROCm, протестировали WU набора данных 3 и достигли 40% ускорения на VEGA56. Мы ожидаем аналогичного ускорения и на оборудовании CUDA, что означает, что мы перемещаем поддержку GPU в приоритет. Обсуждение здесь: https://www.mlcathome.org/mlcathome/forum_thread.php?id=89
WU для набора данных 4 (на основе MNIST / TorjAI) остаются в разработке.
Мы оцениваем использование Darling как способ наконец-то поддержать OSX. Пока не о чем сообщать.

Снимок состояния проекта:
(обратите внимание, что эти числа являются приблизительными)

Задачи
Заданий готово к отправке 33935
Выполняемые задачи 15329
Пользователи
С кредитом 793
Зарегистрировано за последние 24 часа 30
Хосты
С недавним кредитом 1994 г.
Зарегистрировано за последние 24 часа 14
Текущий гигафлопс 31291,44

Array
atch отреагировал на эту запись.
atch

Организаторы проекта надеются, что на этой неделе будет выпущено тестовое приложение для GPU.

Array
Цитата: DimOK от 20.10.2020, 10:24

Организаторы проекта надеются, что на этой неделе будет выпущено тестовое приложение для GPU.

Это интересно. Надеюсь, что не будет запредельных требований к видеокартам.

Array

Проект на днях проснулся. Заданий пока достаточно.

Array

MLC@Home все.

Пишут, что все задачи выполнены, теперь займутся анализом данных. Терабайты насчитанного останутся в открытом доступе.

MLC@Home Is shutting down, (полный текст с таблицами доступен по ссылке)

Цитата: MLC@Home от 2 Oct 2022, 17:22:59 UTC

MLC@Home Is shutting down
After over two years, some bumpy moments, and the tremendous support from our volunteers,
I, as MLC admin, am making the decision to shut down MLC@Home as a BOINC project for the
time being.

Why?
We've achieved the goals I set out to accomplish (and more!) with 4 complete datasets comprising
dozens of terabytes of data to analyze. Now we need to focus on analyzing the results and writing papers.
As a researcher, at some point you have to stop generating data and write; and my family, work, and
school commitments have limited the amount of time I can spend generating new experiments. This
should be evident as I've been less and less responsive to the community over the past 6 months,
for which I apologize. While we can always want more from any endeavor, I think we've accomplished
a lot for now, and want to put the project on indefinite hiatus until something new comes along.

This is a time to celebrate all that our volunteers have achieved together! This
community has been amazing between the forums and Discord. We're shutting down not because of any
problem, but because we've achieved the goals we set out to accomplish
. For that, I couldn't be
more grateful.

The only bittersweet aspect to shutting the project down is that I hoped to grow MLC@Home beyond MLDS,
to become a platform for democratized machine learning research. I failed to gain traction with other
researchers and as such MLDS was the only project on MLC@Home. COVID is partly to blame[1], but there are
a number of other factors ranging from how research is funded in a hot field like ML to my own limited time
commitments. If other researchers express an interest we can revive the project in the future, but for now
I can not justify running the project without a real path to meaningful new work. That's wouldn't be fair to
our volunteers.

What happens now?
First, as promised, the datasets will remain available (DS4 will require some thought and time to release, see
below), and the main MLC@Home website (https://www.mlcathome.org) and twitter feed will remain active so I
can post updates on any papers and how to access DS4 when available. For now, there are no changes
to the BOINC server portions of the website. I'll need to read up on how to properly archive the forums,
project pages, and stats so that they can remain available (read only) without becoming a magnet for spam
and the (currently hourly...) hacking attempts (sigh...). I will also be winding down the Discord community
over the next month or so.

For me personally, I will continue my research and work on publishing meaningful results. I'll also continue
to support other BOINC projects (I've been contributing to BOINC since the SETI@Home classic days)
and support the idea of volunteer computing. At some point, I'll write up my experience as a researcher
starting a new project and running it from the beginning to end; and hope that will be a resource for other
projects wanting to start out. It's generally been a positive experience, but there are some definite areas
for improvement.

For you, I encourage you to continue to support other great BOINC projects with your computing time. The
official list is here https://boinc.berkeley.edu/projects.php.

Быстро они как. За 2 года все сделали. Ну и молодцы.

Array

Там один в поле воин был.

Респект, что так долго продержался.

Array
PreviousPage 2 of 2