Оптимизация Обучения: Роль Распределенных Технологий в ML | by SnezhNik | Dec, 2023

Существует несколько подходов к распределенному обучению, которые можно разделить на две категории: параллелизм данных и параллелизм моделей.

Параллелизм данных

Параллелизм данных — это стратегия распределенного обучения, где обучающие данные разделяются между несколькими машинами, и каждая машина обучает свою копию модели, используя свой набор данных. Этот подход хорошо работает, когда имеется большой объем данных и сложные модели.

Принцип работы выглядит таким образом:

1. Разделение данных. Обучающие данные распределяются по различным машинам, позволяя каждой машине работать с своим уникальным набором данных.
2. Локальное обучение. Каждая машина обучает свою копию модели на своих данных. Это происходит параллельно, что ускоряет процесс обучения.
3. Синхронизация моделей. Периодически модели синхронизируются для того, чтобы гарантировать, что они имеют одинаковые веса.

Параллелизм моделей

Параллелизм моделей — это стратегия распределенного обучения, при которой сама модель делится на различные части, обучаемые на разных машинах. Этот метод применяется в случаях, когда модель слишком обширна для памяти одной машины или когда отдельные компоненты модели требуют значительно больше вычислительных ресурсов. В отличие от параллелизма данных, параллелизм моделей более сложен в реализации, но при этом находит свое применение в специализированных приложениях.

Принцип работы:

1. Разделение модели. Сама модель разделяется на различные компоненты, которые обучаются параллельно на разных машинах. Это может быть особенно полезно, если модель имеет больший объем параметров, который нельзя разместить в памяти одной машины.
2. Общий набор данных. Все машины используют один и тот же набор данных. Параметры глобальной модели синхронизируются между машинами, обычно перед прямым или обратным распространением.
3. Работа с естественно параллельными архитектурами. Этот тип распределенного обучения наилучшим образом применяется к моделям с естественно параллельной архитектурой, таким как модели с несколькими ветвями или параллельными блоками.

Использование распределенных технологий в машинном обучении подразумевает использование различных фреймворков и инструментов. Рассмотрим несколько ведущих фреймворков распределенного обучения.

TensorFlow — это мощный и гибкий фреймворк от Facebook, который предоставляет комплексные инструменты для разработки и обучения моделей машинного обучения. TensorFlow поддерживает распределенное обучение через свой высокоуровневый API tf.distribute.

Преимущества:

• Поддержка различных стратегий распределенного обучения, таких как стратегия межузлового обучения и стратегия параметров сервера.
• Интеграция с высокоуровневыми API, такими как Keras, для удобства разработки моделей.

PyTorch — один из самых популярных фреймворков, разработанная от Facebook. Завоевал популярность благодаря своей простоте использования и динамическому графу вычислений. PyTorch предлагает несколько способов выполнения распределенного обучения:

1. nn.DataParallel : этот пакет позволяет выполнять параллельное обучение на одной машине с несколькими графическими процессорами. Одним из преимуществ является то, что для этого требуется минимальный код.
2. nn.DistributedDataParallel : этот пакет позволяет выполнять параллельное обучение на нескольких графических процессорах на нескольких машинах. Для настройки процесса обучения требуется еще несколько дополнительных шагов.
3. torch.distributed.rpc : этот пакет позволяет реализовать стратегию параллелизма моделей. Это очень эффективно, если ваша модель большая и не помещается в один графический процессор.

Преимущества:

• Гибкость в создании собственных стратегий распределенного обучения.
• Предлагает готовые методы параллелизма данных и параллелизма моделей.
• Нативная поддержка для PyTorch Lightning, что упрощает обучение на множестве узлов.

Horovod — это фреймворк, специально разработанный для обучения глубоких нейронных сетей на множестве узлов. Он использует технологию глобального градиентного усреднения для эффективной синхронизации параметров модели.

Преимущества:

• Эффективная передача данных и градиентов между узлами с минимальным оверхедом.
• Широкая поддержка различных фреймворков, включая TensorFlow, PyTorch и MXNet.

Пример реализации на TensorFlow

Давайте рассмотрим пример реализации подхода параллелизма данных на пример исходного кода в Tensorflow.

import tensorflow as tf
from tensorflow.keras import layers, models
from tensorflow.keras.datasets import example
from tensorflow.keras.utils import to_categorical
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.losses import SparseCategoricalCrossentropy
# Загрузка и предобработка данных 
(train_images, train_labels), (test_images, test_labels) = example.load_data()
train_images = train_images.reshape((60000, 28, 28, 1)).astype('float32') / 255
test_images = test_images.reshape((10000, 28, 28, 1)).astype('float32') / 255
train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)
# Создание модели
def create_model():
model = keras.Sequential([
keras.layers.Flatten(input_shape=(28, 28)),
keras.layers.Dense(128, activation=tf.nn.relu),
keras.layers.Dense(10, activation=tf.nn.softmax)
])
return model
# Инициализация стратегии распределенного обучения
strategy = tf.distribute.MirroredStrategy()
# Создание и скомпилирование модели внутри стратегии
with strategy.scope():
model = create_model()
model.compile(optimizer=Adam(), loss=SparseCategoricalCrossentropy(), metrics=['accuracy'])
# Создание объекта tf.data.Dataset для обучения
train_dataset = tf.data.Dataset.from_tensor_slices((train_images, train_labels)).shuffle(60000).batch(64)
# Обучение модели
model.fit(train_dataset, epochs=5)

Допустим перед нами стоит задача классификации изображений с использованием нейронной сети. Данный пример реализует обучение модели на несколько узлов.

1. Сначала мы загружаем данные и приводим их к необходимому формату. В итоге мы получаем четыре массива нормализованных изображений и меток, готовых для использования в обучении и тестировании модели.

2. Следующим шагом с помощью функции create_modelсоздается модель для классификации изображений. Построение нейронной сети требует настройки слоев модели. В примере нейронная сеть состоит из слоев:

• Слой Flatten. Преобразует изображения из двумерного массива (28×28 пикселей) в одномерный массив из 784 пикселей. Этот слой не имеет параметров для обучения, а лишь переформатирует данные.
• Слой Dense. Первый плотно связанный слой содержит 128 узлов (или нейронов). Этот слой обучается извлекать важные признаки из данных. Последний слой содержит 10 узлов и использует функцию активации Softmax. Это важно для классификации, поскольку он возвращает массив вероятностных оценок для каждого из 10 классов. Вероятности суммируются до 1, и каждый узел представляет вероятность принадлежности изображения к конкретному классу.

3. tf.distribute.MirroredStrategy() создает стратегию, которая копирует все переменные модели на каждый доступный GPU и координирует их обучение.

4. Весь код создания и компиляции модели помещается в блок with strategy.scope(), чтобы TensorFlow мог эффективно распределить модель и обучение между устройствами.

5. Используется tf.data.Dataset для подготовки данных. Важно учитывать, что работа с данными должна быть оптимизирована для распределенного обучения.

6. В конце метод model.fit используется для запуска процесса обучения на распределенных устройствах. Этот метод автоматически управляет распределением данных и обновлением весов модели.