Что такое модели и архитектуры нейросетей

Нейронные сети могут показаться чем-то из сферы фантастики: когда-то они были лишь предметом научных изысканий, а сегодня незаметно оказались повсюду — от рекомендаций видео в соцсетях до систем автоматического перевода и приложений для диагностики болезней. Чтобы понять, как эта технология устроена и почему она заслуживает огромного внимания, нужно разобраться в двух ключевых понятиях: модели и архитектуры нейросетей.

В этой статье мы детально рассмотрим, что они собой представляют, какие бывают их разновидности и как их выбирают для решения разных задач.

Коротко о сути нейронных сетей

Прежде чем копать глубже, нужно вспомнить, что такое нейронные сети в общем смысле.

Идея вдохновлена биологией. Исходная концепция искусственных нейронных сетей имитирует структуру мозга: множество простых «нейронов» соединены друг с другом в сложные сети.

Принцип обучения. Нейронные сети учатся, находя связи между входными данными и требуемым результатом. Процесс обучения — это настройка весов (коэффициентов) внутри сети, чтобы ошибка на выходе была минимальна.

Когда мы говорим о моделях нейронных сетей, мы имеем в виду конкретные обучённые сети (все её веса, конфигурации и функционал). Под архитектурой же подразумевается общий принцип построения сети: сколько слоёв, как они связаны между собой, какие используемые функции активации и т. д.

Модель и архитектура: в чём разница

Прежде чем двигаться дальше, важно разобраться, почему два этих понятия существуют одновременно:

Архитектура — это своего рода «чертёж». Допустим, вы решили построить дом: у вас есть план этажей, план коммуникаций, материалы для строительства. Архитектура нейронной сети так же задаёт общее устройство: сколько слоёв, какие типы слоёв, в какой последовательности они идут, как распределяются связи между ними.
Модель — это уже построенный дом. Модель содержит конкретные значения параметров, полученных после обучения на каком-то наборе данных. Проще говоря, если архитектура — это шаблон, то модель — это получившийся экземпляр, обладающий уникальными параметрами.

Например, если вы скачаете популярную модель GPT или ResNet (об этом ниже), вы получите уже обучённую сеть с определёнными весами (числами), которые в процессе обучения «настроились» для решения конкретных задач.

AdminVPS предлагает серверы с GPU для выполнения самых требовательных задач: от машинного обучения и анализа данных до рендеринга и виртуализации.

Выбрать сервер с GPU

Основные архитектуры: от классики к современности

Многослойный перцептрон (MLP)

Исторически одной из первых значимых архитектур, получивших широкую популярность, был многослойный перцептрон.

Структура. Он состоит из нескольких слоёв нейронов (обычно как минимум один или два скрытых слоя), причём каждый нейрон слоя полностью соединён со всеми нейронами следующего слоя.
Применение. Удаётся решать простые задачи классификации и регрессии, особенно когда входные данные не слишком сложны.
Недостатки. Не хватает «понимания структуры» входных данных. Например, для изображений или текстов нужны более «умные» архитектуры.

Если нам нужно было бы обучить простую сеть различать рукописные цифры (например, датасет MNIST), многослойный перцептрон часто справляется довольно хорошо. Но для сложных изображений или текста требуется нечто более гибкое.

Пример
Рассмотрим, как многослойный перцептрон решает задачу регрессии, используя табличные данные. Возьмём задачу прогнозирования стоимости квартир на основе их характеристик (площадь, количество комнат, этаж, год постройки и т. д.).
Подготовка данных. Собираем таблицу, где каждая строка — это квартира, а столбцы — её признаки (площадь, расположение и пр.), плюс отдельный столбец «цена».
Построение MLP. Создаём многослойный перцептрон с входным слоем (число нейронов = количеству признаков квартиры), несколькими скрытыми слоями (например, 2–3 слоя по 64 нейрона) и выходным слоем (1 нейрон, который будет предсказывать цену).
Обучение. Разделяем данные на обучающую и тестовую выборки. Запускаем процесс обучения, где сеть по очереди обрабатывает «пакеты» данных и корректирует свои веса, минимизируя ошибку прогноза цены.
Проверка. Смотрим, как сеть предсказывает цены на тестовых данных, которые она раньше «не видела». Если результат приемлем, сеть готова к использованию.
Использование. Теперь, когда поступают новые данные (например, новая квартира с известными характеристиками), модель выдаёт примерную рыночную цену.

Свёрточные нейронные сети (CNN)

Следующая важная веха — это Convolutional Neural Networks (CNN), которые совершили революцию в компьютерном зрении.

Идея. Использовать свёртки (convolution) для обработки входных изображений (или других двумерных/трёхмерных данных). Такой подход позволяет сети «замечать» фрагменты изображения и пространственные связи.
Типичные блоки. Свёрточные слои, пулинг-слои (pooling), Fully Connected-слои, функции активации вроде ReLU.
Применение. Все современные системы распознавания изображений, рекогниции лиц, систем безопасности, а также генерации изображений (совместно с другими методами).

К знаменитым представителям таких архитектур относятся LeNet, AlexNet, VGG, ResNet, Inception и прочие. Каждая новая архитектура предлагала улучшения — например, ResNet ввёл «прямые связи» (skip connections), позволяющие строить очень глубокие сети без проблемы затухания градиента.

Пример
Это практический пример, показывающий, как свёрточные нейронные сети применяются для распознавания объектов на изображениях. Возьмём задачу классификации фотографий котов и собак.
Подготовка данных. Собираем набор изображений, где каждая картинка — либо кот, либо собака. Размечаем их: «0» для кота, «1» для собаки.
Структура CNN. Строим сеть, которая содержит несколько свёрточных слоёв (для выделения признаков из изображения), за которыми следуют слои пулинга (pooling) для уменьшения размерности, и в конце — несколько полносвязных (Fully Connected) слоёв для окончательной классификации.
Обучение. Подаём изображения на вход сети (обычно в виде мини-батчей), обучаем, корректируя веса в свёрточных и остальных слоях, чтобы минимизировать ошибку при определении, кот или собака на фото.
Проверка. После обучения проверяем качество на тестовых изображениях (которые сеть не видела). Смотрим на метрику точности (accuracy) или F1-score.
Использование. Теперь, когда поступает новое изображение (например, с камеры смартфона), CNN может определить, кот на нём изображён или собака, с довольно высокой точностью.

Рекуррентные нейронные сети (RNN) и их «преемники»

Для работы с последовательностями (временными рядами, текстом) много лет доминировали рекуррентные сети (RNN).

Рекуррентность. Сеть обрабатывает входы последовательно, передавая скрытое состояние из шага в шаг.
Виды RNN. GRU и LSTM — популярные модификации, призванные бороться с «забыванием» длинных последовательностей.
Недостатки. Сложность параллелизации, затруднённое обучение на длинных последовательностях.

Хотя RNN всё ещё используются, их в значительной мере вытеснили трансформеры (Transformers), показавшие значительно лучшие результаты при работе с текстом и вообще любыми последовательностями.

Пример
Например, возьмём задачу прогнозирования продаж в магазине на основе временных рядов.
Подготовка данных. Собираем историю ежедневных продаж за несколько месяцев или лет. Разбиваем данные на последовательные отрезки (скажем, по 30 дней подряд) и берём итоговые продажи на следующий день как значение для прогноза.
Структура сети. Создаём RNN-модель (часто LSTM или GRU) с одним или несколькими рекуррентными слоями, которые принимают на вход последовательность продаж за предыдущие дни и постепенно «накапливают» информацию во внутреннем состоянии.
Обучение. Подаём куски временного ряда (по 30 дней) и обучаем сеть предсказывать продажи на 31-й день. В процессе обучения веса рекуррентных слоёв настраиваются, чтобы ошибка прогноза минимизировалась.
Проверка. Используем часть данных, отложенных заранее (валидация и тест), чтобы проверить, насколько сеть способна предсказывать продажи на не виденных ранее промежутках времени.
Использование. Когда сеть обучена, берём последние 30 дней продаж (из текущего времени), подаём их на вход модели и получаем прогноз на завтрашний (или более дальний) день.
Так RNN (или её более современную модификацию вроде LSTM/GRU) применяют для анализа последовательных данных, сохраняя информацию о предыдущих шагах и выдавая предсказание на будущее.

Трансформеры (Transformers)

Это архитектура, которая буквально произвела переворот в области обработки языка, а позднее — в целой плеяде других задач, включая генерацию изображений и анализ временных рядов.

Главная идея. Механизм внимания (attention), который позволяет «смотреть» на все элементы последовательности, взвешивая их важность, и делать это параллельно.
Важность. Трансформеры обеспечивают лучшее качество на задачах перевода, резюмирования текстов, диалога и т. д.
Примеры. BERT, GPT, T5, Vision Transformers (ViT), Stable Diffusion (частично, там тоже задействованы блоки внимания) и другие.

Сегодня трансформеры применяются даже в тех областях, где казалось, что лучше всех проявят себя CNN. Архитектура ViT, например, перенесла идею «внимания» в обработку изображений, что дало новый виток развития компьютерного зрения.

Пример
Возьмём задачу автоматической классификации отзывов на товары (положительный или отрицательный).
Подготовка данных. Собираем текстовые отзывы пользователей о товарах и размечаем их: «положительный» или «отрицательный».
Выбор модели. Берём готовую трансформер-модель (например, BERT) и добавляем на выходе слой классификации.
Механизм внимания (attention). Трансформер «взвешивает» каждое слово в предложении, определяя, какое из них важнее для общего смысла (и, соответственно, для тональности отзыва).
Обучение (fine-tuning). Прогоняем все отзывы через модель, настраивая её веса, чтобы она как можно лучше предсказывала правильную метку (положительную или отрицательную).
Проверка. Тестируем на отложенных отзывах, которые модель не видела. Смотрим долю правильных ответов.
Применение. Теперь, получив новый отзыв, модель Transformer способна быстро и точно определить его эмоциональную окраску.

Трансформеры благодаря механизму внимания и возможности параллельно обрабатывать последовательности отлично подходят для задач вроде анализа тональности, машинного перевода, генерации текста и многих других сценариев обработки естественного языка.

Гибридные архитектуры

С развитием исследований всё чаще встречаются гибридные подходы: комбинации свёрточных слоёв, блоков внимания, рекуррентных модулей, графовых слоёв (для работы с графами) и прочего. Пример — если у нас задача видеопонимания, можно одновременно применять свёртки (для выделения признаков в кадрах) и механизм внимания (для понимания связей во временном измерении).

Какие архитектуры используют известные нейросети

Популярные нейросети используют такие модели.

GPT (OpenAI). Использует трансформер-архитектуру (Transformer). Особенность: генерирует тексты, «понимает» контекст благодаря механизму внимания (attention).

BERT (Google). Тоже основан на трансформере. BERT обрабатывает текст в двух направлениях (bidirectional), хорошо решает задачи анализа тональности, распознавания сущностей и др.

ResNet (Microsoft). CNN (Convolutional Neural Network) для работы с изображениями. Главная «фишка» нейросети: использует короткие «прямые связи» (skip connections), позволяющие строить очень глубокие сети без потери градиента.

YOLO (You Only Look Once). Тоже CNN, но специализированная для обнаружения объектов на изображениях в реальном времени. Отличается высокой скоростью и точностью при поиске объектов.

Seq2Seq с LSTM/GRU (Google). RNN-архитектура (Recurrent Neural Network) в классическом варианте машинного перевода (ранняя версия Google Translate). Принцип: один рекуррентный блок «кодирует» входную последовательность, другой «декодирует» её в целевой язык или формат.

Как формируется архитектура и от чего она зависит

Для создания эффективной нейросети мало просто выбрать популярную схему. Нужно учесть нюансы задачи. Ниже основные аспекты, влияющие на архитектурное решение.

Тип входных данных:

Изображения → чаще всего CNN или Vision Transformers.
Текст → трансформеры, реже RNN (LSTM/GRU).
Временные ряды (финансовые котировки, показания датчиков) → иногда CNN, иногда RNN или трансформеры.
Графовые данные → графовые нейронные сети (Graph Neural Networks).

Цели:

Классификация (предсказать метку).
Регрессия (предсказать число).
Сегментация (определить границы объектов на изображении).
Генерация новых данных (текста, изображений).
Поиск аномалий.

Ограничения по ресурсам:

Обучать очень глубокие сети дорого по времени и памяти.
Иногда важно «уместиться» в мобильное устройство или микроконтроллер, и тогда выбирают компактные модели (MobileNet, EfficientNet).

Требования к интерпретируемости. Для медицины и финансов часто критично понимать, почему алгоритм принял то или иное решение. В таких случаях могут выбираться архитектуры попроще, или же дополнительно используются механизмы объяснимости.

Практическая сторона: как выбрать и обучить модель

Подготовка данных

Часто именно качественные данные решают, насколько успешной будет модель. В практической работе важно:

Собрать репрезентативный датасет. Он должен отражать реальное многообразие случаев, с которыми придётся работать.
Очистить данные от выбросов, ошибок, пропусков.
Аугментация (augmentation) — это искусственное увеличение разнообразия данных, особенно для изображений (повороты, отражения, шум) и текста (перефразирование, вставка «шумных» слов и т.д.).

Выбор архитектуры

Если ваша задача — классифицировать фотографии котиков и собачек, CNN (например, ResNet) обычно будет базовым выбором. Если же нужно понимать смысл текста или вести диалог, тут лучший выбор — трансформер (к примеру, семейство GPT или BERT).

Но с учётом современных тенденций, многие пытаются использовать трансформеры везде, ведь они хорошо масштабируются.

Гиперпараметры

Помимо выбора архитектуры, важна настройка различных гиперпараметров:

Число слоёв (глубина сети)
Размерность скрытых слоёв (сколько нейронов в слое, размер эмбеддингов)
Типы функций активации (ReLU, Leaky ReLU, GELU, Swish)
Размер батча, скорость обучения (learning rate), оптимизатор (Adam, SGD, Adagrad), регуляризация (dropout, weight decay).

Оптимальные настройки часто приходится искать экспериментальным путём (Grid Search, Random Search, Bayesian Optimization).

Обучение и валидация

Чтобы понимать, не переобучилась ли модель, используют метод train-validation-test:

Train — обучаемся на основной части данных.
Validation — регулярно проверяем точность во время обучения, чтобы настроить гиперпараметры и вовремя остановить обучение (early stopping).
Test — итоговая проверка на данных, которых модель «не видела» ни разу, для объективной оценки.

Внедрение в продакшн

После того как модель обучена и протестирована, наступает этап внедрения:

Оптимизация (pruning, quantization) — уменьшение размеров модели, ускорение работы.
Контейнеризация (Docker) — чтобы модель легко развёртывалась.
Мониторинг — отслеживать качество модели в реальном времени; если поведение данных меняется, нужна повторная дообучка.

Распространённые мифы и подводные камни

Чем больше слоёв, тем лучше. Часто глубокие сети действительно мощнее. Но при неправильной инициализации и без правильной архитектурной идеи (как в ResNet) качество может только ухудшиться. К тому же время обучения и требования к железу растут.
Одна модель правит всеми задачами. Универсальных «волшебных палочек» не существует. Конечно, трансформеры оказались поразительно универсальными, но в отдельных областях (например, сверхточный анализ медицинских изображений) могут преуспеть гибридные подходы.
Нужно только много данных, алгоритм сам научится. Важны не только огромные объёмы данных, но и их качество. Порой 10 000 качественно размеченных примеров лучше, чем 100 000 «грязных».
Нейросети — это чёрный ящик, мы никогда не поймём их логику. Да, интерпретировать действительно сложно. Но существуют методы визуализации весов, карт внимания (attention maps), «heat maps» для свёрточных сетей, которые помогают понять, на что смотрит модель.

Куда идёт развитие нейронных сетей

Модели-мультизнатоки (multimodal models). Современные сети всё чаще комбинируют несколько типов данных: изображение + текст + звук. GPT-4, например, уже умеет работать со смешанными входами.
Улучшение эффективности и экологичности. Гигантские языковые модели требуют колоссальных ресурсов. Исследователи активно ищут методы оптимизации.
Интерпретируемость. С каждым годом методы объяснения становятся всё изощрённее, растёт спрос на стандарты прозрачности в принятии решений.

На что обратить внимание в первую очередь

От задачи к архитектуре. Определите, какой тип данных и какую проблему вы решаете, и отталкивайтесь от этого при выборе архитектуры.
Баланс глубины и простоты. Не гонитесь вслепую за самыми глубокими и популярными моделями. Порой достаточно сравнительно небольшой сети.
Данные, данные и ещё раз данные. Уделяйте большое внимание предварительной обработке и аугментации.
Мониторинг и обратная связь. После внедрения модели не забывайте про периодические проверки качества, дообучение при необходимости и эксперименты с гиперпараметрами.

Модели и архитектуры нейросетей — это фундамент современного искусственного интеллекта. Понимая их принципы, можно лучше подбирать инструменты под конкретные задачи, интерпретировать результаты и создавать более эффективные решения. И хотя сегодня трансформеры на слуху, эволюция нейронных сетей не стоит на месте, и впереди нас ждёт множество интереснейших открытий и ещё более гибких архитектур.

Читайте в блоге: