Крон Джон, Бейлевельд Грант, Бассенс Аглаэ. Глубокое обучение в картинках. Визуальный гид по искусственному интеллекту

СПб.: Питер, 2020. — 400 с. — (Библиотека программиста) — ISBN 9780135116692, 0135116694.Глубокое обучение стало мощным двигателем для работы с искусственным интеллектом. Яркие иллюстрации и простые примеры кода избавят вас от необходимости вникать в сложные аспекты конструирования моделей глубокого обучения, делая сложные задачи доступными и увлекательными...
Джон Крон, Грант Бейлевельд и замечательный иллюстратор Аглаэ Бассенс используют яркие примеры и аналогии, которые позволяют объяснить, что такое глубокое обучение, почему оно пользуется такой популярностью и как эта концепция связана с другими подходами к машинному обучению. Книга идеально подойдет разработчикам, специалистам по обработке данных, исследователям, аналитикам и начинающим программистам, которые хотят применять глубокое обучение в своей работе. Теоретические выкладки прекрасно дополняются прикладным кодом на Python в блокнотах Jupyter. Вы узнаете приемы создания эффективных моделей в TensorFlow и Keras, а также познакомитесь с PyTorch.Отзывы о книге «Глубокое обучение в картинках».
Предисловие.
Вступление.
Как пользоваться этой книгой.
Благодарности.
Об авторах.
От издательства.
Введение в глубокое обучение.
Биологическое и компьютерное зрение.
Биологическое зрение.
Компьютерное зрение.
Неокогнитрон.
LeNet-5.
Традиционное машинное обучение.
ImageNet и ILSVRC.
AlexNet.
Интерактивная среда TensorFlow.
Quick, Draw!
Итоги.
Языки людей и машин.
Глубокое обучение для обработки естественного языка.
Сети глубокого обучения автоматически изучают варианты представления.
Обработка естественного языка.
Краткая история глубокого обучения для NLP.
Вычислительное представление языка.
Прямое кодирование слов.
Векторы слов.
Арифметика с векторами слов.
word2viz.
Локальные и распределенные представления.
Элементы естественного языка.
Google Duplex.
Итоги.
Машинное искусство.
Ночная пьянка.
Арифметика изображений несуществующих людей.
Передача стиля: преобразование фотографий в изображения в стиле Моне (и наоборот).
Придание фотореалистичности простым рисункам.
Создание фотореалистичных изображений из текста.
Обработка изображений с использованием технологий глубокого обучения.
Итоги.
Машины-игроки.
Глубокое обучение, искусственный интеллект и другие.
Искусственный интеллект.
Машинное обучение.
Обучение представлению.
Искусственные нейронные сети.
Глубокое обучение.
Компьютерное зрение.
Обработка естественного языка.
Три категории задач машинного обучения.
Обучение с учителем.
Обучение без учителя.
Обучение с подкреплением.
Глубокое обучение с подкреплением.
Видеоигры.
Настольные игры.
AlphaGo.
AlphaGo Zero.
AlphaZero.
Манипулирование объектами.
Популярные окружения для глубокого обучения с подкреплением.
OpenAI Gym.
DeepMind Lab.
Unity ML-Agents.
Три категории ИИ.
Ограниченный искусственный интеллект.
Универсальный искусственный интеллект.
Искусственный суперинтеллект.
Итоги.
Теоретические основы в картинках.
Телега (код) впереди лошади (теории).
Подготовка.
Установка.
Неглубокая сеть в Keras.
Коллекция изображений рукописных цифр MNIST.
Схема сети.
Загрузка данных.
Переформатирование данных.
Проектирование архитектуры нейронной сети.
Обучение модели глубокого обучения.
Итоги.
Искусственные нейроны, определяющие хот-доги.
Введение в биологическую нейроанатомию.
Перцептрон.
Детектор хот-догов.
Самое важное уравнение в этой книге.
Современные нейроны и функции активации.
Нейроны sigmoid.
Нейрон типа tanh.
ReLU: Rectified Linear Unit.
Выбор типа нейронов.
Итоги.
Искусственные нейронные сети.
Входной слой.
Полносвязанный слой.
Полносвязанная сеть, определяющая хот-доги.
Прямое распространение через первый скрытый слой.
Прямое распространение через последующие слои.
Слой softmax для сети классификации фастфуда.
Повторный обзор неглубокой сети.
Итоги.
Обучение глубоких сетей.
Функции стоимости.
Квадратичная функция стоимости.
Насыщенные нейроны.
Перекрестная энтропия.
Оптимизация: обучение методом минимизации стоимости.
Градиентный спуск.
Скорость обучения.
Размер пакета и стохастический градиентный спуск.
Как избежать ловушки локального минимума.
Обратное распространение.
Настройка числа скрытых слоев и нейронов.
Сеть промежуточной глубины на основе Keras.
Итоги.
Совершенствование глубоких сетей.
Инициализация весов.
Распределения Ксавье Глоро.
Нестабильность градиентов.
Исчезающие градиенты.
Взрывные градиенты.
Пакетная нормализация.
Обобщающая способность модели (предотвращение переобучения).
Регуляризация L1 и L2.
Прореживание.
Обогащение данных.
Необычные оптимизаторы.
Метод моментов.
Метод Нестерова.
AdaGrad.
AdaDelta и RMSProp.
Adam.
Глубокая нейронная сеть на основе Keras.
Регрессия.
TensorBoard.
Итоги.
Интерактивные приложения глубокого обучения.
Компьютерное зрение.
Сверточные нейронные сети.
Двумерная структура визуальных изображений.
Вычислительная сложность.
Сверточные слои.
Множество фильтров.
Пример сверточной сети.
Гиперпараметры сверточных фильтров.
Слои субдискретизации.
LeNet-5 в Keras.
AlexNet и VGGNet в Keras.
Остаточные сети.
Затухание градиентов: ахиллесова пята глубоких сверточных сетей.
Остаточные связи.
ResNet.
Применения компьютерного зрения.
Обнаружение объектов.
Сегментация изображений.
Перенос обучения.
Капсульные сети.
Итоги.
Обработка естественного языка.
Предварительная обработка данных на естественном языке.
Лексемизация.
Преобразование всех символов в нижний регистр.
Удаление стоп-слов и знаков препинания.
Стемминг.
Обработка n-грамм.
Предварительная обработка полного корпуса.
Создание векторных представлений с помощью алгоритма word2vec.
Теоретические основы алгоритма word2vec.
Вычисление векторов слов.
Запуск word2vec.
Отображение векторов слов на графике.
Площадь под кривой ROC.
Матрица ошибок.
Вычисление метрики ROC AUC.
Классификация естественного языка с использованием уже знакомых сетей.
Загрузка отзывов к фильмам из IMDb.
Исследование данных из IMDb.
Стандартизация длин отзывов.
Полносвязанная сеть.
Сверточные сети.
Сети, специализирующиеся на изучении последовательных данных.
Рекуррентные нейронные сети.
Реализация RNN с помощью Keras.
Долгая краткосрочная память.
Реализация LSTM с помощью Keras.
Двунаправленные LSTM.
Многослойные рекуррентные модели.
Seq2seq и механизм внимания.
Перенос обучения в NLP.
Непоследовательные архитектуры: функциональный API в библиотеке Keras.
Итоги.
Генеративно-состязательные сети.
Базовая теория GAN.
Набор данных Quick, Draw!
Сеть дискриминатора.
Сеть генератора.
Состязательная сеть.
Обучение генеративно-состязательной сети.
Итоги.
Глубокое обучение с подкреплением.
Теоретические основы глубокого обучения с подкреплением.
Игра Cart-Pole.
Марковский процесс принятия решений.
Оптимальная стратегия.
Базовая теория сетей глубокого Q-обучения.
Функции ценности.
Функции Q-ценности.
Оценка оптимальной Q-ценности.
Определение агента DQN.
Инициализация параметров.
Создание модели нейронной сети агента.
Запоминание игрового процесса.
Обучение посредством воспроизведения воспоминаний.
Выбор действия.
Сохранение и загрузка параметров модели.
Взаимодействие с окружением из OpenAI Gym.
Оптимизация гиперпараметров с помощью SLM Lab.
Другие агенты, отличные от DQN.
Градиенты стратегий и алгоритм REINFORCE.
Алгоритм Actor-Critic.
Итоги.
Вы и искусственный интеллект.
Вперед, к собственным проектам глубокого обучения.
Идеи для проектов глубокого обучения.
Компьютерное зрение и генеративно-состязательные сети.
Обработка естественного языка.
Глубокое обучение с подкреплением.
Преобразование имеющегося проекта машинного обучения.
Ресурсы для будущих проектов.
Социально значимые проекты.
Процесс моделирования, включая настройку гиперпараметров.
Автоматизация поиска гиперпараметров.
Библиотеки глубокого обучения.
Keras и TensorFlow.
PyTorch.
MXNet, CNTK, Caffe и другие.
Программное обеспечение 2.0.
На пути к универсальному искусственному интеллекту.
Итоги.
Приложения.
Формальная нотация нейронных сетей.
Обратное распространение.
PyTorch.
Особенности PyTorch.
Система Autograd.
Динамическая инфраструктура.
PyTorch и TensorFlow.
Практическое использование PyTorch.
Установка PyTorch.
Основные компоненты PyTorch.
Конструирование глубоких нейронных сетей в PyTorch.