![Дмитрий Коробченко](/img/default-banner.jpg)
- Видео 9
- Просмотров 500 282
Дмитрий Коробченко
Добавлен 18 янв 2017
Образовательные видео по темам: нейронные сети, машинное обучение, искусственный интеллект.
Привет, меня зовут Дмитрий Коробченко. Я являюсь экспертом в области нейронных сетей и машинного обучения. Сейчас я Deep Learning R&D инженер и руководитель направления в NVIDIA. До этого работал в Samsung Electronics. Занимаюсь исследованиями и разработкой в сфере Deep Learning. Время от времени выступаю на конференциях, веду интенсивы, мастер-классы и научно-популярные лекции по нейронным сетям и другим топикам.
На этом канале будут выпускаться образовательно-развлекательные видео по различным темам, связанным с нейронными сетями, машинным обучением и другими смежными технологиями.
Если такое вам интересно, обязательно подписывайтесь :)
Привет, меня зовут Дмитрий Коробченко. Я являюсь экспертом в области нейронных сетей и машинного обучения. Сейчас я Deep Learning R&D инженер и руководитель направления в NVIDIA. До этого работал в Samsung Electronics. Занимаюсь исследованиями и разработкой в сфере Deep Learning. Время от времени выступаю на конференциях, веду интенсивы, мастер-классы и научно-популярные лекции по нейронным сетям и другим топикам.
На этом канале будут выпускаться образовательно-развлекательные видео по различным темам, связанным с нейронными сетями, машинным обучением и другими смежными технологиями.
Если такое вам интересно, обязательно подписывайтесь :)
Обучение нейронной сети на Python
Настало время написать свою собственную нейронную сеть и алгоритм её обучения. С нуля. На чистом питоне. Чтобы раз и навсегда разобраться, как именно всё это работает.
В этом видео мы будем использовать информацию о том, как устроена простая полносвязная нейросеть (многослойный перцептрон), как обучить нейронную сеть с помощью стохастического градиентного спуска, как написать на Python инференс для нейросети и как вычислить градиент с помощью обратного распространения ошибки. Для ознакомления с этими темами рекомендую посмотреть предыдущие видео:
1. Знакомство с нейронными сетями: ruclips.net/video/GT6imQDxqko/видео.html
2. Как обучить нейронную сеть: ruclips.net/video/uWd9nyn0ql8/видео.html...
В этом видео мы будем использовать информацию о том, как устроена простая полносвязная нейросеть (многослойный перцептрон), как обучить нейронную сеть с помощью стохастического градиентного спуска, как написать на Python инференс для нейросети и как вычислить градиент с помощью обратного распространения ошибки. Для ознакомления с этими темами рекомендую посмотреть предыдущие видео:
1. Знакомство с нейронными сетями: ruclips.net/video/GT6imQDxqko/видео.html
2. Как обучить нейронную сеть: ruclips.net/video/uWd9nyn0ql8/видео.html...
Просмотров: 58 233
Видео
Обратное распространение ошибки
Просмотров 54 тыс.3 года назад
Одним из ключевых этапов обучения нейронной сети является применение алгоритма обратного распространения ошибки, или backpropagation. Целью этого алгоритма является поиск градиента ошибки по всем обучаемым параметрам нашей модели. Без понимания того, как он работает, нам будет тяжело написать свой собственный алгоритм обучения нейросети. Давайте разбираться. В этом видео мы самостоятельно вывед...
Нейронная сеть на Python с нуля
Просмотров 148 тыс.3 года назад
Давайте напишем свою нейронную сеть Python с нуля, без использования нейросетевых фреймворков! Вспомним, как работает инференс в полносвязных слоях в терминах линейной алгебры, научимся имплементировать его на питоне, и решим простую задачу классификации. Код из видео: github.com/dkorobchenko-nv/nn-python/blob/main/inference.py Меня зовут Дмитрий Коробченко, и на моём канале будет много чего ин...
Как обучить нейронную сеть?
Просмотров 55 тыс.4 года назад
Как обучить нейронную сеть? Что такое Loss, Градиентный Спуск и Backpropagation? Узнайте в этом видео! Нейронные сети обучаются с помощью метода обучения с учителем (обучение на прецедентах, Supervised Learning). Для обучения нейросети нам понадобится обучающая выборка (набор данных, датасет), состоящая из пар [входной объект, известный правильный ответ]. Неявная задача нейронной сети - научить...
Нейронные сети за 10 минут
Просмотров 114 тыс.4 года назад
Что такое нейронные сети, и как они работают? Узнайте в этом видео! Мы рассмотрим довольно простую нейросеть, но почти все принципы, о которых я расскажу, также применимы для построения и более сложных современных нейросетей. Знакомиться с понятием нейронные сети мы будем на примере задачи классификации. Вы узнаете, что такое нейрон, функция активации, нейронная сеть и многослойный перцептрон. ...
DEEP LEARNING | Обучение глубоких нейронных сетей | Дмитрий Коробченко (NVIDIA)
Просмотров 8 тыс.6 лет назад
Deep Learning. Введение в машинное обучение, нейронные сети и искусственный интеллект. Дмитрий Коробченко (NVIDIA) Типы задач, решаемых с помощью машинного обучения и нейронных сетей. Типы данных: низкоразмерная абстрактная информация, изображения, видео, аудио, текст. Устройство нейронных сетей. Многослойный перцептрон. Функция активации. Нейронные сети прямого распространения (Feed-Forward Ne...
НЕЙРОННЫЕ СЕТИ | Дмитрий Коробченко (NVIDIA)
Просмотров 18 тыс.6 лет назад
Почему нейронные сети лежат в основе современного искусственного интеллекта? Обзор технологии Deep Learning: методы и задачи.
МАШИННОЕ ОБУЧЕНИЕ И АНАЛИЗ ДАННЫХ | Дмитрий Коробченко (NVIDIA)
Просмотров 6 тыс.6 лет назад
Машинное обучение и анализ данных. Обзор решаемых задач, методов и примеров применения. • Что такое машинное обучение? • Математический базис для машинного обучения • Обучение с учителем (классификация, регрессия) • Проблема переобучения и способы её предотвращения • Оценка качества, кросс-валидация • Обучение без учителя (кластеризация, понижение размерности) • Обучение с подкреплением • Метод...
СВЕРТОЧНЫЕ НЕЙРОННЫЕ СЕТИ | Обучение сети на Python и TensorFlow (демо)
Просмотров 39 тыс.7 лет назад
Мастер-класс по обучению свёрточных нейронных сетей. Дмитрий Коробченко (NVIDIA) Краткое введение в архитектуру свёрточной нейронной сети и глубокое обучение (Deep Learning), сверточные нейронные сети Демонстрация обучения свёрточной нейронной сети для задачи распознавания рукописных цифр (MNIST) на Tensorflow (Python) в среде Jupyter Notebook (Python) Ipython notebook: goo.gl/tz5l0X IT-конфере...
Из этого видео я понял две вещи, то что я тупой и то что моя нееросеть останется необразованной🥲
Нихуя не понятно но ЛАЙК!
Спасибо большое! Что у вас за тема в visual studio?
парень с причёской из 60-ых))) ruclips.net/video/YjlDAYnFuwE/видео.html&ab_channel=BESTMOVIES
Наверное не стоило для демонстрации обратного распространения дополнительно на#евертить таких функций активации.. Теперь у всех мозги загажены кучей ненужных производных а в чем смысл обратного распространения понять уже никто не надеется...
Классный формат👍👍👍, супер❤. Все чётко, автор молодец❤
О, скьюб на столе!
что такое веса...?
Про класс Neuron ох как жизненно 😅😶 прям классика. А видео шикарное🔥
Неоправданно много и со слишком большой амплитудой трясёт руками. Это бессодержательное мельтешение в кадре сильно отвлекает. Если нужно показывать лицо себя любимого (по каким-то причинам), то можно в углу маленькое окошко оставлять, а основной кадр на содержательную часть отводить.
А для чего если есть chatgpt?
Я вот вообще ноль по этой теме, могу чисто открыть блокнот написать что нибудь и печать 😢
Вы первый кто интересно объясняет! Очень круто)))
В ахуях, месяц назад начал всë изучать, поэтапно всë, что не понимал изучал, пришлось вернуться к школьной математике))) к работе функций, линейная функция, парабола и всë такое, очень трудно было понимать сначала, начался ад когда я перешёл к производным, но я прошёл всë это. Спустя 100 роликов про нейросети и матанализ, миллион охуеваний со всего, наконец-то ура, я понял как работает логика нахождения градиента ошибки, дело просто в матанализе, в векторах частных производных, или просто в производных, которые показывают куда растëт функция и велечину роста в по определённому параметру. И недавно я снова решил посетить этот ролик, и вдруг, оказалось что здесь так всë подробно и разжëванно объясняется, я некоторые моменты, которые упустил из виду смог отсюда взять, спасибо!!! Жаль что забросили канал
Дмитрий, жаль что вы перестали новые видео делать(((
то что так долго искал. Спасибо!
что такое softmax?
где ты когда так нужен (шел 2024 год)
Что прикольно, то это то, что начинать бы объяснение было бы нагляднее с конца.. ))))
Капец такой толковый канал видео уже 3 года и так мало подписчиков....
IZVLEKATOR 3000 🤣
Согласен. Ничего не понятно
4:37 "пусть откуда-то дано dE по dH в численном виде" 5:48 "ну что давайте все это выводить по очереди" 5:53 "при условии что dE по dH нам дан" Ты прикалываешься? Прикольчики любишь, да? Приколдесики пулять, шутеечки шутить? Я РАЗРАБОТЧИК С 7 ЛЕТНИМ СТАЖЕМ И Я ТЕБЯ НЕ ПОНИМАЮ, АЛО, МОЖНО БОЛЕЕ ПОНЯТНО?))))
То-есть, у меня 16 примеров для обучения, я прогоняю все 16 через нейросеть, записываю значения выхода в список, использую формулу MSE, и после этого корректирую веса? Меня учили иначе, прогоняем пример, вычисляем ошибку, распространяем ошибку, корректируем веса. повторяем все для 16 примеров. Какой метод правильный и что будет работать быстрее и точнее?
Наконец-то нашел кого-то, у кого "Пишем с нуля" не равно "Для начала подключим тензорфлоу" Лайк, подписка, а там посмотрим, может и до колокольчика дойдёт 👍
По-моему mse это не совсем евклидово расстояния. Евклидово расстояние с корнём, а у Вас с 1/n
import numpy as np import random INPUT_DIM = 4 OUT_DIM = 3 H_DIM = 5 x = np.array.randn(1, INPUT_DIM) y = random.randint(0, OUT_DIM-1) W1 = np.random.randn(INPUT_DIM, H_DIM) b1 = np.random.randn(1, H_DIM) W2 = np.random.randn(H_DIM, OUT_DIM) b2 = np.random.randn(1, OUT_DIM) ALPHA = 0.0001 NUM_EPOCHS = 100 def relu(t): return np.maximum(t, 0) def softmax(t): out = np.exp(t) return out / np.sum(out) def sparse_cross_entropy(z, y): return -np.log(z[0,y]) def to_full(y, num_classes): y_full = np.zeros((1, num_classes)) y_full[0,y] = 1 return y_full def relu_deriv(t): return (t >= 0).astype(float) for ep in NUM_EPOCHS: for i in range(len(dataset)): x, y = dataset[i] # forward: t1 = x @ W1 + b1 h1 = relu(t1) t2 = h1 @ W2 + b2 z = softmax(t2) E = sparse_cross_entropy(z, y) # backpropogation: y_full = to_full(y, OUT_DIM) dE_dt2 = z - y_full dE_dW2 = h1.T @ dE_dt2 dE_db2 = dE_dt2 dE_dh1 = dE_dt2 @ W2.T dE_dt1 = dE_dh1 * relu_deriv(t1) dE_dW1 = x.T @ dE_dt1 dE_db1 = dE_dt1 # Update: W1 = W1 - ALPHA * dE_dW1 b1 = b1 - ALPHA * dE_db1 W2 = W2 - ALPHA * dE_dW2 b2 = b2 - ALPHA * dE_db2
Ну блин воще!!!!!!Просто гений. Респект от доктора физмат наук
Самое понятное видео и по делу. без воды.
А если так подумать я даже в 13 лет понял много чего спс
Вы просто отличный и шикарный. Молодцы!
жаль, что канал заброшен(((
Автор вернись пожалуйста!!!
Почему никто не делает нейросеть с диалогами
Отличная подача, наконец то нашёл подходящее "понятное " обучение
нихуя не понятно
Благодарю вас!
так и при первом прогоне с рандомными данными получился правильный ответ - можно было время сэкономить))
Интересный контент!я ранее почему то не находил ваши ролики! Информация довольно углубленная по теме нейронки ,почему так мало просмотров тоже удивлен
батч)))) batch - партия, пакет, серия, группа. туземцы forever))))))
9:03 жесть, это было неожиданно. Вы куда пропали, ребята, отличный потенциальный канал, вроде
Как сломать мозг за 15 минут))) Очень крутая подача, спасибо!
лучшее наглядное видео про нейронки, которое я видел
Привет! Мне не так уж много лет, 3- 4 года пишу сайты на react node js, до этого учил python сейчас решил вернуться и посмотреть про нейронки, автору спасибо большое, прям такое детское влечение появилось ❤
Нихуя не понятно, но очень интересно
Идеальная подача! Если бы по всему CS были такие восхитительные обучающие видео, программисты бы без труда лутали петабайты качественных знаний и конкуренция на рынке IT превысила бы все мыслимые и немыслимые границы!
Вообще забавно что по сути определение это: (входные данные => МАГИЯ => ВЫХОДНОЙ РЕЗУЛЬТАТ)
Спасибо за такое подробное и понятное объяснение по обучению и созданию нейронной сети. Потратил больше 2х недель на то, чтобы разобраться с этой задачей, пересмотрел кучу видеолекций и книг, но только благодаря вашим коротким роликам смог собрать всю информацию в целостную картину. Успехов вам.
Спасибо вас за ваш труд, у вас очень талантливо и наглядно получается!