Дмитрий Коробченко
Дмитрий Коробченко
  • Видео 9
  • Просмотров 500 282
Обучение нейронной сети на Python
Настало время написать свою собственную нейронную сеть и алгоритм её обучения. С нуля. На чистом питоне. Чтобы раз и навсегда разобраться, как именно всё это работает.
В этом видео мы будем использовать информацию о том, как устроена простая полносвязная нейросеть (многослойный перцептрон), как обучить нейронную сеть с помощью стохастического градиентного спуска, как написать на Python инференс для нейросети и как вычислить градиент с помощью обратного распространения ошибки. Для ознакомления с этими темами рекомендую посмотреть предыдущие видео:
1. Знакомство с нейронными сетями: ruclips.net/video/GT6imQDxqko/видео.html
2. Как обучить нейронную сеть: ruclips.net/video/uWd9nyn0ql8/видео.html...
Просмотров: 58 233

Видео

Обратное распространение ошибки
Просмотров 54 тыс.3 года назад
Одним из ключевых этапов обучения нейронной сети является применение алгоритма обратного распространения ошибки, или backpropagation. Целью этого алгоритма является поиск градиента ошибки по всем обучаемым параметрам нашей модели. Без понимания того, как он работает, нам будет тяжело написать свой собственный алгоритм обучения нейросети. Давайте разбираться. В этом видео мы самостоятельно вывед...
Нейронная сеть на Python с нуля
Просмотров 148 тыс.3 года назад
Давайте напишем свою нейронную сеть Python с нуля, без использования нейросетевых фреймворков! Вспомним, как работает инференс в полносвязных слоях в терминах линейной алгебры, научимся имплементировать его на питоне, и решим простую задачу классификации. Код из видео: github.com/dkorobchenko-nv/nn-python/blob/main/inference.py Меня зовут Дмитрий Коробченко, и на моём канале будет много чего ин...
Как обучить нейронную сеть?
Просмотров 55 тыс.4 года назад
Как обучить нейронную сеть? Что такое Loss, Градиентный Спуск и Backpropagation? Узнайте в этом видео! Нейронные сети обучаются с помощью метода обучения с учителем (обучение на прецедентах, Supervised Learning). Для обучения нейросети нам понадобится обучающая выборка (набор данных, датасет), состоящая из пар [входной объект, известный правильный ответ]. Неявная задача нейронной сети - научить...
Нейронные сети за 10 минут
Просмотров 114 тыс.4 года назад
Что такое нейронные сети, и как они работают? Узнайте в этом видео! Мы рассмотрим довольно простую нейросеть, но почти все принципы, о которых я расскажу, также применимы для построения и более сложных современных нейросетей. Знакомиться с понятием нейронные сети мы будем на примере задачи классификации. Вы узнаете, что такое нейрон, функция активации, нейронная сеть и многослойный перцептрон. ...
DEEP LEARNING | Обучение глубоких нейронных сетей | Дмитрий Коробченко (NVIDIA)
Просмотров 8 тыс.6 лет назад
Deep Learning. Введение в машинное обучение, нейронные сети и искусственный интеллект. Дмитрий Коробченко (NVIDIA) Типы задач, решаемых с помощью машинного обучения и нейронных сетей. Типы данных: низкоразмерная абстрактная информация, изображения, видео, аудио, текст. Устройство нейронных сетей. Многослойный перцептрон. Функция активации. Нейронные сети прямого распространения (Feed-Forward Ne...
НЕЙРОННЫЕ СЕТИ | Дмитрий Коробченко (NVIDIA)
Просмотров 18 тыс.6 лет назад
Почему нейронные сети лежат в основе современного искусственного интеллекта? Обзор технологии Deep Learning: методы и задачи.
МАШИННОЕ ОБУЧЕНИЕ И АНАЛИЗ ДАННЫХ | Дмитрий Коробченко (NVIDIA)
Просмотров 6 тыс.6 лет назад
Машинное обучение и анализ данных. Обзор решаемых задач, методов и примеров применения. • Что такое машинное обучение? • Математический базис для машинного обучения • Обучение с учителем (классификация, регрессия) • Проблема переобучения и способы её предотвращения • Оценка качества, кросс-валидация • Обучение без учителя (кластеризация, понижение размерности) • Обучение с подкреплением • Метод...
СВЕРТОЧНЫЕ НЕЙРОННЫЕ СЕТИ | Обучение сети на Python и TensorFlow (демо)
Просмотров 39 тыс.7 лет назад
Мастер-класс по обучению свёрточных нейронных сетей. Дмитрий Коробченко (NVIDIA) Краткое введение в архитектуру свёрточной нейронной сети и глубокое обучение (Deep Learning), сверточные нейронные сети Демонстрация обучения свёрточной нейронной сети для задачи распознавания рукописных цифр (MNIST) на Tensorflow (Python) в среде Jupyter Notebook (Python) Ipython notebook: goo.gl/tz5l0X IT-конфере...

Комментарии

  • @Urasic
    @Urasic 2 дня назад

    Из этого видео я понял две вещи, то что я тупой и то что моя нееросеть останется необразованной🥲

  • @ALxOBR15Q
    @ALxOBR15Q 3 дня назад

    Нихуя не понятно но ЛАЙК!

  • @makspuzankov0057
    @makspuzankov0057 9 дней назад

    Спасибо большое! Что у вас за тема в visual studio?

  • @user-rr7yi3ru2p
    @user-rr7yi3ru2p 9 дней назад

    парень с причёской из 60-ых))) ruclips.net/video/YjlDAYnFuwE/видео.html&ab_channel=BESTMOVIES

  • @genapak4864
    @genapak4864 12 дней назад

  • @_AbUser
    @_AbUser 14 дней назад

    Наверное не стоило для демонстрации обратного распространения дополнительно на#евертить таких функций активации.. Теперь у всех мозги загажены кучей ненужных производных а в чем смысл обратного распространения понять уже никто не надеется...

  • @limoshkamilk9887
    @limoshkamilk9887 16 дней назад

    Классный формат👍👍👍, супер❤. Все чётко, автор молодец❤

  • @frozenplay1417
    @frozenplay1417 16 дней назад

    О, скьюб на столе!

  • @Not_creative_beats
    @Not_creative_beats 17 дней назад

    что такое веса...?

  • @pauline012t
    @pauline012t 20 дней назад

    Про класс Neuron ох как жизненно 😅😶 прям классика. А видео шикарное🔥

  • @MrAlexPhilippov
    @MrAlexPhilippov 21 день назад

    Неоправданно много и со слишком большой амплитудой трясёт руками. Это бессодержательное мельтешение в кадре сильно отвлекает. Если нужно показывать лицо себя любимого (по каким-то причинам), то можно в углу маленькое окошко оставлять, а основной кадр на содержательную часть отводить.

  • @user-os4zr4ow8h
    @user-os4zr4ow8h 24 дня назад

    А для чего если есть chatgpt?

  • @user-xr6yv6dg4c
    @user-xr6yv6dg4c 28 дней назад

    Я вот вообще ноль по этой теме, могу чисто открыть блокнот написать что нибудь и печать 😢

  • @dirt5506
    @dirt5506 Месяц назад

    Вы первый кто интересно объясняет! Очень круто)))

  • @user-to6xp3nt5g
    @user-to6xp3nt5g Месяц назад

    В ахуях, месяц назад начал всë изучать, поэтапно всë, что не понимал изучал, пришлось вернуться к школьной математике))) к работе функций, линейная функция, парабола и всë такое, очень трудно было понимать сначала, начался ад когда я перешёл к производным, но я прошёл всë это. Спустя 100 роликов про нейросети и матанализ, миллион охуеваний со всего, наконец-то ура, я понял как работает логика нахождения градиента ошибки, дело просто в матанализе, в векторах частных производных, или просто в производных, которые показывают куда растëт функция и велечину роста в по определённому параметру. И недавно я снова решил посетить этот ролик, и вдруг, оказалось что здесь так всë подробно и разжëванно объясняется, я некоторые моменты, которые упустил из виду смог отсюда взять, спасибо!!! Жаль что забросили канал

  • @timurotube
    @timurotube Месяц назад

    Дмитрий, жаль что вы перестали новые видео делать(((

  • @timurotube
    @timurotube Месяц назад

    то что так долго искал. Спасибо!

  • @timurotube
    @timurotube Месяц назад

    что такое softmax?

  • @arsenask13
    @arsenask13 Месяц назад

    где ты когда так нужен (шел 2024 год)

  • @_AbUser
    @_AbUser Месяц назад

    Что прикольно, то это то, что начинать бы объяснение было бы нагляднее с конца.. ))))

  • @D.A.V.I.N.C.I
    @D.A.V.I.N.C.I Месяц назад

    Капец такой толковый канал видео уже 3 года и так мало подписчиков....

  • @user-hi5yw8dd6z
    @user-hi5yw8dd6z 2 месяца назад

    IZVLEKATOR 3000 🤣

  • @user-yk5vp8pb3m
    @user-yk5vp8pb3m 2 месяца назад

    Согласен. Ничего не понятно

  • @quenbyako
    @quenbyako 2 месяца назад

    4:37 "пусть откуда-то дано dE по dH в численном виде" 5:48 "ну что давайте все это выводить по очереди" 5:53 "при условии что dE по dH нам дан" Ты прикалываешься? Прикольчики любишь, да? Приколдесики пулять, шутеечки шутить? Я РАЗРАБОТЧИК С 7 ЛЕТНИМ СТАЖЕМ И Я ТЕБЯ НЕ ПОНИМАЮ, АЛО, МОЖНО БОЛЕЕ ПОНЯТНО?))))

  • @Holme4
    @Holme4 2 месяца назад

    То-есть, у меня 16 примеров для обучения, я прогоняю все 16 через нейросеть, записываю значения выхода в список, использую формулу MSE, и после этого корректирую веса? Меня учили иначе, прогоняем пример, вычисляем ошибку, распространяем ошибку, корректируем веса. повторяем все для 16 примеров. Какой метод правильный и что будет работать быстрее и точнее?

  • @dmitrijjerdev2393
    @dmitrijjerdev2393 2 месяца назад

    Наконец-то нашел кого-то, у кого "Пишем с нуля" не равно "Для начала подключим тензорфлоу" Лайк, подписка, а там посмотрим, может и до колокольчика дойдёт 👍

  • @eugenesamrinov5771
    @eugenesamrinov5771 2 месяца назад

    По-моему mse это не совсем евклидово расстояния. Евклидово расстояние с корнём, а у Вас с 1/n

  • @OnTheWayToTheDirection
    @OnTheWayToTheDirection 2 месяца назад

    import numpy as np import random INPUT_DIM = 4 OUT_DIM = 3 H_DIM = 5 x = np.array.randn(1, INPUT_DIM) y = random.randint(0, OUT_DIM-1) W1 = np.random.randn(INPUT_DIM, H_DIM) b1 = np.random.randn(1, H_DIM) W2 = np.random.randn(H_DIM, OUT_DIM) b2 = np.random.randn(1, OUT_DIM) ALPHA = 0.0001 NUM_EPOCHS = 100 def relu(t): return np.maximum(t, 0) def softmax(t): out = np.exp(t) return out / np.sum(out) def sparse_cross_entropy(z, y): return -np.log(z[0,y]) def to_full(y, num_classes): y_full = np.zeros((1, num_classes)) y_full[0,y] = 1 return y_full def relu_deriv(t): return (t >= 0).astype(float) for ep in NUM_EPOCHS: for i in range(len(dataset)): x, y = dataset[i] # forward: t1 = x @ W1 + b1 h1 = relu(t1) t2 = h1 @ W2 + b2 z = softmax(t2) E = sparse_cross_entropy(z, y) # backpropogation: y_full = to_full(y, OUT_DIM) dE_dt2 = z - y_full dE_dW2 = h1.T @ dE_dt2 dE_db2 = dE_dt2 dE_dh1 = dE_dt2 @ W2.T dE_dt1 = dE_dh1 * relu_deriv(t1) dE_dW1 = x.T @ dE_dt1 dE_db1 = dE_dt1 # Update: W1 = W1 - ALPHA * dE_dW1 b1 = b1 - ALPHA * dE_db1 W2 = W2 - ALPHA * dE_dW2 b2 = b2 - ALPHA * dE_db2

  • @prognoz2007
    @prognoz2007 2 месяца назад

    Ну блин воще!!!!!!Просто гений. Респект от доктора физмат наук

  • @Astro69i
    @Astro69i 2 месяца назад

    Самое понятное видео и по делу. без воды.

  • @ggInzox
    @ggInzox 3 месяца назад

    А если так подумать я даже в 13 лет понял много чего спс

  • @back88
    @back88 3 месяца назад

    Вы просто отличный и шикарный. Молодцы!

  • @makarov3832
    @makarov3832 3 месяца назад

    жаль, что канал заброшен(((

  • @raimisbrosroyale3013
    @raimisbrosroyale3013 3 месяца назад

    Автор вернись пожалуйста!!!

  • @ivpolevoi
    @ivpolevoi 3 месяца назад

    Почему никто не делает нейросеть с диалогами

  • @Koctyan777
    @Koctyan777 3 месяца назад

    Отличная подача, наконец то нашёл подходящее "понятное " обучение

  • @defix_gamedev
    @defix_gamedev 3 месяца назад

    нихуя не понятно

  • @user-st4ih8cu6l
    @user-st4ih8cu6l 3 месяца назад

    Благодарю вас!

  • @old891
    @old891 3 месяца назад

    так и при первом прогоне с рандомными данными получился правильный ответ - можно было время сэкономить))

  • @maximfx7479
    @maximfx7479 4 месяца назад

    Интересный контент!я ранее почему то не находил ваши ролики! Информация довольно углубленная по теме нейронки ,почему так мало просмотров тоже удивлен

  • @user-gc8xq6yo7j
    @user-gc8xq6yo7j 4 месяца назад

    батч)))) batch - партия, пакет, серия, группа. туземцы forever))))))

  • @zix2421
    @zix2421 4 месяца назад

    9:03 жесть, это было неожиданно. Вы куда пропали, ребята, отличный потенциальный канал, вроде

  • @user-mg1dg3lf9p
    @user-mg1dg3lf9p 4 месяца назад

    Как сломать мозг за 15 минут))) Очень крутая подача, спасибо!

  • @user-ox5hk5nu3t
    @user-ox5hk5nu3t 4 месяца назад

    лучшее наглядное видео про нейронки, которое я видел

  • @maksimkozyrev4208
    @maksimkozyrev4208 4 месяца назад

    Привет! Мне не так уж много лет, 3- 4 года пишу сайты на react node js, до этого учил python сейчас решил вернуться и посмотреть про нейронки, автору спасибо большое, прям такое детское влечение появилось ❤

  • @LongKatanaLK
    @LongKatanaLK 4 месяца назад

    Нихуя не понятно, но очень интересно

  • @okmouk4042
    @okmouk4042 5 месяцев назад

    Идеальная подача! Если бы по всему CS были такие восхитительные обучающие видео, программисты бы без труда лутали петабайты качественных знаний и конкуренция на рынке IT превысила бы все мыслимые и немыслимые границы!

  • @RadioT9197
    @RadioT9197 5 месяцев назад

    Вообще забавно что по сути определение это: (входные данные => МАГИЯ => ВЫХОДНОЙ РЕЗУЛЬТАТ)

  • @alw-3052
    @alw-3052 5 месяцев назад

    Спасибо за такое подробное и понятное объяснение по обучению и созданию нейронной сети. Потратил больше 2х недель на то, чтобы разобраться с этой задачей, пересмотрел кучу видеолекций и книг, но только благодаря вашим коротким роликам смог собрать всю информацию в целостную картину. Успехов вам.

  • @SorokinAU
    @SorokinAU 5 месяцев назад

    Спасибо вас за ваш труд, у вас очень талантливо и наглядно получается!