Nvidia cudnn что это

Русские Блоги

Установка cuDNN (выбор версии, время выполнения или разработчик)

Установка cuDNN (выбор версии, время выполнения или разработчик)

После установки CUDA, если вы хотите изучить сеть глубокого обучения, вам обычно необходимо установить cuDNN.Как загрузить столько версий, например, после установки CUDA10.1, как выбрать и установить cuDNN? Сделайте запись здесь

1. Соответствующие версии CUDA и cuDNN

См. Ссылку на официальный сайт:https://docs.nvidia.com/deeplearning/sdk/cudnn-support-matrix/index.html
перечисляет соответствие между CUDA, cuDNN и версией драйвера, например:

Я обнаружил, что версия cuDNN, соответствующая моему cuda10.1, — 7.6.3

2. Скачивание cuDNN

Введите ссылкуhttps://developer.nvidia.com/
Чтобы загрузить cuDNN, вам необходимо зарегистрироваться с учетной записью Nvidia для входа.
После входа в систему с помощью своей учетной записи введите cudnn в поиске в правом верхнем углу, чтобы найти:

Щелкните любую загрузку cuDNN, войдите в интерфейс, выберите Я согласен с условиями лицензионного соглашения по программному обеспечению cuDNN, отобразится список версий:

Выберите версию cuDNN в соответствии с вашей собственной версией cuda. ​​После нажатия будет развернута версия, соответствующая различным платформам:

Обратите внимание, что существуют разные методы установки файлов cuDNN в разных форматах. Вот два:

Если вы хотите скачать формат tgz:
выберите библиотеку cuDNN для Linux.
Эта установка относительно проста: просто скачайте, распакуйте, скопируйте соответствующие файлы в указанный каталог и предоставьте разрешения.

Если вы хотите скачать формат deb:
Моя система — Ubuntu16.04, но я обнаружил, что существуют две соответствующие версии:

Также есть образцы кода. . . . . Какой файл выбрать?

Разница между версией Runtime и Developer:
Библиотека разработчика содержит файлы заголовков cuDNN, необходимые для разработки глубокого обучения в системе Ubuntu. Если вам не нужно разрабатывать и компилировать какие-либо программы глубокого обучения, вы просто используете их для выполнения определенных глубин. Для изучения приложения достаточно просто загрузить «библиотеку времени выполнения».
Я загрузил все 3 файла и установил их отдельно.

Три, установка cuDNN

Ссылка на официальный сайт для установкиhttps://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html#prerequisites
Я загрузил файл в формате deb и нашел соответствующее руководство по установке:

Откройте терминал, чтобы найти местоположение загруженного файла deb, а затем следуйте инструкциям по установке трех файлов.

Если вы загружаете сжатый файл tgz, способ:
Откройте терминал, чтобы распаковать файл:

Не заходя в папку, продолжайте набирать:

Убедитесь, что установка прошла успешно

Откройте терминал и введите:

Следующее сообщение показывает, что установка прошла успешно:

Источник

Русские Блоги

Обзор конфигурации среды глубокого обучения — CUDA / cudnn / тензор потока трех мушкетеров

Обычно требуется глубокое обучение. Вы должны понимать, что необходимо начинать с конфигурации среды. Обучение с ускорением на GPU является обязательным. Средой с ускорением на GPU является CUDA / cudnn / tenorflow. В этой статье делается попытка использовать эту среду. Многие детали четко объяснены. Керас на основе TF похож. Играть в Pytorch выходит за рамки этой статьи.

Необходимо описать мою операционную систему: CentOS, предположительно, такой же под Linux? По крайней мере, Ubuntu похожа. Как это сделать в системе Windows, может написать снова, не рекомендуется использовать Windows для глубокого изучения ^. ^

I. Введение

Прежде всего, это объясняется тем, что среда глубокого обучения не проясняет многие детали. Может быть много сообщений об ошибках во время установки / после установки, и я в растерянности. Поэтому я также рекомендую вам смотреть на это с самого начала, когда вы создаете проблемы.Поэтому предисловие важно.

1. Объясните самую важную версию вопроса. Самым важным является поместить его в начало. Простое предложение заключается в том, что версии CUDA, cudnn и tf являются согласованными и, как правило, не имеют преимущества обратной совместимости. Соответствующая ситуация с версией приведена ниже:

Как вы можете видеть, CUDA недавно выпустила 9.2, а cudnn следовал различным версиям, достигнув 7.1.4. Проще говоря,CUDA 9 соответствует cudnn 7, CUDA 8 соответствует cudnn 6, Нижняя версия может быть проигнорирована.

Давайте посмотрим на развитие tenorflow. Кажется, что последняя версия 1.9.0, но даже 1.9.0 — это всего лишь слово CUDA 9.0.Подводя итог, поддерживаемая версия — соус фиолетовый：

Не используйте сначала CUDA 9.0 или выше, потому что у tf нет версии слова;

Первая рекомендуемая комбинация — CUDA 9.0 + cudnn 7.0 + Tensorflow 1.5 или более (проверено, это должна быть CUDA 9.0 для более чем 1.5, если вы используете эту комбинацию, рекомендуется понимать проблему версии tf);

Вторая рекомендуемая комбинация очень стабильна и также является установленной вами версией, CUDA 8.0 + cudnn 6.0 + Tensorflow 1.4.

PS: Не было соответствующей версии tf CUDA 9.1, установленной на сервере предыдущими людьми. Я проверил различные учебники. Некоторые люди нашли его на github и переписали существующий Tensorflow 1.6 для поддержки CUDA9.1. Однако в установке все еще есть ошибки. Не могу решить, поменял комбинацию двух с негодованием.

2. После того как я пойму 1, я предоставлю вам несколько блогов, официальных документов и веб-сайтов для ознакомления. Если вы посмотрите эти блоги, вы также можете прочитать мой блог.

Официальная документация по установкеNVIDIA CUDA Installation Guide for LinuxДля того, чтобы понять, я действительно прочитал часть этого серьезно, блог переводится:Ubuntu16.04 ультранизкая версия видеокарты GTX730 в конфигурации pytorch-gpu + cuda9.0 + cudnn, Шаги очень просты и практичны;

Следующие два похожи, вы можете обратиться к:

О версии, различных деталях и ситуации в системе win вы можете обратиться к следующему блогу и связанным статьям:

Мой путь к AI (5) — Как выбрать и установить версии CUDA и cuDNN, соответствующие версии Tensorflow, Блоггер написал более десяти статей об установке этих вещей, и я восхищаюсь ими.

2. CUDA и установка cudnn

Поговорив ерунду, вы можете наконец начать установку

1) Сначала проверьте условия установки

• lspci | grep -i nvidia Проверьте, поддерживает ли GPU работу cuda
• uname -m && cat /etc/*release Убедитесь, что ваша система поддерживает cuda
• gcc —version Убедитесь, что вы установили gcc
• uname -r Убедитесь, что версия вашего ядра соответствует требованиям для установки (для ubuntu16.04 требуется минимум 4.4)

2) Тогда скачай CUDA и cudnn

Загрузка не так проста, им обоим нужно зарегистрировать аккаунт или тому подобное, чтобы загрузить соответствующие пакеты на официальном сайте.CUDA скачать скачать cudnn

Скорость может быть медленной, но официальный сайт предоставлен. Если вы заинтересованы, вы можете перейти, чтобы увидеть выше. Скромные люди предоставили свой собственный сетевой диск, доступно про тестирование. И это согласуется с моим следующим методом установки (кажется, CUDA имеет два метода установки).

Ссылка для скачивания сетевого диска CUDA8 + cudnn6: https://pan.baidu.com/s/1IMNJGce6QRkA07KQtr7qsg Пароль: v3bh

Загрузка сетевого диска CUDA9 + cudnn7: Будет добавлено

3) Перед установкой

Если вы пропустите яму и установите другие версии CUDA, вы можете удалить, например:

Для меня также возможно удалить CUDA9.1 и установить 8 напрямую. (Могут быть некоторые предпосылки, если вы допустите ошибку, я не знаю.) Поскольку установочный каталог находится в / usr / local /, у cuda есть ссылка на текущую версию, поэтому, когда вы устанавливаете 8, у вас появляется запрос, указывать ли ссылку, Пока установленный 9.1 связан, он не будет работать.

4) Установите CUDA

Установочный файл — cuda_8.0.61_375.26_linux.run, и для выполнения требуется разрешение root.

Фронт длинное объяснение, после пропуска, выберите согласиться;

Первый вопрос: стоит ли устанавливать драйвер NVIDIA?Это может быть проблемой, и я не знаю деталей. Ситуация для справки заключается в том, что после того, как он не был установлен, а затем было сообщено об ошибке (как правило, относится к тензорному потоку импорта, который будет подробно описан позже), поэтому драйвер был переустановлен, и снова была выбрана установкаNVIDIA，Результат установкиКогда NVIDIAНе удалось, поэтому я решил не устанавливать.
Другие проблемы решаются вами самостоятельно, и по умолчанию их можно установить в / usr / local.

Наконец, есть образец материала, а именно:

Если вы не планируете смотреть его, не устанавливайте его. Если вы хотите установить его следующим образом: сначала перейдите в каталог Samples, сначала выполните make, затем перейдите в bin. deviceQuery Выполнить ./deviceQuery , Если установка прошла успешно, должно появиться сообщение, подобное следующему:

5) Установите cudnn

Полное название cuDNN — библиотека глубокой нейронной сети NVIDIA CUDA®,NVIDIA специально разработала библиотеку ускорения на основе графического процессора для базовых операций в Deep Neural Networks, cuDNN обеспечивает высокооптимизированную реализацию стандартных процессов в глубоких нейронных сетях, таких как прямой и обратный процессы свертки, объединения, нормализации и активации.

cuDNN — это всего лишь одна из библиотек ускорения в комплекте для разработки ПО для глубоких нейронных сетей NVIDIA. Если вы хотите узнать другие пакеты в библиотеке ускорения нейронных сетей NVIDIA, пожалуйста, нажмите на ссылкуhttps://developer.nvidia.com/deep-learning-software。

В основном все системы глубокого обучения поддерживают cuDNN в качестве инструмента ускорения, например: Caffe, Caffe2, TensorFlow, Torch, Pytorch, Theano и т. Д.

Файл cudnn-8.0-linux-x64-v6.0.solitairetheme8, загруженный Цзяном, изменился на cudnn-8.0-linux-x64-v6.0.tgz (достаточно команды mv), скопируйте в /usr/local Под каталогом распакуйте его:

Это нормально, на самом деле, файлы в папке после распаковки автоматически перемещаются в соответствующее место,Эквивалент следующей команды：

6) Изменить переменные среды

Переменные среды являются очень сложным вопросом. Я просто изменил это как написано кем-то другим, и в этом нет ничего плохого:

Конечно, если вы устанавливаете CUDA9, вы должны изменить его в переменной среды.

Это было захватывающее время, чтобы убедиться, что CUDA была успешно установлена.

Команда nvcc -V отображается следующим образом:

Или nvidia-smi, вы можете просмотреть текущую видеокарту и процесс загрузки (плюс -l можно обновить в режиме реального времени):

Для подробностей, вы можете прочитать этот блог или систему win, которая очень полезна для справки:Конфигурация глубокого обучения CUDA8.0 / 9.0 и соответствующая версия установки cuDNN

В статье упоминаются ОБРАЗЦЫ, упомянутые в предыдущей установке. Кажется, что есть некоторые функции. Если вам интересно, вы можете изучить это!

3. Установите Tensorflow-GPU

Если вы ранее установили другой tenorflow, вам следует сначала удалить его.

Затем установите и доработайте версию:

В настоящее время нет проблем с установкой Keras:

После успешной установки вы можете просто проверить, успешна ли она:

Если результат выполнения следующий, ваша версия tenorflow-gpu успешна:

Если это так, это означает, что вы используете версию процессора:

Если вы не знаете ситуацию с вашей машиной, этот метод также может быть использован для оценки.

4. Заключение

На этом этапе, конечно, вы сделали предположение, что при проверке информации об ошибках нет. Некоторые ошибки кратко упоминаются в конце.

Появляется этот вид .so.8.0 (если вы устанавливаете CUDA9, это так. 9.0; если ваша версия tf 1.5, а установленная CUDA 8.0, то здесь so.9.0, то есть tf выливается в соответствующий Процесс файла библиотеки), если вы подтвердите, что версия соответствует без проблем, то это может быть проблема с переменными среды.

Если в переменных среды, установленных в соответствии с вышеприведенным руководством, есть такое отклонение, рекомендуется, например, проверить, если вы установили CUDA9, но все скопировали my ==, или переменные среды не вступили в силу.

Наконец, для подведения итогов, конфигурация среды глубокого обучения состоит из следующих шагов: один — просмотреть конфигурацию и установку своего компьютера, второй — соответствие версий между тремя мушкетерами, выбрать подходящую комбинацию, третий — загрузить и установить, уделить больше внимания. Официальные документы и официальный сайт, четвертый — конфигурация переменных среды, пятый — проверка успеха CUDA и Tensorflow.

Спасибо за просмотр, пожалуйста, дайте мне совет

Источник

Русские Блоги

Установка CUDA и CUDNN под Win10 (Super Detail)

Каталог статьи

CPU и GPU

CPU и GPU — это разные компьютерные устройства, процессоры были распознаны людьми как компьютерное сердце, но ГПУ недавно не присоединен к людям из-за его превосходных характеристик вычисления изображений или производительности матрицы.

Отношения и разница в процессоре и гг.

Как видно из вышеуказанного рисунка GPU (процессор изображения, графический блок обработки графики) с участием ЦП (центральный процессор, Central Processing Unit ） Основное отличие в конструкции состоит в том, что GPU имеет более эксплуатационные единицы (как зеленый алу на рисунке), а блоки управления и кэша не так много процессоров, поскольку GPU выполняет в то же время, когда GPU рассчитывается параллельно. Программа не требует слишком много контроля. Блок кэша используется для выполнения кэша данных, и CPU может уменьшить количество доступа первичную память Cache, который должен уменьшить задержку памяти. memory latency ). Кэш в GPU небольшой или нет, потому что GPU может уменьшить задержки памяти параллельными вычислениями. Следовательно, конструкция CPU CAHCE в основном для достижения низких задержек, и контроль является в основном универсальным, и комплексные блоки управления логическими управляющими гарантируют, что ЦП является высокоэффективным задачами и инструкциями. Следовательно, процессор хорош в логическом контроле, который является последовательным расчетом, а GPU хорош при высокоинтенсивных расчетах, что параллельно. Например, графический процессор похоже на тысячи трудностей. Все сухие, и нет зависимости, что является независимым, простой, более мощным; ЦП похож на пакет, хотя и способен усердно работать, но есть меньше людей, поэтому Как правило, они несут ответственность за распределение задач, планирование персонала и другую работу.

Видно, что ускорение GPU реализуется параллельно через большое количество потоков, поэтому ГПУ не влияет на работу, которая не может быть очень параллельной. ЦП является последовательной операцией и требует сильной универсальности, в основном играющей роль общего управления и задачи распределения.

2. Что такое CUDA?

CUDA (вычислить единую архитектуру устройства, унифицированную вычислительную архитектуру) Это интеграционная технология, запущенная NVIDIA, которая является официальным названием компании для GPGPU. Через эту технологию пользователи могут использовать NVIDIA GeForce 8 Последний GPU и новейший Quadro GPU рассчитываются. Это также первый раз, когда вы можете использовать GPU в качестве среды разработки C-компилятора. Когда NVIDIA Marketing компилятор часто смешивается с архитектурой, вызывая путаницу. На самом деле, CUDA может быть совместима с OpenCL или вашим собственным C-компилятором. Будь то CUDA C-Language или OpenCL, команда в конечном итоге будет преобразована в код PTX и будет настроен.

Другими словами, CUDA представляет собой параллельную вычислительную структуру для NVIDIA, которая находится только на GPU NVIDIA, и только тогда, когда проблема расчета, которая должна быть решена, — это сыграть много параллельно, чтобы рассчитать роль CUDA.,

Под архитектурой CUDA минимальный блок при выполнении чипа — это нить. Несколько трех могут образовывать блок. Нить в блоке может получить доступ к той же совместной совмещенной памяти и может быстро синхронизировать действие. Количество потоков, которые каждый блок может содержать, ограничено. Однако блок, который выполняет ту же программу, может образовывать сетку. Нить в другом блоке не может получить доступ к той же общую память, поэтому вы не можете напрямую общаться или синхронизировать. Следовательно, степень потока может сотрудничать в различных блоках относительно низкой. Однако, используя этот режим, вы можете позволить программе не нужно беспокоиться о количестве потоков, которые чип отображения действительно может выполняться одновременно. Например, чип отображения, имеющий очень небольшое количество блока выполнения, может выполнять последовательный порядок в каждом блоке, не одновременно. Различные сетки могут выполнять разные программы (т.е. ядро).

CUDA(ComputeUnified Device Architecture) Это операционная платформа, запущенная производителем видеокарт NVIDIA. CUDA — это общая параллельная вычислительная архитектура, запущенная NVIDIA, которая позволяет GPU решать сложные вычислительные проблемы.

3. Что такое CUDNN?

NVIDIA cuDNN Это ускоритель GPU для глубоких нейронных сетей. Это подчеркивает производительность, простоту использования и низкую накладную расход памяти. NVIDIA cuDNN Он может быть интегрирован в более высокий уровень структуры машинного обучения, таких как Tensorflow Google, популярное программное обеспечение Caffe в Беркли, штат Калифорния. Простой плагин дизайн позволяет разработчикам сосредоточиться на проектировании и внедрении моделей нейронных сетей, а не простых регулировков, а также реализуя высокую производительность современных параллельных вычислений на графическом процессе.

4. Отношения между Куда и CUDNN

Куда считается верстанием с большим количеством инструментов, таких как молотки, отвертки и т. Д. CUDNN основан на библиотеке ускорительной библиотеки GPU в CUDA на основе CUDA, которая имеет его для завершения расчетов глубины обучения на GPU. Это эквивалентно работе, например, это гаечный ключ. Но когда куда куда нет, нет пути. Чтобы запустить глубину нейронной сети на CUDA, вы должны установить CUDNN, как вы хотите скрутить гайку. Таким образом, GPU будет работать в глубокой нейронной сети, и рабочая скорость — это много процессора.

Официальный учебник по установке
CUDA：https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html
cuDNN：https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html#installwindows

5. Установка

5.1 Установка CUDA

CUDA10 Установочный пакет можно загрузить непосредственно с веб-сайта NVIDIA.

Согласно соответствующему варианту системы, я выбираю cuda_10.1.243_426.00_win10.exe (Размер 2,3 г), рекомендуется выбирать при установке настроить Вместо «оптимизация» (Из английского объяснения, его можно увидеть, на самом деле, охватывание оптимизации должна быть более подходящей, она будет установлена ​​все компоненты и перезаписать существующий драйвер, но я не хочу устанавливать ведро Full-Family, пусть Один мой официальный драйвер видеокарты, чем новый).

Дважды щелкните, чтобы установить:

Настроить переменные среды

Проверьте, настроен ли он

5.2 Установка CUDNN

После завершения установки вам нужно скачатьСоответствующая версия, соответствующая CUDAизcuDNNПосле того, как страница загрузки, показанной ниже, после завершения загрузки поместите все файлы в этом сжатом пакете в каталог установки CUDA10 в соответствии с папкой.

Добавьте переменную среды

Добавить переменные среды: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\lib\x64

6. Ссылка

7. Примечание:

Невозможно построить процессор GPU с помощью AnaConda. Невозможно построить окружающую среду!

Источник