Что такое cuda в видеокарте?

Технология CUDA

к оглавлению

CUDA, Compute Unified Device Architecture — программно-аппаратная архитектура, позволяющая производить вычисления с использованием графических процессоров NVIDIA, поддерживающих технологию GPGPU (произвольных вычислений на видеокартах). Впервые появились на рынке с выходом чипа NVIDIA восьмого поколения — G80 и присутствует во всех последующих сериях графических чипов, которые используются в семействах ускорителей GeForce, Quadro и NVidia Tesla.

CUDA SDK позволяет программистам реализовывать на специальном упрощённом диалекте языка программирования Си алгоритмы, выполнимые на графических процессорах NVIDIA, и включать специальные функции в текст программы на Cи. CUDA даёт разработчику возможность по своему усмотрению организовывать доступ к набору инструкций графического ускорителя и управлять его памятью, организовывать на нём сложные параллельные вычисления.

Направление вычислений эволюционирует от “централизованной обработки данных” на центральном процессоре до “совместной обработки” на CPU и GPU. Для реализации новой вычислительной парадигмы компания NVIDIA изобрела архитектуру параллельных вычислений CUDA, на данный момент представленную в графических процессорах GeForce, ION, Quadro и Tesla и обеспечивающую необходимую базу разработчикам ПО.

Говоря о потребительском рынке, стоит отметить, что почти все основные приложения для работы с видео уже оборудованы, либо будут оснащены поддержкой CUDA-ускорения, включая продукты от Elemental Technologies, MotionDSP и LoiLo.

Область научных исследований с большим энтузиазмом встретила технологию CUDA. К примеру, сейчас CUDA ускоряет AMBER, программу для моделирования молекулярной динамики, используемую более 60000 исследователями в академической среде и фармацевтическими компаниями по всему миру для сокращения сроков создания лекарственных препаратов.

На финансовом рынке компании Numerix и CompatibL анонсировали поддержку CUDA в новом приложении анализа риска контрагентов и достигли ускорения работы в 18 раз. Numerix используется почти 400 финансовыми институтами.

Благодаря ожидаемым в ближайшем будущем системам Microsoft Windows 7 и Apple Snow Leopard, вычисления на GPU займут свои позиции в секторе массовых решений. В этих новых операционных системах GPU предстанет не только графическим процессором, но также и универсальным процессором для параллельных вычислений, работающим с любым приложением.

CUDA включает два API: высокого уровня (CUDA Runtime API) и низкого (CUDA Driver API), хотя в одной программе одновременное использование обоих невозможно, нужно использовать или один или другой. Высокоуровневый работает “сверху” низкоуровневого, все вызовы runtime транслируются в простые инструкции, обрабатываемые низкоуровневым Driver API. Но даже “высокоуровневый” API предполагает знания об устройстве и работе видеочипов NVIDIA, слишком высокого уровня абстракции там нет. 

Есть и ещё один уровень, даже более высокий — две библиотеки:

CUBLAS

 — CUDA вариант BLAS (Basic Linear Algebra Subprograms), предназначенный для вычислений задач линейной алгебры и использующий прямой доступ к ресурсам GPU;

CUFFT

 — CUDA вариант библиотеки Fast Fourier Transform для расчёта быстрого преобразования Фурье, широко используемого при обработке сигналов. Поддерживаются следующие типы преобразований: complex-complex (C2C), real-complex (R2C) и complex-real (C2R).

Рассмотрим эти библиотеки подробнее. CUBLAS — это переведённые на язык CUDA стандартные алгоритмы линейной алгебры, на данный момент поддерживается только определённый набор основных функций CUBLAS.

Библиотеку очень легко использовать: нужно создать матрицу и векторные объекты в памяти видеокарты, заполнить их данными, вызвать требуемые функции CUBLAS, и загрузить результаты из видеопамяти обратно в системную. CUBLAS содержит специальные функции для создания и уничтожения объектов в памяти GPU, а также для чтения и записи данных в эту память.

Поддерживаемые функции BLAS: уровни 1, 2 и 3 для действительных чисел, уровень 1 CGEMM для комплексных. Уровень 1 — это векторно-векторные операции, уровень 2 — векторно-матричные операции, уровень 3 — матрично-матричные операции.

CUFFT — CUDA вариант функции быстрого преобразования Фурье — широко используемой и очень важной при анализе сигналов, фильтрации и т.п. CUFFT предоставляет простой интерфейс для эффективного вычисления FFT на видеочипах производства NVIDIA без необходимости в разработке собственного варианта FFT для GPU. CUDA вариант FFT поддерживает 1D, 2D, и 3D преобразования комплексных и действительных данных, пакетное исполнение для нескольких 1D трансформаций в параллели, размеры 2D и 3D трансформаций могут быть в пределах [2, 16384], для 1D поддерживается размер до 8 миллионов элементов.

Среда программирования

В состав CUDA входят runtime библиотеки:

• общая часть, предоставляющая встроенные векторные типы и подмножества вызовов RTL, поддерживаемые на CPU и GPU;
• CPU-компонента, для управления одним или несколькими GPU;
• GPU-компонента, предоставляющая специфические функции для GPU.

Основной процесс приложения CUDA работает на универсальном процессоре (host), он запускает несколько копий процессов kernel на видеокарте. Код для CPU делает следующее: инициализирует GPU, распределяет память на видеокарте и системе, копирует константы в память видеокарты, запускает несколько копий процессов kernel на видеокарте, копирует полученный результат из видеопамяти, освобождает память и завершает работу.

В качестве примера для понимания приведем CPU код для сложения векторов, представленный в CUDA: 

Функции, исполняемые видеочипом, имеют следующие ограничения: отсутствует рекурсия, нет статических переменных внутри функций и переменного числа аргументов. Поддерживается два вида управления памятью: линейная память с доступом по 32-битным указателям, и CUDA-массивы с доступом только через функции текстурной выборки

.

Программы на CUDA могут взаимодействовать с графическими API: для рендеринга данных, сгенерированных в программе, для считывания результатов рендеринга и их обработки средствами CUDA (например, при реализации фильтров постобработки). Для этого ресурсы графических API могут быть отображены (с получением адреса ресурса) в пространство глобальной памяти CUDA. Поддерживаются следующие типы ресурсов графических API: Buffer Objects (PBO / VBO) в OpenGL, вершинные буферы и текстуры (2D, 3D и кубические карты) D

irect3D9.

Файлы исходного кода на CUDA C компилируются при помощи программы NVCC, которая является оболочкой над другими инструментами, и вызывает их: cudacc, g++, cl и др. NVCC генерирует: код для центрального процессора, который компилируется вместе с остальными частями приложения, написанными на чистом Си, и объектный код PTX для видеочипа. Исполнимые файлы с кодом на CUDA в обязательном порядке требуют наличия библиотек CUDA runtime library (cudart) и CUDA core library (cuda).

Практические выводы

CUDA — это доступная каждому разработчику ПО технология, её может использовать любой программист, знающий язык Си. Придётся только привыкнуть к иной парадигме программирования, присущей параллельным вычислениям. Но если алгоритм в принципе хорошо распараллеливается, то изучение и затраты времени на программирование на CUDA вернутся в многократном размере.

Вполне вероятно, что в силу широкого распространения видеокарт в мире, развитие параллельных вычислений на GPU сильно повлияет на индустрию высокопроизводительных вычислений. Эти возможности уже вызвали большой интерес в научных кругах, да и не только в них. Ведь потенциальные возможности ускорения хорошо поддающихся распараллеливанию алгоритмов (на доступном аппаратном обеспечении, что не менее важно) сразу в десятки раз бывают не так часто.

Перед функциями в .cu файле могут стоять следующие “модификаторы”:

__device__ — это означает, что функция выполняется только на видеокарте. Из программы выполняющейся на обычном процессоре(host) её вызвать нельзя.

__host__ — Выполняется и запускается только с хоста (т.е. обычная функция C++). Если вы перед функцией укажите например __host__ и __device__ — то будут скомпилированы 2 версии функции (не все комбинации допустимы).

Определение данных

Читайте также  Как узнать версию БИОС видеокарты?

__device__ — означает что переменная находится в глобальной памяти видеокарты (т.е. которой там 512-1024Мб и выше). Очень медленная память по меркам вычислений на видеокарте(хоть и быстрее памяти центрального процессора в несколько раз), рекомендуется использовать как можно реже. В этой памяти данные сохраняются между вызовами разных вычислительных ядер. Данные сюда можно записывать и читать из host-части с помощью

cudaMemcpy(device_variable, host_variable, size, cudaMemcpyHostToDevice); //cudaMemcpyDeviceToHost — в обратную сторону

__shared__ — задает переменную в общей памяти блока тредов (т.е. и значение будет общее на всех). Тут нужно подходить с осторожностью — компилятор агрессивно оптимизирует доступ сюда(можно придушить модификатором volatile), можно получать race condition, нужно использовать __syncthreads(); чтобы данные гарантированно записались. Shared memory разделена на банки, и когда 2 потока одновременно пытаются обратиться к одному банку, возникает bank conflict и падает скорость.

Все локальные переменные которые вы определеили в ядре (__device__) — в регистрах, самая высокая скорость доступа.

Как поток узнает над чем ему работать

Допустим, надо сделать какую-то операцию над картинкой 200×200. Картинка разбивается на куски 10×10, и на каждый пиксел такого кусочка запускаем по потоку. Выглядить это будет так:

dim3 threads(10, 10);//размер квардатика, 10*10

dim3 grid(20, 20);//сколько квадратиков нужно чтобы покрыть все изображение

your_kernel(image, 200,200);//Эта строка запустит 40'000 потоков (не одновременно, одновременно работать будет 200-2000 потоков примерно).

В отличии от Brook+ от AMD, где мы сразу определяем какому потоку над какими данными работать, в CUDA все не так: передаваеиые kernel-у параметры одинаковые для всех потоков, и поток должен сам получить данные для себя, чтобы сделать это, потоку нужно вычислить, в каком месте изображения он находится. В этом помогают магические переменные blockDim, blockIdx.

const int ix = blockDim.x * blockIdx.x + threadIdx.x;

const int iy = blockDim.y * blockIdx.y + threadIdx.y;

В ix и iy — координаты, с помощью которых можно получить исходные данные из массива image, и записать результат работы.

Оптимизация

Пару слов о том, как не сделать вашу программу очень медленной (написать программу работающую медленее чем CPU намного проще, чем работающую в 10 раз быстрее.

•Как можно меньше используйте __global__ память.

•При работе с __shared__ памятью избегайте конфлктов банков (впрочем многие задачи могут быть решены без shared памяти).

•Как можно меньше ветвлений в коде, где разные потоки идут по разным путям. Такой код не выполняется параллельно.

•Используйте как можно меньше памяти. Чем меньше памяти вы используете, тем агрессивнее компилятор и железо смогут запускать ваш kernel (например он может взять 100 тредов, и используя в 100 больше регистров запустить одновременно на одном MP, радикально уменьшая задержки)

Примеры Программ на CUDA C++

Исходные данные:

A[n][n] – матрица размерности n x n;

b[n] – вектор, состоящий из n элементов.

Результат:

c[n] – вектор из n элементов.

//Последовательный алгоритм умножения матрицы на вектор

Источник: https://bourabai.ru/graphics/cuda.htm

Кодирование видео, обработка фото, распределенные вычисления — с CUDA быстрее! (Chip, июль 2009)

Первыми программируемыми графическими процессорами были NVIDIA NV20 (GeForce 3) и ATI R200
(Radeon 7xxx и 8xxx). Однако они не могли выполнять операции с плавающей запятой, а потому представлялись бесперспективными. Поколение NV30 (GeForce FX) вышло весьма неудачным и с треском проигрывало видеокартам ATI того времени, зато получило возможность обработки таких операций.

Но написание приложений осложнялось тем, что для использования мощностей графических адаптеров при расчетах программисту необходимо было уметь работать с Direct 3D или OpenGL. Подобными навыками обладали очень немногие.

Впоследствии появилось специальное расширение для языка С под названием BrookGPU, позволявшее обходить всю работу со средами разработки трехмерных приложений, и тогда-то и началось настоящее развитие вычислений с использованием мощностей видеокарт.

До недавнего времени основным компонентом компьютера заслуженно считался центральный процессор. Однако при некоторых типах расчетов теоретически вычислительные мощности видеокарт оказываются в несколько раз выше, чем даже у самых мощных CPU. Раньше графические процессоры (GPU) использовались только для обработки выводимого на экран изображения. В полную силу они работали в играх с продвинутой графикой, а в остальное время их огромные вычислительные мощности простаивали впустую, даже когда процессор был загружен на все 100%.

Прорывом в данном направлении стала технология CUDA, разработанная компанией NVIDIA. Эта среда разработки значительно упрощает написание программного обеспечения, использующего для вычислений видеокарты (естественно, производства NVIDIA).

Характерными примерами такого ПО являются Adobe Photoshop CS4, клиенты для распределенных вычислений, драйверы и программы для кодирования видео.

Потоки: вместе мы сила

Большинство современных программ оптимизировано под два процессорных ядра. Другие приложения задействуют только одно ядро, а некоторые дальновидные разработчики пишут программы с расчетом на использование четырех ядер. Крайне редкие программы демонстрируют прирост производительности при работе большего количества ядер, а уж тем более — нескольких процессоров.

В то же время в спецификации, например, видеокарты NVIDIA GeForce GTX260 Core 216 значится 216 потоковых процессоров. Они основаны не на архитектуре x86, но каждый из них способен обрабатывать один поток данных. Почему бы не пустить их в дело, оптимизировав приложение под такое количество потоков? До выхода технологии NVIDIA CUDA, позволяющей осуществлять обработку кода, написанного на языке С, за счет мощностей видеокарт NVIDIA, этот вопрос оставался без ответа.

CUDA поддерживается всеми графическими ускорителями NVIDIA начиная с серии GeForce 8xxx. Сюда также входят видеокарты серии GeForce 9xxx и GeForce GTX 2xx, линейка NVIDIA Tesla и часть серии NVIDIA Quadro. К сожалению, CUDA является закрытой технологией, поэтому графические адаптеры, на которых она будет работать, могут выпускаться только компанией NVIDIA.

Существует и ответ от ATI — среда программирования под названием ATI Stream, но по сравнению с CUDA она является намного более низкоуровневым языком программирования, что затрудняет написание приложений.

Теоретическая вычислительная мощность видеокарт ATI, обычно измеряемая количеством операций с плавающей точкой в секунду — флопс, намного превосходит этот показатель у решений NVIDIA. Но из-за сложности создания программное обеспечение, использующее для вычислений видеокарты ATI, встречается намного реже.

А для реализации работы с CUDA не требуется никаких новых или неудобных языков программирования, поэтому результаты трудов разработчиков не заставили себя долго ждать.

: код скорости

Наиболее очевидным вариантом нестандартного применения видеокарт является их использование для кодирования видео. Именно эта возможность и была реализована первой. Сначала появилась на свет программа ATI Avivo Video Converter, поставляющаяся в комплекте с драйверами для видеокарт ATI.

На момент выхода программа работала крайне нестабильно, но за счет использования мощностей видеокарт ATI позволяла в несколько раз сократить время, затрачиваемое на кодирование видео. Avivo Video Converter работает с форматами для Sony PSP, Apple iPod, мультимедийных плееров, просмотра на компьютере и многих других устройствах. Соответственно, разрешение конечного видео может меняться от очень низкого до 1920×1080 точек. Ответом от NVIDIA стала программа Badaboom Media Converter, предназначенная для тех же целей. Для работы ей требуется любая видеокарта NVIDIA, поддерживающая CUDA.

Одной из программ для кодирования видео, наиболее удачно использующих технологию CUDA, является Super LoiLoScope Mars. CUDA здесь служит не только для ускорения применения фильтров к видеоролику, но и, собственно, кодирования. Программа позволяет конвертировать видео в универсальные форматы, а также предназначенные для Apple iPod, Sony PSP, и многие другие.

), а бесплатная версия имеет ограничения по сроку действия, разрешению при кодировании видео в формат MP4, а также характеризуется отсутствием звука при экспорте с использованием CUDA.

Обработка видео ускоряется в шесть раз

Тем, у кого есть видеокарта с поддержкой этой технологии, необходимо будет поставить галочку в соответствующем разделе настроек программы для включения возможности обработки видео силами видеоадаптера. При этом на осуществление кодирования уходит в несколько раз меньше времени. Сколько именно — зависит от характеристик графической карты.

: ремонт изображения

Другой вариант использования мощностей видеокарт, также связанный с кодированием видео, предлагает программа vReveal. Она представляет собой набор фильтров для улучшения качества картинки.

Часть из них присутствует и в утилитах, предназначенных непосредственно для кодирования видео, однако vReveal содержит наиболее полный спектр фильтров, в том числе для двукратного увеличения разрешения, оптической стабилизации, спасающей от эффекта трясущихся рук, и снижения уровня шумов при съемке на камеру с небольшими физическими размерами матрицы, как, например, в мобильных телефонах. Также в комплект входят фильтры для увеличения резкости изображения и его яркости. Кроме того, программа умеет захватывать отдельные кадры и сохранять их как изображения.

vReveal существовала еще до появления технологии CUDA, однако с ее выходом команда разработчиков переделала код программы, что позволило ей работать с совместимыми видеокартами в несколько раз быстрее. Прирост производительности может быть пятикратным при использовании достаточно мощного графического ускорителя.

Возможности кодирования при помощи vReveal минимальны, но для тех, кто предпочитает размещать свои видеотворения на , их будет вполне достаточно. Программа является платной и оценивается разработчиками в 1600 рублей (640 грн.). Общедоступная версия ограничена 30 днями работы.

Распределенные вычисления: GPU на службе науке

Не секрет, что большую часть времени компьютеры многих пользователей работают далеко не на полную мощность: около 90% времени процессор загружается только на 10–15%, а видеокарта — и вовсе приблизительно на 5%. То есть компьютер включен, но фактически простаивает без дела. Концепция распределенных вычислений состоит в том, чтобы в это время ресурсы ПК использовались для решения научных или гуманитарных задач.

Чтобы начать участвовать в той или иной программе распределенных вычислений, необходимо только скачать и установить соответствующую клиентскую программу. Дальше она все сделает сама, хотя при желании ее можно настроить вручную.

После установки такое приложение подключается к Интернету и скачивает с сервера задание и ядро для его расчета. Некоторое время уходит на сами расчеты, затем программа отправляет их результаты на сервер и скачивает новое задание, а при необходимости и новое ядро.

Альтернативой технологии CUDA является проект OpenCL. Он представляет собой средство разработки программного обеспечения, поддерживающее работу как с центральным процессором, так и видеокартами. Как следует из названия, OpenCL относится к семейству продуктов с открытым кодом, а потому не привязан к определенному производителю графических адаптеров. Работать с ним могут как устройства от ATI, так и NVIDIA и других компаний.

Пока что модели на OpenCL находятся в демонстративной стадии, то есть сами производители видеокарт и процессоров показывают, на что способна данная среда разработки. Тем не менее будущее у продукта должно быть: на OpenCL сделала ставку компания Apple, планирующая использовать возможности видеокарт в программном обеспечении и новом поколении операционных систем.

Скорее всего, этот открытый стандарт привлечет и немало других разработчиков.

Некоторые программы даже не надо скачивать — например, клиент для Folding@Home входит в сборку драйверов для видеокарт AMD ATI. Ученые Стэнфордского университета, запустившие этот проект, надеются, что расчет механизма сворачивания белков и получения их из цепочек аминокислот позволит медикам найти лекарства от таких болезней, как рак, СПИД и других. Такая направленность проекта привлекает множество волонтеров, родственники или знакомые которых страдают от одной из этих болезней, а также тех, кто просто хочет гордо заявлять, что внес свою лепту в спасение человечества от страшных заболеваний.

Не так давно в клиентские программы Folding@Home, Seti@Home и некоторых других проектов была встроена поддержка использования графических адаптеров для ускорения расчетов. Например, Folding@Home позволяет использовать как видеокарты ATI, так и NVIDIA.

При этом прирост производительности на мощных графических адаптерах от ATI оказывается приблизительно пятикратным, а на устройствах производства NVIDIA, драйверы которых значительно более оптимизированы, — почти десятикратным.

В результате пользователь с мощной видеокартой может считать в несколько раз быстрее человека, использующего только процессор, и получать большее количество очков, приближая свою команду к первому месту в рейтинге проекта.

Не стоит забывать, что проявление доброй воли не обходится волонтерам даром. На расчет одного задания уходит по несколько десятков минут, а то и часов, при этом программа значительно нагружает как центральный процессор, так и видеокарту. Под нагрузкой оба компонента потребляют гораздо больше электроэнергии, чем в режиме простоя.

Это может привести к появлению неожиданно высокой суммы в счете за электроэнергию, особенно при наличии мощной видеокарты, потребляющей более 100 Вт. На официальном сайте Rosetta@Home также указано, что при длительной работе клиента компьютер может перегреться. Особенно это касается ноутбуков с мобильными видеокартами высокого класса.

С другой стороны, среди членов главной российской команды распределенных вычислений TSC! Russia регулярно разыгрываются достаточно ценные призы, и счастливчиком может стать любой участник.

Светлое будущее: слово за разработчиками

Чтобы выяснить, насколько большой прирост скорости обеспечивает CUDA, мы провели замеры времени кодиро-вания видео с включенной технологи-ей и без нее. С помощью программы Super LoiLoScope Mars мы конверти-ровали HD-ролики с разрешением 1920×1080 точек, закодированные ко-деками H.264 и VC1, в формат MP4.

Мы собрали тестовую систему на материн-ской плате c чипсетом X58, процессо-ром Core i7 920, тремя гигабайтными модулями памяти DDR3 (1333 МГц) и видеокартой NVIDIA GeForce GTX285.

В итоге при включенной технологии NVIDIA CUDA машина справилась с ко-дированием роликов в среднем в пять раз быстрее, что дает огромный вы-игрыш во времени, если речь идет о больших объемах видео.

Уже сегодня видеокарты позволяют в разы ускорить обработку многих задач. Помимо упомянутых нами программ существует множество других, среди которых есть как кодировщики видео Cyberlink PowerDirector 7 и Tsunami TMPGEnc, так и необычные примеры вроде программы для подбора паролей John the Ripper. Тем не менее эра вычислений при помощи графических адаптеров только начинается.

В ближайшем будущем Intel собирается представить графический ускоритель, носящий кодовое имя Larrabee и основанный на архитектуре x86, разрабатывать приложения для которой значительно проще.

К тому же только небольшая часть разработчиков программного обеспечения успела оптимизировать свои приложения под работу с CUDA, а эволюция OpenCL и вовсе находится на этапе «зарождения жизни».

И Windows 7, и Mac OS 10.6 обещают активное использование видеокарт для ускорения работы приложений. Можно не сомневаться, что за ними последуют и некоторые дистрибутивы Linux. NVIDIA планирует добавить к CUDA поддержку других языков программирования, среди которых «Фортран» и С++.

Как скоро оправдается эта надежда, зависит от того, насколько оперативно разработчики оптимизируют коды своих программ для использования мощностей графических ускорителей.

Александр Перекалин. (Журнал «Chip», июль 2009)

Источник: https://www.nvidia.ru/object/cuda_article_chip0709_ru.html

Знакомство с программно-аппаратной архитектурой CUDA

Поговорим о том, что такое CUDA, как эта технология связана с NVIDIA и как ускоряет обработку данных вычислительной техникой.

Сложность вычислительных заданий требует резкого увеличения ресурсов и скорости компьютеров. Наиболее перспективным направлением повышения скорости решения задач является внедрение идей параллелизма в работу вычислительных систем.

Сегодня спроектированы и испытаны сотни различных компьютеров, которые используют в своей архитектуре тот или иной вид параллельной обработки данных. Основная сложность при проектировании параллельных программ – обеспечение правильной последовательности взаимодействия между разными вычислительными процессами, а также координация ресурсов, которые разделяются между ними.

Поговорим о CUDA

CUDA – это программно-аппаратная архитектура параллельных вычислений, позволяющая существенно увеличить вычислительную продуктивность благодаря использованию графических процессоров NVIDIA.

При использовании данной технологии необходимо знать следующие понятия:

• устройство (device) – сама видеокарта, графический процессор (GPU) – выполняет команды центрального процессора;
• хост (host) – центральный процессор (CPU) – запускает различные задания, выделяет память, etc.;
• ядро (kernel) – функция (задание), которая будет выполняться на GPU.

CUDA позволяет программистам реализовывать на специальном упрощенном диалекте языка C алгоритмы, которые используются в графических процессорах NVIDIA, и включать специальные функции в текст программы на C.

«Архитектура CUDA позволяет разработчику на свое усмотрение организовывать доступ к набору инструкций GPU и управлять его памятью.»

Эта технология поддерживает несколько языков программирования. Среди них Java, Python и некоторые другие.

Этапы запуска программы на GPU или как все происходит

Рассмотрим, как происходит запуск программы на графическом процессоре:

1. Хост выделяет необходимое количество памяти на устройстве.
2. Хост копирует данные из своей памяти в память устройства.
3. Хост запускает ядро на устройстве.
4. Устройство исполняет это ядро.
5. Хост копирует результаты из памяти устройства в свою память.

На рисунке изображены все перечисленные шаги запуска программы, кроме первого (источник).

Взаимодействие CPU и GPU

Как видно из рисунка, центральный процессор взаимодействует с графическим через CUDA Runtime API, CUDA Driver API и CUDA Libraries. Runtime и Driver API отличаются уровнем абстракции. Грубо говоря, первый вариант более высокого уровня в плане программирования, более абстрактный, а второй – напротив, более низкого (уровень драйвера).

В целом Runtime API является абстрактной оберткой Driver API. Во время программирования вы можете использовать любой из представленных вариантов. Из личного опыта: при использовании Driver API нужно написать немного «лишнего» кода + данный вариант сложнее.

Также необходимо понять одну важную вещь, которая впоследствии сэкономит вам время и нервы:

«Если отношение времени, потраченного на работу ядер, окажется меньше времени, потраченного на выделение памяти и запуск этих ядер, вы получите нулевую эффективность от использования GPU.»

Давайте разберем написанное подробнее. Чтобы запустить некоторые задачи на GPU, необходимо потратить «немного» времени на выделение памяти, копирование результата, etc., поэтому не нужно выполнять на графическом процессоре легкие задания, которые на деле занимают буквально миллисекунды. Зачем выполнять на GPU то, с чем легко, а главное, быстрее справится центральный процессор?

У вас возникнет вопрос: «Тогда зачем вообще использовать GPU, если при этом приходится тратить драгоценное время на выделение памяти и другие ненужные вещи?». Это заблуждение, и со временем вы поймете, что CUDA – действительно мощная технология. Дальше разберемся, почему это так.

Аппаратная часть

Архитектура GPU построена несколько иначе, нежели CPU. Поскольку графические процессоры сперва использовались только для графических расчетов, которые допускают независимую параллельную обработку данных, то GPU и предназначены именно для параллельных вычислений. Он спроектирован таким образом, чтобы выполнять огромное количество потоков (элементарных параллельных процессов).

Архитектура CPU и GPU

Как видно из картинки – в GPU есть много простых арифметически-логических устройств (АЛП), которые объединены в несколько групп и обладают общей памятью. Это помогает повысить продуктивность в вычислительных заданиях, но немного усложняет программирование.

«Для достижения лучшего ускорения необходимо продумывать стратегии доступа к памяти и учитывать аппаратные особенности.»

GPU ориентирован на выполнение программ с большим объемом данных и расчетов и представляет собой массив потоковых процессоров (Streaming Processor Array), что состоит из кластеров текстурных процессоров (Texture Processor Clusters, TPC). TPC в свою очередь состоит из набора мультипроцессоров (SM – Streaming Multi-processor), в каждом из которых несколько потоковых процессоров (SP – Streaming Processors) или ядер (в современных процессорах количество ядер превышает 1024).

Набор ядер каждого мультипроцессора работает по принципу SIMD (но с некоторым отличием) – реализация, которая позволяет группе процессоров, работающих параллельно, работать с различными данными, но при этом все они в любой момент времени должны выполнять одинаковую команду. Говоря проще, несколько потоков выполняют одно и то же задание.

Мультипроцессоры, SM

В результате GPU фактически стал устройством, которое реализует потоковую вычислительную модель (stream computing model): есть потоки входящих и исходящих данных, что состоят из одинаковых элементов, которые могут быть обработаны независимо друг от друга.

Вычислительные возможности

Продолжаем разбираться с CUDA. Каждая видеокарта обладает так называемыми compute capabilities – количественными характеристиками скорости выполнения определенных операций на графическом процессоре. Данное число показывает, насколько быстро видеокарта будет выполнять свою работу.

В NVIDIA эту характеристику обозначают Compute Capability Version. В таблице приведены некоторые видеокарты и соответствующие им вычислительные возможности:

Полный перечень можно посмотреть здесь. Compute Capability Version описывает множество параметров, среди которых: количество потоков на блок, максимальное количество блоков и потоков, размер warp, а также многое другое.

Потоки, блоки и сетки

CUDA использует большое количество отдельных потоков для расчетов. Все они группируются в иерархию – grid / block / thread.

Структура блоков

Верхний уровень – grid – отвечает ядру и объединяет все потоки, которые выполняет данное ядро. Grid – одномерный или двумерный массив блоков (block). Каждый блок (block) представляет собой полностью независимый набор скоординированных между собой потоков. Потоки из разных блоков не могут взаимодействовать.

Мы упоминали об отличии от SIMD-архитектуры. Есть такое понятие, как warp – группа из 32 потоков (в зависимости от архитектуры GPU, но почти всегда 32). Только потоки в рамках одной группы (warp) могут физически выполняться одновременно. Потоки разных варпов могут находиться на разных стадиях выполнения программы. Такой метод обработки данных обозначается термином SIMT (Single Instruction – Multiple Theads). Управление работой варпов выполняется на аппаратном уровне.

Почему иногда центральный процессор выполняет задания быстрее графического?

Выше уже было написано, что не стоит выполнять на GPU слишком простые задания. Чтобы понять, следует определить два термина:

1. Задержка – это преимущественно время ожидания между запросом на какой-либо ресурс и получением доступа к данному ресурсу.
2. Пропускная способность – количество операций, которые выполняются за единицу времени.

Таким образом, главный вопрос состоит в следующем: почему графический процессор иногда «тупит»? Объясняем на простом примере.

https://www.youtube.com/watch?v=KkjHJ4bVnRY

У нас есть 2 автомобиля:

• легковой фургон – скорость 120 км/ч, способен вместить 9 человек;
• автобус – скорость 90 км/ч, способен вместить 30 человек.

Если одна операция – это передвижение одного человека на определенное расстояние (пусть будет 1 км), то задержка (время, за которое один человек пройдет 1 км) для первого авто составит 3600/120 = 30 сек, а пропускная способность – 9/30 = 0,3. Для автобуса – 3600/90 = 40 сек и 30/40 = 0,75.

CPU – это фургон, а GPU – автобус: у него большая задержка, но также и большая пропускная способность. Если для вашего задания задержка каждой конкретной операции не так важна, как количество этих самых операций в секунду, то стоит рассмотреть использование GPU.

Выводы

Отличительными чертами GPU в сравнении с CPU являются:

• архитектура, максимально нацеленная на увеличение скорости расчета текстур и сложных графических объектов;
• предельная мощность типичного GPU намного больше, чем у CPU;
• благодаря специализированной конвейерной архитектуре GPU более эффективен в обработке графической информации, нежели центральный процессор.

Главный минус CUDA в том, что данная технология поддерживается только видеокартами NVIDIA без каких-либо альтернатив.

Графический процессор не всегда может дать ускорение при выполнении определенных алгоритмов. Поэтому перед использованием GPU для вычислений стоит хорошо подумать, а нужен ли он в данном случае. Вы можете использовать видеокарту для сложных вычислений: работа с графикой или изображениями, инженерные расчеты, криптографические задачи (майнинг), и т. д., но не используйте GPU для решения простых задач (разумеется, вы можете, но тогда эффективность будет равняться нулю).

Помните о задаче с фургоном и автобусом, а также не забывайте, что использование графического процессора гораздо вероятнее замедлит программу, нежели ускорит ее.

Оригинал