Векторизация и вещание в Python

Векторизация и широковещательная передача — это способы ускорить время вычислений и оптимизировать использование памяти при выполнении математических операций с помощью Numpy. Эти методы имеют решающее значение для обеспечения снижения временной сложности, чтобы алгоритмы не сталкивались с какими-либо узкими местами. Эта оптимизированная операция необходима для масштабируемости приложений. Мы рассмотрим обе эти техники и реализуем несколько примеров.

К концу этого урока вы будете знать следующее:

• Как векторизация обрабатывается Numpy
• Разница во времени с векторизацией и без нее
• Что такое вещание
• Чем трансляция отличается от обычного матричного умножения

Векторизация

Часто нам требуются математические операции с массивами, например умножение массивов. Теперь невекторизованным способом было бы поэлементное умножение с использованием цикла. Реализация таким образом приведет к тому, что одна и та же операция умножения будет выполняться несколько раз, что будет пустой тратой вычислительных ресурсов, если размер данных слишком велик. Давайте быстро посмотрим.

Не векторизованный способ:

Векторизованный способ:

Как мы видим, прошедшее время увеличилось с 658 микросекунд до 7,25 микросекунд. Это потому, что когда мы говорим a = np.array([]) , все операции выполняются внутри numpy. И когда мы делаем a*b , numpy внутренне умножает сразу весь массив с помощью векторизации.

Здесь мы используем волшебную команду %timeit для определения времени выполнения процесса, который может отличаться на вашей машине.

Давайте посмотрим на другой пример внешнего произведения двух векторов с размерами (nx1) и (1xm). Результат будет (nxm).

Теперь давайте сделаем это с Numpy,

Как мы снова видим, Numpy обрабатывает ту же операцию намного быстрее за счет векторизации.

Обязательно к прочтению: Увлекательные приложения Python в реальном мире

Итак, до сих пор мы видели примеры, когда использовались массивы одинакового размера. Что делать, если размеры массивов разные? Вот где появляется еще одна замечательная функция Numpy, Broadcasting.

Вещание — это еще одно расширение векторизации, когда массивы не обязательно должны быть одного размера для выполнения над ними таких операций, как сложение, вычитание, умножение и т. д. Давайте разберемся с этим на очень простом примере сложения массива и скаляра.

Как видим, ко всем элементам прибавился скаляр 5. Так как же это произошло?

Чтобы представить процесс, вы можете представить, что скаляр 5 повторяется 4 раза, чтобы создать массив, который затем добавляется к массиву a. Но имейте в виду, Numpy не создает таких массивов, которые будут занимать только память. Numpy просто «транслирует» или дублирует скаляр от 5 до 4 мест, чтобы добавить его в массив a.

Возьмем еще один простой пример.

В приведенном выше примере массив формы (3,1) был передан в (3,3), чтобы соответствовать массиву a.

Но означает ли это, что любой массив с любым измерением может быть транслирован для сопоставления с массивом с любым измерением?

НЕТ!

Правила трансляции

Numpy следует набору простых правил, чтобы убедиться, что транслируются только массивы, соответствующие критериям. Давайте взглянем.

Правило вещания гласит, что 2 массива, с которыми нужно работать, должны либо иметь одинаковые размеры, либо любой из них равен 1.

Давайте посмотрим, что это в действии.

Пример 1:

Рассмотрим ниже массивы измерений:

а = 3 х 4 х 7

б = 3 х 4 х 1

Здесь последнее измерение b будет транслироваться так, чтобы оно соответствовало измерению от a до 7.

Следовательно, результат = 3 х 4 х 7

Пример 2:

а = 3 х 4 х 7

б = 4

Теперь количество измерений a и b неодинаково. В таких случаях массив с меньшим количеством измерений будет дополнен 1.

Итак, здесь первое и последнее измерения b равны 1, поэтому они будут транслироваться так, чтобы соответствовать размерам a до 3 и 7.

Следовательно, результат = 3 х 4 х 7.

Читайте: Учебник по Python

Пример 3:

а = 3 х 4 х 1 х 5

б = 3 х 1 х 7 х 1

Здесь, опять же, второе и последнее измерения b будут переданы так, чтобы соответствовать размерам a до 4 и 5. Кроме того, третье измерение a будет передано так, чтобы соответствовать размеру b до 7.

Следовательно, результат = 3 х 4 х 7 х 5

Теперь давайте посмотрим, когда условие не выполняется:

Пример 4:

а = 3 х 4 х 7 х 5

б = 3 х 3 х 7 х 4

Здесь второе и четвертое измерения b не совпадают с a и не равны 1. В этом случае Python выдаст ошибку значения:

Пример 5:

а = 3 х 4 х 1 х 5

б = 3 х 2 х 3

Результат: Валуееррор

Здесь также второе измерение не совпадает и не равно 1 ни для одного из них.

Прежде чем ты уйдешь

Векторизация и вещание — это методы, с помощью которых Numpy оптимизирует и делает обработку более эффективной. Эти концепции следует помнить, особенно при работе с матрицами и n-мерными массивами, которые очень распространены в данных изображений и нейронных сетях.

Если вам интересно узнать о python и науке о данных, ознакомьтесь с дипломом PG IIIT-B и upGrad по науке о данных, который создан для работающих профессионалов и предлагает более 10 тематических исследований и проектов, практические семинары, наставничество с отраслевыми экспертами, Индивидуальные встречи с отраслевыми наставниками, более 400 часов обучения и помощь в трудоустройстве в ведущих фирмах.