Линейная алгебра для машинного обучения: важные концепции, зачем учиться до машинного обучения

Машинное обучение, робототехника, наука о данных, искусственный интеллект и компьютерное зрение — вот те области, которые сыграли важную роль в доведении наших технологий до того уровня, на котором они находятся сейчас. Когда вы начнете получать больше знаний об этих технологиях, вы столкнетесь с набором жаргонов или конкретных слов, которые являются общими для этих технологий.

Некоторые из этих терминов включают, среди прочего, регрессию лассо, условия KKT, PCA ядра, машины опорных векторов (SVM), множители Лагранжа и регрессию гребня. Эти жаргоны могут быть придуманы только для того, чтобы отпугнуть посторонних, но они многое говорят о своей связи с типичной линейной алгеброй, которую мы знаем со времен учебы в школе.

Таким образом, каждому человеку, изучающему машинное обучение или науку о данных, необходимо сначала разобраться с тем, что такое линейная алгебра и теория оптимизации. Вам также необходимо изучать науку о данных и знать, как их использовать при решении проблем с использованием машинного обучения или при понимании огромных данных, доступных с помощью науки о данных.

В этом блоге мы сосредоточимся на том, как связаны машинное обучение и линейная алгебра и как лучшее понимание последней может помочь вам освоить первую.

В машинном обучении есть концепции, такие как SVM и регрессия, которые вы не сможете правильно понять, если не знаете об их связи с линейной алгеброй. Вы можете не углубляться в линейную алгебру и то, как она связана с машинным обучением, если вы просто изучаете эти концепции, чтобы узнать, что они собой представляют на самом деле, и у вас нет желания продолжать их изучение.

Однако, если вы планируете стать инженером по машинному обучению, который собирается обучать машины в будущем или проводить исследования и вносить значительный вклад в эту область, вам придется копать глубже. Другой альтернативы нет. Наличие твердого фона в линейной алгебре является обязательным. Наша основная цель написания этого блога — представить вам основы линейной алгебры, гарантируя, что мы представляем, как они используются в машинном обучении. Давайте начнем с понимания того, что такое линейная алгебра.

Что такое линейная алгебра?

Проще говоря, это раздел математики, который находит важные приложения в технике и науке. Хотя она имеет такое большое значение и ее применение выходит далеко за рамки нашего воображения, мы видим, что наши ученые отстают, когда дело доходит до более глубокого ее понимания. Основная причина этого заключается в том, что большинство ученых часто используют не дискретную математику.

Она относится к непрерывной части математики, что делает ее менее интересной для ученых и людей, работающих в области технологий. Теперь давайте проясним одну вещь. Если у вас нет даже базового понимания того, как работает линейная алгебра, вам будет очень сложно изучить и использовать несколько алгоритмов машинного обучения, включая алгоритмы глубокого обучения.

Когда вы закончите с тем, как работает машинное обучение и как и где вы можете использовать его алгоритмы, вам потребуется уделить немного больше времени изучению математики. Это поможет вам понять много нового об алгоритмах машинного обучения, чего вы раньше не знали. Вы узнаете много об их ограничениях, лежащих в их основе предположениях и многом другом.

Теперь вы столкнетесь с различными областями математики, которые вы изучаете на этом этапе, чтобы научиться делать больше с помощью машинного обучения. Вы можете изучать геометрию, алгебру, исчисление и статистику среди других тем; тем не менее, вам нужно проявить мудрость и выбрать область, которая, по вашему мнению, действительно поможет вам обогатить свой опыт и обеспечит более прочную основу, когда вы продвигаетесь вперед в своей карьере машинного обучения. Вы даже можете попросить экспертов помочь вам принять решение.

Следующий вопрос, который вы сейчас зададите себе, будет заключаться в том, как вам следует проходить этот процесс обучения. Вы не можете изучать линейную алгебру с нуля. Вам придется выбирать темы, которые так или иначе используются в машинном обучении. В следующем разделе мы собираемся обсудить некоторые из тех тем линейной алгебры, которые вы можете выбрать для изучения.

Узнайте больше: 5 лучших моделей машинного обучения для начинающих

Важные концепции линейной алгебры

Очень важно иметь достаточные знания о нескольких концепциях линейной алгебры, если вы хотите понять основные концепции машинного обучения. Если вы не знаете математику, стоящую за этими продвинутыми алгоритмами машинного обучения, вы не можете захотеть овладеть ими. Вот несколько концепций линейной алгебры, которые вам нужно изучить, чтобы понять, как работает машинное обучение.

1. Векторы и матрица

Не будет ошибкой сказать, что эти две концепции, возможно, являются двумя наиболее важными, которые вам необходимо изучить, учитывая их тесную связь с машинным обучением. Векторы состоят из массива чисел, а матрица состоит из двумерных векторов, которые обычно упоминаются в верхнем регистре.

Теперь давайте посмотрим, как они связаны с алгоритмами машинного обучения. Векторы оказываются полезными в алгоритмах машинного обучения с учителем, где они представлены в виде целевых переменных. С другой стороны, функции, доступные в данных, образуют матрицу. С матрицей можно выполнять ряд операций — сопряжение, умножение, ранжирование, преобразование и другие. Два вектора, имеющие одинаковое количество элементов и одинаковые формы, также могут использоваться для выполнения вычитания и сложения.

2. Симметричная матрица

Симметричная матрица важна как в линейной алгебре, так и в машинном обучении. Матрицы линейной алгебры в основном используются для переноса функций. В большинстве случаев эти функции симметричны, как и соответствующие им матрицы. Эти функции и значения, которые они содержат, можно использовать для измерения расстояния между объектами. Их также можно использовать для измерения ковариации признаков. Ниже перечислены некоторые свойства симметричных матриц:

• Симметричные матрицы и их обратные симметричны.
• Все значения в собственных значениях являются действительными числами. Комплексных чисел нет.
• Симметричная матрица образуется при умножении матрицы на ее транспонирование.
• Симметричные матрицы также обладают свойством факторизации.
• Для матриц с линейно независимыми столбцами результат умножения матрицы на ее транспонирование обратим.

3. Собственные значения и собственный вектор

Собственные векторы - это векторы, которые изменяются только на скалярный коэффициент, и их направление вообще не меняется. Собственное значение, соответствующее собственным векторам, представляет собой величину, на которую они масштабируются. Собственные значения и собственные векторы можно найти в основах математики и вычислительной техники. Когда мы наносим вектор на график XY, он следует определенному направлению. Когда мы применяем линейное преобразование к нескольким векторам, мы видим, что они не меняют своего направления. Эти векторы очень важны в машинном обучении.

Собственные значения и собственные векторы используются для минимизации шума данных. Мы также можем использовать их для повышения эффективности задач, которые, как известно, требуют больших вычислительных ресурсов. Их также можно использовать для устранения переобучения. Есть также несколько других сценариев, в которых собственные значения и собственные векторы оказываются полезными.

Довольно сложно визуализировать особенности звуковых, текстовых или графических данных. Эти данные обычно представлены в 3D. Здесь на помощь приходят собственные значения и собственные векторы. Их можно использовать для захвата всего огромного количества того, что хранится в матрице. Собственные значения и собственные векторы также используются в распознавании лиц.

Читайте: Идеи проекта машинного обучения для начинающих

4. Анализ основных компонентов (PCA)

Во многих случаях размерность усложняет задачу, когда дело доходит до решения определенных задач машинного обучения. В этих задачах мы имеем дело с данными, признаки которых имеют очень высокую корреляцию между собой и находятся в более высокой размерности, чем обычно.

Проблема, возникающая с этой проблемой размерности, заключается в том, что становится очень трудно понять влияние, которое каждая функция оказывает на целевую переменную. Это связано с тем, что функции с более высокой корреляцией, чем обычно, имеют тенденцию влиять на цель таким же образом. Также очень сложно визуализировать данные, находящиеся в более высоком измерении.

Анализ главных компонент является решением этих проблем. Это поможет вам сократить измерение данных до 2-D или 3-D. Это делается для того, чтобы никакая информация не была потеряна из-за изменений максимальной дисперсии. Математика PCA связана с ортогональностью. PCA — лучший доступный метод сделать модель менее сложной за счет уменьшения количества признаков в наборе данных.

Однако вам следует избегать его использования в качестве начального шага для устранения переобучения. Вы должны начать с ограничения количества признаков в данных или увеличения количества данных. Затем вам следует попробовать использовать регуляризацию L1 или L2. Если ничего не работает, только тогда вам следует обратиться к PCA.

Читайте также: 9 лучших библиотек машинного обучения, о которых вы должны знать

Почему вы должны изучать линейную алгебру перед машинным обучением?

1. Линейная алгебра — ключ к успеху в машинном обучении

Нельзя отрицать тот факт, что исчисление превосходит линейную алгебру, когда речь идет о высшей математике. Интегральное и дифференциальное исчисление помогают вам гораздо больше, чем просто с интегрированием, дифференцированием и ограничениями, они также служат фундаментальными знаниями, необходимыми для приложений, таких как тензоры и векторы.

Изучение этих вещей поможет вам лучше понять линейные уравнения и линейные функции среди других областей. Вы также узнаете о передовых концепциях, таких как симплекс-метод и пространственные векторы. Если вам нужна помощь в линейном программировании, вы можете использовать симплекс-метод. Чтобы лучше усвоить эти понятия, начните с того, что уделите больше времени линейной алгебре.

2. Прогнозирование машинного обучения

Когда вы изучаете линейную алгебру, вы улучшаете понимание или инстинкт, который играет такую ​​важную роль в машинном обучении. Теперь вы сможете предоставить больше перспектив. Матрицы и векторы, которые вы изучили, помогут вам расширить ваше мышление и сделать его более непоколебимым. Возможности безграничны. Вы можете начать делать то, что окружающим будет очень трудно понять. Вы можете начать визуализацию и настройку различных графиков. Вы можете начать использовать больше параметров для различных компонентов машинного обучения.

3. Линейная алгебра помогает создавать лучшие алгоритмы машинного обучения.

Вы можете использовать свои знания линейной алгебры для создания более качественных алгоритмов машинного обучения как с учителем, так и без учителя. Логистическая регрессия, линейная регрессия, деревья решений и машины опорных векторов (SVM) — это несколько алгоритмов обучения с учителем, которые вы можете создать с нуля с помощью линейной алгебры.

С другой стороны, вы также можете использовать его для неконтролируемых алгоритмов, включая декомпозицию по одному значению (SVD), кластеризацию и анализ компонентов. Линейная алгебра поможет вам глубже понять проект машинного обучения, над которым вы работаете, и, таким образом, даст вам возможность настраивать различные параметры. Вы можете узнать больше о линейной регрессии в машинном обучении.

4. Линейная алгебра для лучшей обработки графики в машинном обучении

Проекты машинного обучения предоставляют вам различные графические интерпретации для работы — изображения, аудио, видео и обнаружение границ. Алгоритмы машинного обучения имеют классификаторы, которые обучают часть заданного набора данных на основе их категорий. Другая задача классификаторов — избавиться от ошибок в уже обученных данных.

Именно на этом этапе линейная алгебра помогает вычислить этот сложный и большой набор данных. Он использует методы матричной декомпозиции для обработки и обработки больших данных для различных проектов. Наиболее популярными методами декомпозиции матриц являются QR- и LU-декомпозиция.

5. Линейная алгебра для улучшения вашего взгляда на статистику

Статистика очень важна для организации и интеграции данных в машинном обучении. Если вы хотите лучше понять статистические концепции, вам нужно сначала узнать, как работает линейная алгебра. В линейной алгебре есть методы, операции и обозначения, которые могут помочь интегрировать в ваш проект расширенные статистические темы, такие как многомерный анализ.

Предположим, вы работаете с данными пациента, которые включают вес, рост, артериальное давление и частоту сердечных сокращений. Это несколько переменных набора данных, над которым вы работаете. Сделаем здесь предположение, что увеличение веса приведет к повышению артериального давления. Нетрудно понять, что это линейная зависимость. Поэтому, чтобы лучше понять, как увеличение одной переменной влияет на другую, вам нужно хорошо разбираться в линейной алгебре.

Заключение

Машинное обучение само по себе — довольно обширная тема; однако есть и другие концепции, такие как линейная алгебра, изучение которых так же важно, как и само машинное обучение. Изучение линейной алгебры и других подобных тем поможет лучше понять концепции машинного обучения.

Если вам интересно узнать больше о машинном обучении, ознакомьтесь с дипломом PG IIIT-B и upGrad в области машинного обучения и искусственного интеллекта, который предназначен для работающих профессионалов и предлагает более 450 часов тщательного обучения, более 30 тематических исследований и заданий, IIIT- Статус B Alumni, более 5 практических практических проектов и помощь в трудоустройстве в ведущих фирмах.