Algèbre linéaire pour l'apprentissage automatique : concepts critiques, pourquoi apprendre avant le ML

L'apprentissage automatique, la robotique, la science des données, l'intelligence artificielle et la vision par ordinateur font partie des domaines qui ont contribué à amener notre technologie au niveau où elle se trouve actuellement. Au fur et à mesure que vous commencerez à acquérir plus de connaissances sur ces technologies, vous rencontrerez un ensemble de jargons ou de mots spécifiques communs à ces technologies.

Certains de ces termes incluent la régression au lasso, les conditions KKT, l'ACP du noyau, les machines à vecteurs de support (SVM), les multiplicateurs de Lagrange et la régression de crête, entre autres. Maintenant, ces jargons peuvent être inventés juste pour éloigner les étrangers, mais ils en disent long sur leur association avec l'algèbre linéaire typique que nous connaissons depuis nos jours à l'école.

Ainsi, il devient impératif pour chaque individu qui apprend l'apprentissage automatique ou la science des données de comprendre d'abord ce que sont l'algèbre linéaire et la théorie de l'optimisation. Vous devez également apprendre la science des données et savoir comment les utiliser pour résoudre des problèmes à l'aide de ML ou pour mieux comprendre les énormes données disponibles à l'aide de la science des données.

Dans ce blog, nous nous concentrerons sur la façon dont l'apprentissage automatique et l'algèbre linéaire sont liés et comment une meilleure compréhension de ce dernier peut vous aider à maîtriser le premier.

Il existe des concepts d'apprentissage automatique, tels que SVM et la régression, que vous ne pourrez pas comprendre correctement si vous n'êtes pas conscient de leur connexion à l'algèbre linéaire. Vous pouvez aller sans approfondir l'algèbre linéaire et son association avec l'apprentissage automatique si vous ne faites que parcourir ces concepts pour savoir ce qu'ils sont réellement et que vous n'avez aucune envie de poursuivre leur étude plus avant.

Cependant, si vous envisagez de devenir un ingénieur en apprentissage automatique qui va former des machines à l'avenir ou faire des recherches et apporter des contributions significatives dans le domaine, vous devrez creuser profondément. Il n'y a pas d'autre alternative. Avoir une solide expérience en algèbre linéaire est indispensable. Notre objectif principal en écrivant ce blog est de vous présenter les principes fondamentaux de l'algèbre linéaire, en veillant à ce que nous présentions comment ils sont utilisés dans l'apprentissage automatique. Commençons par comprendre ce qu'est exactement l'algèbre linéaire.

Qu'est-ce que l'algèbre linéaire ?

En termes simples, c'est une branche des mathématiques qui trouve des applications importantes en ingénierie et en sciences. Bien qu'il revête une telle importance et ait des applications qui vont bien au-delà de notre imagination, nous voyons nos scientifiques à la traîne lorsqu'il s'agit d'en avoir une compréhension plus approfondie. La principale raison derrière cela est que ce ne sont pas les mathématiques discrètes que la plupart des scientifiques utilisent fréquemment.

Il appartient à la partie continue des mathématiques, ce qui le rend moins intéressant pour les scientifiques et les personnes travaillant dans le domaine technologique. Maintenant, précisons une chose. Si vous n'avez même pas une compréhension de base du fonctionnement de l'algèbre linéaire, il vous sera très difficile d'apprendre et d'utiliser plusieurs algorithmes d'apprentissage automatique, y compris ceux d'apprentissage en profondeur.

Lorsque vous en aurez fini avec le fonctionnement fondamental de l'apprentissage automatique et comment et où vous pouvez utiliser ses algorithmes, vous devrez alors consacrer un peu plus de temps à l'apprentissage des mathématiques. Cela vous aidera à comprendre beaucoup de nouvelles choses sur les algorithmes d'apprentissage automatique que vous ne connaissiez pas auparavant. Vous en saurez beaucoup sur leurs limites, les hypothèses sous-jacentes, etc.

Vous allez maintenant rencontrer différents domaines des mathématiques que vous étudiez à ce stade pour apprendre à en faire plus avec l'apprentissage automatique. Vous pouvez étudier la géométrie, l'algèbre, le calcul et les statistiques, entre autres sujets ; cependant, vous devez être sage ici et sélectionner le domaine qui, selon vous, va vraiment vous aider à enrichir votre expérience et vous fournir une base plus solide à mesure que vous progressez dans votre carrière en apprentissage automatique. Vous pouvez même demander à des experts de vous aider à prendre une décision.

La prochaine question que vous vous poserez maintenant sera de savoir comment vous devez vous y prendre pour ce processus d'apprentissage. Vous ne pouvez pas étudier l'algèbre linéaire à partir de zéro. Vous devrez choisir des sujets qui sont utilisés dans l'apprentissage automatique d'une manière ou d'une autre. Dans la section suivante, nous allons discuter de quelques-uns de ces sujets d'algèbre linéaire que vous pouvez choisir d'étudier.

En savoir plus : Top 5 des modèles d'apprentissage automatique expliqués aux débutants

Concepts importants d'algèbre linéaire

Il est très important d'avoir une connaissance suffisante de quelques concepts d'algèbre linéaire si vous cherchez à comprendre les concepts sous-jacents à l'apprentissage automatique. Si vous ne connaissez pas les mathématiques derrière ces algorithmes avancés d'apprentissage automatique, vous ne pouvez pas souhaiter les maîtriser. Voici quelques concepts d'algèbre linéaire que vous devez connaître pour savoir comment fonctionne l'apprentissage automatique.

1. Vecteurs et matrice

Il ne sera pas faux de dire que ces deux concepts sont sans doute les deux plus importants que vous devez apprendre compte tenu de leur étroite allégeance à l'apprentissage automatique. Les vecteurs consistent en un tableau de nombres tandis qu'une matrice comprend des vecteurs 2D qui sont généralement mentionnés en majuscules.

Voyons maintenant comment ils sont liés aux algorithmes d'apprentissage automatique. Les vecteurs se trouvent utiles dans les algorithmes d'apprentissage automatique supervisé où ils sont présents sous la forme de variables cibles. D'autre part, les caractéristiques disponibles dans les données forment la matrice. Vous pouvez effectuer un certain nombre d'opérations à l'aide de la matrice - conjugaison, multiplication, rang, transformation et autres. Deux vecteurs ayant le même nombre d'éléments et la même égalité de forme peuvent également être utilisés pour effectuer une soustraction et une addition.

2. Matrice symétrique

La matrice symétrique est importante à la fois en algèbre linéaire et en apprentissage automatique. Les matrices d'algèbre linéaire sont principalement utilisées pour transporter des fonctions. La plupart du temps, ces fonctions sont symétriques, de même que les matrices qui leur correspondent. Ces fonctions et les valeurs qu'elles contiennent peuvent être utilisées pour mesurer la distance des entités. Ils peuvent également être utilisés pour mesurer la covariance des caractéristiques. Voici quelques propriétés des matrices symétriques :

• Les matrices symétriques et leur inverse sont toutes deux symétriques.
• Toutes les valeurs des valeurs propres sont des nombres réels. Aucun nombre complexe n'est présent.
• Une matrice symétrique est formée lorsqu'une matrice est multipliée par sa transposée.
• Les matrices symétriques possèdent également la propriété de factorisation.
• Pour les matrices qui ont des colonnes linéairement indépendantes, le résultat lorsque la matrice est multipliée par sa transposée est inversible.

3. Valeurs propres et vecteur propre

Les vecteurs propres sont des vecteurs qui ne changent que par un facteur scalaire, et il n'y a aucun changement dans leur direction. La valeur propre correspondant aux vecteurs propres est la grandeur par laquelle ils sont mis à l'échelle. Les valeurs propres et les vecteurs propres se trouvent dans les principes fondamentaux des mathématiques et de l'informatique. Lorsque nous traçons un vecteur sur un graphique XY, il suit une direction spécifique. Lorsque nous appliquons la transformation linéaire sur quelques vecteurs, nous constatons qu'ils ne changent pas de direction. Ces vecteurs sont très importants en apprentissage automatique.

Les valeurs propres et les vecteurs propres sont utilisés pour minimiser le bruit des données. Nous pouvons également utiliser les deux pour améliorer l'efficacité des tâches connues pour être intensives en calcul. Ils peuvent également être utilisés pour éliminer le surajustement. Il existe également plusieurs autres scénarios dans lesquels les valeurs propres et les vecteurs propres s'avèrent utiles.

Il est assez difficile de visualiser les caractéristiques des données sonores, textuelles ou images. Ces données sont généralement représentées en 3-D. C'est là que les valeurs propres et les vecteurs propres entrent en jeu. Ils peuvent être utilisés pour capturer toute l'énorme quantité de qui est stockée dans une matrice. Les valeurs propres et les vecteurs propres sont également utilisés dans la reconnaissance faciale.

Lire : Idées de projets d'apprentissage automatique pour les débutants

4. Analyse en composantes principales (ACP)

Il arrive souvent que la dimensionnalité rende les choses difficiles lorsqu'il s'agit de résoudre certains problèmes d'apprentissage automatique. Dans ces problèmes, nous avons affaire à des données dont les caractéristiques ont une très forte corrélation entre elles et sont dans une dimension plus élevée que d'habitude.

Le problème qui ressort de ce problème de dimensionnalité est qu'il devient très difficile de comprendre l'influence que chaque caractéristique a sur la variable cible. Il en est ainsi parce que les caractéristiques avec une corrélation plus élevée que la normale ont tendance à influencer la cible de la même manière. Il est également très difficile de visualiser des données qui se trouvent dans une dimension supérieure.

L'analyse en composantes principales est la solution à ces problèmes. Il vous aide à réduire la dimension de vos données en 2D ou 3D. Ceci est fait en s'assurant qu'aucune information n'est perdue en raison de changements dans la variance maximale. Les mathématiques derrière l'ACP se rapportent à l'orthogonalité. L'ACP est la meilleure méthode disponible pour rendre le modèle moins complexe en réduisant le nombre d'entités dans l'ensemble de données.

Cependant, vous devez éviter de l'utiliser comme étape initiale pour éliminer le surajustement. Vous devez commencer par limiter le nombre d'entités dans les données ou augmenter la quantité de données. Vous devriez alors essayer d'utiliser la régularisation L1 ou L2. Si rien ne fonctionne, vous devez alors vous tourner vers PCA.

Lisez également: Top 9 des bibliothèques d'apprentissage automatique que vous devriez connaître

Pourquoi devriez-vous apprendre l'algèbre linéaire avant l'apprentissage automatique ?

1. L'algèbre linéaire est la clé pour exceller dans l'apprentissage automatique

Il est indéniable que le calcul l'emporte sur l'algèbre linéaire en matière de mathématiques avancées. Le calcul intégral et différentiel vous aide bien plus que simplement avec l'intégration, la différenciation et les limites, ils servent également de connaissances fondamentales requises pour les applications, telles que les tenseurs et les vecteurs.

Apprendre ces choses vous aidera à mieux comprendre les équations linéaires et les fonctions linéaires, entre autres domaines. Vous connaîtrez également des concepts avancés, tels que la méthode Simplex et les vecteurs spatiaux. Si vous avez besoin d'aide pour la programmation linéaire, vous pouvez utiliser la méthode Simplex. Pour progresser dans ces concepts, commencez par donner plus de temps à l'algèbre linéaire.

2. Prédiction d'apprentissage automatique

Lorsque vous apprenez l'algèbre linéaire, vous améliorez la conscience ou l'instinct qui joue un rôle si important dans l'apprentissage automatique. Vous pourrez maintenant fournir plus de perspectives. Les matrices et les vecteurs que vous avez étudiés vous aideront à élargir votre réflexion et à la rendre plus inébranlable. Les possibilités sont infinies. Vous pourriez commencer à faire des choses que les autres autour de vous auront du mal à comprendre. Vous pouvez commencer à visualiser et à configurer différents graphiques. Vous pouvez commencer à utiliser plus de paramètres pour différents composants d'apprentissage automatique.

3. L'algèbre linéaire aide à créer de meilleurs algorithmes d'apprentissage automatique

Vous pouvez utiliser votre apprentissage de l'algèbre linéaire pour créer de meilleurs algorithmes d'apprentissage automatique supervisés et non supervisés. La régression logistique, la régression linéaire, les arbres de décision et les machines à vecteurs de support (SVM) sont quelques algorithmes d'apprentissage supervisé que vous pouvez créer à partir de zéro à l'aide de l'algèbre linéaire.

D'autre part, vous pouvez également l'utiliser pour des algorithmes non supervisés, y compris la décomposition en valeur unique (SVD), le clustering et l'analyse des composants. L'algèbre linéaire vous aidera à développer une compréhension plus approfondie du projet d'apprentissage automatique sur lequel vous travaillez, et vous donnera ainsi la possibilité de personnaliser différents paramètres. Vous pouvez en savoir plus sur la régression linéaire dans l'apprentissage automatique.

4. Algèbre linéaire pour un meilleur traitement graphique en machine learning

Les projets d'apprentissage automatique vous offrent différentes interprétations graphiques sur lesquelles travailler - images, audio, vidéo et détection des contours. Les algorithmes d'apprentissage automatique ont des classificateurs qui forment une partie de l'ensemble de données donné en fonction de leurs catégories. Une autre tâche des classificateurs consiste à supprimer les erreurs des données déjà formées.

C'est à ce stade que l'algèbre linéaire entre en jeu pour aider à calculer cet ensemble de données complexe et volumineux. Il utilise des techniques de décomposition matricielle pour traiter et gérer des données volumineuses pour différents projets. Les méthodes de décomposition de matrice les plus populaires sont la décomposition QR et LU.

5. Algèbre linéaire pour améliorer votre vision des statistiques

Les statistiques sont très importantes pour organiser et intégrer les données dans l'apprentissage automatique. Si vous voulez mieux comprendre les concepts statistiques, vous devez d'abord savoir comment fonctionne l'algèbre linéaire. L'algèbre linéaire a des méthodes, des opérations et des notations qui peuvent aider à intégrer des sujets statistiques avancés comme l'analyse multivariée dans votre projet.

Supposons que vous travaillez sur des données patient comprenant le poids, la taille, la tension artérielle et la fréquence cardiaque. Ce sont les multiples variables de l'ensemble de données sur lequel vous travaillez. Faisons ici l'hypothèse qu'une augmentation de poids entraînera une augmentation de la pression artérielle. Il n'est pas trop difficile de comprendre qu'il s'agit d'une relation linéaire. Donc, pour mieux comprendre comment une augmentation d'une variable affecte l'autre, vous devrez avoir une bonne compréhension de l'algèbre linéaire.

Conclusion

L'apprentissage automatique en soi est un sujet assez vaste; cependant, il existe d'autres concepts, comme l'algèbre linéaire, qui sont aussi importants à apprendre que le ML lui-même. L'apprentissage de l'algèbre linéaire et d'autres sujets similaires aidera à mieux comprendre les concepts de l'apprentissage automatique.

Si vous souhaitez en savoir plus sur l'apprentissage automatique, consultez le diplôme PG en apprentissage automatique et IA de IIIT-B & upGrad, conçu pour les professionnels en activité et offrant plus de 450 heures de formation rigoureuse, plus de 30 études de cas et missions, IIIT- Statut B Alumni, plus de 5 projets de synthèse pratiques et aide à l'emploi avec les meilleures entreprises.