인공지능을 위한 능동학습 [종합안내]

인공 지능을 위한 능동 학습 개요

이 기사에서 우리는 능동적 학습의 기초와 인공 지능 세계에서의 관련성을 다룰 것입니다.

소개

머신 러닝에는 지도 학습과 비지도 학습의 두 가지 유형의 학습 방법이 있습니다. 지도 학습에서 우리는 모델에 각 훈련 샘플에 대한 레이블을 제공합니다. 모델은 훈련 데이터 샘플의 기능을 학습하고 해당 레이블에 매핑합니다.

출력은 특정 클래스에 속하는 테스트 샘플의 확률입니다. 그러나 비지도 학습에는 레이블이 필요하지 않으며 모델은 훈련 과정에서 학습한 일부 패턴이나 추세를 기반으로 테스트 샘플을 분류합니다.

이제 지도 학습에서는 이미지(입력으로 가정)와 주석이 필요합니다. 모델은 이미지와 해당 주석에 맞도록 충분히 최적화하여 이미지에서 학습할 수 있습니다.

그러나 실제로 모델이 테스트 샘플에서 매우 잘 수행되기 위해서는 과다한 이미지와 주석이 필요합니다. 이 문제를 해결하기 위해 많은 연구자들이 능동적 학습을 사용하였다.

동기 부여

많은 경우 일반적으로 수백만 개의 데이터를 사용할 수 있지만 모든 데이터에 주석을 추가하는 것은 실행 불가능하고 시간이 많이 걸립니다. 몇 가지 예는 다음과 같습니다.

1. 드론이 비행 중 녹화한 동영상
2. 수백만 개의 세포가 포함된 의료 이미지
3. 신호등 신호에서 CCTV 녹화

이러한 무거운 데이터를 처리하기 위해 주석에 사용할 수 있는 모든 데이터를 알려주고 어떤 샘플이 의미가 있는지 주석으로 알려주는 능동 학습이 사용됩니다.

기본 프로세스

ML 엔지니어/오라클 전문가는 레이블이 지정되지 않은 대규모 데이터 풀에 액세스할 수 있습니다. 예를 들어 고양이와 강아지 분류기를 만드는 것이 작업이라고 가정해 보겠습니다. 이제 이 전체 데이터 풀에서 엔지니어는 데이터의 20%만 학습하도록 선택하고(먼저 레이블 지정) 나머지 80%는 테스트 목적으로 사용합니다.

이것은 라운드 기반 방법입니다. 모든 반복에서 분류를 위해 테스트 이미지가 모델에 제공됩니다. 모델의 성능이 좋지 않거나 모델에 할당된 확률이 더 낮은 경우(예: 0.6) 전체 성능을 향상시키기 위해 이 샘플에 대해 모델을 훈련해야 합니다. 모델이 불확실하거나 확신할 수 없는 이미지에는 모델이 학습할 추가 정보가 포함되어 있습니다.

그런 다음 이 샘플에 레이블이 지정되고 훈련 샘플로 선택됩니다. 이 반복은 마지막 테스트 샘플까지 반복됩니다. 이런 식으로 우리는 주석을 달 가치가 있는 새로운 훈련 세트를 조립합니다. 모델은 새로 수집된 선택적 훈련 데이터에 대해 훈련되어 전체 훈련 시간을 줄입니다. 이것은 주석 세트가 끝날 때까지 반복됩니다.

주석 이미지를 선택하는 방법은 무엇입니까?

위에서 언급한 접근 방식은 주석을 위한 샘플을 선택하는 하나의 간단한 방법일 뿐입니다. 실제로는 다음과 같은 두 가지 방법이 사용되며 때로는 두 가지를 조합하기도 합니다.

1. 불확실성 기반 샘플링 : 모델이 불확실한 이미지 또는 모델에 의해 낮은 확률로 할당된 이미지.
2. 다양성 기반 샘플링 : 다양성을 나타내는 이미지, 즉 공간 표현, 스펙트럼 표현, 클래스 표현 등의 변형. 다양성이 많을수록 모델이 학습할 수 있는 정보가 늘어납니다.

데이터 샘플(이미지)을 입력으로 받아 우선 순위/순위 점수를 반환하는 함수를 획득 함수라고 합니다.

읽기: AI의 과제

공통 획득 기능

1. 최고 대 최고(BvSB)

이 방법은 주로 소수의 클래스(3~5)에 사용됩니다. 사용된 공식은 가장 높은 클래스와 두 번째로 높은 클래스의 확률 값을 고려합니다. y1과 y2는 모델 p에 의해 예측된 가장 높은 확률 값과 두 번째로 높은 확률 값을 나타냅니다. 주어진 샘플 x에 대해

기본적인 아이디어는 아래 방정식을 최소화하는 것입니다. 차이가 낮을수록 데이터 샘플 x에 포함된 정보가 더 많습니다.

간단한 이해를 위해 데이터 샘플에 포함된 클래스가 개, 고양이, 말 및 사자인 예를 가정합니다. 모델에 대한 입력이 개 이미지이고 개 클래스(가장 가능성이 높음)의 출력 확률이 0.6이고 고양이 클래스(두 번째로 가능성이 높음)의 출력 확률이 0.35인 첫 번째 시나리오를 고려하십시오.

나머지 0.5는 다른 두 클래스에 분배됩니다. 두 번째 시나리오에서 동일한 입력에 대해 상위 2개 클래스의 출력 확률은 0.7과 0.2입니다. 이제 두 시나리오에서 두 번째 시나리오에서 모델이 예측에 대해 더 확실하다는 것을 추론할 수 있습니다(0.7–0.2=0.5).

첫 번째 시나리오에서 모델은 예측과 관련하여 더 불확실합니다(0.6–0.35=0.25). 따라서 위의 방정식을 최소화하여 주석을 추가할 가치가 있는 데이터 샘플을 수집할 수 있습니다.

2. 엔트로피

BvSB는 더 적은 수의 클래스에 적합합니다. 그러나 클래스 수가 많으면 엔트로피가 획득 함수로 사용됩니다. 그 이유는 아래 공식은 나머지 클래스의 정보를 고려하기 때문입니다. 엔트로피는 불순물 또는 불균형의 척도입니다. 머신 러닝의 관점에서 모델의 불확실성의 척도로 정의할 수 있습니다. 엔트로피 값이 높다는 것은 클래스 연관에서 높은 불확실성을 나타냅니다.

엔트로피 방정식, 작성자 이미지

따라서 위의 방정식을 최대화하면 모델이 분류 작업에서 매우 불확실하거나 가장 덜 확신하는 이미지 샘플을 얻을 수 있습니다.

3. QBC 위원회 질의

랜덤 포레스트가 앙상블 학습을 사용하는 것처럼 여러 의사 결정 트리를 사용합니다. 유사하게, 데이터 샘플 x에 대한 불확실성은 다른 모델(다른 하이퍼파라미터 또는 시드를 가짐)의 앙상블에 대해 측정됩니다.

이를 통해 주어진 이미지에 대해 출력이 모델마다 많이 달라지면 모델이 이 이미지를 분류하는 데 익숙하지 않다는 의미입니다. 일반적으로 각 모델에서 가장 가능성이 높은 점수는 벡터에 누적됩니다. 이 벡터의 엔트로피가 계산됩니다. 다시 말하지만, 엔트로피가 높으면 이미지에 추가 레이블이 지정되고 주석이 추가됩니다.

한 발짝 앞으로

지금까지는 모델이 충분히 확실하지 않은 데이터 샘플을 사용했습니다. 그러나 모델이 매우 확실하거나 높은 확률 점수를 할당하는 샘플은 어떻습니까? 이제 그러한 샘플을 사용할 수 있다면 모델은 이미 학습한 기능에 대한 학습을 ​​향상시킵니다.

이런 식으로 학습을 연마하여 성능을 향상시킵니다. 대체로 엔지니어는 확률 점수가 0.9 이상인 데이터 샘플을 가져와 레이블을 지정할 수 있습니다. 이것은 추가로 주석을 달고 훈련 샘플로 제공할 수 있습니다.

이러한 방법의 동기는 기능에 대한 모델의 기존 학습을 개선하는 것입니다. 이러한 방식으로 ML 모델과 ML 엔지니어는 주석을 추가할 데이터 샘플을 효과적으로 도출하기 위해 서로 협력합니다. 이러한 기술을 협동 학습이라고 합니다.

더 읽어보기: AI의 미래 범위

결론

능동 학습 기술을 사용하여 실무자는 주석 및 레이블 지정에 소요되는 시간의 약 80%를 절약할 수 있습니다. 능동 학습의 장점은 모델의 학습 시간 감소와 효율적인 데이터 주석에만 국한되지 않습니다.

또한 단일 유형의 많은 샘플이 있어 모델이 편향되어 발생하는 과적합을 줄입니다.

기계 학습에 대해 자세히 알아보려면 IIIT-B 및 upGrad의 기계 학습 및 AI PG 디플로마를 확인하세요. 이 PG 디플로마는 일하는 전문가를 위해 설계되었으며 450시간 이상의 엄격한 교육, 30개 이상의 사례 연구 및 과제, IIIT- B 동문 자격, 5개 이상의 실용적인 실습 캡스톤 프로젝트 및 최고의 기업과의 취업 지원.