Ewolucja modelowania języka we współczesnym życiu

W jaki sposób modelowanie języka, które powstało w połowie ubiegłego wieku, stało się integralną częścią sztucznej inteligencji o praktycznym zastosowaniu we współczesnym życiu? W jaki sposób ta mieszanka sztucznej inteligencji i lingwistyki komputerowej stała się rdzeniem naszego świata? Przejdźmy przez koncepcję przetwarzania języka naturalnego (NLP) i jego popularnych aplikacji, takich jak chatboty, polecenia głosowe i wirtualni asystenci, tacy jak Asystent Google, Siri, Cortana i Alexa firmy Amazon.

Co to jest NLP?

Krótko mówiąc, NLP pomaga komputerom rozumieć, interpretować i wykorzystywać ludzki język, a także umożliwia pełną komunikację w bardziej zniuansowany sposób. NLP czerpie z różnych dyscyplin, w tym lingwistyki i informatyki, i zapewnia komputerom możliwość czytania tekstu, słyszenia mowy i interpretacji ogromnej ilości danych. Od lat pięćdziesiątych ewoluował i stał się częścią naszego codziennego życia. Prawdopodobnie nadal będzie dostarczać standardowe i innowacyjne rozwiązania typowych problemów, redukując czas, wysiłek ludzki i koszty.

Historia NLP

Alan Turing , ekspert w dziedzinie informatyki teoretycznej i sztucznej inteligencji, po raz pierwszy wpadł na pomysł przetwarzania języka naturalnego w latach 50. XX wieku. Napisał artykuł wyjaśniający test na maszynę, w którym stwierdził, że skoro maszyna może być częścią rozmowy przy użyciu teledrukarki, to można ją również nauczyć naśladowania człowieka. Powtarzające się wzorce pozwoliłyby maszynie nauczyć się tego aktu, po czym można by ją uznać za zdolną do myślenia.

W 1954 roku eksperyment przeprowadzony przez Georgetown University i IBM usiłował automatycznie przetłumaczyć sześć rosyjskich zdań na angielski, zasiewając ziarno nadziei, że tłumaczenie maszynowe będzie możliwe w krótkim czasie. Jednak dopiero pod koniec lat 80. opracowano pierwszy system statystycznego tłumaczenia maszynowego (tłumaczenia generowane za pomocą modelu statystycznego). W latach pięćdziesiątych i osiemdziesiątych poczyniono postępy w budowaniu innych programów języka naturalnego.

Spośród nich ELIZA zajęła centralne miejsce w połowie lat 60. XX wieku. Był to program komputerowy opracowany w Laboratorium Sztucznej Inteligencji MIT przez Josepha Weizenbauma w celu wyjaśnienia powierzchowności komunikacji między ludźmi a maszynami. Okazało się, że komunikacja z maszynami nie obejmowała wydarzeń kontekstualizujących, a jedynie przebiegała zgodnie ze scenariuszem. Jednak użytkownicy przypisywali programowi ludzkie uczucia. ELIZA utorowała drogę do tego, co obecnie znamy jako chatboty (znane również jako chatterboty), które ewoluowały z biegiem czasu.

Lata siedemdziesiąte były dekadą tworzenia uporządkowanych informacji ze świata rzeczywistego w postaci danych zrozumiałych dla komputera oraz wielu programów ulepszonych w oparciu o dostępną technologię. Godne uwagi to PARRY (chatbot z 1972 r. z reakcjami emocjonalnymi), a później Racter (chatbot z przymrużeniem oka stworzony w 1984 r.) i Jabberwacky (czatbot wymyślony w 1988 r., którego celem było symulowanie ludzkiej rozmowy w zabawny sposób).

Lata 80. były rewolucyjne w przetwarzaniu języka naturalnego, kiedy do przetwarzania języka wykorzystano algorytmy uczenia maszynowego. Nastąpił gwałtowny wzrost mocy obliczeniowej i stopniowe uproszczenie językoznawstwa. Dzięki drzewom decyzyjnym, znakowaniu mowy i skupieniu się na modelach statystycznych, modelach języka pamięci podręcznej i rozpoznawaniu mowy wyniki stały się bardziej wiarygodne.

Wczesne sukcesy uczenia maszynowego można przypisać firmie IBM Research, gdzie sukcesywnie opracowywano coraz bardziej skomplikowane modele statystyczne, w tym tłumaczenie wszystkich postępowań rządowych na wszystkie języki urzędowe Kanady i Unii Europejskiej.

XXI wiek przyniósł uczenie reprezentacji (automatyczne uczenie funkcji) i metody uczenia maszynowego w stylu sieci neuronowych, aby osiągnąć najnowocześniejsze wyniki. Obejmuje to osadzanie słów w celu przechwytywania semantyki oraz pytań i odpowiedzi wyższego poziomu, co daje początek neuronowemu tłumaczeniu maszynowemu (NMT), które wykorzystuje sztuczną sieć neuronową do przewidywania sekwencji słów, modelując całe zdanie w jednym zintegrowanym modelu.

W ciągu ostatnich dwóch dekad NLP zbadało więcej modeli języka neuronowego, uczenie się wielozadaniowe, osadzanie słów, bardziej zaawansowane sieci neuronowe, modele sekwencja-sekwencja, sieci oparte na pamięci i wstępnie wytrenowane modele językowe. Ten postęp doprowadził do zastosowania takich aplikacji, jak inteligentne klawiatury i sugestie odpowiedzi na e-maile, a także wspomaganie głosowe przez maszyny.

Teraz następuje stopniowe przejście od przetwarzania języka naturalnego (NLP) do rozumienia języka naturalnego (NLU), w którym użytkownik mający ludzkie emocjonalne połączenie z maszynami nie będzie heretykiem.

Kodowanie a statystyczne NLP

Początkowo systemy przetwarzania języka były projektowane przez ręczne kodowanie, głównie poprzez pisanie gramatyki lub opracowywanie reguł heurystycznych. Jednak w połowie lat 80. zmieniło się to na uczenie maszynowe, które wykorzystywało wnioskowanie statystyczne do automatycznego uczenia się tych reguł poprzez analizę dużego zestawu przykładów ze świata rzeczywistego. Spowodowało to namacalną różnicę w szybkości i zrozumieniu systemów przetwarzania języka.

Procedury uczenia stosowane podczas uczenia maszynowego automatycznie skupiały się na najczęstszych przypadkach. Mogą wskazywać i poprawiać błędne dane wejściowe, błędnie napisane słowa i obsługiwać bardziej złożone zadania za pomocą algorytmów. To zmieniło zasady gry i doprowadziło do scenariusza, w którym NLP może być szeroko i skutecznie stosowane na skalę globalną.

To była długa droga do punktu, w którym indukcja gramatyczna, lematyzacja, segmentacja morfologiczna, tagowanie mowy, parsowanie, łamanie zdań, rdzeniowanie, segmentacja słów i ekstrakcja terminologii mogły zostać wykorzystane do stworzenia solidnych platform do korzystania z NLP.

Aplikacje NLP w prawdziwym życiu

1. Tłumaczenie maszynowe

NLP rozwinęło kilka punktów styku w naszym życiu, zwłaszcza w ostatniej dekadzie. Jedną z najpopularniejszych aplikacji jest tłumaczenie maszynowe , najlepiej znane jako Tłumacz Google . Opierając się na SMT (statystyczne tłumaczenie maszynowe, które odnosi się do tłumaczenia maszynowego generowanego na podstawie modeli statystycznych), Tłumacz Google nie dokonuje tłumaczenia słowo w słowo, ale przypisuje słowom wartość semantyczną, aby przetłumaczyć je w spójny sposób.

Jednak ze względu na nieodłączną niejednoznaczność i elastyczność w ludzkim języku, takie tłumaczenie nie jest całkowicie dokładne. Mimo to Tłumacz Google jest nadal najpopularniejszym narzędziem używanym do tłumaczenia podczas podróży, wypełniając lukę językową.

2. Rozpoznawanie mowy

Kolejny przykładowy i bliski przykład NLP. Programy do rozpoznawania mowy umożliwiają dekodowanie ludzkiego głosu, który może być używany w telefonii komórkowej, automatyce domowej, komputerach bez użycia rąk, pomocy wirtualnej, grach wideo i nie tylko. Najpopularniejsze zastosowanie tego w naszym codziennym życiu pojawiło się wraz z pojawieniem się Asystenta Google, Siri i Alexy firmy Amazon .

Jak to działa? W przypadku Asystenta Google mowa zamieniana jest na tekst za pomocą systemu Ukrytego Modelu Markowa (HMM). System HMM słucha 10–20-milisekundowych klipów wypowiadanych słów, wyszukuje fonemy i porównuje je z wcześniej nagraną mową. Po procesie rozumienia następuje identyfikacja języka i kontekstu.

System rozbija każde słowo na jego część mowy (rzeczownik, czasownik itp.), a następnie określa kontekst twoich rozkazów. Następnie klasyfikuje to polecenie i skutecznie wykonuje zadanie. Z drugiej strony Alexa działa trochę inaczej.

Za każdym razem, gdy coś mówisz, słowa wracają do serwera Amazon, aby je odszyfrować. System opiera się na ogromnej bazie danych słów i instrukcji do oceny i wykonania polecenia. Na przykład, jeśli Alexa wykryje słowa takie jak „pizza” lub „kolacja”, otworzy aplikację do jedzenia, a jeśli wykryje słowo „graj”, połączy się z opcjami muzycznymi.

3. Analiza nastrojów

Mówiąc o NLP, nie można zignorować analizy sentymentu . Jest to również znane jako eksploracja opinii lub sztuczna inteligencja emocji, która mierzy skłonność do opinii ludzi. Polega na identyfikacji subiektywnych informacji w tekście i ma szereg zastosowań. Monitorowanie marki i zarządzanie reputacją to najczęstsze zastosowanie analizy sentymentu w branżach.

Pozwala firmom śledzić postrzeganie marki, identyfikować trendy, nasłuchiwać wpływowych osób i ich wpływu, monitorować recenzje produktu lub usługi, wyszukiwać nowe pomysły i odmiany oraz odpowiednio dostosowywać strategie marketingowe. Oprócz postrzegania marki i opinii klientów, badania rynku to kolejny ważny obszar zastosowania analizy sentymentu.

Tworzenie i śledzenie treści generowanych przez użytkowników (recenzji), artykułów prasowych, treści konkurencji i wypełnianie luki w analizie rynku to często podzbiory analizy sentymentu. Zarządzanie reputacją i analiza produktów to kolejne zastosowanie analizy sentymentu stosowane w różnych branżach. Dzięki temu marki mogą uzyskać szczegółowe informacje zwrotne na temat swoich produktów.

Analiza sentymentu oparta na aspektach to kolejny sposób, w jaki marki mogą produktywnie wykorzystywać analizę sentymentu. Podejście oparte na analizie aspektowej umożliwia wyodrębnienie najbardziej opłacalnych punktów dotyczących opinii klientów. Biorąc pod uwagę te bogate informacje i analizy, marki są w stanie dostosować, odświeżyć i skierować komunikację oraz odpowiednio wprowadzić zmiany w produkcie lub usłudze.

4. Wirtualni Asystenci

Wirtualna pomoc przy pomocy bardziej dojrzałych chatbotów to współczesne podejście do szybkiej i efektywnej komunikacji z konsumentami. Zadania o niskim priorytecie, ale o dużym obrocie, które nie wymagają umiejętności, można łatwo zrealizować za pomocą chatbotów. Wzrasta zaufanie i popularność wśród użytkowników i programistów, gdy idziemy w kierunku szybkiej ewolucji inteligentnych chatbotów , które w niedalekiej przyszłości zaoferują spersonalizowaną pomoc dla klienta.

W rzeczywistości zastosowanie chatbotów skłoniło również specjalistów od marketingu do bardziej produktywnego korzystania z wirtualnej pomocy, tworząc nowe formaty reklam i komunikacji, które pasują do programów chatbotów.

5. Opieka zdrowotna

W świecie medycznym usługa podstawowej opieki zdrowotnej oparta na sztucznej inteligencji obejmuje rozwiązywanie wielu zadań NLP. Niektóre z obecnych przypadków użycia NLP w medycynie obejmują wyodrębnianie różnych jednostek medycznych, w tym objawów, chorób lub leczenia z dużej ilości informacji.

Odkrywanie wiedzy z nieustrukturyzowanych tekstów medycznych w celu rysowania wzorców i relacji jest niezwykle przydatne dla pracowników służby zdrowia. O ile NLP może być używany do rysowania informacji, może być również używany do przekazywania odpowiednich odpowiedzi i tworzenia funkcji autouzupełniania dla medycznie świadomego systemu komunikacji.

6. System e-mail

W 2017 r. Google wdrożyło SmartReply , swoją opartą na uczeniu maszynowym sprawność, aby odpowiadać na e-maile przy niewielkim wysiłku. Częścią tego jest szybsze pisanie, przewidywanie, sprawdzanie pisowni i gramatyki. Inteligentna odpowiedź skanuje tekst przychodzącej wiadomości i sugeruje trzy podstawowe odpowiedzi, które użytkownik może dostosować i wysłać, skracając czas poświęcony na proste lub przyziemne odpowiedzi.

Jest to całkowicie oparte na sieciach neuronowych wyszkolonych do analizowania wiadomości i przekształcania ich w kody numeryczne, które reprezentują ich znaczenie. W systemie pocztowym klasyfikacja wiadomości e-mail i wykrywanie spamu to inne sposoby, w jakie NLP uprościło nasze życie.

7. Zachowanie wyszukiwania

Zachowanie podczas wyszukiwania to kolejny aspekt wspierany przez NLP, z którym spotykamy się na co dzień. Wyszukiwarki używają NLP do wyświetlania trafnych wyników na podstawie podobnych zachowań wyszukiwania lub zamiarów użytkownika, dzięki czemu przeciętny użytkownik z łatwością znajduje to, czego potrzebuje. Na przykład Google nie tylko przewiduje, jakie popularne wyszukiwania mogą dotyczyć zapytania danej osoby, gdy zaczyna ona pisać, ale także analizuje cały obraz w sposób kompleksowy, pokazując odpowiednie styczne wyniki.

8. Cyfrowe połączenia telefoniczne

Cyfrowe rozmowy telefoniczne mogą wydawać się uciążliwą częścią dnia, kiedy przemawia do Ciebie nagrana głosowo wiadomość marketingowa, ale jest to świetne medium do dotarcia do dużej liczby osób i szybkiego rozwiązywania problemów. NLP umożliwia język generowany komputerowo zbliżony do głosu człowieka, który może zbierać informacje od konsumenta i wykonywać proste zadania, takie jak przekazywanie informacji i rezerwowanie terminu.

9. Inteligentne domy

Polecenia głosowe w samochodzie, takie jak zamykanie drzwi, opuszczanie szyb lub odtwarzanie określonej muzyki, to tylko niektóre z funkcji, które NLP udostępniło w branży motoryzacyjnej . Na arenie automatyzacji automatyka domowa jest również ściśle powiązana z NLP, gdzie komendy głosowe do zamykania lub otwierania rolet, świateł i urządzeń są podstawą „ inteligentnych domów”.

To tylko kilka z wielu zastosowań NLP, z którymi spotykamy się w naszym życiu. Punkty styku znajdują się w świecie biznesu, rozwoju osobistego, HR, sprzedaży, nauczania, medycyny, telekomunikacji, samochodów, infrastruktury, coachingu i wielu innych.

Co dalej?

NLP, choć wciąż rodzące się w porównaniu do big data i głębokiego uczenia się, jest powszechnie uważane za przyszłość obsługi klienta. Obiecuje, że dane będą bardziej przyjazne dla użytkownika i bardziej konwersacyjne, co sprawi, że staną się biegunem analizy biznesowej. Na przykład chatboty będą jeszcze bardziej wyrafinowane i zdrowe dzięki możliwości dekodowania złożonych i długich żądań w czasie rzeczywistym.

To, co prawdopodobnie zmieni się w odniesieniu do obecnych umiejętności NLP, to zniuansowane rozumienie języka. NLP przyszłości umożliwi zrozumienie subtelności i tonu języka oraz dostarczy przydatnej wiedzy i spostrzeżeń, które mogą znaleźć się w sferze raportów rocznych, transkrypcji rozmów, komunikacji wrażliwej dla inwestorów lub dokumentów prawnych i zgodności.

Rozszerzone wykorzystanie NLP można również zaobserwować w branży robotyki, opieki zdrowotnej, usług finansowych, motoryzacyjnej i infrastruktury, z punktami styku w codziennym użytkowaniu. NLP przyszłości będzie podstawą analityki w celu wzmocnienia i rozwoju firm na całym świecie.

Jeśli chcesz dowiedzieć się więcej o przetwarzaniu języka naturalnego, sprawdź nasz program PG Diploma in Machine Learning and AI, który jest przeznaczony dla pracujących profesjonalistów i zapewnia ponad 30 studiów przypadków i zadań, ponad 25 sesji mentoringu branżowego, ponad 5 praktycznych ćwiczeń projekty zwieńczenia, ponad 450 godzin rygorystycznych szkoleń i pomocy w pośrednictwie pracy w najlepszych firmach.