Text mining — możliwość dla biznesu

# Autonomous Enterprise

Text mining — jakie możliwość za sobą niesie dla biznesu?

29.09.2022

Analityka danych wszelkiej maści to dziś must – na niej stoi rozwój, ulepszanie procesów, możliwość dopasowania biznesu do faktycznych potrzeb i nastrojów rynku czy samych pracowników przedsiębiorstwa. Zwykle, kiedy myślimy o „analityce danych”, przychodzą nam do głowy formuły, liczby i dane systemowe, jednak w wielu tekstach pisanych również znajdują się istotne dane – tylko jak je pozyskać? Z pomocą przychodzi technologia text mining – eksploracji tekstu – czyli wydobywanie danych z tekstu, uporządkowywanie ich, obróbka i końcowa analiza. W czym może nam pomóc text mining i do czego się przydać?

Text mining – czym jest i jakie możliwości niesie dla biznesu?

Na naszym blogu wspominaliśmy już o bardzo podobnym z nazwy Task Mining – nowej technologii, która umożliwia firmom przechwytywanie danych na temat interakcji użytkowników. Przynosi to wiele korzyści, ponieważ w czasie rzeczywistym monitoruje działania pracowników (kliknięcia, scrollowanie stron i inne aktywności), wskazując jednocześnie na obszary, które można ulepszyć.

Tematem, którym chcemy zająć się w tym artykule, jest text mining – jednak polega na czymś zupełnie innym niż task mining (oczywiście pomijając ogólną kategorię „eksploracji danych”). W tym przypadku eksploracja i analiza dotyczy tekstu – a dokładnie tekstu nieustrukturyzowanego, który zostaje uporządkowany i dzięki temu możemy dojść do konkretnych wzorów, wysokiej jakości informacji i nowych, ważnych dla nas wniosków.

Dane w postaci pól tekstowych są wszędzie, w plikach o różnych formatach – są to między innymi artykuły, posty na forach specjalistycznych, komentarze, dokumenty, korespondencja (np. mailowa, na czacie, itp.), książki i inne. Text mining to technologia wykorzystująca sztuczną inteligencję (ang. AI – artificial technology) i przetwarzanie języka naturalnego (ang. NLP – natural language processing, wykorzystywane także w technologiach takich jak cRPA) do zrozumienia języka człowieka i uzyskania odpowiednich wyników. Potrzebne jest odpowiednie przygotowanie wszystkich danych, żeby w ogóle dało się je przeanalizować automatycznie i żeby komputer mógł je zrozumieć i poprawnie odczytać. Możemy do tego wykorzystać na przykład relacyjne bazy danych. Przygotowane i ustrukturyzowane dane przekazujemy do systemu analitycznego, który za pomocą algorytmów oraz NLP (przykładowo w języku programistycznym Python) będzie mógł dojść do informacji wysokiej jakości i przydatnych dla nas, a których wyciągnięcie mogłoby być niemożliwe – a na pewno bardzo kosztowne i czasochłonne – w przypadku analizy przeprowadzonej przez człowieka.

Text mining, a big data – czy można je ze sobą łączyć?

Przede wszystkim odpowiedzmy na pytanie, czym jest big data – to zestawy danych zbyt duże i skomplikowane, żeby tradycyjne aplikacje czy oprogramowanie do procesowania danych mogły im podołać. Analityka big data polega na stosowaniu bardziej zaawansowanych technologii, które są w stanie podołać tym ogromnym datasetom, zawierającym całkowicie lub częściowo ustrukturyzowane oraz nieustrukturyzowane dane pochodzące z różnych źródeł. Dane te stają się coraz bardziej zróżnicowane i kompleksowe, ponieważ powstają na bieżąco (in real time) i na wielką skalę dzięki użyciu AI (sztucznej inteligencji), urządzeń mobilnych i stacjonarnych, social media, video/audio, transakcji internetowych, sensorów i innych.

Czy możemy łączyć ze sobą big data oraz text mining? Postępy technologiczne pozwalają nam na to; jak wspomina publikacja „Text Mining in Big Data Analytics”, jest to wciąż rozwijający się temat, który napotyka na swojej drodze trudności takie jak zrozumienie naturalnego języka z bardzo różnych źródeł czy dezinformacja (na przykład w social mediach). Mimo to już teraz możemy dostrzec ogromne możliwości i korzyści płynące z zastosowania text mining w analityce big data. Nauka, biznes, rozwój w wielu branżach i obszarach – medycyna, edukacja, zdrowie publiczne oraz zapobieganie takim zjawiskom społecznym jak przestępczość, znęcanie się czy bieda – text mining jest w stanie dostarczyć mnóstwa informacji i wniosków zarówno o całym społeczeństwie, jak i o jednostkach, które przyniosą korzyści powyższym dziedzinom i tematom.

Jakie przykłady zastosowania text mining można znaleźć w biznesie?

Text mining świetnie sprawdza się w biznesie, jeśli mamy bezpośrednio do czynienia z klientami i dbamy o ich komfort oraz jakość obsługi, co wiąże się z zainteresowaniem ogólnym customer experience (CX – po polsku „doświadczenie klienta” – to inaczej postrzeganie firmy czy marki przez klienta na podstawie jego wrażeń i suma wszystkich doświadczeń klienta we wszystkich punktach styku z firmą podczas całej relacji [customer journey]). Istotne dla nas informacje, które możemy przeanalizować dzięki technologii text mining, pozyskujemy z tekstów takich jak odpowiedzi klientów na ankiety zadowolenia (na przykład NPS – Net Promoter Score), zgłaszane przez nich tickety z opisami problemów, jakie mają z naszymi produktami, czy notatki ze spotkań albo komentarze w social mediach. Chatboty na stronach www również korzystają z eksploracji i analizy tekstów, muszą bowiem automatycznie, szybko i spójnie odpowiedzieć na zadane pytanie czy stwierdzenie klienta przesłane przez okienko chatu.

Dzięki technologii text mining możemy także lepiej chronić swoje przedsiębiorstwa przed cyberatakami i spamem – prawdziwe zagrożenia są łatwiej wykrywane, ponieważ mamy więcej kontekstu i przykładów na nie w bazie, a algorytmy i NLP są w stanie je wychwycić. Człowiek nie będzie tak szybki i „obeznany” w tym, czego szukać w podejrzanej korespondencji mailowej, natomiast technologia text mining, wspomagana przecież sztuczną inteligencją, zrobi to bardzo sprawnie.

Integracja procesów i specjalistyczne narzędzia, jakie może wykorzystywać text mining (text mining tools), pozwalają na zbieranie danych z wielu źródeł. Zdarza się, że pracownicy mają dostęp do różnych wersji tego samego pliku, ważne informacje są składowane w wielu plikach czy arkuszach excela, na platformach i innych – dzięki text mining zintegrowanemu z naszymi źródłami dostajemy wszystko w jednym miejscu, mamy kontrolę nad tym, jakie informacje trafiają do pracowników – czy nie są przestarzałe i czy wszyscy pracują na tych samych danych.

Oczywiście ogólne wykorzystanie i analiza danych tekstowych organizacji i dochodzenie do ważnych dla niej wniosków dzięki text mining to zupełnie nowa jakość – zajmiemy się nią osobno w poniższym paragrafie.

Text mining jako narzędzie do analizy danych – jak go wykorzystać?

Text mining pozwala na sprawniejsze zbieranie i wykorzystanie danych obecnych i przyszłych, jakie znajdą się w posiadaniu firmy. Czasem nawet nie zdajemy sobie sprawy, jakie ważne dla przedsiębiorstwa wnioski i spostrzeżenia czekają tylko na odkrycie – bez nowoczesnego podejścia do automatyzacji analiz wiele okazji na usprawnienie procesów może przejść nam koło nosa.

Jeśli chcemy, na przykład, przeprowadzić ankiety, żeby dowiedzieć się od naszych klientów lub pracowników, jak ich zdaniem działają nasze produkty czy procesy, najłatwiej będzie później przeanalizować automatycznie odpowiedzi na pytania tak/nie lub pytania z oceną, np. od 0 do 10. Pytania otwarte mogą nastręczać trudności, zwłaszcza jeśli odpowiedzi jest bardzo dużo, a każdy z ankietowanych pisze własnym stylem, w podpunktach, w całych zdaniach – różnie. Człowiek owszem, jest w stanie przeczytać wszystkie te ankiety, zebrać dane dotyczące zadowolenia czy ogólnych komentarzy, ale zrobi to w niewiarygodnie długim czasie, niewykluczone są błędy, co niesie za sobą również spore koszty. Czy da się to zrobić lepiej? Oczywiście, z pomocą przyjść może właśnie text mining. Dzięki tej technologii jesteśmy w stanie te nieustrukturyzowane dane tekstowe przeanalizować w całości, szybko, i dostrzec ukryte wzorce. To z kolei pomoże nam odpowiedzieć na potrzeby pracowników, klientów, interesariuszy; pomoże zoptymalizować i poprawić wydajność procesów i skierować pracowników tam, gdzie naprawdę można skorzystać na ich „ludzkiej” pracy i produktywności.

Jeśli pracujemy w międzynarodowej firmie lub takiej, która ma klientów z różnych krajów świata, niezbędne okazuje się tłumaczenie niektórych (lub wszystkich) dokumentów i informacji. Feedback również może spływać do nas w różnych językach, jeśli dostosowujemy na przykład nasze pytania z ankiet zadowolenia do języka klienta czy pracownika. Narzędzia text mining pozwalają na automatyczne przetłumaczenie tych oryginalnych komentarzy, zachowując ich pierwotne znaczenie, co ma wielki wpływ na późniejsze odczytanie faktycznej oceny, biorąc pod uwagę niuanse językowe.

Odchodząc nieco od typowego przedsiębiorstwa – text mining jako narzędzie do szybkiej analizy danych okazuje się niezbędne na przykład w klinikach czy szpitalach, gdzie mamy do czynienia z dekadami zbierania różnych badań, opisywanych przypadków pacjentów, publikowanych artykułów czy opisów leków i badań klinicznych – to wszystko może się przydać, jeśli organizacja pracuje nad wypuszczeniem nowego leku, ale także jeśli potrzeba wsparcia w diagnozie szczególnego pacjenta. Text mining pozwala na sprawną i automatyczną analizę i przez to nieocenione wsparcie lekarzy i naukowców w ich pracy.

Idąc jeszcze w inną stronę, branże prawnicza czy ubezpieczeniowa również zbierają wielką część swoich danych w postaci tekstowej. Text mining potrafi szybko odnaleźć odpowiednie zapisy w umowach, opisach zdarzeń czy zapiskach sądowych oraz usprawnić działania takie jak zgłaszanie szkód czy analiza ryzyka.

Text mining, a data visualization – jak połączyć te dziedziny?

Data visualization, czyli wizualizacja danych, odnosi się często do tworzenia wykresów i tabel liczbowych, jednak nie zapominajmy, że tekst również można ukazać na wiele sposobów, ułatwiając jego analizę. W końcu tekst to też dane. Po co konkretnie używać wizualizacji danych tekstowych? Na przykład po to, żeby podsumować dużą ilość tekstu – możemy automatycznie podkreślić i zaznaczyć konkretne wyrażenia, słowa czy zdania, stworzyć kategorie tematyczne i według rodzaju i sentymentu opinii (przychylna, neutralna, negatywna). Stworzenie chmury słownej (word cloud), czyli automatycznej wizualizacji najczęściej używanych słów w tekście, lub specjalnego dashboardu do ukazania większej ilości wizualizacji, dla narzędzi technologii text mining w połączeniu z AI i Machine Learning nie będzie problemem. Dzięki takiej wizualizacji łatwiej znajdziemy ukryte znaczenia, trendy i wzorce w odpowiedziach klientów lub innych tekstowych danych. Zobaczymy wykresy z podziałem procentowym na zadane zapytanie – prócz analizy sentymentów możemy też zobaczyć, ile z komentarzy zawierało pytanie, opinię czy prośbę o kontakt, czego dokładnie dotyczyły (jeśli mamy różne produkty w naszej ofercie i analizujemy zapytania ofertowe) – możliwości tak naprawdę są nieograniczone. Musimy tylko wiedzieć, co chcemy zobaczyć na naszej wizualizacji.

Text mining w e-commerce – jak może pomóc w sprzedaży?

Jednym z bardzo pomocnych sposobów, w jaki można wykorzystać text mining w e-commerce, jest rekomendowanie produktów, które mogą znajdować się w obszarze zainteresowań kupujących (nagłówek: „Może Ci się również spodobać…” po dodaniu czegoś konkretnego do koszyka w sklepie www) – technologia filtrowania tekstowego wyłapuje i podpowiada klientowi, co jeszcze się może mu przydać. Takie oferty będą działać świetnie, jeśli będą poparte prawdziwymi danymi – przypadkowe polecenia na nic się nie dadzą.

Kolejnym przykładem na wykorzystanie text mining w e-commerce jest analiza danych, która pozwala na wydawanie personalizowanych rabatów i ofert. Znaczna większość kupujących (i to aż 89%, powtarzając za raportem Software Advice) wybierze sklep, który proponuje zniżki dopasowane do ich poprzednich, indywidualnych zakupów. Będziemy również wiedzieli dokładnie, czego szukają potencjalni kupujący, dlatego spersonalizowane oferty przyciągną ich i zatrzymają na dłużej jako klientów.

Wspominaliśmy wcześniej, że text mining może pomóc nam w walce z cyberatakami – nie inaczej jest w branży e-commerce, gdzie oszuści potrafią siać spustoszenie, kupując produkt, używając go i odsyłając pod fałszywymi pretekstami słabej jakości, co w większym natężeniu potrafi bardzo negatywnie wpłynąć na wyniki sklepu. Hakerzy i cyberprzestępcy wykorzystujący skradzione karty kredytowe lub całe tożsamości również są o wiele łatwiej wykrywalni, jeśli po swojej stronie mamy technologie text mining i Machine Learning, filtrujące podejrzane dane.

Text mining w marketingu – jakie możliwości daje w tym obszarze?

Już zapewne macie pewne wyobrażenie o tym, o ile większe możliwości na wykorzystanie danych tekstowych daje nam text mining. Jeśli chodzi o działy marketingu, na pewno bardzo skorzystają na tej technologii, jeśli zostanie odpowiednio zaimplementowana. Przede wszystkim będziemy w stanie poznać rodzaje opinii – sentiment analysis (analiza sentymentu) wspomniana wcześniej jest świetnym narzędziem dla marketingowców i pozwala na szybkie rozeznanie się w reakcjach naszych czytelników na blogach czy w social mediach. Odpowiednio odczytując te dane, możemy o wiele dokładniej dobierać kampanie marketingowe i ich tematy do tego, czego ludzie chcą i czego od nas potrzebują.

Tłumaczenie z różnych języków i kategoryzowanie odpowiedzi z wszelkiego rodzaju ankiet również są wielkim ułatwieniem dla marketingu. Zautomatyzowanie tych działań prowadzi do sporej oszczędności czasu i zasobów, a o wiele łatwiej nam będzie zauważyć trendy w komentarzach klientów – nie tylko odnośnie tego, co działa, ale też tego, co niekoniecznie jest w naszej firmie czy produktach w porządku. Dzięki temu jesteśmy w stanie szybko zareagować i poprawić te aspekty naszej oferty, których usprawnienia czy zmiany oczekują klienci.

Dzięki text mining jesteśmy w stanie zmienić jakość analizy danych w organizacji na lepsze. Możliwości są naprawdę nieograniczone – jeśli nie jesteście pewni, do czego może przydać się Wam text mining w Waszej organizacji, zapraszamy do kontaktu.