Hva betyr ChatGPT for fremtiden til bedriftens chatbot Norway

Mer enn bare hype

Å betale for å bruke en generisk ChatGPT betyr lite for merkevaren din, siden den ville være den samme som alle de andre ChatGPT-demoene som allerede finnes på internett og dermed ikke gir noe konkurransefortrinn. Verdien kan bare komme fra å bruke den til å støtte forretningsprosessene dine for enten å senkr driftskostnadene eller gi økt salg. For eksempel ved å supplere eller delvis erstatte dyre støttetjenester som kundeservice med en automatisert tjeneste som kan skaleres til en minimal kostnad. På dette området er chatbots for tiden toppmoderne, og vi vil se på hvordan og om vi kan utnytte ChatGPT for å senke driftskostnader eller øke inntekter.

La oss se på den enkleste løsningen først. Gitt hvor kraftig ChatGPT er, hvorfor ikke bare erstatte chatboten med en spesialisert ChatGPT-instans? Dette er en dårlig idé siden ChatGTPs svar kan være uforutsigbare eller rett og slett feil; og i ChatGPTs standardimplementering er det umulig å kontrollere svarene fullstendig. Siden denne chatboten vil representere merkevaren din, kan det gjøre alvorlig omdømmeskade å få den til å produsere en feil eller støtende svar.

Hva med å bruke ChatGPT til å generere syntetiske brukerinput for mer opplærningsdata. Innhenting av faktiske brukerdata kan være tidkrevende og kostbart, og dekker kanskje ikke mange av tvilstilfellene. Spesielt når du bygger en chatbot fra bunnen av, er dette ofte et blokkeringsproblem. I teorien kunne ChatGPT bare generert enorme mengder med opplæringsdata ved å generere variasjoner av en inngangssetning med plausibel kundetekst.

Dette introduserer imidlertid andre problemer, som RASA i stor grad forklarer i artikkelen sin. Å utvide NLU-opplæringsdata på denne måten gir ikke signifikante forbedringer av modellen. Det er nemlig en avveining mellom trofasthet og variasjon. Enten genererer vi data med lav variabilitet som bare avviker litt fra kildesetningen og dermed ikke bringer ny informasjon til modellen. Eller så genererer vi data med høy variabilitet, som avviker for mye fra kildesetningen og dermed ikke er relevante og kan brukes til å trene boten. Naturlig datagenerering er kanskje ikke den beste bruken for øyeblikket, men det er andre NLP-oppgaver som kreves for en chatbot. Sagt på en enkel måte, når en chatbot får en setning fra en bruker på naturlig språk vil den prøve å gjøre følgende to ting:

1. Forstå brukerens hensikt (NLU – Natural language understanding)

2. Generer svaret (NLG – Natural language generation)

Jo bedre en chatbot er til disse to oppgavene, jo flere tjenester kan de tilby uten menneskelig inngripen, og dermed redusere arbeidsmengden til kundesentrene dine. Enhver forbedring, selv små, skaleres automatisk til alle samtaler chatboten håndterer, så besparelsen er en funksjon av antall kundeinteraksjoner, mens driftskostnadene forblir lave.

Vi bygger videre på arbeidet til fortidens storheter

Den underliggende modellen til ChatGPT (GPT-3-modellen) er en av de største, kraftigste språkmodellene vi har i dag, med 175 milliarder parametere. Modellen er en av de beste når det gjelder å gjøre en god gjetning på hva et menneske vil si neste gang, gitt det som allerede er sagt. Så, for eksempel, gitt at en historie starter med "Det var en gang en hvit kanin", hva kan følgende setning være. Eller, mer spesifikt, for chatbots - gitt setningen "Hva gjør produktet ditt?" ville modellen generere en setning eller til og med et avsnitt av det den antar at et menneske vil si.

Ulempen med dette omfattende perspektivet er mangelen på forståelse av innsnevrede, domenespesifikke spørsmål, som er et kjennetegn ved enterprise chatbots.

Å lage din egen ChatGPT

Gitt hvor dyrt det er å trene en toppmoderne stor språkmodell som trenger 45 terabyte med tekst, er det sannsynlig at vi vil se en fremtid der chatbots ganske enkelt vil bli bygget på toppen av en forhåndstrent modell og deretter finjustert for å passe seg til spesifikke formål, merkevarer eller produkter. "Fintuning" refererer til raffinering av modeller som ChatGPT for bedre å gjenkjenne spesifikke mønstre for input og output, for eksempel setninger og ord relatert til bedriftens felt. Det er mulig å finjustere den store modellen med vårt eget tilpassede datasett slik at NLU og NLG passer til våre spesielle use cases. I dette tilfellet utnytter vi fortsatt fordelene ved å bruke en stor modell, men med den finjusterte begrensningen til NLU og NLG. Potensielle use cases vil bli diskutert i et senere avsnitt.

Dette vil la bedrifter bruke en topp moderne chatbot som har merkevarens verdier og tone som er unik for din bedrift, uten å måtte pådra seg kostnadene ved å lage modellen fra bunnen av.

Personvern

For å finjustere ChatGPT-modellen spesifikt, må du godta å gi OpenAI tilgang til å bruke dataene dine til å forbedre tjenestene deres. Personvernlovgivning i de fleste land vil kreve svært restriktive kontrakter med tredjeparter for å tillate deling av kunders PII-data.

Med dagens verktøy for anonymisering, og noe lovgivning som begrenser ansvaret for å gi denne typen data til disse tjenestene, er det mulig å lovlig bruke disse tjenestene i de fleste tilfeller.

Alternativet er finjustering lokalt, men da er vi begrenset til enten åpen kildekode-modeller (f.eks. BLOOM), eller de få mindre selskapene som er villige til å la deg være vert for modellen deres.

Fremtiden for LLM (store språkmodeller) i bedrifter

Chatbot og ChatGPT

Store språkmodeller vil på sikt revolusjonere løsningene vi i dag bruker chatboter til. Her vil vi se på hvordan du vet når du må revurdere denne teknologien. Når løsninger der ChatGPT-lignende systemer kun gjør tolkningen av kundens behov og selve responsen håndteres av et strengere system som en chatbot, ville det være på tide å se på hvordan denne teknologien kan brukes i din organisasjon på nytt.

Foreløpig er det ingen velprøvd måte å gi ChatGPT nok kontekst til å forvente at produksjonen er relevant og sikre at den har riktig tone of voice spesifikt tilpasset til din merkevare eller bedrift. Det vil bli utviklet løsninger som gir LLM-ene den selskapsspesifikke konteksten, og dermed muliggjør generering av relevante opplæringsdata for chatbots. På dette tidspunktet ville det være på tide å revurdere denne tilnærmingen. Denne innovasjonen kan ha form av en arbeidsinstruksjon om hvordan man forklarer for en ChatGPT-lignende løsning den bedriftsspesifikke informasjonen, for eksempel type produkter og den unike differensieringen fra konkurrenter. På den måten vil modellen produsere opplæringsdata spesifikke for din bedrift.

En annen utvikling å se etter er forenklet integrasjon med bedrifter. Noen use cases kan være mulig allerede i dag, teknologimessig, men er ikke lette å implementere gitt mangelen på integreringsmuligheter LLM tilbyr. Microsoft har nylig annonsert at de planlegger å tilby forenklede integrasjonsalternativer i nær fremtid.

Utvikling av teknologi

Foreløpig sliter enterprise NLU-teknologi med å forstå lange tekster med kontekst, menneskelige følelser og nyanser, for eksempel mangler muligheten til å ane en følelse av at det haster i et brukersøk fra dagens chatbots. LLM-er som ChatGPT ligger i forkant av arbeidet med å løse disse problemene.

Utvikling av NLG-funksjonene til ChatGPT tilbyr et stort potensial. Dessverre er det slik at det bare er etter at LLM-er som ChatGPT klarer å forbedre evnen til å generere naturlig språk (NLG) for å gi nyttige treningsdata, at det virkelig kan redusere tiden og kostnadene med å implementere samtale-AI fra bunnen.

Ser vi på krysningen mellom forenklede integrasjoner og NLU-utviklinger, kan dette muliggjøre en chatbot der de fleste brukerforespørslene håndteres av gjeldende chatbot, og de ofte lange, vanskelig å klassifisere spørringene sendes til en LLM og sendes tilbake med respektive klassifisering.

Med fokus på NLG, kan dette muliggjøre en fremtid der ChatGPT kan brukes til å tolke figurer eller tall og generere konsise rapporter på naturlig språk.

Nåværende use cases for ChatGPT

Oversettelse

ChatGPT og andre LLMer tilbyr nyttige applikasjoner i dag, selv om oppgaver som å generere riktig opplæringsdata er foreløpig ikke mulig. Imidlertid gjør det nåværende nivået på NLG-funksjonene til disse modellene oss allerede i stand til å bruke dem til å generere oversettelser av en inputsetning. Ikke bare oversettelse fra et talespråk til et annet, men også fra en beskrivelse av en funksjon på engelsk til faktisk arbeidskode i Python eller fra en kompleks juridisk tekst til enkelt språk.

Etterligner brukere

Spørsmålene generert av modellen kan også sees på som en interaksjon med en ekte bruker, men modellen kan brukes til visse oppgaver på lignende måte. Vi kan bruke ChatGPT til å fungere som bruker for å evaluere eksperimenter. Gitt hvor billig den er av natur, kan vi enkelt skalere og kjøre ulike eksperimenter på, for eksempel, hvordan ulike dialoger og hyperparametre i boten vår påvirker den generelle ytelsen. På den måten kan vi forsøke å optimalisere klassifiseringene og rutene, og dermed sikre at en kunde kan finne riktig informasjon eller utføre riktig handling, samtidig som behovet for en menneskelig agentoverlevering begrenses. Et annet use case er å bruke den samme brukersimuleringstilnærmingen som et ekstra trinn i kvalitetssikringsprosessen vår og finne feil ved allerede å la den snakke med en "bruker".

Søk i kunnskapsbase

En enterprise chatbot har ofte en stor FAQ-komponent – der spørsmålet alltid besvares med statisk informasjon som kan trekkes ut fra nettstedet. Ved å gi denne informasjonen som informasjonsdokumenter, kan ChatGPT brukes og finjusteres ved hjelp av disse dataene og dermed kunne fungere som en bedriftsspesifikk FAQ-bot. Disse modellene kan også fremskynde opprettelsen av teksten til svaret på nye FAQ-oppføringer ved å gi et første utkast som er raffinert og validert av eksperter.

Kilder:

[1] Applying Generative Models in Conversational AI | The Rasa Blog | Rasa

[3] ChatGPT, and its implications for Enterprise AI (linkedin.com)

[4] The Technology Behind Chat GPT-3 (clearcogs.com)

[5] Fine-tuning GPT-3 Using Python to Create a Virtual Mental Health Assistant Bot | by Amogh Agastya | Better Programming

[6] Terms of Use (openai.com)

[7] ChatGPT’s role in the future of conversational AI | Medium

[8] https://medium.com/conversationalai/the-future-of-conversational-ai-c3ea4e31e8e1

Four Conversational AI Trends To Watch In 2023 | by Cobus Greyling | Jan, 2023 | Medium

https://research.aimultiple.com/future-of-conversational-ai/

https://botscrew.com/blog/chatgpt-how-customer-service-can-benefit-from-a-gpt-3-chatbot/

https://chatlayer.ai/conversational-ai-fest-these-are-the-top-6-conversational-ai-trends-for-2023/