Store språkmodeller, såkalte LLMer, har vært det «nye kule» i teknologilandskapet omtrent helt siden OpenAI lanserte chattetjenesten ChatGPT sent i 2022. Siden den gang har næringslivet stått på for å omstille seg og høste de nye fruktene som kunstig intelligens endelig kan hjelpe med å nå. Dette har vi merket voldsomt i Append Consulting, med mye interesse for LLM-sentrerte prosjekter fra både eksisterende og nye kunder. Som svar på dette har vi utviklet vårt eget rammeverk for RAG-løsninger, kalt EKKO.
Hvordan ble EKKO til?
I Append har vi lenge sittet på LLM-kompetanse, blant annet gjennom flere LLM-prosjekter for kunden vår Consigli. Det var derfor veldig interessant for oss når Helsedirektoratet og partnere utlyste prosjektet Enklere tilgang på informasjon (ETI) via StartOff-programmet til DFØ. Utlysningen til prosjektet beskrev at familier til barn med alvorlig sykdom bruker opp mot 19 timer i uka på å søke etter informasjon om aktuelle tjenester og tilbud, så oppdragsgiver ønsket et produkt som tilgjengeliggjør all relevant informasjon fra offentlig sektor på en god måte. Vi tilbød en tjeneste som lar familiene gi en enkel beskrivelse av sin situasjon, og få tilbake en full skreddersydd artikkel med all informasjon fra NAV, Udir, Helsenorge m.fl. som akkurat denne familien bør vite om, med kildehenvisninger og sporbarhet. Hele 21 leverandører leverte tilbud, men vi vant anbudet og leverte som lovet. I tillegg til at dette ga en hyggelig inntektsboost og nok en fornøyd referanse, innebærer StartOff-programmet at det er vi som sitter igjen med alle rettigheter til produktet vi utviklet. Dermed ble dette fødselen til tjenesten EKKO, som vi regelmessig tilpasser og leverer til nye kunder.
Hva er EKKO?
EKKO er et skjelett for såkalte «Retrieval Augmented Generation»-tjenester (RAG-tjenester). Det er nemlig slik at språkmodeller er svært gode til å resonnere, så lenge du gir modellene all informasjonen de trenger for å trekke konklusjoner. Løsningen i praksis er såkalt Retrieval, altså en algoritme som kan finne informasjonen som er mest relevant for en spørring, og gi denne til språkmodellen sammen med den originale spørringen. I Helsedirektoratets tilfelle kunne dette være å gi språkmodellen Udirs artikler om tilpasset skolegang og Helsenorges artikler om Cerebral Parese, dersom brukeren stiller spørsmål om et barn med denne sykdommen. I andre tilfeller kan det være å finne dokumenter med lignende prosjekter, dersom det stilles spørsmål om en spesifikk prosjekttype. Mulighetsrommet er uendelig stort.
Grunnsteinen i retrieval-algoritmer er såkalte embeddingmodeller. En embeddingmodell er en AI-modell som tar inn data, for eksempel en tekstsnutt, og spytter ut en vektor med tall. Modellen er trent slik at tekster som har fundamentalt overlappende innhold, vil gi vektorer som er relativt like. Tekstene kan ha helt ulik lengde, struktur og språk, og trenger ikke å ha noen like ord, men så lenge innholdet er overlappende vil vektorene ligne hverandre. Denne egenskapen gjør at embeddingmodeller kan brukes for å finne tekstene som er fundamentalt likest. I et RAG-system benyttes dette ved å finne innholdet i kunnskapsbasen som er likest brukerens spørring, da denne mest sannsynlig vil inneholde informasjon om det brukeren nevner. For å forbedre retrieval-funksjonaliteten ytterligere kan embeddingmodellen kombineres med et mer tradisjonelt søk etter eksakt match på ord mellom tekstene.
I EKKO er språkmodell og embeddingmodell satt i system, slik at det kun er kunnskapsbasen og designet på promptet til språkmodellen som trenger å endres for å tilpasse til nye kunder og bruksområder. Om du for eksempel arbeider i et eiendomsmeglerselskap som vil generere meglerdokumenter automatisk, kan kunnskapsbasen fylles med tilsvarende dokumenter, forskrifter og informasjon om hver enkelt eiendom, og promptet kan starte med «generer en tilstandsrapport for Håkon Jarls gate 6 basert på...». Denne tilpasningen gjøres selvfølgelig av oss.
Hvordan kan min bedrift ta i bruk EKKO?
Dersom du har et use-case der du tror EKKO kan skape verdi for dere, eller du har lyst til å drøfte en idé av noe slag, vil vi veldig gjerne høre fra deg! Da kan du for eksempel utforme et prosjekt på nettsiden vår, eller du kan ta direkte kontakt med Daniel. Vi gleder oss til å starte en dialog 😊
