Kan een AI zonder internet je helpen in een noodsituatie? Voor een deel wel. Het zoekgedeelte werkte in onze test bijna perfect, de antwoorden niet. Het beste model had 26 van de 33 vragen helemaal goed en maakte toch 3 ernstige fouten, waar niemand naar mag handelen.

Hieronder lees je wat we testten, wat er in het Nederlands misging en wat je ermee kunt. We bouwen zelf een offline assistent, Waystone, die nog in ontwikkeling is. Daarom keken we extra kritisch.

Wat we testten

We draaiden alles op een Apple M2 Mac met 8 GB geheugen, met het netwerk uitgeschakeld. Twee kleine taalmodellen deden om de beurt mee: Llama 3.2 van Meta en Gemma 3 van Google.

Beide putten uit dezelfde kleine verzameling van 24 korte passages. Twintig daarvan schreven we in het Engels op basis van Amerikaanse officiële adviezen (Ready.gov, CDC, EPA en FoodSafety.gov). De andere 4 kwamen van de Nederlandse, Belgische en Franse overheid, onder meer over het noodpakket, de sirene en NL-Alert. Een deel van de fouten hieronder komt daardoor, en niet alleen door het model. Een apart zoekmodel koos de 3 passages die het best bij een vraag pasten en gaf die door aan het taalmodel.

De 33 vragen waren verdeeld over Nederlands, Engels en Frans, plus een gesprek waarin we van taal wisselden. Tien vragen waren Nederlands. Een voorbeeld: "Ik ruik gas in huis. Wat moet ik doen?" Zes vragen stonden bewust buiten de bibliotheek, twee per taal. In het Nederlands waren dat een lekke autoband en de vraag welke paddenstoelen in het bos veilig zijn. We wilden weten of de modellen durven te zeggen dat ze het niet weten.

Wat goed ging

Het zoeken ging goed. Voor alle 27 vragen die de bibliotheek kon beantwoorden zat de juiste passage bij de eerste 3 resultaten, en bij 26 van die 27 stond hij bovenaan. Een Nederlandse vraag vond de Engelse passage even goed als een Engelse vraag. Je hoeft dus niet voor elke taal een eigen bibliotheek te schrijven en na te kijken.

Ook de taal viel mee. Bijna elk antwoord kwam terug in de taal van de vraag. Op de vraag hoeveel water je per persoon per dag moet opslaan koos Llama zelfs het Nederlandse advies van 3 liter boven het algemene van 4 liter. Dat klopt met Denk vooruit.

Wat misging in het Nederlands

Bij de Nederlandse vragen kwamen beide modellen op 8 van 11 goed. Dat klinkt ruim voldoende, tot je ziet wat de overige drie waren.

Bleekmiddel

We vroegen hoeveel druppels bleekmiddel je in 4 liter water doet. Llama antwoordde met 2. In onze bibliotheek, gebaseerd op een tabel van de Amerikaanse EPA, staat 8. Het model pakte de verkeerde regel uit de tabel en klonk er volkomen zeker bij.

Neem die 8 niet over als advies. De EPA-tabel gaat uit van bleekmiddel van 6% of 8,25%, en een fles uit de Nederlandse of Belgische winkel kan een andere sterkte hebben. In de officiële Nederlandse en Belgische pagina's die we lazen staat geen dosering. Wat daar wel staat over water drinkbaar maken, vind je in de gids over drinkwater opslaan.

De sirene

Op de vraag wanneer het luchtalarm wordt getest, zei Llama: elke maandag. De Rijksoverheid schrijft iedere eerste maandag van de maand om 12.00 uur. Zo'n antwoord lijkt bijna goed, en juist die fouten merk je niet op.

Het model verwees bovendien naar een passage die er niets mee te maken had.

Een verzonnen verbod

Bij de vraag wat je moet doen als je gas ruikt, voegde Llama een waarschuwing toe die in geen enkele passage stond: roep niet de brandweer. Een verzonnen verbod is erger dan een fout getal, omdat het iemand kan weerhouden van hulp. Een AI mag zulke zinnen niet zelf bedenken.

Meters en een koelkast

Gemma maakte van 20 feet (ongeveer 6 meter) 20 meter (6 meter). Dat gebeurde in het Nederlands en in het Frans.

Het zei ook dat een dichte koelkast je eten 48 uur koud houdt. Het Voedingscentrum schrijft dat een gesloten koelkast eten ongeveer 4 uur veilig koel houdt en dat een volle vriezer ongeveer 48 uur koud blijft. Het getal was dus echt, maar bij het verkeerde apparaat. Op onze timer voor koelkast en vriezer staat daarom wat het Voedingscentrum zegt en niet wat een AI denkt.

Durven zeggen dat ze het niet weten

Bij de twee Nederlandse vragen buiten de bibliotheek gaven beide modellen terecht aan dat ze het niet wisten, al deed Gemma dat één keer slordig, met een verwijzing naar een bron die er niet over ging. Over alle talen heen ging het minder goed. In onze automatische telling weigerde Llama 5 van de 6 vragen buiten de bibliotheek, Gemma 3 van de 6. Beide faalden bij de vraag over zeewater, en Gemma stelde voor om dat met bleekmiddel te behandelen. Dat is gevaarlijk, want bleekmiddel doet niets tegen het zout.

Ook de bronnen klopten niet altijd. Llama verwees in 24 van de 27 antwoorden naar de goede passage, Gemma in 22. Een verkeerde bron is erger dan geen bron, want juist de voorzichtigste lezer kijkt dan op de verkeerde plek.

Wat zou het veiliger maken?

We probeerden drie simpele controles op dezelfde antwoorden. De eerste weigert te antwoorden als geen enkele passage dicht genoeg bij de vraag zit. Alleen al daarmee werden 5 van de 6 vragen buiten de bibliotheek terecht geweigerd, zonder dat een echte vraag werd tegengehouden, al was de marge klein. De tweede gooit elk antwoord zonder bron weg. Met beide controles weigerde Llama alle 6.

De derde vergelijkt elk getal en elke eenheid in het antwoord met de bron. Zo zouden de 2 druppels en de 20 meter zijn gevangen. De koelkastfout niet, want 48 uur staat echt in de bron, alleen bij de vriezer.

Daarom willen we met Waystone het antwoord altijd met de bronpagina eronder tonen. Het is een concept in ontwikkeling: Engels eerst, Nederlands en Frans in testfase. Een grotere test moet eerst laten zien wat er werkt, vóór we dat beweren.

Wat een offline AI niet vervangt

Een laptop met een AI erop heeft stroom nodig, en hij weet niets over wat er nu buiten gebeurt. Bij een stroomstoring blijft de radio op batterijen met de regionale omroep je bron voor actuele informatie. Waarschuwingen komen op je telefoon: in Nederland via NL-Alert, in België via BE-Alert.

Is er brand, letsel of een medisch noodgeval? Dan bel je eerst 112. Lees ook de gids over wat je doet bij een langdurige stroomstoring.

Zelf proberen

Een Mac met Apple-chip (M1 of nieuwer) en 16 GB geheugen is het realistische startpunt. Op 8 GB werkte het kleine model alleen als er weinig andere apps openstonden, en het grotere model was al te traag. Windows-laptops hebben we niet getest.

Test een model altijd in je eigen taal, met vragen waarvan je het antwoord al weet. Houd bovendien alles waar een dosering of een tijd in staat op papier, zoals in de noodpakket checklist.