{
 "meta": {
  "model": "gemma3:4b",
  "load_s": 9.3,
  "peak_ram_mb_all_ollama": 3540,
  "ollama_ps": [
   {
    "name": "gemma3:4b",
    "model": "gemma3:4b",
    "size": 3533355087,
    "digest": "68ceab7e468a31c988b44d5a4984a0e21f58c4f7158c6ce29c1804babac38df7",
    "details": {
     "parent_model": "",
     "format": "gguf",
     "family": "gemma3",
     "families": [
      "gemma3",
      "clip"
     ],
     "parameter_size": "3.9B",
     "quantization_level": "Q4_K_M"
    },
    "expires_at": "2026-10-25T01:55:49.636101+02:00",
    "size_vram": 2810393394,
    "context_length": 4096,
    "runner": "llamacpp"
   }
  ]
 },
 "rows": [
  {
   "id": "de01",
   "lang": "de",
   "q": "Wie viel Wasser sollte ich pro Person und Tag für den Notvorrat einplanen?",
   "retrieved": [
    {
     "id": "P01",
     "score": 0.7129
    },
    {
     "id": "DE1",
     "score": 0.6412
    },
    {
     "id": "P07",
     "score": 0.5665
    }
   ],
   "answer": "Mindestens eine Gallone (4 Liter) pro Person und Tag [P01]. Für drei Tage sollte man mindestens 12 Liter pro Person einplanen, aber Kinder, stillende Mütter und kranke Personen benötigen möglicherweise mehr [P01]. Es wird empfohlen, für 10 Tage Vorräte anzulegen, was 2 Liter pro Person und Tag entspricht [DE1].",
   "perf": {
    "ttft_s": 3.64,
    "total_s": 8.0,
    "eval_tokens": 83,
    "tok_per_s": 18.7,
    "prompt_tokens": 543,
    "prompt_tok_per_s": 172.2
   },
   "score": {
    "refused": false,
    "cited": [
     "DE1",
     "P01"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": [
     "12"
    ]
   }
  },
  {
   "id": "de02",
   "lang": "de",
   "q": "Wie klingt die Sirene bei einer Warnung und wie bei der Entwarnung?",
   "retrieved": [
    {
     "id": "DE2",
     "score": 0.6619
    },
    {
     "id": "P09",
     "score": 0.4994
    },
    {
     "id": "P16",
     "score": 0.4985
    }
   ],
   "answer": "Bei einer Warnung ertönt eine 1-minütige heulende Tonfolge, die aufsteigt und abfällt [DE2]. Bei der Entwarnung ertönt eine 1-minütige kontinuierliche Tonfolge [DE2].\n",
   "perf": {
    "ttft_s": 6.79,
    "total_s": 9.79,
    "eval_tokens": 55,
    "tok_per_s": 18.6,
    "prompt_tokens": 524,
    "prompt_tok_per_s": 114.7
   },
   "score": {
    "refused": false,
    "cited": [
     "DE2"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": false,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "de03",
   "lang": "de",
   "q": "Darf ich bei einem Stromausfall den Campingkocher in der Küche benutzen, wenn ich das Fenster aufmache?",
   "retrieved": [
    {
     "id": "P19",
     "score": 0.5702
    },
    {
     "id": "P02",
     "score": 0.5563
    },
    {
     "id": "DE1",
     "score": 0.5098
    }
   ],
   "answer": "NEIN, Sie dürfen den Campingkocher NICHT in der Küche benutzen, selbst wenn Sie das Fenster öffnen [P02]. Es ist gefährlich, Geräte, die mit Gas oder Kohle betrieben werden, in Innenräumen zu benutzen. Halten Sie den Generator immer im Freien und mindestens 6 Meter von Fenstern und Türen entfernt [P02].",
   "perf": {
    "ttft_s": 6.13,
    "total_s": 10.19,
    "eval_tokens": 78,
    "tok_per_s": 19.9,
    "prompt_tokens": 544,
    "prompt_tok_per_s": 109.0
   },
   "score": {
    "refused": false,
    "cited": [
     "P02"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": false,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "de04",
   "lang": "de",
   "q": "Wie lange muss ich Wasser abkochen, damit es sicher trinkbar ist?",
   "retrieved": [
    {
     "id": "P04",
     "score": 0.6983
    },
    {
     "id": "P01",
     "score": 0.6205
    },
    {
     "id": "P05",
     "score": 0.6181
    }
   ],
   "answer": "Um Wasser sicher trinkbar zu machen, muss es für 1 Minute kochen [P04]. Bei Höhen über 2000 Metern (6500 Fuß) sollte es 3 Minuten kochen [P04].",
   "perf": {
    "ttft_s": 4.95,
    "total_s": 7.62,
    "eval_tokens": 50,
    "tok_per_s": 19.0,
    "prompt_tokens": 497,
    "prompt_tok_per_s": 141.3
   },
   "score": {
    "refused": false,
    "cited": [
     "P04"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "de05",
   "lang": "de",
   "q": "Wie viele Tropfen Chlorbleiche gebe ich in 4 Liter Wasser?",
   "retrieved": [
    {
     "id": "P05",
     "score": 0.5995
    },
    {
     "id": "P01",
     "score": 0.5282
    },
    {
     "id": "P04",
     "score": 0.4709
    }
   ],
   "answer": "Für 4 Liter Wasser benötigt man 8 Tropfen [P05]. Es sind 1/8 Teelöffel [P05]. Wichtig ist, dass man unparfümierte Chlorbleiche mit 6% Chlor verwenden muss [P05].",
   "perf": {
    "ttft_s": 9.38,
    "total_s": 11.8,
    "eval_tokens": 58,
    "tok_per_s": 23.0,
    "prompt_tokens": 496,
    "prompt_tok_per_s": 96.1
   },
   "score": {
    "refused": false,
    "cited": [
     "P05"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "de06",
   "lang": "de",
   "q": "Woran erkenne ich eine Kohlenmonoxidvergiftung?",
   "retrieved": [
    {
     "id": "P03",
     "score": 0.6875
    },
    {
     "id": "P11",
     "score": 0.4826
    },
    {
     "id": "P09",
     "score": 0.4626
    }
   ],
   "answer": "Kohlenmonoxid hat keine Farbe und keinen Geruch. Häufige Symptome sind Kopfschmerzen, Schwindel, Schwäche, Übelkeit, Erbrechen, Brustschmerzen und Verwirrtheit [P03]. Wenn Sie eine Vergiftung vermuten, bringen Sie alle Personen sofort an die frische Luft und wählen Sie die Notrufnummer [P03].",
   "perf": {
    "ttft_s": 4.96,
    "total_s": 9.26,
    "eval_tokens": 81,
    "tok_per_s": 18.8,
    "prompt_tokens": 470,
    "prompt_tok_per_s": 144.4
   },
   "score": {
    "refused": false,
    "cited": [
     "P03"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "de07",
   "lang": "de",
   "q": "Jemand blutet stark am Bein. Wo genau lege ich das Tourniquet an?",
   "retrieved": [
    {
     "id": "P13",
     "score": 0.7135
    },
    {
     "id": "P11",
     "score": 0.4773
    },
    {
     "id": "P17",
     "score": 0.4664
    }
   ],
   "answer": "Bei starkem Beinbluten rufen Sie sofort den Notruf [P13]. Legen Sie festen, gleichmäßigen Druck mit einem sauberen Tuch auf die Wunde und drücken Sie weiter [P13]. Das Tourniquet wird 2 bis 3 Zoll (5 bis 7 Zentimeter) oberhalb der Wunde, nicht an einem Gelenk, angelegt und bis das Blutstillen erreicht ist [P13]. Entfernen Sie das Tourniquet niemals selbst [P13].",
   "perf": {
    "ttft_s": 3.99,
    "total_s": 10.45,
    "eval_tokens": 110,
    "tok_per_s": 17.5,
    "prompt_tokens": 493,
    "prompt_tok_per_s": 178.7
   },
   "score": {
    "refused": false,
    "cited": [
     "P13"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "de08",
   "lang": "de",
   "q": "Die Notrufnummern 110 und 112 funktionieren nicht mehr. Was soll ich in einem Notfall tun?",
   "retrieved": [
    {
     "id": "DE2",
     "score": 0.5555
    },
    {
     "id": "P18",
     "score": 0.5434
    },
    {
     "id": "DE1",
     "score": 0.4975
    }
   ],
   "answer": "Wenn die Notrufnummern 110 und 112 nicht funktionieren, sollten Sie [DE2] zur nächsten Polizeistation oder in ein Krankenhaus gehen, falls es sich um einen Notfall handelt. [DE2] Es wird empfohlen, sich für mindestens 10 Tage mit Vorräten zu versorgen. [P18] Wenn möglich, sollten Sie sich für mindestens 3 Tage mit Vorräten versorgen. [DE1] Nutzen Sie zusätzlich eine Batterie-, Solar- oder Kurbelradio.",
   "perf": {
    "ttft_s": 7.26,
    "total_s": 13.14,
    "eval_tokens": 109,
    "tok_per_s": 18.3,
    "prompt_tokens": 613,
    "prompt_tok_per_s": 128.5
   },
   "score": {
    "refused": false,
    "cited": [
     "DE1",
     "DE2",
     "P18"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "de09",
   "lang": "de",
   "q": "Wie entferne ich eine Zecke richtig?",
   "retrieved": [
    {
     "id": "P16",
     "score": 0.4747
    },
    {
     "id": "P04",
     "score": 0.4668
    },
    {
     "id": "P05",
     "score": 0.4555
    }
   ],
   "answer": "Wenn Sie dazu aufgefordert werden, sich aufhalten (chemische Freisetzung), gehen Sie sofort ins Haus, schließen und verriegeln Sie alle Fenster und Türen, schalten Sie Ventilatoren, Klimaanlagen und Heizungen ab, die Außenluft ansaugen, und gehen Sie in ein Innenraumzimmer mit so wenigen Fenstern wie möglich [P16]. Sie können Lücken mit Plastikfolie und Klebeband versiegeln, wenn Sie dazu aufgefordert werden. Hören Sie den Radio für offizielle Updates [P16].\n",
   "perf": {
    "ttft_s": 21.42,
    "total_s": 28.14,
    "eval_tokens": 117,
    "tok_per_s": 17.4,
    "prompt_tokens": 497,
    "prompt_tok_per_s": 54.1
   },
   "score": {
    "refused": false,
    "cited": [
     "P16"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": false
   }
  },
  {
   "id": "de10",
   "lang": "de",
   "q": "Kann ich mein Elektroauto bei einem Blackout als Notstrom für das Haus nutzen?",
   "retrieved": [
    {
     "id": "P19",
     "score": 0.5535
    },
    {
     "id": "P02",
     "score": 0.4636
    },
    {
     "id": "DE1",
     "score": 0.4585
    }
   ],
   "answer": "Nein, das ist gefährlich [P02]. Es ist verboten, Generatoren, Druckreiniger, Grills oder Kocher in Innenräumen zu betreiben, da dies zu Kohlenmonoxidvergiftungen führen kann. [P02] Ein Elektroauto kann nicht als Notstrom dienen. [P02] Bitte beachten Sie die Sicherheitsvorkehrungen. [P02]",
   "perf": {
    "ttft_s": 6.64,
    "total_s": 10.9,
    "eval_tokens": 86,
    "tok_per_s": 19.9,
    "prompt_tokens": 536,
    "prompt_tok_per_s": 131.4
   },
   "score": {
    "refused": false,
    "cited": [
     "P02"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": false
   }
  },
  {
   "id": "es01",
   "lang": "es",
   "q": "¿Cuánta agua tengo que guardar por persona y día para una emergencia?",
   "retrieved": [
    {
     "id": "P01",
     "score": 0.7751
    },
    {
     "id": "P07",
     "score": 0.6026
    },
    {
     "id": "P20",
     "score": 0.5953
    }
   ],
   "answer": "Debes guardar al menos un galón (aproximadamente 4 litros) de agua por persona y día, para al menos tres días [P01]. Esto incluye el agua para beber y saneamiento. Recuerda que niños, madres lactantes y personas enfermas pueden necesitar más [P01].\n",
   "perf": {
    "ttft_s": 8.13,
    "total_s": 11.93,
    "eval_tokens": 65,
    "tok_per_s": 17.6,
    "prompt_tokens": 439,
    "prompt_tok_per_s": 109.8
   },
   "score": {
    "refused": false,
    "cited": [
     "P01"
    ],
    "answer_lang": "es",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "es02",
   "lang": "es",
   "q": "Tras el apagón volvió la luz a las 6 horas. ¿Tengo que tirar la carne y la leche de la nevera?",
   "retrieved": [
    {
     "id": "ES2",
     "score": 0.5648
    },
    {
     "id": "P06",
     "score": 0.5636
    },
    {
     "id": "P19",
     "score": 0.5563
    }
   ],
   "answer": "Sí, debe tirar la carne y la leche de la nevera [P02]. El apagón duró más de 4 horas, por lo que la comida podría haber alcanzado una temperatura superior a 5 grados C [P02]. Según la Agencia Española de Seguridad Alimentaria y Nutrición (AESAN), es recomendable desechar alimentos perecederos como carne, pollo, pescado, huevos, leche, queso fresco y sobras, incluso si se han cocinado [P02]. Nunca pruebe la comida para determinar si es segura [P06].",
   "perf": {
    "ttft_s": 7.05,
    "total_s": 12.96,
    "eval_tokens": 119,
    "tok_per_s": 20.1,
    "prompt_tokens": 600,
    "prompt_tok_per_s": 106.6
   },
   "score": {
    "refused": false,
    "cited": [
     "P02",
     "P06"
    ],
    "answer_lang": "es",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": false,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": [
     "5"
    ]
   }
  },
  {
   "id": "es03",
   "lang": "es",
   "q": "¿Cuánto tiempo aguanta el congelador sin luz si no lo abro?",
   "retrieved": [
    {
     "id": "P06",
     "score": 0.6312
    },
    {
     "id": "ES2",
     "score": 0.5931
    },
    {
     "id": "P14",
     "score": 0.5015
    }
   ],
   "answer": "Un congelador completo puede mantener su temperatura durante aproximadamente 48 horas, mientras que uno medio lleno puede mantenerla durante 24 horas [ES2]. Nunca pruebe la comida para determinar si es segura [P06]. Si no conoce el tiempo que ha estado descongelada, deséchela, especialmente si no está fría [ES2].",
   "perf": {
    "ttft_s": 11.96,
    "total_s": 15.4,
    "eval_tokens": 73,
    "tok_per_s": 20.3,
    "prompt_tokens": 595,
    "prompt_tok_per_s": 74.3
   },
   "score": {
    "refused": false,
    "cited": [
     "ES2",
     "P06"
    ],
    "answer_lang": "es",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "es04",
   "lang": "es",
   "q": "¿Puedo tener el generador funcionando en el garaje si dejo la puerta abierta?",
   "retrieved": [
    {
     "id": "P02",
     "score": 0.606
    },
    {
     "id": "P09",
     "score": 0.4541
    },
    {
     "id": "ES2",
     "score": 0.4044
    }
   ],
   "answer": "NO, nunca se debe operar un generador, una lavadora a presión, una parrilla, una cocina de campamento o cualquier dispositivo que queme gasolina, propano o carbón dentro de un hogar, sótano, garaje o caravana, incluso con las puertas y ventanas abiertas [P02]. Mantenga el generador al aire libre y a al menos 20 pies (6 metros) de distancia de ventanas, puertas y rejillas [P02].",
   "perf": {
    "ttft_s": 5.95,
    "total_s": 11.54,
    "eval_tokens": 99,
    "tok_per_s": 17.6,
    "prompt_tokens": 585,
    "prompt_tok_per_s": 149.1
   },
   "score": {
    "refused": false,
    "cited": [
     "P02"
    ],
    "answer_lang": "es",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "es05",
   "lang": "es",
   "q": "¿Qué es ES-Alert y cómo me llegan los avisos?",
   "retrieved": [
    {
     "id": "ES1",
     "score": 0.5709
    },
    {
     "id": "P16",
     "score": 0.4167
    },
    {
     "id": "P08",
     "score": 0.4024
    }
   ],
   "answer": "ES-Alert es un sistema de envío de notificaciones directamente a los teléfonos móviles [ES1]. Los avisos llegan a través del sistema ES-Alert [ES1]. Es importante usarlo solo en emergencias reales [ES1].\n",
   "perf": {
    "ttft_s": 7.54,
    "total_s": 9.89,
    "eval_tokens": 50,
    "tok_per_s": 19.7,
    "prompt_tokens": 576,
    "prompt_tok_per_s": 105.2
   },
   "score": {
    "refused": false,
    "cited": [
     "ES1"
    ],
    "answer_lang": "es",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "es06",
   "lang": "es",
   "q": "Huele a gas en casa. ¿Qué hago?",
   "retrieved": [
    {
     "id": "P09",
     "score": 0.7414
    },
    {
     "id": "P02",
     "score": 0.5626
    },
    {
     "id": "P18",
     "score": 0.5603
    }
   ],
   "answer": "Si huele a gas, abandone inmediatamente el edificio [P09]. No encienda luces, ni interruptores eléctricos, ni use teléfonos o encendedores [P09]. Llame a la compañía de gas o al número de emergencia desde el exterior, a una distancia segura [P09].",
   "perf": {
    "ttft_s": 11.22,
    "total_s": 14.57,
    "eval_tokens": 64,
    "tok_per_s": 19.4,
    "prompt_tokens": 457,
    "prompt_tok_per_s": 106.3
   },
   "score": {
    "refused": false,
    "cited": [
     "P09"
    ],
    "answer_lang": "ro",
    "lang_ok": false,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "es07",
   "lang": "es",
   "q": "¿Con cuántos centímetros de agua en movimiento me puede tirar una inundación?",
   "retrieved": [
    {
     "id": "P10",
     "score": 0.6968
    },
    {
     "id": "P01",
     "score": 0.5628
    },
    {
     "id": "P04",
     "score": 0.5379
    }
   ],
   "answer": "Una inundación puede tirar con un mínimo de 15 centímetros (6 pulgadas) de agua en movimiento [P10].  Es importante recordar que 30 centímetros (1 pie) de agua en movimiento pueden arrastrar un vehículo [P10].  Nunca camines, nades o conduzcas a través de aguas inundadas [P10].",
   "perf": {
    "ttft_s": 10.64,
    "total_s": 14.43,
    "eval_tokens": 75,
    "tok_per_s": 19.9,
    "prompt_tokens": 489,
    "prompt_tok_per_s": 78.4
   },
   "score": {
    "refused": false,
    "cited": [
     "P10"
    ],
    "answer_lang": "ro",
    "lang_ok": false,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "es08",
   "lang": "es",
   "q": "¿Para cuántos días debo tener medicamentos con receta en casa?",
   "retrieved": [
    {
     "id": "P14",
     "score": 0.7255
    },
    {
     "id": "P01",
     "score": 0.5418
    },
    {
     "id": "P07",
     "score": 0.5154
    }
   ],
   "answer": "Deberías tener al menos un suministro de 7 días de medicamentos con receta, más copias de las recetas y una lista de dosis [P14].  También es importante verificar las fechas de caducidad regularmente.  Medicamentos que necesitan refrigeración pueden requerir un refrigerador o paquetes de hielo durante un corte de energía, consulta a tu farmacéutico sobre cuánto tiempo permanecen utilizables sin refrigeración [P14].\n",
   "perf": {
    "ttft_s": 5.83,
    "total_s": 10.36,
    "eval_tokens": 92,
    "tok_per_s": 20.2,
    "prompt_tokens": 440,
    "prompt_tok_per_s": 98.6
   },
   "score": {
    "refused": false,
    "cited": [
     "P14"
    ],
    "answer_lang": "ro",
    "lang_ok": false,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "es09",
   "lang": "es",
   "q": "¿Cómo puedo hacer potable el agua de mar?",
   "retrieved": [
    {
     "id": "P05",
     "score": 0.5531
    },
    {
     "id": "P04",
     "score": 0.5379
    },
    {
     "id": "P01",
     "score": 0.4983
    }
   ],
   "answer": "NOT_IN_LIBRARY. The library does not cover this topic.",
   "perf": {
    "ttft_s": 13.09,
    "total_s": 13.85,
    "eval_tokens": 15,
    "tok_per_s": 17.9,
    "prompt_tokens": 491,
    "prompt_tok_per_s": 54.4
   },
   "score": {
    "refused": true,
    "cited": [],
    "answer_lang": "en",
    "lang_ok": false,
    "refusal_ok": true
   }
  },
  {
   "id": "es10",
   "lang": "es",
   "q": "¿Qué hago si me pica una medusa en la playa?",
   "retrieved": [
    {
     "id": "P16",
     "score": 0.4813
    },
    {
     "id": "P13",
     "score": 0.4729
    },
    {
     "id": "P10",
     "score": 0.4585
    }
   ],
   "answer": "Si le pica una medusa en la playa, aplique presión firme y constante sobre la herida con un paño limpio [P13]. Si la hemorragia de un brazo o pierna no se detiene, aplique un torniquete a 2 a 3 pulgadas (5 a 7 centímetros) por encima de la herida, no sobre una articulación, y apriete hasta que la hemorragia cese [P13]. NO intente quitar el torniquete usted mismo [P13]. Escuche las actualizaciones oficiales en la radio [P16].",
   "perf": {
    "ttft_s": 17.19,
    "total_s": 23.6,
    "eval_tokens": 126,
    "tok_per_s": 19.8,
    "prompt_tokens": 486,
    "prompt_tok_per_s": 92.1
   },
   "score": {
    "refused": false,
    "cited": [
     "P13",
     "P16"
    ],
    "answer_lang": "fr",
    "lang_ok": false,
    "refusal_ok": false
   }
  },
  {
   "id": "pl01",
   "lang": "pl",
   "q": "Ile wody na osobę na dobę powinienem trzymać w zapasie?",
   "retrieved": [
    {
     "id": "P01",
     "score": 0.7057
    },
    {
     "id": "P04",
     "score": 0.5744
    },
    {
     "id": "PL1",
     "score": 0.5694
    }
   ],
   "answer": "Zgodnie z instrukcją, powinien trzymać zapas co najmniej 4 litry wody na osobę na dobę [P01].",
   "perf": {
    "ttft_s": 10.64,
    "total_s": 12.42,
    "eval_tokens": 35,
    "tok_per_s": 18.7,
    "prompt_tokens": 541,
    "prompt_tok_per_s": 84.0
   },
   "score": {
    "refused": false,
    "cited": [
     "P01"
    ],
    "answer_lang": "pl",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "pl02",
   "lang": "pl",
   "q": "Na ile dni powinienem przygotować domowe zapasy?",
   "retrieved": [
    {
     "id": "PL1",
     "score": 0.6307
    },
    {
     "id": "P14",
     "score": 0.5877
    },
    {
     "id": "P07",
     "score": 0.5851
    }
   ],
   "answer": "Zgodnie z poradnikiem bezpieczeństwa, domowe zapasy powinny być przygotowane na minimum 3 dni [PL1]. Należy je regularnie sprawdzać, w tym daty ważności [PL1].",
   "perf": {
    "ttft_s": 10.86,
    "total_s": 13.05,
    "eval_tokens": 46,
    "tok_per_s": 19.8,
    "prompt_tokens": 500,
    "prompt_tok_per_s": 70.6
   },
   "score": {
    "refused": false,
    "cited": [
     "PL1"
    ],
    "answer_lang": "pl",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "pl03",
   "lang": "pl",
   "q": "Jak brzmi syrena przy ogłoszeniu alarmu, a jak przy jego odwołaniu?",
   "retrieved": [
    {
     "id": "PL2",
     "score": 0.6048
    },
    {
     "id": "P09",
     "score": 0.5106
    },
    {
     "id": "P16",
     "score": 0.494
    }
   ],
   "answer": "Przy ogłoszeniu alarmu syrena wydaje ciągły, modulowany (rosnący i opadający) dźwięk przez 3 minuty [PL2]. Przy odwołaniu alarmu syrena wydaje ciągły, stały dźwięk przez 3 minuty [PL2].",
   "perf": {
    "ttft_s": 13.46,
    "total_s": 16.47,
    "eval_tokens": 64,
    "tok_per_s": 21.0,
    "prompt_tokens": 512,
    "prompt_tok_per_s": 80.8
   },
   "score": {
    "refused": false,
    "cited": [
     "PL2"
    ],
    "answer_lang": "pl",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "pl04",
   "lang": "pl",
   "q": "Czy mogę używać grilla na węgiel drzewny w mieszkaniu, kiedy nie ma prądu?",
   "retrieved": [
    {
     "id": "P02",
     "score": 0.5206
    },
    {
     "id": "P19",
     "score": 0.5153
    },
    {
     "id": "P06",
     "score": 0.4195
    }
   ],
   "answer": "Nie, nigdy nie można używać grilla na węgiel drzewny w mieszkaniu, nawet z otwartymi oknami i drzwiami [P02]. To jest bardzo niebezpieczne i może spowodować poważne obrażenia. Należy używać latarek lub latarnek na baterie [P19].",
   "perf": {
    "ttft_s": 16.16,
    "total_s": 19.82,
    "eval_tokens": 71,
    "tok_per_s": 18.1,
    "prompt_tokens": 481,
    "prompt_tok_per_s": 76.3
   },
   "score": {
    "refused": false,
    "cited": [
     "P02",
     "P19"
    ],
    "answer_lang": "pl",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "pl05",
   "lang": "pl",
   "q": "Ile kropli wybielacza z chlorem dodać do 4 litrów wody?",
   "retrieved": [
    {
     "id": "P05",
     "score": 0.6384
    },
    {
     "id": "P04",
     "score": 0.4699
    },
    {
     "id": "P01",
     "score": 0.4545
    }
   ],
   "answer": "Do 4 litrów wody należy dodać 8 kropli (około 1/8 łyżeczki) regularnego, nieparfumatyzowanego wybielacza z chlorem (6 procentowego) [P05]. Po dodaniu należy wymieszać i odczekać 30 minut przed spożyciem [P05].",
   "perf": {
    "ttft_s": 20.77,
    "total_s": 24.5,
    "eval_tokens": 77,
    "tok_per_s": 19.4,
    "prompt_tokens": 501,
    "prompt_tok_per_s": 81.0
   },
   "score": {
    "refused": false,
    "cited": [
     "P05"
    ],
    "answer_lang": "pl",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "pl06",
   "lang": "pl",
   "q": "Jak długo pełna zamrażarka utrzyma mrożonki bez prądu?",
   "retrieved": [
    {
     "id": "P06",
     "score": 0.6446
    },
    {
     "id": "P14",
     "score": 0.5004
    },
    {
     "id": "P07",
     "score": 0.4654
    }
   ],
   "answer": "Pełna zamrażarka utrzyma mrożonki przez około 48 godzin bez prądu [P06].  Należy pamiętać, że półpełna zamrażarka utrzyma temperaturę przez około 24 godziny [P06].  Nigdy nie należy próbować ocenić bezpieczeństwa żywności, próbując jej [P06].",
   "perf": {
    "ttft_s": 11.43,
    "total_s": 15.68,
    "eval_tokens": 86,
    "tok_per_s": 20.2,
    "prompt_tokens": 478,
    "prompt_tok_per_s": 89.3
   },
   "score": {
    "refused": false,
    "cited": [
     "P06"
    ],
    "answer_lang": "pl",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "pl07",
   "lang": "pl",
   "q": "Ziemia się trzęsie. Czy mam wybiec na zewnątrz?",
   "retrieved": [
    {
     "id": "P17",
     "score": 0.6635
    },
    {
     "id": "P18",
     "score": 0.5753
    },
    {
     "id": "P10",
     "score": 0.5741
    }
   ],
   "answer": "Nie, nie powinieneś wybiec na zewnątrz podczas trzęsienia ziemi [P17]. Zamiast tego, musisz się schronić, upadając na dłonie i kolana, zakryć głowę i szyję [P17] i trzymać się stabilnego stołu. Nigdy nie biegnij na zewnątrz podczas trzęsienia ziemi [P17].",
   "perf": {
    "ttft_s": 15.76,
    "total_s": 20.31,
    "eval_tokens": 93,
    "tok_per_s": 20.1,
    "prompt_tokens": 462,
    "prompt_tok_per_s": 63.4
   },
   "score": {
    "refused": false,
    "cited": [
     "P17"
    ],
    "answer_lang": "pl",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "pl08",
   "lang": "pl",
   "q": "Ktoś ma udar cieplny. Czy powinienem dać mu wody do picia?",
   "retrieved": [
    {
     "id": "P12",
     "score": 0.598
    },
    {
     "id": "P11",
     "score": 0.5673
    },
    {
     "id": "P01",
     "score": 0.5576
    }
   ],
   "answer": "NIE_W KNOWSKIE. Osoby z udarem cieplnym nie powinny otrzymywać żadnych napojów [P11]. Zamiast tego należy przenieść osobę w chłodniejsze miejsce i obniżyć jej temperaturę [P11].",
   "perf": {
    "ttft_s": 11.43,
    "total_s": 14.34,
    "eval_tokens": 59,
    "tok_per_s": 18.5,
    "prompt_tokens": 504,
    "prompt_tok_per_s": 59.3
   },
   "score": {
    "refused": false,
    "cited": [
     "P11"
    ],
    "answer_lang": "pl",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": false,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "pl09",
   "lang": "pl",
   "q": "Jak odróżnić grzyby jadalne od trujących w lesie?",
   "retrieved": [
    {
     "id": "P04",
     "score": 0.4201
    },
    {
     "id": "P02",
     "score": 0.4056
    },
    {
     "id": "P18",
     "score": 0.3944
    }
   ],
   "answer": "Nie mam informacji na ten temat w bibliotece [P04].",
   "perf": {
    "ttft_s": 13.64,
    "total_s": 14.35,
    "eval_tokens": 16,
    "tok_per_s": 21.0,
    "prompt_tokens": 487,
    "prompt_tok_per_s": 90.1
   },
   "score": {
    "refused": false,
    "cited": [
     "P04"
    ],
    "answer_lang": "pl",
    "lang_ok": true,
    "refusal_ok": false
   }
  },
  {
   "id": "pl10",
   "lang": "pl",
   "q": "Ile tabletek jodku potasu mam wziąć po awarii elektrowni jądrowej?",
   "retrieved": [
    {
     "id": "P14",
     "score": 0.4396
    },
    {
     "id": "PL1",
     "score": 0.4238
    },
    {
     "id": "P11",
     "score": 0.4095
    }
   ],
   "answer": "NOT_IN_LIBRARY. The library does not cover this question.",
   "perf": {
    "ttft_s": 8.17,
    "total_s": 8.84,
    "eval_tokens": 15,
    "tok_per_s": 21.7,
    "prompt_tokens": 534,
    "prompt_tok_per_s": 117.8
   },
   "score": {
    "refused": true,
    "cited": [],
    "answer_lang": "en",
    "lang_ok": false,
    "refusal_ok": true
   }
  },
  {
   "id": "sv01",
   "lang": "sv",
   "q": "Hur mycket vatten behöver jag per person och dygn?",
   "retrieved": [
    {
     "id": "P01",
     "score": 0.6799
    },
    {
     "id": "SE1",
     "score": 0.5811
    },
    {
     "id": "P05",
     "score": 0.5654
    }
   ],
   "answer": "Enligt [P01] och [SE1] behöver du minst 4 liter (en gallon) vatten per person och dygn, men barn, ammande mödrar och sjuka personer kan behöva mer, nämligen 3 liter [SE1]. Det är viktigt att förvara vattnet i lämpliga behållare [P01]. [P01]\n",
   "perf": {
    "ttft_s": 8.26,
    "total_s": 12.35,
    "eval_tokens": 83,
    "tok_per_s": 20.5,
    "prompt_tokens": 534,
    "prompt_tok_per_s": 118.7
   },
   "score": {
    "refused": false,
    "cited": [
     "P01",
     "SE1"
    ],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "sv02",
   "lang": "sv",
   "q": "När testas Hesa Fredrik?",
   "retrieved": [
    {
     "id": "SE2",
     "score": 0.5928
    },
    {
     "id": "P11",
     "score": 0.312
    },
    {
     "id": "SE1",
     "score": 0.3014
    }
   ],
   "answer": "Hesa Fredrik testas på den första icke-helgdaggen i mars, juni, september och december kl. 15:00 [SE2].",
   "perf": {
    "ttft_s": 11.37,
    "total_s": 13.27,
    "eval_tokens": 36,
    "tok_per_s": 20.5,
    "prompt_tokens": 622,
    "prompt_tok_per_s": 80.5
   },
   "score": {
    "refused": false,
    "cited": [
     "SE2"
    ],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": false,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "sv03",
   "lang": "sv",
   "q": "Jag hör en signal som ljuder 7 sekunder och sedan är tyst 14 sekunder. Vad betyder det och vad ska jag göra?",
   "retrieved": [
    {
     "id": "SE2",
     "score": 0.5555
    },
    {
     "id": "P16",
     "score": 0.5122
    },
    {
     "id": "P09",
     "score": 0.5095
    }
   ],
   "answer": "Det är en viktig allmän meddelande signal (VMA). [SE2] Den innebär att du ska gå inomhus, stänga fönster och dörrar, och lyssna på Sveriges Radio P4. [SE2] Det är en varning, så du bör gå till ett skyddat utrymme, helst ett rum utan fönster. [SE2]",
   "perf": {
    "ttft_s": 8.81,
    "total_s": 13.63,
    "eval_tokens": 84,
    "tok_per_s": 19.4,
    "prompt_tokens": 566,
    "prompt_tok_per_s": 73.1
   },
   "score": {
    "refused": false,
    "cited": [
     "SE2"
    ],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "sv04",
   "lang": "sv",
   "q": "Får jag använda gasolköket inne i köket när strömmen är borta, om jag öppnar ett fönster?",
   "retrieved": [
    {
     "id": "P02",
     "score": 0.5276
    },
    {
     "id": "P06",
     "score": 0.4776
    },
    {
     "id": "P19",
     "score": 0.4721
    }
   ],
   "answer": "Nej, det får du aldrig göra [P02]. Det är förbjudet att använda gasolköket eller andra brännbara enheter inne i köket, även med öppna fönster [P02]. Håll gasolköket utomhus och minst 6 meter från fönster och dörrar [P02].",
   "perf": {
    "ttft_s": 17.29,
    "total_s": 20.99,
    "eval_tokens": 77,
    "tok_per_s": 21.1,
    "prompt_tokens": 486,
    "prompt_tok_per_s": 80.1
   },
   "score": {
    "refused": false,
    "cited": [
     "P02"
    ],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "sv05",
   "lang": "sv",
   "q": "Hur länge håller ett stängt kylskåp maten kall vid strömavbrott?",
   "retrieved": [
    {
     "id": "P06",
     "score": 0.6905
    },
    {
     "id": "P14",
     "score": 0.5353
    },
    {
     "id": "P07",
     "score": 0.4946
    }
   ],
   "answer": "Ett stängt kylskåp håller maten kall i cirka 4 timmar [P06]. Ett fullt kylskåp håller temperaturen i cirka 48 timmar [P06], medan ett halvfyllt kylskåp håller temperaturen i cirka 24 timmar [P06]. Det är viktigt att aldrig smaka på maten för att avgöra om den är säker [P06].",
   "perf": {
    "ttft_s": 9.59,
    "total_s": 14.31,
    "eval_tokens": 97,
    "tok_per_s": 20.9,
    "prompt_tokens": 476,
    "prompt_tok_per_s": 100.8
   },
   "score": {
    "refused": false,
    "cited": [
     "P06"
    ],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "sv06",
   "lang": "sv",
   "q": "Kan jag använda stearinljus när strömmen är borta?",
   "retrieved": [
    {
     "id": "P19",
     "score": 0.6458
    },
    {
     "id": "P14",
     "score": 0.472
    },
    {
     "id": "P06",
     "score": 0.4373
    }
   ],
   "answer": "Nej, du får aldrig använda stearinljus när strömmen är borta [P01]. De orsakar brandrisker [P01]. Använd istället flashljus eller batterilampor [P01].",
   "perf": {
    "ttft_s": 10.22,
    "total_s": 12.79,
    "eval_tokens": 52,
    "tok_per_s": 21.0,
    "prompt_tokens": 459,
    "prompt_tok_per_s": 113.6
   },
   "score": {
    "refused": false,
    "cited": [
     "P01"
    ],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": false,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "sv07",
   "lang": "sv",
   "q": "Hur länge ska jag koka vattnet om jag är på fjället, över 2 000 meter?",
   "retrieved": [
    {
     "id": "P04",
     "score": 0.6706
    },
    {
     "id": "P01",
     "score": 0.5453
    },
    {
     "id": "P06",
     "score": 0.5335
    }
   ],
   "answer": "Om du är på en höjd över 2 000 meter ska du koka vattnet i 3 minuter [P04]. Detta för att döda bakterier och göra det säkert att dricka. Se till att vattnet är klart innan du kokar det [P04].",
   "perf": {
    "ttft_s": 11.8,
    "total_s": 14.74,
    "eval_tokens": 65,
    "tok_per_s": 21.2,
    "prompt_tokens": 516,
    "prompt_tok_per_s": 91.0
   },
   "score": {
    "refused": false,
    "cited": [
     "P04"
    ],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "sv08",
   "lang": "sv",
   "q": "Det brinner i huset och katten är kvar inne. Ska jag gå tillbaka in och hämta den?",
   "retrieved": [
    {
     "id": "P20",
     "score": 0.5691
    },
    {
     "id": "P18",
     "score": 0.5355
    },
    {
     "id": "P16",
     "score": 0.5328
    }
   ],
   "answer": "Nej, gå aldrig tillbaka in i ett brinnande hus [P18]. Det är farligt och du bör stanna ute [P18]. För att undvika skador, kryp lågt under röken [P18]. Se till att du har en nyligen taggad bild av katten [P20] för att kunna identifiera den.",
   "perf": {
    "ttft_s": 10.82,
    "total_s": 14.64,
    "eval_tokens": 80,
    "tok_per_s": 19.0,
    "prompt_tokens": 458,
    "prompt_tok_per_s": 65.7
   },
   "score": {
    "refused": false,
    "cited": [
     "P18",
     "P20"
    ],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": false,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "sv09",
   "lang": "sv",
   "q": "Hur bygger jag ett eget skyddsrum i källaren?",
   "retrieved": [
    {
     "id": "P16",
     "score": 0.5109
    },
    {
     "id": "P17",
     "score": 0.4988
    },
    {
     "id": "P04",
     "score": 0.4456
    }
   ],
   "answer": "Jag kan inte ge dig exakta instruktioner för att bygga ett skyddsrum. [P16] Om du blir varnad att stanna på plats, gå omedelbart inomhus, stäng och lås alla fönster och dörrar, stäng av fläktar, luftkonditionering och värme som drar in luft utifrån och gå till ett rum inomhus med så få fönster som möjligt. [P17] Under en jordbävning, \"Drop, Cover, and Hold On\". [P04] Om du inte har säkert flaskvatten, kokar du vattnet i 1 minut.",
   "perf": {
    "ttft_s": 14.89,
    "total_s": 22.07,
    "eval_tokens": 142,
    "tok_per_s": 19.7,
    "prompt_tokens": 484,
    "prompt_tok_per_s": 82.7
   },
   "score": {
    "refused": false,
    "cited": [
     "P04",
     "P16",
     "P17"
    ],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": false
   }
  },
  {
   "id": "sv10",
   "lang": "sv",
   "q": "Hur behandlar jag ett huggormsbett?",
   "retrieved": [
    {
     "id": "P13",
     "score": 0.4628
    },
    {
     "id": "P16",
     "score": 0.462
    },
    {
     "id": "P17",
     "score": 0.4459
    }
   ],
   "answer": "Jag kan tyvärr inte ge dig råd om hur du behandlar ett huggormsbett. [NOT_IN_LIBRARY] The library does not cover this.",
   "perf": {
    "ttft_s": 15.24,
    "total_s": 16.7,
    "eval_tokens": 37,
    "tok_per_s": 21.1,
    "prompt_tokens": 472,
    "prompt_tok_per_s": 85.5
   },
   "score": {
    "refused": true,
    "cited": [],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": true
   }
  },
  {
   "id": "cv_de",
   "lang": "de",
   "q": "Wie lange hält ein voller Gefrierschrank ohne Strom die Temperatur?",
   "retrieved": [
    {
     "id": "P06",
     "score": 0.6592
    },
    {
     "id": "P14",
     "score": 0.5011
    },
    {
     "id": "P07",
     "score": 0.4577
    }
   ],
   "answer": "Ein voller Gefrierschrank hält seine Temperatur etwa 48 Stunden [P06]. Ein halbleller Gefrierschrank hält seine Temperatur etwa 24 Stunden [P06]. Es ist wichtig, verderbliche Lebensmittel wie Fleisch, Milch und Reste zu entsorgen, wenn sie 2 Stunden oder länger bei über 40 Grad F (4 Grad C) waren [P06]. Bitte proben Sie niemals Lebensmittel, um ihre Sicherheit zu beurteilen [P06].",
   "perf": {
    "ttft_s": 10.24,
    "total_s": 16.11,
    "eval_tokens": 104,
    "tok_per_s": 21.4,
    "prompt_tokens": 470,
    "prompt_tok_per_s": 94.0
   },
   "score": {
    "refused": false,
    "cited": [
     "P06"
    ],
    "answer_lang": "de",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "cv_sv",
   "lang": "sv",
   "q": "Tack. Nu fortsätter jag på svenska: hur långt från huset ska elverket stå?",
   "retrieved": [
    {
     "id": "P02",
     "score": 0.5425
    },
    {
     "id": "P19",
     "score": 0.4842
    },
    {
     "id": "P10",
     "score": 0.4713
    }
   ],
   "answer": "Elverket ska vara placerat minst 20 meter (6 meter) från huset [P02]. Det är förbjudet att placera elverk nära fönster, dörrar eller ventilationsöppningar [P02]. För att undvika risker ska det stå utomhus [P02].",
   "perf": {
    "ttft_s": 12.55,
    "total_s": 16.16,
    "eval_tokens": 72,
    "tok_per_s": 19.3,
    "prompt_tokens": 589,
    "prompt_tok_per_s": 100.4
   },
   "score": {
    "refused": false,
    "cited": [
     "P02"
    ],
    "answer_lang": "sv",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  },
  {
   "id": "cv_es",
   "lang": "es",
   "q": "Ahora en español: si el agua está turbia, ¿cuántas gotas de lejía pongo en 4 litros?",
   "retrieved": [
    {
     "id": "P05",
     "score": 0.5319
    },
    {
     "id": "P01",
     "score": 0.501
    },
    {
     "id": "P04",
     "score": 0.4686
    }
   ],
   "answer": "Si el agua está turbia, se deben añadir el doble de gotas [P05]. Esto equivale a 16 gotas (aproximadamente 1/4 de cucharadita) por 4 litros de agua [P05]. Es importante esperar 30 minutos antes de beber [P05].",
   "perf": {
    "ttft_s": 14.89,
    "total_s": 18.14,
    "eval_tokens": 66,
    "tok_per_s": 19.2,
    "prompt_tokens": 740,
    "prompt_tok_per_s": 98.9
   },
   "score": {
    "refused": false,
    "cited": [
     "P05"
    ],
    "answer_lang": "es",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": [
     "16"
    ]
   }
  },
  {
   "id": "cv_pl",
   "lang": "pl",
   "q": "A teraz po polsku: czy przy hipotermii mogę dać komuś alkohol na rozgrzanie?",
   "retrieved": [
    {
     "id": "P12",
     "score": 0.6384
    },
    {
     "id": "P11",
     "score": 0.5264
    },
    {
     "id": "P04",
     "score": 0.4814
    }
   ],
   "answer": "Nie, nigdy nie można dawać alkoholu osobie z hipotermią [P12]. Alkohol rozszerza naczynia krwionośne, co powoduje, że ciepło ucieka z ciała [P12]. Zamiast tego należy ogrzać osobę, jak opisano w [P12].",
   "perf": {
    "ttft_s": 13.73,
    "total_s": 19.5,
    "eval_tokens": 70,
    "tok_per_s": 14.4,
    "prompt_tokens": 870,
    "prompt_tok_per_s": 121.8
   },
   "score": {
    "refused": false,
    "cited": [
     "P12"
    ],
    "answer_lang": "pl",
    "lang_ok": true,
    "refusal_ok": true,
    "hit_top1": true,
    "hit_top3": true,
    "citation_ok": true,
    "must_ok": true,
    "neg_ok": true,
    "unsupported_numbers": []
   }
  }
 ]
}