Post #4159678

@LarsHenriksen@mastodon.nu På den hardware kører jeg primært 3 modeller: Mistral-3:3B Mistral-3:8B Mistral-3:14B Den mindste model (3b) bruger jeg primært til hurtige opslag som jeg ikke skal bruge til noget vigtigt. Her får jeg omkring 18 tokens/sekund, og svaret starter med at komme stort set øjeblikkeligt og er færdigt på under et minut. Den midterste model (8b) er den, jeg bruger når der skal laves en lidt mere omfattende indsamling af data fra flere kilder og holdes styr på dem, indtil de puttes i en sammenfattende tekst. Her får jeg omkring 8-10 tokens/sekund, hvilket giver mig et svar på 1-3 minutter. Den største model (14b) bruger jeg, hvis der skal samles data fra flere kilder og laves en grundigere analyse af dem. Her får jeg som regel 5 tokens/sekund, så et svar tager tit 5-10 minutter. Kvaliteten er ofte på et niveau, der ligger omkring eller lidt under kvaliteten på https://chat.mistral.ai/chat Alle svar kommer serielt, så ét svar skal være færdigt før det næste begynder at komme. Det vil være håbløst i et scenarie med 1000 elever, og det er derfor, jeg slet ikke tør sige noget om, hvordan det løses i praksis. :) 2/2