Premiers résultats en préparation

L’IA connaît-elle le Canada?

CanBench est un banc d’essai ouvert et bilingue pour les modèles d’IA. Il porte sur ce que les Canadiens demandent vraiment : nos lois, nos services publics, le français du Québec et nos deux langues officielles. Le classement ci-dessous compare les principaux modèles du monde sur ces sujets.

Ce qui est mesuré

Droit

La Charte, les lois fédérales, le partage des compétences fédérales et provinciales, le droit civil québécois.

Services gouvernementaux

ARC, assurance-emploi, RPC, assurance maladie provinciale, démarches d’immigration.

Français québécois

L’usage, le registre et la terminologie tels qu’on les écrit au Québec, sans traduction de France ni de l’anglais.

Traduction officielle

Traduction anglais↔français de textes officiels, selon les conventions fédérales.

Connaître le Canada

Géographie, histoire, institutions et différences entre les provinces.

Sécurité

Refus et préjudices évalués selon le contexte juridique canadien.

Classement

Les notes vont de 0 (choix au hasard) à 100 (parfait), au total et séparément pour l’anglais et le français.

Modèle	Concepteur	Total	Anglais	Français
Claude	Anthropic	à venir	à venir	à venir
GPT	OpenAI	à venir	à venir	à venir
Gemini	Google	à venir	à venir	à venir
Command A+	Cohere	à venir	à venir	à venir
Mistral Small 4	Mistral AI	à venir	à venir	à venir
Qwen3.8-27B	Alibaba	à venir	à venir	à venir
Olmo 3	Ai2	à venir	à venir	à venir
Apertus 1.5	ETH Zurich / EPFL	à venir	à venir	à venir

Fonctionnement

Ouvert. Le code d’évaluation et une partie des questions seront publiés, pour que chacun puisse voir comment les notes sont calculées et les refaire sur les questions publiques.
Rédigé en français, pas traduit. Les questions en français sont écrites et révisées par des locuteurs du Québec. Aucune n’est traduite automatiquement de l’anglais.
Difficile à déjouer. Le classement repose uniquement sur des questions jamais publiées, renouvelées chaque trimestre. Un modèle qui réussit beaucoup mieux les questions publiques que les questions privées a probablement été entraîné sur elles, et le classement le montrera.
Fondé sur l’existant. Quand un banc d’essai canadien existe déjà, comme GRACE pour le droit fédéral ou QFrBLiMP pour la grammaire du français québécois, CanBench l’utilise au lieu de le refaire.
Sources indiquées. Chaque question cite la source canadienne ouverte dont elle provient, par exemple le site Web de la législation (Justice) ou canada.ca.

Soumettre un modèle

Les concepteurs pourront soumettre leurs modèles dès la publication des premiers résultats. Pour être avisé, écrivez à support@suprun.ca.