Un élève répond à côté, un candidat soulève un point inattendu, un autre connaît la définition mais ne sait pas l’expliquer. Dans chacun de ces cas, poser mécaniquement la question suivante donnerait l’illusion d’un oral sans en reproduire la logique.
C’est le problème que je cherche à résoudre avec JuryAI. L’examinateur doit écouter la réponse, en comprendre les forces et les limites, puis adapter la suite de l’échange. Il ne suffit pas de faire parler un chatbot avec une voix.
Après plusieurs versions du produit, une conviction s’est imposée : la qualité d’un oral simulé dépend moins de la quantité de questions disponibles que de la capacité à choisir la bonne relance au bon moment.
Un examinateur ne déroule pas un questionnaire
Une liste de questions peut évaluer des connaissances. Elle ne sait pas conduire un entretien.
Lorsqu’une réponse reste vague, l’examinateur doit demander un exemple. Lorsqu’elle contient une contradiction, il peut inviter la personne à préciser son raisonnement. Lorsqu’un point est bien maîtrisé, il doit éviter de s’y attarder et changer d’angle. La question suivante dépend donc de ce qui vient réellement d’être dit.
JuryAI a été conçu pour prendre cette décision après chaque réponse. Le sujet, le niveau attendu, le déroulement de la session et l’historique de l’échange lui donnent un contexte. L’objectif n’est pas de surprendre l’utilisateur à tout prix, mais de maintenir un oral cohérent qui progresse.
Cette adaptation concerne plusieurs usages : réviser un cours, préparer une soutenance ou simuler un entretien d’embauche. Le vocabulaire, le niveau d’exigence et la manière de relancer ne sont pas les mêmes. Un candidat ne doit pas avoir l’impression de passer un contrôle scolaire, pas plus qu’un lycéen ne doit recevoir des questions calibrées pour un recruteur.
Le premier travail n’a donc pas consisté à produire davantage de texte. Il a consisté à définir ce que signifie « bien conduire » chaque type d’oral.
La voix est l’interface, pas l’intelligence
La voix rend l’expérience plus naturelle et plus exigeante. Il faut répondre sans disposer du confort de l’écrit, organiser ses idées en temps réel et accepter les silences. C’est précisément ce que l’utilisateur vient travailler.
Mais une voix réaliste ne garantit pas un bon examinateur. Un système peut parler avec fluidité tout en posant une question hors sujet, en donnant lui-même la réponse ou en ignorant une faiblesse importante. La qualité perçue pendant les premières secondes ne dit rien de la pertinence de l’entretien complet.
Dans JuryAI, la partie vocale reste donc au service de la conduite de l’oral. Chaque réponse doit pouvoir être comprise, replacée dans l’échange et utilisée pour préparer la suite. Le produit doit également rester capable d’expliquer ce qui s’est passé lorsqu’une session est mauvaise, au lieu de tout confondre dans une conversation opaque.
Ce choix apporte une liberté importante : améliorer la reconnaissance de la parole, le raisonnement de l’examinateur ou la restitution vocale sans redéfinir toute l’expérience. L’utilisateur, lui, ne voit qu’un échange continu.
S’adapter sans perdre le cadre
Un examinateur trop rigide récite son scénario. Un examinateur sans limites peut dériver, multiplier les questions ou prolonger inutilement l’échange. Le produit doit trouver un équilibre entre ces deux extrêmes.
JuryAI laisse l’examinateur choisir la meilleure suite sur le fond, mais l’application conserve la responsabilité du cadre. Elle veille notamment à la cohérence avec la demande initiale, au niveau attendu, à la progression de l’oral et aux conditions dans lesquelles la session doit se terminer.
Cette séparation est essentielle. Les décisions pédagogiques ou conversationnelles gagnent à rester adaptatives. Les règles qui protègent l’expérience ne doivent pas dépendre de l’humeur du modèle utilisé ce jour-là.
Concrètement, l’examinateur peut décider qu’une réponse mérite d’être approfondie ou qu’il est temps de changer de thème. Il ne peut pas redéfinir silencieusement l’objectif choisi par l’utilisateur. Il conserve une marge de jugement à l’intérieur d’un parcours dont les limites restent maîtrisées par le produit.
Cette logique paraît simple lorsqu’elle fonctionne. Elle devient visible dès qu’elle manque : questions doubles, relances répétitives, entretien qui ne sait pas finir ou feedback sans rapport avec ce qui a été dit.
Utiliser les documents au bon moment
Une simulation générique peut être utile, mais elle atteint vite ses limites. Un élève veut être interrogé sur son propre cours. Un candidat veut travailler à partir de son CV et d’une offre précise. Une personne qui prépare une soutenance attend des questions sur le contenu qu’elle va réellement présenter.
JuryAI peut utiliser ces documents comme sources de contexte. L’enjeu n’est pas de réciter leur contenu ni de les ajouter systématiquement à chaque échange. Ils doivent aider l’examinateur lorsqu’un détail mérite d’être vérifié ou lorsqu’une relance doit être ancrée dans le dossier de l’utilisateur.
Cette différence évite deux échecs fréquents. Le premier consiste à produire des questions génériques alors que le document contient les éléments qui rendent l’oral personnel. Le second consiste à laisser le document envahir la conversation, jusqu’à transformer l’examinateur en moteur de recherche.
Le bon usage se situe entre les deux : conserver le fil de l’oral et revenir aux sources lorsque cela améliore réellement la question suivante.
Cela compte particulièrement pour les entretiens. Un CV, une lettre et une offre ne racontent pas la même chose. L’examinateur doit pouvoir rapprocher une expérience du poste visé, repérer une zone peu développée ou demander au candidat d’illustrer une compétence, sans inventer une information absente du dossier.
Évaluer l’oral, pas seulement la dernière réponse
Terminer par « bravo, continuez ainsi » ne constitue pas une évaluation.
Le retour doit refléter l’ensemble de la session : ce qui a été compris, la qualité des explications, la capacité à illustrer une idée et les points qui restent fragiles. Il doit aussi donner une direction de travail suffisamment précise pour que l’utilisateur sache quoi améliorer lors du prochain essai.
JuryAI construit donc son bilan à partir du déroulement complet de l’oral. La note n’est qu’un repère parmi d’autres. Les forces, les axes de progression et le conseil final ont davantage de valeur s’ils se rattachent à des réponses réellement données.
Les critères doivent également s’adapter au contexte. La maîtrise d’un cours, la clarté d’une soutenance et la pertinence d’un exemple professionnel ne s’évaluent pas de la même manière. Utiliser une grille universelle produirait un résultat régulier en apparence, mais pauvre pour l’utilisateur.
Le défi est de conserver un bilan lisible sans effacer les particularités de chaque oral.
Tester le comportement, pas la réputation du modèle
Les classements publics évaluent des capacités générales. Ils ne disent pas si un modèle sait conduire un oral selon les règles d’un produit précis.
Pour JuryAI, je teste les modèles sur des situations représentatives : une réponse incomplète, une contradiction, une demande de précision, un document à mobiliser ou une session qu’il faut conclure proprement. Les cas utilisent des données synthétiques, ce qui permet de rejouer le même protocole sans exposer les contenus des utilisateurs.
J’observe plusieurs dimensions à la fois : le respect de la consigne, la pertinence de la relance, la stabilité du comportement, la rapidité et le coût. Un modèle très convaincant sur une réponse isolée peut être un mauvais choix s’il devient imprévisible au milieu d’un entretien.
Cette méthode évite aussi de figer l’architecture autour d’un fournisseur. Les modèles évoluent vite. La décision importante n’est pas de choisir définitivement un nom, mais de disposer d’un protocole pour vérifier qu’un changement améliore effectivement JuryAI.
Ce qui compte pour l’utilisateur est le résultat : un comportement évalué sur les situations qu’il rencontrera vraiment.
Ce que les premiers prototypes m’ont appris
Un long prompt ne remplace pas un produit. On peut demander au modèle de rester dans le sujet, de poser une question à la fois et de conclure proprement. Ces consignes améliorent le résultat, mais elles ne suffisent pas à garantir le comportement d’une session entière.
Une conversation naturelle peut malgré tout être mauvaise. Un ton fluide masque facilement une relance inutile, une répétition ou une évaluation trop vague. Il faut juger la progression de l’entretien, pas seulement la qualité littéraire de chaque phrase.
La rapidité ne se mesure pas sur un seul composant. Dans un échange vocal, les petits délais s’additionnent et deviennent perceptibles. Mais gagner quelques instants n’a aucun intérêt si la prochaine question perd en pertinence ou oblige l’utilisateur à recommencer.
Le bilan doit être pensé dès le début. Si le système attend la dernière seconde pour reconstituer ce qui s’est passé, son feedback devient générique. La qualité de l’évaluation dépend de la manière dont tout l’oral a été conduit.
Ces erreurs ont progressivement déplacé mon attention. Je travaille moins sur la capacité à générer une réponse impressionnante et davantage sur la cohérence du parcours complet.
Ce qui reste difficile
Une bonne relance n’a pas toujours une réponse unique. Deux examinateurs humains peuvent choisir des directions différentes tout en restant pertinents. Le produit doit accepter cette variété sans laisser l’entretien devenir aléatoire.
La voix augmente aussi le niveau d’exigence. Une hésitation, un délai ou une formulation trop longue sont beaucoup plus visibles à l’oral qu’à l’écrit. Chaque amélioration doit donc être évaluée dans une session réelle, pas uniquement sur une sortie textuelle.
Enfin, les documents importés sont très hétérogènes. Un cours structuré, un PDF scanné, un CV minimaliste et une présentation de plusieurs pages ne fournissent ni la même quantité ni la même qualité de contexte.
Construire JuryAI consiste en grande partie à gérer ces différences sans les faire peser sur l’utilisateur.
Ce que JuryAI change pour les agents vocaux
JuryAI est consacré à l’entraînement aux oraux, mais la leçon dépasse ce domaine. Un agent vocal utile n’est pas seulement une voix connectée à un modèle. Il doit comprendre l’objectif de l’échange, adapter sa conduite, utiliser les bonnes informations et produire un résultat exploitable.
La technologie devient intéressante lorsqu’elle disparaît derrière ce parcours. L’utilisateur ne devrait pas avoir à connaître le modèle utilisé ni la manière dont ses documents sont traités. Il doit simplement sentir que la question suivante tient compte de sa réponse.
C’est cette continuité qui distingue, à mes yeux, une démonstration vocale d’un véritable produit agentique.
J’ai présenté le produit et les problèmes qu’il résout dans l’étude de cas JuryAI. Vous pouvez aussi visiter JuryAI ou me contacter pour discuter d’un agent vocal adapté à votre métier.