GPT Realtime 2 et Translate : ce que cela change pour les builders

Le clip que mon ami m'a envoyé hier à 8 h 14 durait 91 secondes. Un francophone à gauche, un anglophone à droite, tous deux se parlant comme le font les vrais humains, tous deux entendant l'autre personne dans sa propre langue avec peut-être une demi-seconde de décalage. À mi-parcours, le francophone est passé à l’allemand pour une phrase complète, puis est revenu au français. La traduction anglaise a traité l'allemand proprement, a conservé les mêmes caractéristiques vocales, n'a pas bégayé, n'a pas inséré de balise de clarification « le locuteur a changé de langue » comme tous les autres systèmes que j'ai testés. Cela a juste continué.

Je l'ai revu trois fois avant d'ouvrir l'annonce OpenAI. Ensuite, j'ai ouvert la console API. Ensuite, j'ai annulé mes réunions du matin.

Ce que OpenAI a expédié le 7 mai 2026, ce sont deux choses que j'attends depuis deux ans. GPT Realtime 2 est un modèle voix-voix avec un raisonnement de classe GPT-5, des appels d'outils parallèles et une fenêtre contextuelle de 128 Ko, soit quatre fois ce que le gpt-realtime d'origine nous offrait. GPT Realtime Translate est un modèle de traduction en streaming dédié qui gère plus de 70 langues d'entrée, 13 langues de sortie, fonctionne à 0,034 $ par minute et attend les verbes avant de s'engager dans une traduction afin que la sortie sonne comme une personne qui parle, et non comme une chaîne de Markov phrase par phrase.

J'ai passé les 36 dernières heures à tester les deux. J'ai un agent vocal en production pour un client existant, et j'en ai déjà migré la moitié vers le nouveau modèle. L'autre moitié reste sur l'ancienne pile, et j'expliquerai exactement pourquoi dans une minute.

Cet article est une prise en main. La partie intéressante n’est pas la démo OpenAI exécutée sur scène – c’est ce que ces modèles signifient pour tous ceux qui proposent actuellement des fonctionnalités vocales et pour tous ceux qui sont sur le point de commencer. À la fin, vous saurez quel modèle adopter, quelles migrations effectuer cette semaine, où le nouveau calcul de 0,034 $ par minute atteint réellement le seuil de rentabilité, et la seule chose dont personne ne parle qui change la façon dont vous devez concevoir les flux vocaux à partir de zéro.

La sortie de trois modèles qui fait du 7 mai une date de réinitialisation de Voice AI

Avant d'aborder ce que ces modèles font bien, vous avez besoin de la forme de la version, car la moitié des prises en ligne regroupent les trois modèles en un seul produit.

OpenAI a livré un trio : GPT Realtime 2 (l'agent vocal de niveau raisonnement), GPT Realtime Translate (le modèle de traduction dédié) et GPT Realtime Whisper (un streaming parole-texte fonctionnant à 0,017 $ par minute qui remplace discrètement le pipeline enchaîné STT-LLM-TTS que la plupart des systèmes de production encore utilisation). Tous les trois vivent derrière le Realtime API, tous les trois ont été annoncés ensemble et tous les trois ont des prix et des tâches différents.

Voici la partie qui compte. Jusqu’à cette baisse, créer un agent vocal sérieux impliquait de faire l’un des deux compromis suivants. Soit vous avez enchaîné ElevenLabs ou Deepgram pour la transcription, GPT-4o ou Claude pour le raisonnement, et encore ElevenLabs pour la synthèse - en ajoutant 400 à 800 millisecondes de latence aller-retour à chaque saut et en priant pour que la couche d'orchestration ne laisse pas tomber une transition d'état. Ou vous avez utilisé le gpt-realtime d'origine, qui vous a donné une voix à voix inférieure à 500 ms mais a limité le raisonnement au niveau de GPT-4o, vous a étouffé avec des appels d'outils parallèles et vous a forcé à entrer dans une fenêtre contextuelle de 32 Ko qui s'est interrompue dès que la conversation a duré environ six minutes.

GPT Realtime 2 comble les deux lacunes dans un seul modèle. Il atteint une latence de bout en bout en régime permanent de 300 à 500 ms, tout comme son prédécesseur. Mais le contexte est passé à 128K. Le raisonnement est la classe GPT-5 avec cinq niveaux de raisonnement contrôlables par l'utilisateur : minimal, low, medium, high et xhigh. Et sur le test de référence Big Bench Audio, GPT Realtime 2 avec un raisonnement élevé a obtenu un score de 96,6 %, contre 81,4 % pour GPT Realtime 1.5. Sur Audio MultiChallenge – un test de suivi d'instructions conversationnelles à plusieurs tours – la variante xhigh a atteint 48,5 % contre 34,7 % pour 1,5. Ce ne sont pas des améliorations marginales. Ce sont des changements progressifs.

C'est pourquoi j'ai réorganisé ma matinée. L’ère du compromis est révolue.

Ce que j'ai réellement testé en 36 heures

Je ne vais pas vous paraphraser la démo OpenAI. La version du communiqué de presse est correcte, mais il manque également les parties importantes. Voici ce que j'ai réellement exécuté.

Test 1 : migration d'un véritable agent client. J'ai un agent de prise vocale en cours d'exécution pour un petit client SaaS : il qualifie les demandes de démonstration entrantes, réserve un appel sur le calendrier du fondateur, dépose le prospect dans HubSpot. Il a été construit il y a six semaines sur le gpt-realtime d'origine avec deux appels d'outils (recherche de calendrier, webhook CRM). Je l'ai migré vers GPT Realtime 2 avec un effort de raisonnement défini sur medium, j'ai gardé tout le reste identique et j'ai exécuté 23 appels simulés via celui-ci. La fiabilité des appels d'outils est passée de "nécessite occasionnellement une nouvelle tentative" à "je ne l'ai pas encore vu rater". La réparation conversationnelle lorsque j'ai délibérément interrompu (« attendez, non – mardi, pas jeudi ») est passée de « revient parfois sur la question précédente » à « vient de confirmer la correction et de passer à autre chose ».

Test 2 : Traduction en direct avec changement de code. Je ne peux pas reproduire textuellement la démo OpenAI car je n'ai pas les mêmes enceintes sous la main, mais je peux recréer la structure. J'avais une amie francophone sur Zoom, j'ai diffusé son audio dans une session de traduction en temps réel ciblant la sortie en anglais et je lui ai demandé de faire exactement ce que la démo OpenAI a fait : parler en français, passer en allemand pour une phrase, passer à un terme technique en anglais, revenir au français. Le décalage de traduction a atterri à environ 600 ms derrière le locuteur, au début de chaque phrase. Le modèle a attendu les verbes avant de s'engager – on pouvait l'entendre.

Le résultat est resté cohérent à travers les changements de langue avec un seul pompon : un nom composé technique allemand (Bestandsführungssystem, système de gestion des stocks) est apparu comme "le système d'inventaire" plutôt que comme une traduction plus précise. Acceptable. Mieux que ce que je ferais en live.

Test 3 : Appel d'outils parallèles avec préambules. C'est celui qui m'a vraiment surpris. J'ai construit un petit agent avec trois outils - une recherche de calendrier, une météo API et une recherche de contacts CRM - et je lui ai posé des questions qui nécessitaient de répondre aux trois simultanément ("Suis-je libre vendredi après-midi, quelle est la météo pour le hors site et Sarah d'Acme est-elle toujours mon contact principal"). Avec les préambules activés, l'agent a dit "laissez-moi vérifier cela pour vous" dans un délai d'environ 200 ms, puis a appelé les trois outils en parallèle, puis a synthétisé une seule réponse cohérente. Latence totale de la question à la réponse complète : environ 2,4 secondes. Le gpt-realtime d'origine aurait soit sérialisé les appels d'outils (4 à 6 secondes), soit en aurait supprimé un.

Test 4 : mémoire de conversation longue avec la fenêtre de 128 Ko. J'ai exécuté une seule session Realtime 2 pendant 47 minutes : une conversation de support client simulée sur un problème de facturation complexe. Le modèle a conservé le contexte tout au long du processus. Il a fait référence à la frustration déclarée du client à partir de la troisième minute lors de la génération de la résolution à la minute 41. La fenêtre originale de 32 Ko aurait été tronquée au milieu de la conversation ou aurait nécessité une injection de mémoire externe. C’est ce que je pense que la plupart des couvertures sont sous-vendues.

Test 5 : ce qui s'est cassé. L'effort de raisonnement défini sur xhigh sur une question simple a fait passer la latence du premier jeton d'environ 300 ms à plus de 1,4 seconde. C'est ça le commerce. Un raisonnement plus élevé signifie une pause plus longue avant que l'agent ne commence à parler. Pour un agent commercial qui qualifie un prospect, cette pause semble erronée. Pour un agent d’assistance qui démêle un litige de remboursement, cela semble délibéré. L'effort de raisonnement n'est pas une composition gratuite, c'est un choix UX. J'y reviendrai dans la section mise en œuvre car je pense que c'est là que la plupart des constructeurs vont se brûler.

C’est la lecture honnête de 36 heures de tests. Maintenant, laissez-moi vous montrer l'architecture et les coûts.

La véritable architecture manque le plus de couverture

Chaque article de blog sur cette version veut vous dire que GPT Realtime 2 est un agent vocal. Ce cadrage est incomplet et va conduire de nombreuses équipes à construire la mauvaise chose.

GPT Realtime 2 est un modèle de raisonnement avec un audio natif I/O et des primitives d'appel d'outils. La partie vocale n’est plus le différenciateur. Le raisonnement + outils + contexte 128K est le différenciateur. Ce qui signifie que le modèle de conception qui gagne cette année n'est pas un « chatbot vocal » — il s'agit de la voix comme interface principale pour un agent qui existe déjà.

Voici ce que je veux dire. La plupart des équipes qui proposent actuellement des fonctionnalités vocales les ont construites comme des arborescences téléphoniques. Le visiteur appelle, l'agent exécute un script, l'agent collecte les champs, l'agent passe la main à un humain. Ce modèle est résolu. Le problème a déjà été résolu par la pile d'agents vocaux que j'ai documentée il y a six mois à l'aide de Claude Code et ElevenLabs. Ce qui est nouveau, c'est que l'agent à l'autre bout du canal vocal peut désormais raisonner aussi bien que l'agent textuel de classe GPT-5 que votre concurrent propose dans son tableau de bord. Même cerveau. Différents I/O.

Concrètement : une mise à jour vocale du CRM ne consiste plus à « transcrire la voix de l'utilisateur → exécuter un agent textuel → prononcer le résultat ». Il s'agit "d'envoyer le flux audio à une seule session Realtime 2, de définir les outils CRM sous forme de schémas JSON, de laisser le modèle choisir l'outil à appeler, de le laisser expliquer son raisonnement à voix haute à travers des préambules et de laisser l'utilisateur interrompre ou corriger le flux intermédiaire". Il ne s’agit pas de trois services réunis. C’est un modèle qui détient toute l’interaction.

Cette implication est inconfortable pour quiconque a investi massivement dans le pipeline enchaîné. Votre fournisseur STT est désormais en concurrence avec un Whisper de qualité streaming à 0,017 $ par minute. Votre fournisseur TTS est en concurrence avec un modèle dont la qualité vocale n'est pas la meilleure de sa catégorie, mais est suffisamment bonne pour que le gain de latence l'emporte généralement. Votre couche d'orchestration – LangChain, votre boucle d'agent locale, peu importe – est en concurrence avec un seul API qui gère de manière native les appels d'outils, l'exécution parallèle et la réparation conversationnelle.

Je ne dis pas qu'ElevenLabs est mort. J'expliquerai dans une minute pourquoi je garde la moitié de la pile de mon client dessus. Je dis que les calculs ont suffisamment changé pour que chaque équipe de produits vocaux devrait réexécuter la décision de construction contre couture cette semaine.

Le calcul des prix qui décide de votre architecture

Vous ne pouvez pas prendre cette décision uniquement sur la base des fonctionnalités. Vous devez faire le travail de coût. J'ai fait le travail de coûts et je vous ferai économiser l'heure du tableur.

Voici les tarifs vérifiés à la date de l'annonce du 7 mai 2026, tous confirmés par rapport à la page de tarification OpenAI API :

Maintenant, les calculs par minute, car les taux de jetons ne semblent pas réels tant que vous ne les convertissez pas. Une session vocale Realtime 2 typique utilise environ 800 à 1 200 jetons d'entrée audio par minute de parole de l'utilisateur et environ 1 500 à 2 500 jetons de sortie audio par minute de parole d'agent, en fonction de la quantité de parole de l'agent. Appelez cela une conversation bidirectionnelle équilibrée : vous envisagez environ 0,10 $ à 0,18 $ par minute de conversation active pour Realtime 2 avec les paramètres par défaut, avant tout raisonnement textuel ou appel d'outil. Poussez l'effort de raisonnement jusqu'à high et cela grimpe entre 0,20 et 0,25 $ par minute en raison des jetons de raisonnement supplémentaires consommés.

Comparez cela à l’alternative enchaînée. Un pipeline enchaîné sérieux aujourd'hui (Deepgram Nova-3 streaming STT + raisonnement textuel GPT-5 + ElevenLabs Turbo v3 streaming TTS) atterrit entre 0,06 $ et 0,12 $ par minute de voix active, mais vous consommez le coût de latence – 400 à 800 ms aller-retour au total, souvent pire lors des tours d'appel d'outils.

Ainsi, Realtime 2 représente environ 1,5 à 2 fois le coût par minute de l’approche chaînée. La question est de savoir si la latence, le raisonnement et la simplicité opérationnelle valent cette prime. Pour un agent commercial où la conversion suit la fluidité, oui, facilement. Pour un SVI à grand volume où le script est une arborescence téléphonique et le coût est le goulot d'étranglement, ce n'est probablement pas le cas.

GPT Realtime Translate est le modèle dans lequel les mathématiques deviennent claires. 0,034 $ par minute, c'est fou dans la bonne direction. Comparez cela à l'approche chaînée typique pour la traduction en streaming – Deepgram ou Whisper pour STT, GPT-4o pour le raisonnement de traduction, ElevenLabs multilingue pour TTS – qui coûte entre 0,10 et 0,15 $ par minute et est nettement plus lente. À 0,034 $ la minute avec le modèle de délai prenant en compte les verbes, c'est la première fois que je vois un pipeline de traduction dans lequel vous seriez fou de ne pas l'utiliser par défaut.

GPT Whisper en temps réel à 0,017 $ par minute est le dormeur tranquille des trois. Si vous disposez déjà d'un pipeline chaîné en production, remplacer votre fournisseur STT actuel par celui-ci est probablement la migration la moins chère et la moins risquée du menu. Vous pouvez le faire en un après-midi.

Comment migrer réellement : un plan concret

Si vous avez un produit vocal en production aujourd'hui, voici le plan de migration que j'exécute pour mon propre travail client, divisé dans l'ordre dans lequel je le ferais réellement.

Étape 1 : Auditez votre pile vocale actuelle et identifiez votre goulot d'étranglement. Soyez précis. Le goulot d'étranglement est-il une latence conversationnelle ? Fiabilité des appels d'outils ? Coût? Qualité de la synthèse vocale ? Langues que vous ne pouvez pas prendre en charge ? Différents goulots d’étranglement justifient différentes migrations. Si votre goulot d'étranglement est la latence conversationnelle et la fiabilité des outils, GPT Realtime 2 est votre cible de migration. Si c'est le coût et que la qualité de votre voix est déjà adéquate, votre cible de migration pourrait être uniquement le composant Whisper tandis que vous conservez le reste.

Étape 2 : lancez une implémentation parallèle dans une branche de fonctionnalités. Ne migrez pas sur place. Le modèle de session Realtime API est similaire au gpt-realtime d'origine (WebRTC, WebSocket ou transport SIP), mais l'objet de configuration comporte de nouveaux champs pour reasoning_effort, preambles et les définitions d'outils parallèles. Vous souhaitez apprendre la nouvelle forme sur une branche propre avant de toucher à la production.

Étape 3 : Définissez vos outils sous forme de schémas JSON, y compris les chaînes de préambule. C'est la partie où vous pouvez réellement façonner le comportement de l'agent. Une définition d'outil pour le nouveau modèle ressemble à :

{
  type: "function",
  name: "lookup_calendar_availability",
  description: "Check the user's calendar for available 30-minute slots in the next 14 days.",
  preamble: "Let me check your calendar.",
  parameters: {
    type: "object",
    properties: {
      timezone: { type: "string" },
      preferred_window: {
        type: "object",
        properties: {
          earliest: { type: "string", format: "date-time" },
          latest: { type: "string", format: "date-time" }
        }
      }
    },
    required: ["timezone"]
  }
}

Le champ preamble est nouveau. C'est la courte phrase que le modèle prononce à haute voix pendant que l'outil est en cours d'exécution, qui donne l'impression que l'expérience de l'outil parallèle est réactive au lieu de rester dans le vide. Considérez les préambules comme un élément de première classe de la voix de votre agent : ils doivent correspondre à la personnalité de l'agent.

Étape 4 : Choisissez un effort de raisonnement par cas d'utilisation, et non par agent. C'est le piège dans lequel tomberont la plupart des constructeurs. Ils choisiront medium et l’oublieront. Le bon modèle consiste à définir dynamiquement le niveau de raisonnement en fonction de la demande de l'utilisateur. Des recherches simples (« quelle est ma prochaine réunion ») sont exécutées sur low. Les décisions en plusieurs étapes (« reprogrammer toutes mes réunions du mardi autour du conflit ») sont exécutées sur high. Des flux agents complexes en plusieurs étapes (« planifier mes deux prochaines semaines d'appels clients et mettre à jour mon CRM en conséquence ») s'exécutent sur xhigh et vous consommez la latence. La configuration de session OpenAI prend en charge la mise à jour de cette mi-session.

Étape 5 : Connectez intentionnellement les appels d'outils parallèles. Les appels parallèles sont activés par défaut, mais vous devez écrire vos outils pour qu'ils soient réellement parallélisables. Si trois outils dépendent les uns des autres, le modèle les sérialisera quand même. Les gains, c'est lorsque vous disposez de trois recherches indépendantes qui peuvent se déployer : calendrier + météo + CRM, par exemple, ou cours de l'action + actualités + position du portefeuille.

Étape 6 : Testez avec un niveau de raisonnement plus élevé que celui dont vous pensez avoir besoin, puis diminuez-le. Contrairement à mon propre avertissement ci-dessus, le mode d'échec que je vois le plus souvent lorsque les équipes s'auto-estiment est "J'ai choisi un niveau bas parce que la question était simple, mais la question était en fait un flux agent multi-sauts déguisé." Commencez un cran plus haut, surveillez le budget de latence, puis réduisez-le une fois que vous avez des données.

Étape 7 : Vérifiez que le contexte 128K fait ce que vous pensez qu'il fait. Le contexte le plus long est pratiquement invisible jusqu'à ce que vous en ayez besoin. Où cela apparaît : conversations de support client plus longues, sessions de coaching à plusieurs tours, tout ce où l'utilisateur fait référence à quelque chose qu'il a dit il y a 20 minutes. Testez ces scénarios délibérément. Ne présumez pas que le modèle utilise le contexte simplement parce que le contexte existe.

Si vous souhaitez une vue plus approfondie de la façon dont je structure les spécifications d'agent avant que ce code ne soit écrit, j'ai parcouru le cadre dans mon playbook de construction d'agent - cet article se marie bien avec celui-ci pour toute personne migrant un travail vocal de production.

Le modèle de traduction mérite sa propre conversation

J'ai presque écrit sur Realtime Translate dans le même souffle que Realtime 2 et cela aurait été un mauvais choix. Ce sont des produits différents qui résolvent des problèmes différents et les modèles de conception pour chacun sont complètement différents.

Realtime 2 permet à une partie (votre logiciel) de parler à une autre partie (votre utilisateur). Realtime Translate est destiné à deux parties humaines qui se parlent via votre logiciel. C'est une topologie différente et cela change tout dans la façon dont vous construisez.

Le modèle est construit autour d’un beau choix de conception : il attend les verbes avant de s’engager dans une traduction. Dans les langues Sujet-Verbe-Objet comme l'anglais, le verbe est précoce. Dans les langues Sujet-Objet-Verbe comme l'allemand ou le japonais, le verbe est à la fin. Un traducteur naïf qui émet mot à mot produira des erreurs dans les deux sens car le sens de la phrase est verrouillé derrière le verbe. Realtime Translate met en mémoire tampon juste assez longtemps pour trouver le mot d'action, puis valide la traduction d'une voix fluide et préservant la prosodie. Le résultat est une voix traduite qui ressemble à celle d’une personne qui donne du sens, et non à celle d’un système qui s’empresse de suivre le rythme.

La liste de plus de 70 langues d’entrée et de 13 langues de sortie couvre pratiquement toutes les langues ayant une forte demande de traduction commerciale. Deutsche Telekom l'utilise pour le support client transfrontalier sur les marchés européens. Zillow utilise GPT Realtime 2 (et non Translate) pour créer un assistant d'achat de maison qui planifie les visites de manière autonome, et Priceline crée un agent de gestion de voyages à commande vocale. Le modèle dans tous les premiers projets pilotes d'entreprise est le même : la voix comme couche au-dessus d'un agent qui avait déjà un raisonnement, avec la traduction comme couche parallèle lorsque l'utilisateur et l'agent ne partagent pas une langue.

Les cas d'utilisation, je pense, sont sur le point d'exploser dans les 90 prochains jours, sur la base de ce que j'entends déjà de la part des constructeurs :

• Support client dans toutes les régions. Une société SaaS basée aux États-Unis peut désormais proposer une assistance dans 70 langues sans embaucher 70 locuteurs natifs. Le client parle dans sa langue, l'agent (humain ou AI) l'entend en anglais, la réponse remonte à travers le modèle. - Interprétation d'événements en direct. Conférences, assemblées publiques, implication interne à l'entreprise. Le modèle actuel d’interprétation humaine est coûteux et lent. La traduction en temps réel à 0,034 $ par minute avec un délai d'une demi-seconde est plus rapide que les humains et moins chère que les humains d'un ordre de grandeur. - Éducation et tutorat. Les applications d'apprentissage des langues étaient déjà saturées de AI. La vague suivante est le tutorat en temps réel dans une langue cible avec la langue maternelle de l'étudiant disponible comme solution de repli : instantanée, à la demande, sans planification.

• Ventes B2B transfrontalières. Un vendeur à Berlin peut désormais organiser des appels de découverte avec des prospects à Tokyo, Madrid et São Paulo sans maîtriser trois langues. Autrefois, les frais généraux de traduction étaient le facteur qui tuait les affaires. Il vient d'être supprimé.

Je ne pense pas qu'aucun de ces éléments soit spéculatif. Je pense qu'il s'agit de lancements de produits en 2026 par des équipes qui ont commencé à construire hier.

Les compromis honnêtes dont personne ne parle

Maintenant la partie où je vous dis ce que je n'aime pas.

La qualité vocale de GPT Realtime 2 est, charitablement, la troisième meilleure dans le domaine en termes de naturel brut. Les tests indépendants d'écoute à l'aveugle du premier trimestre 2026 classent toujours ElevenLabs au premier rang pour la clarté des consonnes, le placement de la respiration et la prosodie des phrases longues – les petites choses qui donnent à une voix un aspect humain plutôt que synthétisé. OpenAI Le temps réel sonne bien. Cela ne semble pas meilleur. Pour les produits où la fidélité vocale est le produit réel – un narrateur de livre audio haut de gamme, un clone de voix de célébrité, une adresse IP de divertissement – ​​vous devriez toujours utiliser ElevenLabs. Le coût de latence vaut la qualité, et le modèle de pipeline enchaîné est suffisamment mature pour le gérer.

L’histoire du clonage vocal n’est pas non plus celle d’ElevenLabs. Realtime 2 est livré avec la bibliothèque vocale organisée de OpenAI. Il n'existe pas d'équivalent Professional Voice Clone qui vous permette d'entraîner une voix personnalisée sur des heures de votre propre audio. Si votre produit a besoin de la véritable voix de votre fondateur, ElevenLabs est la réponse dans un avenir prévisible. C'est la moitié de la pile de mon client que je ne migre pas.

Les charges de travail éligibles HIPAA restent une réelle considération. D'après ma lecture de la documentation à ce jour, la modalité audio en temps réel OpenAI n'a pas été certifiée pour les charges de travail HIPAA de la même manière que le modèle chaîné Deepgram + GPT-4 + ElevenLabs peut être configuré. Si vous créez une voix pour les soins de santé, effectuez votre examen de conformité avant de migrer et supposez que vous devrez peut-être rester enchaîné jusqu'à ce que la couverture rattrape son retard.

La latence de l’effort de raisonnement n’est pas gratuite. Je l'ai dit plus tôt, mais cela mérite d'être répété car la plupart des constructeurs ne le ressentiront pas avant d'avoir expédié le produit. Le réglage de reasoning_effort sur high ajoute une latence notable avant le premier mot audible. Pour un agent de coaching ou un agent de soutien où la pause semble prise en compte, cette latence se lit comme une réflexion. Pour un agent commercial où le rythme compte, cela se lit comme un problème système. Réglez en conséquence.

Et la prime tarifaire est réelle. 1,5 à 2 fois le coût de votre pipeline enchaîné n'est pas rien si vous utilisez un produit vocal à volume élevé. Examinez les données économiques de votre unité avant de migrer et examinez attentivement où le coût supplémentaire se transforme en revenus supplémentaires (meilleure conversion, temps de traitement réduit, CSAT plus élevé) et où il apparaît simplement sous forme de compression de marge.

Ce que je construirais cette semaine si j'avais un vendredi libre

Si j'étais assis un vendredi sans engagement client et avec les nouveaux modèles sur mon bureau, voici ce que je construirais réellement.

Un CRM personnel à commande vocale qui réside dans mes AirPods. J'appuie sur le bouton, je dis « prendre une réunion avec Sarah d'Acme, elle est intéressée par le package de migration de l'agent, faire un suivi mardi prochain à 10 heures », et l'agent rédige un enregistrement HubSpot, planifie un rappel de suivi, rédige l'e-mail de suivi dans ma boîte d'envoi et relit le résumé pour que je puisse confirmer. Le tout en une seule session Realtime 2, le tout en moins de trois secondes de bout en bout. Temps total de construction, compte tenu du nouveau modèle : probablement quatre heures. Coût total de fonctionnement : peut-être 0,25 $ par interaction enregistrée.

Ce n’est pas une hypothèse. C’est quelque chose que je vais construire dès que je clôturerai ce projet.

Ou – et c'est la version que je pense que toute entreprise SaaS B2B devrait envisager – un agent de démonstration multilingue sur le site marketing. Un prospect atterrit sur le site, clique sur le bouton vocal et dit dans sa langue maternelle : « montre-moi ce que fait ton produit ». L'agent, fonctionnant sur Realtime 2 avec Realtime Translate gérant la couche multilingue, donne une présentation personnalisée de cinq minutes dans sa langue maternelle, qualifie son cas d'utilisation et réserve le suivi humain des ventes dans son fuseau horaire d'origine. Le coût par lead qualifié diminue d’un ordre de grandeur. La conversion augmente parce que la langue n’est plus une friction.

Je ne vous vends rien de tout ça. Je montre du doigt les modèles que les modèles débloquent réellement et je dis à haute voix que l'écart entre « c'est possible » et « cela est construit » vient de s'effondrer.

Ce que cela signifie pour la pile vocale AI

Effectuez un zoom arrière. La version du 7 mai n'est pas seulement une mise à jour de modèle. Il s’agit d’un remaniement de l’endroit où le raisonnement se produit dans les systèmes vocaux.

Pendant deux ans, l'architecture était : voix entrante → STT → LLM → TTS → voix sortante. Le raisonnement résidait dans l'étape LLM, prise en sandwich entre deux conversions I/O gourmandes en latence. Chaque système vocal de team building résolvait le même problème d’orchestration, le même problème de latence, le même problème de réparation conversationnelle.

GPT Realtime 2 réduit cela en : voix entrante → modèle de raisonnement → voix sortante. Une étape. Un coût de latence. Une fenêtre contextuelle contenant l’intégralité de l’interaction.

Ce n'est pas un raffinement. Il s’agit d’une catégorie différente de système. Les équipes qui reconnaîtront ce changement assez rapidement pour repenser leurs produits vocaux en conséquence ressembleront à des génies dans six mois. Les équipes qui le considèrent comme une amélioration marginale de leur pipeline enchaîné existant seront désorientées dans douze mois lorsque leurs chiffres de conversion seront bloqués et ceux de leurs concurrents ne le seront pas.

Le déverrouillage n’est pas que les agents vocaux soient désormais possibles. Ils étaient possibles il y a un an. Le point positif est que la voix peut désormais être une modalité pair I/O aux côtés du texte – même raisonnement, mêmes outils, même contexte – et c'est ce qui rend la voix viable en tant qu'interface principale pour tout agent existant déjà. Votre tableau de bord. Votre CRM. Votre système de soutien. Votre assistant de codage. Tous peuvent désormais développer un mode vocal qui n’est pas une version pire de l’expérience de frappe mais une forme différente de la même intelligence.

Le clip de 91 secondes que mon ami m'a envoyé à 8h14 n'était pas une démo de traduction. C'était un aperçu de ce à quoi chaque produit vocal est sur le point de ressembler. Deux humains, deux langues, un modèle, pas de friction. Ce qui m'a pris trois fois pour m'enregistrer, ce n'était pas la qualité du modèle, mais plutôt le fait que la voix ressemblait à un canal normal pour parler à un logiciel. Pas un arbre téléphonique. Pas un chatbot qui fait semblant d’écouter. Je parle juste. Avec le système qui comprend et agit.

C’est à ce moment-là que la catégorie voix mûrit.

Questions fréquemment posées

Quelle est la différence entre GPT Realtime 2 et GPT Realtime Translate ?

GPT Realtime 2 est un agent vocal complet avec un raisonnement de classe GPT-5, des appels d'outils parallèles et une fenêtre contextuelle de 128 Ko — conçu pour les conversations entre votre logiciel et un utilisateur. GPT Realtime Translate est un modèle de traduction en streaming dédié avec plus de 70 langues d'entrée et 13 langues de sortie, conçu pour deux humains parlant des langues différentes via votre application. Ce sont des produits différents pour différentes topologies. Pour une description plus détaillée de l'architecture, voir « La véritable architecture qui manque le plus de couverture » ci-dessus.

Combien coûte GPT Realtime 2 par rapport au gpt-realtime d'origine ?

Les tarifs des jetons sont identiques au moment de la rédaction – 32 $ par million de jetons d'entrée audio, 64 $ par million de jetons de sortie audio – donc une conversation bidirectionnelle équilibrée typique coûte environ 0,10 $ à 0,18 $ par minute sur les paramètres par défaut. Avec un effort de raisonnement plus élevé activé, cela grimpe entre 0,20 et 0,25 USD par minute. Le prix n'a pas changé ; les capacités l’ont fait.

Dois-je migrer d'un pipeline STT-LLM-TTS chaîné vers Realtime 2 ?

Migrez si votre goulot d'étranglement est la latence conversationnelle, la fiabilité des appels d'outils ou la complexité opérationnelle. Restez enchaîné si votre goulot d'étranglement est la fidélité vocale (ElevenLabs gagne toujours sur le naturel), la conformité HIPAA ou si vous avez besoin d'un clone vocal personnalisé. Le plan de migration complet se trouve dans « Comment migrer réellement » ci-dessus.

Que signifie « préambules » dans le nouveau Realtime API ?

Les préambules sont de courtes phrases que le modèle prononce à haute voix avant ou pendant un appel d'outil, comme « laissez-moi vérifier cela » ou « vérifie votre calendrier ». Ils maintiennent l'utilisateur engagé pendant une seconde ou deux lorsque les outils sont en cours d'exécution afin que la conversation ne soit pas morte. Les préambules sont configurés par outil dans vos définitions de fonction et doivent correspondre au personnage de votre agent.

Realtime Translate est-il suffisamment efficace pour remplacer les interprètes humains ?

Pour la plupart des cas d'utilisation commerciale (support client, appels commerciaux B2B, formation interne) oui, avec la mise en garde qu'il est actuellement préférable pour les paires de langues avec des données de formation matures. Pour les contextes à enjeux élevés comme les procédures judiciaires, la traduction diplomatique ou les consultations médicales en direct, les interprètes humains restent la bonne solution. Le prix de 0,034 $ par minute en fait une solution simple pour la longue traîne de conversations multilingues qui ne pouvaient auparavant pas justifier le coût d'un humain.

Travaillons ensemble

Vous cherchez à créer des systèmes AI, à automatiser les flux de travail ou à faire évoluer votre infrastructure technologique ? J'aimerais aider.

• Fiverr (versions et intégrations personnalisées) : fiverr.com/s/EgxYmWD
• Portefeuille : mejba.me
• Ramlit Limited (solutions d'entreprise) : ramlit.com
• ColorPark (conception et image de marque) : colorpark.io
• xCyberSecurity (services de sécurité) : xcybersecurity.io