Anthropic a étendu la fenêtre contextuelle de son chatbot Claude à 75 000 mots, une grande amélioration par rapport aux modèles actuels. Anthropic affirme pouvoir traiter un roman entier en moins d’une minute.
Un aspect souvent négligé des chatbots est leur capacité de mémorisation. Bien que les modèles de langage IA qui alimentent ces systèmes soient formés sur des téraoctets de texte, la quantité d’informations que ces systèmes peuvent traiter en cours d’utilisation – c’est-à-dire la combinaison du texte d’entrée et de sortie, également connue sous le nom de « fenêtre contextuelle » – est limitée. Pour ChatGPT, elle est d’environ 3 000 mots. Il existe des moyens de contourner cette limitation, mais cela reste une quantité d’informations relativement limitée.
Anthropic étend la fenêtre contextuelle de Claude
Maintenant, la start-up IA Anthropic (fondée par d’anciens ingénieurs d’OpenAI) a considérablement étendu la fenêtre contextuelle de son propre chatbot, Claude, le portant à environ 75 000 mots. Comme l’explique l’entreprise dans un article de blog, cela suffit à traiter l’intégralité de The Great Gatsby en une seule fois. En fait, la société a testé le système en modifiant une seule phrase du roman et en demandant à Claude de repérer le changement. Il l’a fait en 22 secondes.
On ne peut pas décrire avec précision la longueur de ces fenêtres contextuelles car les modèles de langage IA mesurent les informations non pas en nombre de caractères ou de mots, mais en « tokens » ; une unité sémantique qui ne correspond pas précisément à ces quantités familières. Les mots peuvent être longs ou courts, et leur longueur ne correspond pas nécessairement à leur complexité de sens. (Les définitions les plus longues dans le dictionnaire sont souvent celles des mots les plus courts.) L’utilisation de « tokens » reflète cette réalité, et donc, pour être plus précis : la fenêtre contextuelle de Claude peut maintenant traiter 100 000 tokens, contre 9 000 auparavant. En comparaison, GPT-4 d’OpenAI traite environ 8 000 tokens (ce n’est pas le modèle standard disponible dans ChatGPT – vous devez payer pour y accéder), tandis qu’un modèle complet de GPT-4 en édition limitée peut gérer jusqu’à 32 000 tokens.
Une fenêtre contextuelle plus grande pour des conversations plus longues
Pour le moment, la nouvelle capacité de Claude n’est disponible qu’aux partenaires commerciaux d’Anthropic, qui accèdent au chatbot via l’API de l’entreprise. Le prix de cette fonctionnalité reste inconnu, mais il est certain que cela représente un investissement significatif. En effet, traiter davantage de texte signifie dépenser plus en termes de puissance de calcul.
Cependant, cette nouvelle démonstration montre que la capacité des modèles de langage IA à traiter l’information est en augmentation, ce qui rendra certainement ces systèmes plus utiles. Comme le souligne Anthropic, il faut environ cinq heures à un humain pour lire 75 000 mots de texte, mais grâce à la fenêtre contextuelle élargie de Claude, il peut potentiellement prendre en charge la tâche de lecture, de résumé et d’analyse de longs documents en quelques minutes seulement. (Bien qu’il ne résolve pas le problème persistant des chatbots qui inventent des informations.) Une fenêtre contextuelle plus grande signifie également que le système est capable de tenir des conversations plus longues. L’une des raisons pour lesquelles les chatbots déraillent est que lorsque leur fenêtre contextuelle se remplit, ils oublient ce qui a été dit, c’est pourquoi le chatbot de Bing est limité à 20 tours de conversation. Plus de contexte signifie plus de conversation.
Cette avancée dans les capacités des chatbots ouvre la voie à de nouvelles possibilités. Imaginez un assistant virtuel capable de parcourir rapidement de vastes volumes de texte, d’en extraire les informations pertinentes et de fournir des résumés précis en un temps record. Cela pourrait être utilisé dans divers domaines, tels que la recherche documentaire, l’analyse de contrats ou même la préparation de rapports approfondis.
Un chatbot disponible exvlusivement pour les partenaires commerciaux d’Antropic
Bien que la capacité de traitement accru soit actuellement réservée aux partenaires commerciaux d’Anthropic, il est probable que cette technologie se démocratise progressivement et devienne accessible à un public plus large. Cela pourrait transformer la façon dont nous interagissons avec les chatbots et ouvrir de nouvelles perspectives dans l’exploitation de l’intelligence artificielle pour le traitement du langage naturel.
En résumé, Anthropic a franchi une étape importante en développant un chatbot, Claude, capable de lire un roman en moins d’une minute grâce à sa fenêtre contextuelle étendue. Cette avancée dans les capacités des modèles de langage IA offre des possibilités prometteuses pour le traitement de l’information et les conversations plus longues. Bien qu’elle soit actuellement réservée aux partenaires commerciaux d’Anthropic, il est clair que cette technologie ouvre la voie à de nouvelles applications passionnantes dans le domaine des chatbots et de l’IA en général.