Así trocea la IA tus palabras antes de responder
Los modelos no reciben nuestras frases tal como las vemos: un tokenizador las convierte primero en fragmentos, identificadores y representaciones matemáticas.
QUÉ OCURRE ANTES DE QUE RESPONDA EL MODELO
Cuando escribimos a ChatGPT u otro modelo de lenguaje, la frase no entra en el sistema exactamente como la vemos. Antes pasa por un tokenizador, que divide el texto en unidades más pequeñas llamadas tokens.
DE PALABRAS A NÚMEROS
Un token puede ser una palabra completa, una parte de una palabra, un signo o incluso un espacio asociado al fragmento siguiente. Cada token se transforma en un identificador numérico y después en una representación matemática que el modelo puede procesar.
La publicación muestra un ejemplo sencillo: «Mi computadora es increíblemente rápida» ocupa seis tokens con la codificación o200k_base. La palabra «increíblemente» se separa en « increíble» y «mente».
EL CONTEO CAMBIA SEGÚN EL MODELO
No existe un número universal de tokens para una misma frase. Con cl100k_base, el ejemplo anterior produce diez tokens. Las distintas familias de modelos pueden emplear codificaciones diferentes, y eso afecta al uso del contexto y al coste de algunas aplicaciones.
POR QUÉ IMPORTA
Los modelos no leen como una persona. Procesan secuencias numéricas, calculan probabilidades y generan el siguiente token una y otra vez. Entender esta capa ayuda a diseñar mejores instrucciones, estimar límites de contexto y comprender por qué una palabra puede fragmentarse de formas inesperadas.
Fuentes citadas en la publicación original: OpenAI Cookbook y Hugging Face LLM Course.
Innovación
Explora avances y tendencias en inteligencia artificial.
Conexión
Tecnología
contacto@wensell.es
+34 690 771 784
© 2026. All rights reserved.