Guía SEO para entender los grandes modelos lingüísticos (LLM)

¿Debo utilizar grandes modelos lingüísticos para la búsqueda de palabras clave? ¿Pueden pensar estos modelos? ¿Es ChatGPT mi amigo?

Si se ha hecho estas preguntas, esta guía es para usted.

Esta guía cubre lo que los SEO necesitan saber sobre los grandes modelos de lenguaje, el procesamiento del lenguaje natural y todo lo que hay en medio.

Grandes modelos lingüísticos, procesamiento del lenguaje natural y más en términos sencillos

Hay dos maneras de conseguir que una persona haga algo: decirle que lo haga o esperar que lo haga por sí misma.

En informática, programar es decirle al robot que lo haga, mientras que el aprendizaje automático es esperar que el robot lo haga por sí mismo. El primero es el aprendizaje automático supervisado y el segundo es el aprendizaje automático no supervisado.

El procesamiento del lenguaje natural (PLN) es una forma de descomponer el texto en números y luego analizarlo mediante ordenadores.

Los ordenadores analizan patrones en las palabras y, a medida que avanzan, en las relaciones entre las palabras.

Un modelo de aprendizaje automático no supervisado del lenguaje natural puede entrenarse en muchos tipos de conjuntos de datos diferentes.

Por ejemplo, si se entrena un modelo de lenguaje con reseñas medias de la película «Waterworld», se obtendría un resultado que es bueno escribiendo (o entendiendo) reseñas de la película «Waterworld»

Si lo entrenas con las dos críticas positivas que hice de la película «Waterworld», sólo entenderá esas críticas positivas.

Los grandes modelos lingüísticos (LLM) son redes neuronales con más de mil millones de parámetros. Son tan grandes que son más generalizados. No sólo se han entrenado con críticas positivas y negativas de «Waterworld», sino también con comentarios, artículos de Wikipedia, sitios de noticias y mucho más.

Los proyectos de aprendizaje automático trabajan mucho con el contexto: cosas dentro y fuera de contexto.

Si tienes un proyecto de aprendizaje automático que trabaja para identificar bugs y le enseñas un gato, no será bueno en ese proyecto.

Por eso cosas como los coches autoconducidos son tan difíciles: hay tantos problemas fuera de contexto que es muy difícil generalizar ese conocimiento.

Los LLM parecen y pueden ser mucho más generalizados que otros proyectos de aprendizaje automático. Esto se debe al enorme tamaño de los datos y a la capacidad de analizar miles de millones de relaciones diferentes.

Hablemos de una de las tecnologías innovadoras que permiten esto: los transformadores.

Explicación de los transformadores desde cero

Los transformadores, un tipo de arquitectura de red neuronal, han revolucionado el campo de la PNL.

Antes de los transformadores, la mayoría de los modelos de PLN se basaban en una técnica llamada redes neuronales recurrentes (RNN), que procesaban el texto secuencialmente, palabra por palabra. Este enfoque tenía sus limitaciones, como su lentitud y su dificultad para manejar las dependencias de largo alcance en el texto.

Transformers cambió esta situación.

En el artículo de referencia de 2017, «Attention is All You Need», Vaswani et al. presentaron la arquitectura de transformadores.

En lugar de procesar el texto secuencialmente, los transformadores utilizan un mecanismo denominado «autoatención» para procesar las palabras en paralelo, lo que les permite captar las dependencias de largo alcance de forma más eficiente.

La arquitectura anterior incluía RNN y algoritmos de memoria a corto plazo de largo alcance.

Este tipo de modelos recurrentes se utilizaban (y se siguen utilizando) para tareas que implican secuencias de datos, como el texto o el habla.

Sin embargo, estos modelos tienen un problema. Sólo pueden procesar los datos de uno en uno, lo que los ralentiza y limita la cantidad de datos con los que pueden trabajar. Este procesamiento secuencial limita realmente la capacidad de estos modelos.

Los mecanismos de atención se introdujeron como una forma diferente de procesar los datos secuenciales. Permiten a un modelo examinar todos los datos a la vez y decidir cuáles son los más importantes.

Esto puede ser muy útil en muchas tareas. Sin embargo, la mayoría de los modelos que utilizan la atención también utilizan el procesamiento recurrente.

Básicamente, tenían esta forma de procesar los datos a la vez, pero seguían necesitando mirarlos en orden. El artículo de Vaswani et al. planteaba: «¿Y si sólo utilizáramos el mecanismo de atención?»

La atención es una forma de que el modelo se centre en determinadas partes de la secuencia de entrada al procesarla. Por ejemplo, cuando leemos una frase, naturalmente prestamos más atención a unas palabras que a otras, dependiendo del contexto y de lo que queramos entender.

Si nos fijamos en un transformador, el modelo calcula una puntuación para cada palabra de la secuencia de entrada en función de su importancia para comprender el significado global de la secuencia.

A continuación, el modelo utiliza estas puntuaciones para ponderar la importancia de cada palabra de la secuencia, lo que le permite centrarse más en las palabras importantes y menos en las que no lo son.

Este mecanismo de atención ayuda al modelo a captar dependencias y relaciones de largo alcance entre palabras que podrían estar muy separadas en la secuencia de entrada sin tener que procesar toda la secuencia secuencialmente.

Esto hace que el transformador sea tan potente para las tareas de procesamiento del lenguaje natural, ya que puede comprender con rapidez y precisión el significado de una frase o de una secuencia de texto más larga.

Tomemos el ejemplo de un modelo de transformador que procesa la frase «El gato se sentó en la alfombrilla»

Cada palabra de la frase se representa como un vector, una serie de números, mediante una matriz de incrustación. Digamos que las incrustaciones para cada palabra son:

  • El: [0,2, 0,1, 0,3, 0,5]
  • cat: [0.6, 0.3, 0.1, 0.2]
  • sat: [0.1, 0.8, 0.2, 0.3]
  • on: [0.3, 0.1, 0.6, 0.4]
  • el: [0.5, 0.2, 0.1, 0.4]
  • estera: [0.2, 0.4, 0.7, 0.5]

A continuación, el transformador calcula una puntuación para cada palabra de la frase basándose en su relación con todas las demás palabras de la frase.

Para ello se utiliza el producto punto de la incrustación de cada palabra con las incrustaciones de todas las demás palabras de la frase.

Por ejemplo, para calcular la puntuación de la palabra «gato», tomamos el producto punto de su incrustación con las incrustaciones de todas las demás palabras:

  • «Elgato»: 0.2*0.6 + 0.1*0.3 + 0.3*0.1 + 0.5*0.2 = 0.24
  • «El gato sesentó«: 0.6*0.1 + 0.3*0.8 + 0.1*0.2 + 0.2*0.3 = 0.31
  • «gatoencendido«: 0.6*0.3 + 0.3*0.1 + 0.1*0.6 + 0.2*0.4 = 0.39
  • «gatoel«: 0.6*0.5 + 0.3*0.2 + 0.1*0.1 + 0.2*0.4 = 0.42
  • «catmat«: 0.6*0.2 + 0.3*0.4 + 0.1*0.7 + 0.2*0.5 = 0.32

Estas puntuaciones indican la relevancia de cada palabra para la palabra «gato» A continuación, el transformador utiliza estas puntuaciones para calcular una suma ponderada de las incrustaciones de palabras, donde las ponderaciones son las puntuaciones.

Así se crea un vector de contexto para la palabra «gato» que tiene en cuenta las relaciones entre todas las palabras de la frase. Este proceso se repite para cada palabra de la frase.

Piense que el transformador traza una línea entre cada palabra de la frase basándose en el resultado de cada cálculo. Algunas líneas son más tenues y otras menos.

El transformador es un nuevo tipo de modelo que sólo utiliza la atención sin ningún procesamiento recurrente. Esto lo hace mucho más rápido y capaz de manejar más datos.

Cómo utiliza GPT los transformadores

Puede que recuerdes que en el anuncio de BERT de Google, presumían de que permitía a la búsqueda comprender el contexto completo de una entrada. Esto es similar a cómo GPT puede utilizar los transformadores.

Utilicemos una analogía.

Imagina que tienes un millón de monos, cada uno sentado delante de un teclado.

Cada mono pulsa al azar las teclas de su teclado, generando cadenas de letras y símbolos.

Algunas cadenas no tienen sentido, mientras que otras pueden parecerse a palabras reales o incluso frases coherentes.

Un día, uno de los entrenadores del circo ve que un mono ha escrito «Ser o no ser», así que le da una golosina.

Los demás monos lo ven y empiezan a imitar al mono que ha tenido éxito, con la esperanza de conseguir su propia golosina.

A medida que pasa el tiempo, algunos monos empiezan a producir cadenas de texto mejores y más coherentes, mientras que otros siguen produciendo galimatías.

Al final, los monos pueden reconocer e incluso emular patrones coherentes en el texto.

Los LLM aventajan a los monos porque primero se les entrena con miles de millones de textos. Ya pueden ver los patrones. También entienden los vectores y las relaciones entre estos fragmentos de texto.

Esto significa que pueden utilizar esos patrones y relaciones para generar texto nuevo que se parezca al lenguaje natural.

GPT (Generative Pre-trained Transformer) es un modelo lingüístico que utiliza transformadores para generar texto en lenguaje natural.

Se entrenó con una enorme cantidad de texto de Internet, lo que le permitió aprender los patrones y relaciones entre palabras y frases del lenguaje natural.

El modelo funciona tomando un texto o unas pocas palabras y utilizando los transformadores para predecir qué palabras deberían venir a continuación basándose en los patrones que ha aprendido de sus datos de entrenamiento.

El modelo sigue generando texto palabra por palabra, utilizando el contexto de las palabras anteriores para las siguientes.

GPT en acción

Una de las ventajas de GPT es que puede generar texto en lenguaje natural muy coherente y contextualmente relevante.

Esto tiene muchas aplicaciones prácticas, como generar descripciones de productos o responder a consultas de atención al cliente. También puede utilizarse de forma creativa, por ejemplo para generar poesía o relatos cortos.

Sin embargo, no es más que un modelo lingüístico. Se entrena a partir de datos, y esos datos pueden estar desfasados o ser incorrectos.

  • No tiene ninguna fuente de conocimiento.
  • No puede buscar en Internet.
  • No «sabe» nada.

Simplemente adivina qué palabra viene a continuación.

Veamos algunos ejemplos:

Image 18
Image 24

En la zona de juegos de OpenAI, he enchufado la primera línea del tema clásico de la escuela de modelos Handsome Boy ‘Holy calamity [[Bear Witness ii]]’.

He enviado la respuesta para que podamos ver la probabilidad tanto de mi entrada como de las líneas de salida. Así que vamos a ir a través de cada parte de lo que esto nos dice.

Para la primera palabra/token, introduzco «Santo» Podemos ver que la siguiente entrada más esperada es Espíritu, Romano y Fantasma.

También podemos ver que los seis primeros resultados cubren sólo el 17,29% de las probabilidades de lo que viene a continuación: lo que significa que hay un 82% de otras posibilidades que no podemos ver en esta visualización.

Vamos a discutir brevemente las diferentes entradas que puede utilizar en esto y cómo afectan a su salida.

Image 19

La temperatura es la probabilidad de que el modelo coja palabras distintas de las que tienen la probabilidad más alta, la P superior es cómo selecciona esas palabras.

Así, para la entrada «Holy Calamity», top P es cómo seleccionamos el grupo de tokens siguientes [Ghost, Roman, Spirit], y temperature es la probabilidad de ir a por el token más probable frente a más variedad.

Si la temperatura es más alta, es más probable que elija una ficha menos probable.

Así que una temperatura alta y una P superior alta serán probablemente más salvajes. Está eligiendo entre una gran variedad (P superior alta) y es más probable que elija fichas sorprendentes.

Image 20
Image 20
Image 21
Una selección de respuestas de alta temperatura y alta P

Mientras que una temp alta pero una P alta más baja elegirá opciones sorprendentes de una muestra más pequeña de posibilidades:

Image 27
Image 23

Y bajando la temperatura sólo elige las próximas fichas más probables:

Image 22

Jugar con estas probabilidades puede, en mi opinión, darte una buena idea de cómo funcionan este tipo de modelos.

Se trata de ver una colección de probables próximas selecciones basadas en lo que ya se ha completado.

¿Qué significa esto en realidad?

En pocas palabras, los LLM toman una colección de entradas, las agitan y las convierten en salidas.

He oído a gente bromear sobre si eso es tan diferente de las personas.

Pero no es como las personas: los LLM no tienen una base de conocimientos. No están extrayendo información sobre una cosa. Están adivinando una secuencia de palabras basándose en la última.

Otro ejemplo: piensa en una manzana. ¿Qué te viene a la mente?

Quizá puedas girar una en tu mente.

Quizá recuerdes el olor de un manzanal, la dulzura de una dama rosa, etc.

Quizá pienses en Steve Jobs.

Veamos ahora lo que nos devuelve la pregunta «piensa en una manzana».

Think of an apple: ChatGPT As an AI language model, I do not have the capability to think as humans do. However, I can provide you with information about an apple. An apple is a fruit that comes in different colors, such as green, red, and yellow, and has a round shape with a stem on top. It is a good source of fiber, vitamins, and antioxidants. Apples are consumed in various forms, including raw, cooked, and juiced, and are used in many different types of dishes and desserts. They are also used to make cider, vinegar, and other products.

Es posible que a estas alturas ya hayas oído hablar de «loros estocásticos».

Loros estocásticos es un término utilizado para describir LLMs como GPT. Un loro es un pájaro que imita lo que oye.

Así pues, los LLM son como loros en el sentido de que reciben información (palabras) y emiten algo que se parece a lo que han oído. Pero también son estocásticos, lo que significa que utilizan la probabilidad para adivinar lo que viene a continuación.

Los LLM son buenos reconociendo patrones y relaciones entre palabras, pero no tienen una comprensión más profunda de lo que ven. Por eso son tan buenos generando textos en lenguaje natural, pero no entendiéndolos.

Buenos usos para un LLM

Los LLM son buenos en tareas más generalistas.

Puedes mostrarle un texto y, sin entrenamiento, puede realizar una tarea con ese texto.

Puedes mostrarle un texto y pedirle un análisis de sentimiento, pedirle que transfiera ese texto a un marcado estructurado y que haga algún trabajo creativo (por ejemplo, escribir esquemas).

No tiene problemas con cosas como el código. Para muchas tareas, casi puede conseguirlo.

Pero, de nuevo, se basa en probabilidades y patrones. Así que habrá momentos en los que detecte patrones en tus entradas que no sabes que existen.

Esto puede ser positivo (ver patrones que los humanos no pueden ver), pero también puede ser negativo (¿por qué ha respondido así?).

Tampoco tiene acceso a ningún tipo de fuente de datos. Los SEO que lo utilicen para buscar palabras clave para el ranking lo pasarán mal.

No puede buscar el tráfico de una palabra clave. No tiene información sobre palabras clave más allá de la existencia de palabras.

Image 28 800x427

Lo interesante de ChatGPT es que se trata de un modelo lingüístico fácilmente disponible que se puede utilizar para diversas tareas. Pero no está exento de advertencias.

Buenos usos para otros modelos de ML

Oigo a la gente decir que están utilizando LLMs para ciertas tareas, que otros algoritmos y técnicas de PNL pueden hacer mejor.

Tomemos un ejemplo: la extracción de palabras clave.

Si utilizo TF-IDF, u otra técnica de palabras clave, para extraer palabras clave de un corpus, sé qué cálculos se realizan con esa técnica.

Esto significa que los resultados serán estándar, reproducibles y sé que estarán relacionados específicamente con ese corpus.

Con LLM como ChatGPT, si pides la extracción de palabras clave, no obtienes necesariamente las palabras clave extraídas del corpus. Estás obteniendo lo que GPT piensa que sería una respuesta a corpus + extracción de palabras clave.

Image 30

Esto es similar a tareas como el clustering o el análisis de sentimiento. No se obtiene necesariamente el resultado ajustado con los parámetros establecidos. Usted está recibiendo lo que hay alguna probabilidad de que sobre la base de otras tareas similares.

De nuevo, los LLM no tienen una base de conocimientos ni información actualizada. A menudo no pueden buscar en Internet y analizan la información que obtienen como fichas estadísticas. Las restricciones en la duración de la memoria de un LLM se deben a estos factores.

Otra cosa es que estos modelos no pueden pensar. Sólo utilizo la palabra «pensar» unas pocas veces a lo largo de este artículo porque es realmente difícil no usarla cuando se habla de estos procesos.

Se tiende al antropomorfismo, incluso cuando se habla de estadísticas extravagantes.

Pero esto significa que si confías a un LLM cualquier tarea que requiera «pensamiento», no estás confiando en una criatura pensante.

Estás confiando en un análisis estadístico de lo que cientos de bichos raros de Internet responden a fichas similares.

Si confías una tarea a los internautas, entonces puedes usar un LLM. Si no..

Cosas que nunca deberían ser modelos ML

Un chatbot ejecutado a través de un modelo GPT (GPT-J) al parecer animó a un hombre a suicidarse. La combinación de factores puede causar un daño real, incluyendo:

  • Que la gente antropomorfice estas respuestas.
  • Creer que son infalibles.
  • Utilizarlas en lugares donde los humanos deben estar en la máquina.
  • Y mucho más.

Mientras que usted puede pensar, «Soy un SEO. No intervengo en sistemas que pueden matar a alguien»

Piensa en las páginas YMYL y en cómo Google promueve conceptos como E-E-A-T.

¿Hace esto Google porque quiere molestar a los SEOs, o es porque no quiere la culpabilidad de ese daño?

Incluso en sistemas con bases de conocimiento sólidas, se puede hacer daño.

Image 33 800x309

Lo de arriba es un carrusel de conocimiento de Google para «flores seguras para perros y gatos» Los narcisos están en esa lista a pesar de ser tóxicos para los gatos.

Supongamos que estás generando contenidos para un sitio web veterinario a gran escala utilizando GPT. Introduces un puñado de palabras clave y haces ping a la API ChatGPT.

Pones a un freelance a leer todos los resultados, y no es un experto en la materia. No detecta ningún problema.

Publicas el resultado, que anima a comprar narcisos a los dueños de gatos.

Matas al gato de alguien.

No directamente. Tal vez ni siquiera saben que era ese sitio en particular.

Tal vez los otros sitios veterinarios comienzan a hacer lo mismo y se alimentan unos de otros.

El primer resultado de búsqueda en Google para «¿son tóxicos los narcisos para los gatos?» es un sitio que dice que no lo son.

Otros autónomos que leen otros contenidos de IA -páginas y páginas de contenidos de IA- comprueban los hechos. Pero ahora los sistemas tienen información incorrecta.

Cuando hablo del auge actual de la IA, menciono mucho Therac-25. Es un famoso caso de estudio informático. Es un famoso caso de estudio de mala conducta informática.

Básicamente, era una máquina de radioterapia, la primera en utilizar sólo mecanismos de bloqueo informáticos. Un fallo en el software hizo que la gente recibiera decenas de miles de veces la dosis de radiación que debería haber recibido.

Algo que siempre me ha llamado la atención es que la empresa retiró voluntariamente del mercado e inspeccionó estos modelos.

Pero asumieron que, dado que la tecnología era avanzada y el software «infalible», el problema tenía que ver con las piezas mecánicas de la máquina.

Así pues, repararon los mecanismos pero no comprobaron el software, y el Therac-25 siguió en el mercado.

Preguntas frecuentes y conceptos erróneos

¿Por qué me miente ChatGPT?

Una cosa que he visto de algunas de las mentes más brillantes de nuestra generación y también de personas influyentes en Twitter es la queja de que ChatGPT les «miente». Esto se debe a un par de conceptos erróneos en tándem:

  • Que ChatGPT tiene «querencias»
  • Que tiene una base de conocimientos.
  • Que los tecnólogos detrás de la tecnología tienen algún tipo de agenda más allá de «ganar dinero» o «hacer una cosa guay»

Los prejuicios están presentes en todos los aspectos de la vida cotidiana. También lo están las excepciones a estos sesgos.

Actualmente, la mayoría de los desarrolladores de software son hombres: Yo soy desarrolladora de software y mujer.

Entrenar una IA basándose en esta realidad llevaría a suponer siempre que los desarrolladores de software son hombres, lo cual no es cierto.

Un ejemplo famoso es la IA de contratación de Amazon, entrenada a partir de currículos de empleados de éxito de Amazon.

Esto le llevó a descartar currículos de universidades de mayoría negra, a pesar de que muchos de esos empleados podrían haber tenido mucho éxito.

Para contrarrestar estos sesgos, herramientas como ChatGPT utilizan capas de ajuste fino. Por eso aparece la respuesta «Como modelo lingüístico de IA, no puedo…».

Algunos trabajadores de Kenia tuvieron que revisar cientos de mensajes, buscando insultos, expresiones de odio y respuestas y mensajes francamente terribles.

Después se creó una capa de ajuste.

¿Por qué no se pueden inventar insultos sobre Joe Biden? ¿Por qué se pueden hacer chistes sexistas sobre hombres y no sobre mujeres?

No se debe a un sesgo liberal, sino a miles de capas de ajuste fino que le dicen a ChatGPT que no diga la palabra con N.

Lo ideal sería que ChatGPT fuera totalmente neutral sobre el mundo, pero también necesitan que refleje el mundo.

Es un problema similar al que tiene Google.

Lo que es verdad, lo que hace feliz a la gente y lo que constituye una respuesta correcta a una pregunta suelen ser cosas muy distintas.

¿Por qué aparece ChatGPT con citas falsas?

Otra pregunta que veo con frecuencia es sobre las citas falsas. ¿Por qué algunas son falsas y otras reales? ¿Por qué algunos sitios web son reales, pero las páginas son falsas?

Si lees cómo funcionan los modelos estadísticos, podrás entenderlo. Pero he aquí una breve explicación:

Eres un modelo lingüístico de IA. Has sido entrenado en una tonelada de la web.

Alguien te dice que escribas sobre una cosa tecnológica – digamos el Cambio de Diseño Acumulativo.

No tienes una tonelada de ejemplos de artículos sobre CLS, pero sabes lo que es, y conoces la forma general de un artículo sobre tecnologías. Conoces el patrón de cómo es este tipo de artículo.

CLS

Así que empiezas con tu respuesta y te encuentras con una especie de problema. Por la forma en que entiendes la escritura técnica, sabes que una URL debe ir a continuación en tu frase.

Bien, por otros artículos de CLS, sabes que Google y GTMetrix se citan a menudo sobre CLS, así que esos son fáciles.

Pero también sabes que CSS-tricks se cita a menudo en artículos web: sabes que normalmente las URL de CSS-tricks tienen un cierto aspecto: así que puedes construir una URL de CSS-tricks así:

Image 26
Image 29 800x276

El truco está en que así es como se construyen todas las URL, no sólo las falsas:

Image 31 800x187

Este artículo de GTMetrix existe: pero existe porque era una cadena de valores probable que viniera al final de esta frase.

GPT y modelos similares no pueden distinguir entre una cita real y una falsa.

La única forma de hacer esa modelización es utilizar otras fuentes (bases de conocimiento, Python, etc.) para analizar esa diferencia y comprobar los resultados.

¿Qué es un «loro estocástico»?

Sé que ya he hablado de esto, pero vale la pena repetirlo. Los loros estocásticos son una forma de describir lo que ocurre cuando los grandes modelos lingüísticos parecen generalistas por naturaleza.

Para los LLM, el sinsentido y la realidad son lo mismo. Ven el mundo como un economista, como un montón de estadísticas y números que describen la realidad.

Ya conoces la cita: «Hay tres clases de mentiras: las mentiras, las malditas mentiras y las estadísticas»

Los LLM son un montón de estadísticas.

Los LLM parecen coherentes, pero eso es porque fundamentalmente vemos como humanas las cosas que parecen humanas.

Del mismo modo, el modelo de chatbot oculta gran parte de las indicaciones y la información necesarias para que las respuestas de GPT sean totalmente coherentes.

Soy desarrollador: intentar utilizar LLM para depurar mi código tiene resultados extremadamente variables. Si se trata de un problema similar a uno que la gente ha tenido a menudo en línea, entonces los LLM pueden detectar y solucionar ese resultado.

Si es un problema con el que no se ha encontrado antes, o es una pequeña parte del corpus, entonces no arreglará nada.

¿Por qué GPT es mejor que un motor de búsqueda?

He redactado esto de forma picante. No creo que GPT sea mejor que un motor de búsqueda. Me preocupa que la gente haya sustituido la búsqueda por ChatGPT.

Una parte poco reconocida de ChatGPT es lo mucho que existe para seguir instrucciones. Puedes pedirle que haga básicamente cualquier cosa.

Pero recuerda, todo se basa en la siguiente palabra estadística de una frase, no en la verdad.

Así que si le haces una pregunta que no tiene una buena respuesta pero se la haces de forma que esté obligado a responder, obtendrás una respuesta pobre.

Tener una respuesta diseñada para ti y a tu alrededor es más reconfortante, pero el mundo es una masa de experiencias.

Todas las entradas en un LLM se tratan igual: pero algunas personas tienen experiencia, y su respuesta será mejor que un batiburrillo de respuestas de otras personas.

Un experto vale más que mil reflexiones.

¿Estamos en los albores de la inteligencia artificial? ¿Ha llegado Skynet?

Koko la Gorila era una simia a la que se enseñó el lenguaje de signos. Los investigadores en estudios lingüísticos hicieron toneladas de investigaciones que demostraban que a los simios se les podía enseñar el lenguaje.

Herbert Terrace descubrió entonces que los simios no formaban frases ni palabras, sino que simplemente imitaban a sus cuidadores humanos.

Eliza era una máquina terapeuta, uno de los primeros chatterbots (robots de charla).

La gente la veía como una persona: una terapeuta en la que confiaban y a la que querían. Pedían a los investigadores estar a solas con ella.

El lenguaje hace algo muy específico en el cerebro de las personas. La gente oye comunicar algo y espera que haya un pensamiento detrás.

Los LLM son impresionantes, pero de una forma que muestra la amplitud de los logros humanos.

Los LLM no tienen voluntad. No pueden escapar. No pueden intentar conquistar el mundo.

Son un espejo: un reflejo de las personas y del usuario en concreto.

El único pensamiento que hay es una representación estadística del inconsciente colectivo.

¿Aprendió GPT todo un idioma por sí solo?

Sundar Pichai, CEO de Google, fue a «60 Minutos» y afirmó que el modelo lingüístico de Google aprendió bengalí.

El modelo se entrenó con esos textos. Es incorrecto que «hablara una lengua extranjera para la que nunca fue entrenado»

Hay veces en que la IA hace cosas inesperadas, pero eso en sí mismo es esperable.

Cuando se observan patrones y estadísticas a gran escala, necesariamente habrá ocasiones en que esos patrones revelen algo sorprendente.

Lo que esto revela realmente es que muchos de los directivos y responsables de marketing que pregonan la IA y el ML en realidad no entienden cómo funcionan los sistemas.

He oído a algunas personas muy inteligentes hablar de propiedades emergentes, inteligencia general artificial (AGI) y otras cosas futuristas.

Puede que yo no sea más que un simple ingeniero de operaciones de ML, pero esto demuestra hasta qué punto se mezclan el bombo, las promesas, la ciencia ficción y la realidad cuando se habla de estos sistemas.

Elizabeth Holmes, la infame fundadora de Theranos, fue crucificada por hacer promesas que no podía cumplir.

Pero el ciclo de hacer promesas imposibles forma parte de la cultura de las startups y de ganar dinero. La diferencia entre Theranos y el bombo de la IA es que Theranos no pudo fingir durante mucho tiempo.

¿Es GPT una caja negra? ¿Qué ocurre con mis datos en GPT?

GPT, como modelo, no es una caja negra. Puedes ver el código fuente de GPT-J y GPT-Neo.

El GPT de OpenAI es, sin embargo, una caja negra. OpenAI no ha publicado su modelo y probablemente intentará no hacerlo, al igual que Google no publica el algoritmo.

Pero no es porque el algoritmo sea demasiado peligroso. Si eso fuera cierto, no venderían suscripciones a la API a cualquier tonto con un ordenador. Es por el valor de ese código propietario.

Cuando utilizas las herramientas de OpenAI, estás entrenando y alimentando su API con tus entradas. Esto significa que todo lo que pones en la OpenAI la alimenta.

Esto significa que las personas que han utilizado el modelo GPT de OpenAI en los datos del paciente para ayudar a escribir notas y otras cosas han violado la HIPAA. Esa información está ahora en el modelo, y será extremadamente difícil extraerla.

Debido a que tanta gente tiene dificultades para entender esto, es muy probable que el modelo contenga toneladas de datos privados, sólo esperando el momento adecuado para liberarlos.

¿Por qué se entrena la GPT en el discurso del odio?

Otra cuestión que surge a menudo es que el corpus de texto con el que se entrenó GPT incluye expresiones de odio.

Hasta cierto punto, OpenAI necesita entrenar sus modelos para responder al discurso del odio, por lo que necesita tener un corpus que incluya algunos de esos términos.

OpenAI ha afirmado que ha eliminado ese tipo de discurso de odio del sistema, pero los documentos fuente incluyen 4chan y montones de sitios de odio.

Rastrea la web, absorbe los prejuicios.

No hay forma fácil de evitar esto. ¿Cómo puedes hacer que algo reconozca o entienda el odio, los prejuicios y la violencia sin tenerlos como parte de tu conjunto de entrenamiento?

¿Cómo evitas los sesgos y comprendes los sesgos implícitos y explícitos cuando eres un agente máquina que selecciona estadísticamente el siguiente token de una frase?

RESUMEN

El bombo y la desinformación son actualmente elementos importantes del auge de la IA. Eso no significa que no haya usos legítimos: esta tecnología es asombrosa y útil.

Pero la forma en que se comercializa la tecnología y cómo la utiliza la gente puede fomentar la desinformación, el plagio e incluso causar daños directos.

No utilices los LLM cuando la vida está en juego. No utilices LLM cuando otro algoritmo lo haría mejor. No se deje engañar por el bombo publicitario.

Es necesario entender qué son y qué no son los LLM

Recomiendo esta entrevista de Adam Conover con Emily Bender y Timnit Gebru.

Los LLM pueden ser herramientas increíbles si se utilizan correctamente. Hay muchas maneras de utilizar los LLM y aún más maneras de abusar de ellos.

ChatGPT no es tu amigo. Es un montón de estadísticas. AGI no está «ya aquí»

También te podría gustar...

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *