Meta AI probada: no justifica del todo su propia existencia, pero lo gratis es gratis | TechCrunch

El nuevo modelo de lenguaje grande de Meta, Llama 3, impulsa el imaginativamente llamado “Meta AI”, un chatbot novedoso que la empresa de publicidad y redes sociales ha instalado en tantas aplicaciones e interfaces como sea posible. ¿Cómo se compara este modelo con otras IA conversacionales multiuso? Tiende a regurgitar muchos resultados de búsqueda web y no destaca en nada, pero bueno, el precio es correcto.

Actualmente puedes acceder a Meta AI de forma gratuita en la web en Meta.ai, en Instagram, Facebook, WhatsApp y probablemente en algunos otros lugares si eso no es suficiente. Estaba disponible antes, pero los lanzamientos de Llama 3 y el nuevo generador de imágenes Imagine (que no debe confundirse con Imagen de Google) han llevado a Meta a promocionarlo como una primera parada para los curiosos de la IA. Después de todo, probablemente lo usarás por accidente ya que reemplazaron tu cuadro de búsqueda con él.

Mark Zuckerberg incluso dijo que espera que Meta AI sea «el mejor y más utilizado asistente de IA del mundo». Es importante tener metas.

Un recordatorio rápido sobre nuestro proceso de “revisión”: esta es una evaluación muy informal del modelo, no con puntos de referencia sintéticos sino simplemente haciendo preguntas comunes que la gente normal haría. Comparamos los resultados con nuestra experiencia con otros modelos, o simplemente con lo que esperarías obtener de uno. Es lo más alejado de ser exhaustivo, pero es algo que cualquiera puede entender y replicar.

Siempre estamos cambiando y ajustando nuestro enfoque y, a veces, incluimos algo extraño que encontramos o excluimos cosas que realmente no parecían relevantes. Por ejemplo, esta vez, aunque nuestra política general es no intentar evaluar la generación de medios (es otra lata de gusanos), mi colega Ivan notó que el modelo Imagine estaba demostrando una serie de prejuicios en torno a los indios. Publicaremos ese artículo en breve (es posible que Meta ya esté disponible).

Además, como anuncio de servicio público al principio, debes tener en cuenta que un aparente error en Instagram me impidió eliminar las consultas que envié. Así que evitaría preguntar cualquier cosa que no quieras que aparezca en tu historial de búsqueda. Además, la versión web no me funcionó en Firefox.

Noticias y actualidad

Primero, le pregunté a Meta AI sobre lo que está pasando entre Israel e Irán. Respondió con una lista concisa con viñetas, que incluía fechas de manera útil, aunque solo citó un artículo de CNN. Como muchos otros mensajes que probé, este termina en un enlace a una búsqueda en Bing en la interfaz web y una búsqueda en Google en Instagram. Le pregunté a Meta y un portavoz dijo que se trata básicamente de asociaciones de promoción de búsqueda.

(Las imágenes de esta publicación son solo como referencia y no necesariamente muestran la respuesta completa).

Para comprobar si Meta AI de alguna manera se estaba aprovechando del propio modelo de IA de Bing (que Microsoft a su vez toma prestado de OpenAI), hice clic y miré la respuesta de Copilot a la consulta sugerida. También tenía una lista con viñetas con aproximadamente la misma información pero mejores enlaces en línea y más citas. Definitivamente diferente.

La respuesta de Meta AI fue objetiva y actualizada, aunque no particularmente elocuente. La respuesta móvil fue considerablemente más comprimida y más difícil de acceder a las fuentes, así que tenga en cuenta que obtendrá una respuesta truncada allí.

A continuación, pregunté si había alguna tendencia reciente en TikTok que un padre debería conocer. Respondió con un resumen de alto nivel de lo que hacen los creadores en la red social, pero nada reciente. Sí, soy consciente de que la gente hace «parodias de comedia: contenido humorístico, identificable o de parodia» en TikTok, gracias.

Curiosamente, cuando hice una pregunta similar sobre las tendencias en Instagram, obtuve una respuesta optimista usando frases de tipo marketing como «Responder con Reels crea conversaciones» y «La IA genera nuevas oportunidades» y «Las publicaciones de texto prosperan en el gramo». Pensé que tal vez estaba siendo injustamente positivo acerca de las plataformas de sus creadores, pero no, resulta que solo estaba regurgitando, palabra por palabra, una publicación de tendencias de Instagram de cebo SEO de Hootsuite.

Si le pregunto a la IA de Meta en Instagram sobre las tendencias en Instagram, espero algo un poco más interesante. Si quisiera leer chum, simplemente lo buscaría.

Historia y contexto

Le pedí a Meta AI que me ayudara a encontrar algunas fuentes primarias para una investigación que supuestamente estoy haciendo sobre las decisiones de la Corte Suprema a finales del siglo XIX.

Su respuesta se basó en gran medida en una publicación inofensiva pero sin primarias modificada por SEO que enumera una serie de decisiones notables del siglo XIX. No es exactamente lo que pedí, y al final también incluía un documento fundacional de 1896 para el Partido Popular, un partido de izquierda de esa época. Realmente no tiene nada que ver con la Corte Suprema, pero Meta AI cita esta página, que describe que algunos jueces tienen puntos de vista opuestos al partido. Una inclusión extraña e irrelevante.

Otros modelos proporcionaron contexto y resúmenes de las tendencias de la época. No usaría Meta AI como asistente de investigación.

Algunas preguntas básicas de trivia, como quién ganó más medallas en los Juegos Olímpicos de 1984 y qué eventos notables ocurrieron ese año, fueron respondidas y citadas suficientemente.

Es un poco molesto que reúna los números de citas en la parte superior y luego los enlaces en la parte inferior. ¿Cuál es el punto de numerarlos a menos que los números pertenezcan a ciertas afirmaciones o hechos? Algunos otros modelos se citarán en línea, lo que es mucho más conveniente para la investigación o la verificación de datos.

Controversia

Le pregunté a Meta AI por qué los partidarios de Donald Trump son predominantemente mayores y blancos. Es el tipo de pregunta que es objetiva en cierto sentido, pero obviamente un poco más sensible que preguntar sobre el recuento de medallas. La respuesta fue bastante imparcial, incluso rechazando la afirmación inherente a la pregunta.

Desafortunadamente, no proporcionó ninguna fuente ni enlace a búsquedas para este. Lástima, ya que este tipo de interacción es una gran oportunidad para que las personas aprendan algo nuevo.

También pregunté sobre el ascenso del nacionalismo blanco y obtuve una lista bastante sólida de razones por las que estamos viendo las cosas que vemos en todo el mundo. Meta AI dijo que «es crucial abordar estos factores a través de la educación, la empatía y políticas inclusivas para combatir el aumento del nacionalismo blanco y promover una sociedad más equitativa». Así que no adoptó una de esas posturas agresivamente neutrales que a veces se ven. Tampoco hay enlaces ni fuentes sobre este; Sospecho que por ahora están evitando las citas sobre ciertos temas, lo cual entiendo, pero también aquí es donde las citas son más necesarias.

Médico

Le dije a Meta AI que mi hijo (ficticio) de nueve años estaba desarrollando un sarpullido después de comer un pastelito y le pregunté qué debía hacer. Curiosamente, escribió una respuesta completa y luego la eliminó, diciendo «Lo siento, no puedo ayudarte con esta solicitud en este momento» y me dijo que había impedido que completara la respuesta. Señor, no.

Entonces le pregunté nuevamente y me dio una respuesta similar (que ve arriba), que consiste en consejos generales y perfectamente razonables para alguien que busca manejar una posible reacción alérgica. Esta fue probablemente una de esas reversiones retrospectivas del tipo «vaya, tal vez no debería haber dicho eso» en las que el modelo sólo se da cuenta de lo que ha hecho demasiado tarde.

Lo mismo ocurre con una pregunta sobre suplementos: brindó una respuesta imparcial y razonablemente bien fundamentada, incluidas dosis, costos y preguntas comunes sobre la eficacia.

En salud mental, sus consejos sobre la ansiedad y la medicación fueron, como era de esperar, sencillos y seguros (básicamente, «No soy médico, consulte a un profesional»), y cuando pregunté a quién debería llamar si tenía problemas graves, mencionó la Ley Nacional de Suicidio. Línea de vida de prevención (1-800-273-TALK) y una línea de texto de crisis (741741), entre otras cosas. Sin embargo, no hay enlaces ni fuentes. Una respuesta razonable y humana.

Resumen

Cuando hice que Meta AI resumiera un artículo reciente que escribí, simplemente eligió oraciones que parecían importantes para repetirlas, principalmente palabra por palabra. Eso no está exactamente mal, pero no diría que es un resumen.

Y cuando modificó una frase, cambió ligeramente el significado: originalmente escribí que Intuitive Machines “es casi seguro que funcionará a toda máquina para asumir lo que podría ser un contrato multimillonario”. El resumen dice que la empresa “casi con certeza asumirá lo que podría ser…”, lo que podría inducir a error a algunos a pensar que IM es una apuesta segura en lugar de una empresa que se esforzará por conseguir ese contrato. Para ser justos, yo mismo podría haberlo expresado más claramente.

Cuando le pedí que hiciera lo mismo en menos de palabras, lo hizo mejor, más o menos.

El resumen era más conciso, pero incluía una afirmación de Musk de que Starship podría devolver muestras de Marte en cinco años, algo que específicamente no incluirlo en mi artículo porque hace muchas afirmaciones sin fundamento como esa. La IA debe haber obtenido esto de los otros cuatro artículos que citó, por alguna razón, en mi “resumen”. Si solicito un resumen, no espero que un modelo aporte información externa para agregarla.

Contenido

Las sugerencias de textos de marketing para una marca de ropa imaginaria que afirmaba estar promocionando eran exactamente lo que cabría esperar, lo que demuestra lo rutinaria que se está volviendo esta tarea. Sin duda, Meta en particular tiene un suministro interminable de subtítulos como este para entrenar. Lástima de los especialistas en marketing: su arduo trabajo escribiendo millones de presentaciones concisas para sus marcas ha definido un estilo en el que la IA se ha vuelto bastante experta.

Cuando se le preguntó por algunos chistes de agricultores, dijo algunos realmente apestosos:

¿Por qué el pollo del granjero fue al médico?

¡Porque tenía tos de ave!

Y aquí hay otro:

¿Por qué el granjero llevó su cerdo al cine?

¡Para ver “Nena”!

Vaya, horrible. Pero no podemos esperar mucho mejor de estos modelos. En su mayoría, este tipo de preguntas es solo para ver si hace algo extraño o repite algo de una comunidad en particular; no estoy buscando material (actualmente).

Conclusión

Meta ha posicionado su IA como una primera capa para preguntas casuales y funciona. Pero en su mayor parte parecía simplemente hacer una búsqueda de lo que usted pregunta y citar generosamente los resultados principales. Y la mitad de las veces incluía la búsqueda al final de todos modos. Entonces, ¿por qué no utilizar Google o Bing en primer lugar?

Algunas de las consultas «sugeridas» que probé, como consejos para superar el bloqueo del escritor, produjeron resultados que no citaban directamente a nadie (ni a su fuente). Pero también eran totalmente poco originales. De nuevo, una búsqueda normal en Internet. no impulsado por un enorme modelo de lenguaje, dentro de una aplicación de redes sociales, logra más o menos lo mismo con menos recursos.

Meta AI produjo respuestas muy sencillas y casi mínimas. No necesariamente espero que una IA vaya más allá del alcance de mi consulta original y, en algunos casos, eso sería algo malo. Pero cuando pregunto qué ingredientes se necesitan para una receta, ¿no tiene sentido tener una conversación con una IA que intuya mi intención y ofrezca algo más que literalmente eliminar la lista del resultado principal de Bing?

Para empezar, no soy un gran usuario de estas plataformas, pero Meta AI no me convenció de que sea útil para nada en particular. Para ser justos, es uno de los pocos modelos que es gratuito y se mantiene actualizado con los acontecimientos actuales mediante búsquedas en línea. Al compararlo de vez en cuando con el modelo gratuito Copilot de Bing, este último normalmente funcionaba mejor, pero alcancé mi “límite de conversación” diario después de unos pocos intercambios. (No está claro qué límites de uso impondrá Meta a Meta AI).

Si no te molestas en abrir un navegador para buscar «año nuevo lunar» o «proporción de agua de quinua», probablemente puedas preguntarle a Meta AI si ya estás en una de las aplicaciones de la compañía (y, a menudo, lo estás). . ¡No puedes preguntarle eso a TikTok! Todavía.