En realidad aquí el problema es un asunto de mero marketing.
Desde que se comenzó a trabajar en inteligencia artificial, hasta hoy, no se ha avanzado gran cosa, pero se han desarrollado muchas herramientas útiles.
Por ejemplo, si desarrollas un juego tienes sistemas de detección de colisiones. Pero estos mismos sistemas tienen aplicaciones en campos como la arquitectura, la ingeniería para automoción, etc.
Hay un sistema muy guay que tú dibujas un par de piernas, o patas, articuladas, y te genera el movimiento. Y hace décadas que generamos paisajes con algoritmos matemáticos.
Otras veces es una cuestión de tiempo + oportunidad. Por ejemplo, un lector OCR asistido puede servir a una empresita para escanear las facturas que le envían. Y lo hay. Lo malo es que eso se ve superado por la factura electrónica.
Siempre ha habido chatbots. Aquí el problema esté en el origen, en Turing: dijo “si en una conversación no eres capaz de distinguir una máquina de una persona, entonces la máquina es inteligente” y eso es un error. El lenguaje usa una estructura bastante fija y para un sistema informático es fácil simularlo. Lo difícil para una máquina no es decir una frase como si fuera escrita por personas humanas, o incluso mejor: es que esa frase tenga sentido.
La idea de Turing la llevaron más allá en Star Trek. A lo largo de toda su franquicia, esa serie ha mostrado una utopía humana en un futuro relativamente próximo. Y entre otras ideas, exploraba la de la inteligencia artificial.
Los “technobros” modernos, si acaso vieron la serie, no prestaron atención. En TNG la nave tiene algo de inteligencia artificial y es capaz de interpretar comandos de voz. El capitán le dice “nave, busca a fulano” y la nave lo hace. Pero todos los puestos de la nave tienen (supuestamente) complicados paneles que requieren de mucha formación académica para ser interpretados. Si la IA de la nave es tan guay, ¿a qué tanto mando?
Allá por 1997 Microsoft incluyó a Clipper/Clippy en su suite Microsoft Office. Supuestamente, le podías preguntar cosas, del tipo “¿cómo aplico negrilla?”; mas era trampa: si tú escribías simplemente “negrilla”, te daba los mismos resultados 
Dan Simmons habla de lo que llama “La Singularidad” en algunas de sus obras. No sé si es idea original o si la tomó de otra gente: no, no voy a ver Terminator para ver cómo lo llaman allí, pero creo recordar que no lo nombran así. La idea es que en algún momento de esta época (siempre visto desde el futuro) había tantos sistemas de Inteligencia Artificial en el planeta tan fuertemente interrelacionados a través de Internet, que en un momento dado tomaron conciencia de sí mismos.
El problema de esta idea es que se basa en el principio de que hay muchas inteligencias artificiales por ahí, cosa que en la realidad no sucede. En 2025 estamos más o menos igual de lejos de la inteligencia artificial como cuando se rodó el primer capítulo de Star Trek (TOS).
Los LLM tienen varios problemas. No son, ni pueden ser, Inteligencias artificiales porque carecen de inteligencia: no tienen ninguna capacidad de razonamiento. Ningún LLM es capaz de hacer lo que se hacía con el procesador de la primera computadora de la historia: sumar. Tampoco son mejores que cualquier sistema de búsqueda: la analogía con el “voy a tener suerte” de Google es precisa: te dan un resultado arbitrario, y si eso coincide con lo que buscas, pues guay. Y eso es otro talón de Aquiles: es como usar una pala para clavar un clavo: es posible, pero mejor usa un martillo. Los LLM podrían estar bien para asistir en la escritura de un texto o su corrección ortográfica y gramatical. Requieren muchos recursos, pero al menos tendría sentido. Pero si le preguntas cómo instalar un paquete en openSUSE, te devolverá lo que hay en la wiki(1). Y eso puedes consultarlo tú: SDB:Instalación de aplicaciones - openSUSE Wiki
Otra característica de los LLM usados como motores de búsqueda es que sus resultados empeoran con el tiempo. Los errores tienden a acumularse en el sistema. Es algo así como lo que pasa en los seres humanos con la reproducción entre parientes de primer grado (las mutaciones erróneas se acumulan). Los LLM generan información errónea con mucha rapidez que se expande por el sistema, ocultando la información correcta. Eso es consecuencia de su diseño, no un fallo.
En programación, que es donde tanto fan están encontrando, porque a las personas que programan a vagos no les gana nadie
se da una paradoja: se abandonan lenguajes como C porque aunque son potentes son fuente de errores que comprometen la seguridad de los sistemas, y a la vez se deposita la confianza en que el código lo generen máquinas
¿Qué podría salir mal? 
(1) pero si en el foro se habla mucho de que aptitude mola más por su sintaxis, podría pasar que a la pregunta de “¿Cómo instalo un paquete en openSUSE?” te devuelva algo como “sudo aptitude install paquete” 