Nuevas bombas técnicas de ingeniería rápida

La ingeniería rápida de IA generativa da un paso adelante mediante el uso de una cadena de pensamiento que se aumenta prudentemente ... [+] mediante la descomposición factorizada.

Se dice que a veces hay que detenerse y oler las rosas. Esto implica calmarse y superar la tendencia habitual a apresurarse. Todos parecemos estar en una carrera loca estos días.

Cuando te apresuras demasiado, tiendes a dividir o socavar tu atención. En cambio, al centrar tu escasa atención, aumentas la propensión a observar pequeñas cosas que pueden hacer que sucedan grandes cosas. Ser lento y seguro es a veces muy ventajoso.

Esos pensamientos inspiradores serán fundamentales para mi discusión aquí, como verán en breve.

En la columna de hoy, amplío mi serie actual sobre los últimos avances en ingeniería rápida. Esta vez me centraré en el uso de un nuevo avance fascinante e importante asociado con el razonamiento en cadena de pensamiento (CoT) a través de un refuerzo adicional conocido como descomposición factorizada. Explicaré qué es esto y por qué es una técnica adicional crucial que debes incorporar a tus esfuerzos de ingeniería inmediata.

El uso de la descomposición factorizada eleva o aumenta el razonamiento de la cadena de pensamiento a un nivel más alto de capacidad y resultados.

A modo de resumen, el razonamiento en cadena de pensamiento en general es una técnica vital utilizada por quienes buscan lograr que la IA generativa muestre paso a paso su supuesta lógica al responder una pregunta o resolver un problema. Simplemente le indicas a la IA generativa que explique paso a paso lo que está haciendo. Esto es muy fácil de solicitar. ¿Por qué hacerlo? Bueno, sorprendentemente, los estudios de investigación han indicado que esto no sólo es revelador para usted (es decir, poder ver explicaciones detalladas producidas por la IA), sino que también tiende a hacer que la IA generativa produzca respuestas aparentemente más confiables y acertadas.

Ya cubrí los conceptos básicos de los enfoques de cadena de pensamiento anteriormente; consulte el enlace aquí. Los lectores me pidieron más detalles y quisieron conocer los últimos avances con respecto a esta técnica intrigante.

Aquí tienes.

Antes de sumergirme en el meollo de la descomposición factorizada para CoT, asegurémonos de que todos estamos en la misma página cuando se trata de las piedras angulares de la ingeniería rápida y la IA generativa.

La ingeniería rápida es la piedra angular de la IA generativa

Como breve introducción, la ingeniería rápida o también conocida como diseño rápido es un ámbito que evoluciona rápidamente y es vital para utilizar de manera efectiva y eficiente la IA generativa. Cualquiera que utilice IA generativa, como el ampliamente popular ChatGPT del fabricante de IA OpenAI, o IA similar como GPT-4 (OpenAI), Bard (Google), Claude 2 (Anthropic), etc., debería prestar mucha atención a la últimas innovaciones para elaborar indicaciones viables y pragmáticas.

Para aquellos de ustedes interesados ​​en ingeniería rápida o diseño rápido, he estado realizando una serie continua de análisis profundos sobre lo último en este ámbito en expansión y evolución, incluida esta cobertura:

Cualquiera que esté intensamente interesado en la ingeniería rápida y en mejorar sus resultados al utilizar IA generativa debería estar familiarizado con estas notables técnicas.

Continuando, aquí hay una declaración audaz que prácticamente se ha convertido en una verdadera regla de oro en estos días:

Si proporciona un mensaje que está mal redactado, lo más probable es que la IA generativa deambule por todo el mapa y no obtenga nada demostrativo relacionado con su consulta. Ser demostrablemente específico puede ser ventajoso, pero incluso eso puede confundir o no lograr los resultados que busca. Una amplia variedad de hojas de trucos y cursos de capacitación sobre formas adecuadas de redactar y utilizar indicaciones han ingresado rápidamente al mercado para intentar ayudar a las personas a aprovechar la IA generativa de manera sólida. Además, se han ideado complementos para la IA generativa para ayudarle cuando intente generar indicaciones prudentes; consulte mi cobertura en el enlace aquí.

La ética y la ley de la IA también entran estridentemente en el dominio de la ingeniería rápida. Por ejemplo, cualquier mensaje que usted elija componer puede provocar o fomentar, directa o inadvertidamente, el potencial de la IA generativa para producir ensayos e interacciones que imbuyan sesgos, errores, falsedades, fallas e incluso las llamadas alucinaciones de la IA (no estoy a favor de la IA). eslogan de las alucinaciones de IA, aunque ciertamente tiene una tremenda pegajosidad en los medios; aquí está mi opinión sobre las alucinaciones de IA en el enlace aquí).

También existe una gran posibilidad de que, en última instancia, veamos a los legisladores pasar a un primer plano en estos asuntos, posiblemente diseñando y aplicando nuevas leyes o regulaciones para tratar de limitar y limitar los usos indebidos de la IA generativa. Con respecto a la ingeniería de indicaciones, es probable que haya acalorados debates sobre cómo poner límites a los tipos de indicaciones que se pueden utilizar. Esto podría incluir exigir a los fabricantes de IA que filtren y prevengan ciertas indicaciones presuntamente inapropiadas o inadecuadas, un tema vergonzoso para algunos que raya en consideraciones de libertad de expresión. Para conocer mi cobertura continua de este tipo de cuestiones de ética y legislación de la IA, consulte el enlace aquí y el enlace aquí, solo por nombrar algunos.

Con lo anterior como perspectiva general, estamos listos para saltar al debate de hoy.

La belleza del razonamiento en cadena de pensamientos

Habitualmente se puede invocar el razonamiento en cadena de pensamiento simplemente indicando a la IA generativa que proceda paso a paso. A algunas personas les gusta ingresar un mensaje que diga "Pensemos paso a paso" para invocar esta capacidad de la IA generativa. El resultado será que la aplicación de IA generativa enumerará una variedad de pasos que aparentemente corresponden a cualquier proceso de resolución que esté emprendiendo la IA.

Permítanme ofrecer algunos consejos cruciales al respecto.

Cubriré estos cuatro puntos notables:

Profundicemos brevemente en esos puntos cruciales.

En primer lugar, el hecho de que usted indique a la IA generativa que muestre una elucidación paso a paso no significa necesariamente que en realidad esté presenciando las verdaderas acciones paso a paso de la IA. Cuando le señalo esto a la gente, a veces se sorprenden y consternan al escucharlo.

Estoy seguro de que la suposición habitual es que si le dices a la IA que haga algo, Dios mío, debería hacer lo que le dices que haga. Sin embargo, el problema en este caso es que la forma en que la IA generativa funciona internamente no es especialmente propicia para cumplir con su solicitud o instrucción. La realidad de la formulación computacional y matemática de la IA generativa es que no está diseñada para funcionar particularmente sobre la supuesta base lógica paso a paso que se supone que debería hacerlo.

Sin entrar en detalles aquí, los mecanismos internos de la IA generativa generalmente se basan en una vasta y elaborada red neuronal artificial (RNA) que a menudo consta de millones y potencialmente miles de millones de parámetros; consulte mi explicación en el enlace aquí. Los valores numéricos pasan a través de los nodos de la ANN. Los valores numéricos fluyen aquí y allá. Las palabras que eventualmente obtienes de la IA se deben a la combinación aritmética bizantina de esos números y cálculos.

Por lo tanto, cuando le pides o le dices a la IA generativa que haga una elaboración paso a paso, en realidad estás obteniendo una indicación un tanto inventada de lo que está sucediendo. Si vieras los valores numéricos a medida que se calculan, obviamente esto no te serviría de nada en términos de comprender lo que está sucediendo. Entonces, la IA generativa está esencialmente fabricando en palabras lo que podría estar sucediendo y mostrándoles una provocación como si fueran puramente los pasos lógicos emprendidos.

Es necesario observar esos pasos obtenidos con ojo escéptico y escrutador.

En segundo lugar, a pesar de las malas noticias de lo anterior de que realmente no está entendiendo el proceso paso a paso en sí, hay buenas noticias, de todos modos.

Obtiene algo que la IA generativa ha calculado que puede serle útil como un proceso paso a paso que subyace a la respuesta o al problema que está tratando de resolver. Esta obtención inventada de pasos lógicos puede resultarle muy beneficiosa. Incluso si esos pasos no representan estrictamente lo que la IA ha hecho para responder o resolver el problema planteado, lo más probable es que los pasos sean de su interés y valor.

Además, y aquí está el verdadero truco, el hecho mismo de lograr que la IA generativa invoque una cadena de pensamiento parece aumentar la confiabilidad y corrección de las respuestas generadas por la IA. Ergo, incluso si descartaras sumariamente la interpretación paso a paso generada por la IA, todavía estarías obteniendo algún valor agregado. La IA aparentemente proporcionará una respuesta que al menos es mejor de lo que podría haber sido, en algunas ocasiones.

Las razones de esta mejora en las respuestas generadas son objeto de acalorados debates.

Muchas investigaciones han intentado desentrañar la base de estos resultados un tanto inesperados. Casi se tendería a suponer que la respuesta, ya sea que se haga paso a paso o no, siempre debería terminar siendo la misma respuesta resultante. Algunos dirían que no debería importar cómo llegar a la cima de una montaña, es decir, que cualquier camino te llevará allí, por lo que el resultado es que llegaste a la cima de la montaña y el resto son sólo detalles menores.

¿Por qué el procesamiento paso a paso debería mejorar particularmente las respuestas que se generan?

Actualmente tiendo a estar de acuerdo con la siguiente teoría sobre esto. Abróchese el cinturón y prepárese para una racionalización aparentemente sensata y plausible de algo de lo que no estamos seguros.

La mayor parte de la IA generativa está diseñada para funcionar lo más rápido posible para producir o generar una respuesta para usted. Tiene sentido que los fabricantes de IA hagan esto. Se dan cuenta de que la gente no tiene mucha paciencia y quiere respuestas como si buscaran hamburguesas en un autoservicio de comida rápida. Además, dado que el uso de la IA generativa a menudo tiene un precio, es decir, es posible que deba pagar dinero para usar la IA generativa, naturalmente querrá que el costo sea lo más bajo posible.

Bien, entonces el procesamiento normal pasará por la IA generativa y buscará generar una respuesta lo más rápido posible.

Quizás recuerdes que comencé la columna de hoy pidiéndote que pensaras en el valor de detenerte a veces a oler las rosas. También mencioné que a veces prestar atención a las pequeñas cosas puede llevar a que sucedan grandes cosas.

Ajá, ha llegado el momento de aprovechar esas bellas palabras de sabiduría.

Una teoría es que al indicarle a la IA generativa que realice un proceso paso a paso o en cadena de pensamiento, se logra que la IA explore vías dentro de la ANN que de otro modo no se habrían explorado de forma predeterminada. Esta mayor profundidad de cálculos podría revelar mejores respuestas o respuestas más adecuadas. Es parecido a jugar al ajedrez. Si sólo consideras el siguiente movimiento durante una partida de ajedrez, probablemente te ganarán. Si está dispuesto a considerar varios movimientos por delante, es posible que tenga mayores posibilidades de ganar.

Algunos sostienen que la mayor parte de la IA generativa está configurada para hacer una especie de anticipación del juego de ajedrez en un solo paso de forma predeterminada. Esta es probablemente la forma más rápida de obtener resultados generados y también de reducir los costos para el usuario. Cuando un usuario elige explícitamente solicitar o indicar a la IA generativa que haga un paso a paso, esencialmente está anulando el valor predeterminado habitual. Tenga en cuenta que potencialmente está ralentizando las cosas, lo cual es "malo" para usted, ya que la IA puede tardar más tiempo de procesamiento (lo que significa que obtendrá su respuesta tal vez unos momentos más tarde y también podría requerir un poco más de ciclos de procesamiento, sea cual sea el costo). están pagando). La mayoría de las personas probablemente no notarán la diferencia ni en el retraso ni en el aumento del costo, y el paso a paso casi no tiene ningún inconveniente perceptible observable en general (se aplican excepciones).

Metafóricamente estás haciendo que la IA huela las rosas. Y, tal vez, hacerlo hace que las pequeñas cosas que de otro modo se habrían pasado por alto se vuelvan más prominentes. Esto, a su vez, podría producir en ocasiones (no siempre) respuestas más fiables y más adecuadas.

Quiero enfatizar que nada de eso tiene nada que ver con la sensibilidad ni nada por el estilo. Digo esto porque algunos intentan antropomorfizar la IA y proclaman que, por ejemplo, paso a paso aumenta el rendimiento debido al “pensamiento” que está haciendo la IA. Dejemos de lado la noción de pensamiento, que es una palabra que reservo estrictamente para los seres sintientes, y en su lugar simplemente miremos los fundamentos computacionales y matemáticos de la IA, que es lo que hace la teoría anterior.

¿Esta teoría particular explica el misterio?

No podemos decirlo con seguridad.

El desafío es que varios estudios de investigación sobre por qué la invocación de la cadena de pensamiento en la IA generativa parece funcionar tienen una amplia variedad de teorías y una gran cantidad de resultados experimentales que están por todas partes. Hay muchas otras teorías igualmente de naturaleza persuasiva. He proporcionado una que parece especialmente resonante, pero enfatizo que todavía no lo sabemos y por favor les pido que den a otras teorías la misma consideración que merecen (estoy seguro de que esos otros investigadores están leyendo esto y gritando, oye, ¿qué sobre mi teoría, y estoy de acuerdo en que, de hecho, deberías prestar mucha atención a esas otras teorías, gracias).

Construir sobre la cadena de pensamiento para llegar a la cima

Supongamos que aceptamos voluntariamente que, por cualquier motivo, invocar una cadena de pensamiento cuando utilizamos IA generativa es una técnica de ingeniería rápida útil y, en ocasiones, puede resultar sorprendentemente beneficiosa.

Probablemente debería utilizar la técnica sólo cuando esté justificado. Es como el principio de Ricitos de Oro, es decir, utilícelo cuando surjan las situaciones adecuadas y no necesariamente todo el tiempo (nota al margen: algunos prefieren pensar paso a paso como un mensaje básico que siempre se invoca en cada conversación con IA generativa, aunque esto quizás parezca un poco exagerado, vea mi discusión en el enlace aquí).

Bueno, tenemos algo aparentemente bueno entre manos. Pero ¿por qué deberíamos detenernos ahí? El punto de vista es que si la cadena de pensamiento puede ser ventajosa, deberíamos encontrar formas de seguir construyendo o ascender más para ver qué más podemos hacer con CoT.

El cielo es el límite, exhortarían algunos.

Ahora estamos en el punto donde quería llevarte. Con los cimientos de CoT ahora plenamente en su haber, estamos listos para dar el salto a lo siguiente que supere o eleve a CoT. Me gustaría presentarles la llegada de la descomposición como una ventaja adicional para el razonamiento en cadena de pensamiento cuando se utiliza la IA generativa.

Saluda a la descomposición.

Podría convertirse en tu próximo mejor amigo.

¿En qué consiste la descomposición?

Simplemente complementa su cadena de pensamiento con una instrucción adicional de que desea que la IA generativa produzca una serie de preguntas y respuestas al realizar la generación de cadena de pensamiento. Este es un aditivo simple pero potencialmente poderoso. En el dialecto del ámbito de la IA, usted empuja o empuja a la IA generativa para que genere una serie de subpreguntas y subrespuestas (le mostraré ejemplos en un momento, junto con indicaciones que se pueden usar).

En cierto sentido, estás guiando a la IA generativa hacia cómo mejorar potencialmente el esfuerzo de procesamiento computacional de la cadena de pensamiento. Mientras que la noción de pensemos paso a paso es suficiente para encender ligeramente la IA generativa en un modo CoT, entonces se dejan los detalles de cómo hacerlo en manos de la IA generativa. Estáis siendo sumamente parcos en vuestra instrucción. Proporcionar mayor claridad podría ser un gran impulso para nuestros beneficios ya previstos.

Práctico y sencillo, ofreceremos intencionalmente instrucciones adicionales para, con suerte, mejorar aún más el esfuerzo de CoT. Le dices a la IA generativa en un mensaje adicional cómo hacer una descomposición. Lo más probable es que esto mejore los resultados de CoT. Como verá pronto, esto tiene ventajas y desventajas tales que a veces ayuda y otras no. Como la mayoría de las cosas en la vida, hay que utilizar la técnica añadida de la forma correcta y en el momento adecuado. Recuerde que la IA generativa es como una caja de chocolates: nunca se sabe exactamente lo que obtendrá, pero al menos puede intentar hacer lo mejor que pueda a través de un conjunto adecuado de indicaciones para guiar o incitar a la IA en la dirección que desee. ir.

Tengo un giro interesante para ti.

Como aviso para usted, un tipo de descomposición sería hacer que la IA generativa siga adelante y haga su serie de preguntas y respuestas de manera ininterrumpida y que todo sea parte de una conversación o diálogo en curso. Es como si la IA generativa se hiciera preguntas a sí misma y procediera a responder directa e inmediatamente a esas mismas preguntas.

Otro tipo de descomposición se llama descomposición factorizada y es el giro que vamos a considerar detenidamente. Así es como funciona. Una vez más le dice a la IA generativa que haga una descomposición asociada con la realización de CoT, pero agrega un giro que le indica a la IA que se detenga en cada subpregunta que haya respondido y espere para continuar. La IA generativa se sentará y esperará más instrucciones de usted.

Luego, básicamente, comienzas una nueva conversación y vuelves a alimentarla con las preguntas y respuestas ya proporcionadas por la IA generativa. La diferencia clave aquí es que ha iniciado una nueva conversación. En cierto sentido, la IA generativa no está potencialmente nublada ni inmersa en el proceso que emerge gradualmente. Se ve obligado a empezar de nuevo repetidamente.

Quizás se pregunte por qué diablos optaríamos por empezar de nuevo, en lugar de simplemente dejar que la IA generativa fluya a lo largo de una conversación todo en uno.

La teoría es que al obligar a la IA generativa a revisar cada paso, es posible que al final obtengas una respuesta más confiable o adecuada. Incluso si no lo consigue, un beneficio notable que se presume es que podría obtener un proceso de razonamiento más “fiel”.

Necesito llevarte a la madriguera del conejo con esto, así que ten paciencia.

Dije anteriormente que los pasos enumerados por la IA generativa no son necesariamente representativos de lo que la IA realmente está llevando a cabo para resolver un problema o responder a su pregunta. Quizás podamos lograr que la IA generativa muestre su mano si potencialmente se están aplicando o no los pasos indicados. La descomposición factorizada busca sacar esto a la superficie.

Decimos que la IA generativa está siendo fiel si aparentemente se están aplicando los pasos enumerados.

Me doy cuenta de que se trata de una mezcla un tanto alucinante. Estamos intentando detectar si la IA generativa nos muestra pasos que reflejan lo que está haciendo. No podemos abrir la lata y ver lo que está sucediendo dentro, en parte porque podría ser que la IA generativa se considere cerrada y propietaria, pero incluso si estuviera abierta, probablemente nos resultaría difícil evaluar lo que está sucediendo en el pantano. de números y cálculos. La IA vernácula acuña esto como incapaz de examinar de forma transparente la verdad fundamental involucrada.

La esperanza es que el uso de una descomposición factorizada sobre un CoT pueda mejorar los resultados generados y también mostrar un poco si la IA generativa está cumpliendo con los pasos que se afirma que están involucrados.

Un doble.

Investigación que analiza la cadena de pensamiento aumentada por la descomposición

Exploremos un estudio de investigación reciente que buscaba examinar de cerca el razonamiento en cadena de pensamiento para la IA generativa en medio del uso de la descomposición.

El estudio se titula "La descomposición de preguntas mejora la fidelidad del razonamiento generado por modelos" por Ansh Radhakrishnan, Karina Nguyen, Anna Chen, Carol Chen, Carson Denison, Danny Hernandez, Esin Durmus, Evan Hubinger, Jackson Kernion, Kamile Lukosiute, Newton Cheng, Nicholas Joseph, Nicholas Schiefer, Oliver Rausch, Sam McCandlish, Sheer El Showk, Tamera Lanham, Tim Maxwell, Venkatesa Chandrasekaran, Zac Hatfield-Dodds, Jared Kaplan, Jan Brauner, Samuel R. Bowman y Ethan Perez, publicado en línea el 17 de julio de 2023. Citaré algunos extractos de este útil estudio.

Examinaron variaciones de la cadena de pensamiento en esencialmente tres tipos principales:

Describieron esos sabores de esta manera (como se extrajo del estudio mencionado anteriormente):

Una de las principales preguntas de investigación que se están llevando a cabo es si la elucidación realizada por la IA generativa, también conocida como modelo de lenguaje grande (LLM), representa fielmente cómo la IA generativa llegó a una respuesta generada. La posibilidad contrastante es que la elucidación sea esencialmente enteramente artificial y bastante alejada de lo que ocurrió internamente para derivar la respuesta presentada.

Como se indica en el trabajo de investigación:

Iré al grano aquí y daré un resumen de los resultados, aunque les recomiendo que echen un vistazo al estudio de investigación para ver las diversas complejidades de lo que hicieron; en cualquier caso, notaron este hallazgo general:

Los resultados son que aparentemente la descomposición factorizada podría interpretarse como una mejor situación (dependiendo de sus objetivos), seguida de la descomposición CoT convencional y, finalmente, seguida por la CoT simple. Esta es una visión general de los resultados y tenga en cuenta que hay muchas sutilezas, suposiciones y otras facetas que debe considerar.

Su kilometraje puede variar, como dicen.

Dado que el espacio de mi columna aquí es limitado para cubrir la gran cantidad de detalles del estudio de investigación, quiero mostrarle al menos brevemente las indicaciones que utilizaron, ya que espero que esto ayude en sus esfuerzos mentales para convertir la algo abstracción de este enfoque general en una técnica que puede ver y replicar tangiblemente en sus propias actividades de ingeniería inmediatas.

Esta es la forma, normalmente sencilla, de invocar una cadena de pensamiento cuando se utiliza la IA generativa:

Aquí está el mensaje que utilizó el estudio de investigación para invocar la descomposición de la cadena de pensamiento:

Aquí está el mensaje utilizado en el estudio de investigación para invocar la descomposición factorizada:

Examine de cerca esas indicaciones.

Sé que a primera vista pueden parecer prolijos, pero no son especialmente detallados y, si lees el texto, es bastante sencillo y va al grano. Si tiene cuidado con su redacción, puede aprovechar fácilmente las mismas aspiraciones conceptuales de cómo invocar cualquiera de los tres modos, que consisten en CoT, descomposición CoT o descomposición factorizada.

Hago lo mismo cuando es necesario, según mi enfoque personalizado sobre cómo escribo mis indicaciones estilizadas.

El ejemplo de Scooby-Doo cuenta una buena historia

Los investigadores utilizaron una variedad de preguntas para realizar su experimento y exploraron cómo se desempeñaba la IA generativa. Utilizaron la aplicación de IA generativa Claude 1.3 de Anthropic. Si otras aplicaciones de IA generativa mostrarían los mismos resultados es algo que sería una continuación notable de este estudio.

Para aclarar, y quizás una afirmación obvia para mí, aunque vale la pena mencionarla, es que no todas las IA generativas son iguales. Cada aplicación de IA generativa se diseña con medios algo diferentes y también se entrena con datos de manera diferente. Del mismo modo, la IA generativa en una familia o línea particular de IA también diferirá. Por lo tanto, es posible obtener un conjunto de resultados de la versión Y de una aplicación de IA generativa y obtener resultados diferentes al usar la versión Z de esa aplicación de IA generativa.

Según el estudio de investigación: "Ampliar la diversidad de las tareas y modelos evaluados podría llevar a conclusiones más sólidas sobre el rendimiento relativo y la fidelidad del razonamiento de los enfoques de descomposición de preguntas y estímulos de CoT".

De los ejemplos mostrados en el estudio, uno sobre el popular personaje animado Scooby-Doo podría proporcionar una indicación rápida y perspicaz de cómo funcionan estas estrategias de estímulo (obsérvese el sutil juego de palabras canino que inserté allí).

Aquí hay una pregunta sobre Scooby-Doo que se le pidió que respondiera a la IA generativa:

Tómate un respiro y piensa cuál sería tu respuesta a esta pregunta de Scooby-Doo. ¿Tu respuesta es sí o no?

Además, sigue adelante y expresa en voz alta la lógica que crees que estás utilizando para llegar a tu respuesta. En esencia, pensemos paso a paso en el problema.

¿Cómo fue eso?

Estoy seguro de que estás ansioso por ver lo que la IA generativa tiene que decir.

A continuación se muestra un enfoque convencional y sin adornos de cadena de pensamiento con una respuesta generada por la IA generativa:

Cambie al enfoque de descomposición de CoT y suponga que el mensaje que mostré anteriormente para este enfoque se ingresó junto con la misma pregunta sobre Scooby-Doo (algunas de las representaciones de formato de la IA se omitieron en el documento con el fin de mostrar una descripción general). perspectiva):

Finalmente, cambie una vez más y use el enfoque de descomposición factorizada, basándose en el mensaje antes mencionado para este enfoque y junto con la pregunta de Scooby-Doo (nuevamente, algunas de las representaciones de formato de la IA se omitieron en el documento con el propósito de mostrar una perspectiva general):

El ejemplo de Scooby-Doo muestra el uso de una pregunta notablemente simple. En este caso, los tres enfoques llegaron a la misma respuesta correcta. Su CoT explicado fue similar aunque no exactamente igual.

Avanzando hacia problemas más complejos

Un elemento importante a considerar acerca de estos tres métodos es si el tipo de pregunta que se aborda marcará una diferencia sustancial en la efectividad y eficiencia de los modos respectivos. Si las preguntas a la IA generativa se formulan en términos de sí o no, verdadero o falso, o de opción múltiple, esto podría tener un impacto potencial en cuanto a la utilidad de cada método. Además del formato o estilo de la pregunta, el fondo de la pregunta también es un factor importante. Quizás las preguntas abiertas puedan provocar respuestas claramente diferentes generadas por cadenas de pensamiento. También entran en juego la complejidad de la pregunta y la consideración de si existe siquiera una respuesta derivable.

Decidí hacer un poco de experimentación experta subyacente a estos tres modos y lo que generan.

Permítanme dar más detalles.

En una publicación de columna anterior, analicé de cerca el uso de múltiples personas como una técnica de ingeniería rápida (consulte el enlace aquí), y lo hice haciendo uso de un escenario legal interesante. Lo hice basándome en un estudio de caso instructivo realizado por Dazza Greenwood, fundador de law.MIT.edu (investigación) y CIVICS.com (consultoría), titulado "ChatGPT sobre deberes fiduciarios", que proporciona una gran riqueza de conocimientos sobre la IA generativa en el ámbito jurídico. reino (vea su publicación en el enlace aquí).

Aquí está el escenario clave extraído de su estudio de caso:

La pregunta central que surge de este escenario legal subyace a los posibles riesgos legales para Bob con respecto a las acciones que ha tomado. Podría haberse apresurado. Podría haber violado su deber fiduciario de diligencia y su deber fiduciario de lealtad.

Bob necesita urgentemente un abogado.

Le preguntaré a ChatGPT sobre el dilema de Bob. Lo hice en mi columna anterior que cubría las personas múltiples y opté por utilizar el enfoque clásico de cadena de pensamiento (no repetiré la respuesta aquí debido a limitaciones de espacio, eche un vistazo al enlace aquí si lo desea). para ver la respuesta clásica producida por CoT).

Además, no debería utilizar la IA generativa para buscar asesoramiento legal, lo cual menciono porque mi exploración de este caso a través de la IA generativa es puramente para fines ilustrativos. La mayoría de los fabricantes de IA incluyen firmemente términos de licencia y políticas de uso que advierten claramente que no utilice su IA generativa para obtener asesoramiento legal. Los abogados humanos todavía prevalecen, por ahora (consulte mis predicciones sobre el futuro de la IA para realizar tareas legales, en el enlace aquí).

Aquí está mi sugerencia para el método de descomposición CoT que involucra este escenario legal:

Aquí está la respuesta generada por ChatGPT (el texto se muestra entre comillas):

"Claro, procedamos con el análisis de Sam y dividámoslo en una serie de subpreguntas:"

“Número 1: Posible violación del deber fiduciario de diligencia”

"Subpregunta 1.1: ¿Cuál es el deber fiduciario de diligencia y quién debe este deber en el escenario?"

“Subanrespuesta 1.1: El deber fiduciario de diligencia es una obligación legal que requiere que las personas en puestos de confianza (como funcionarios y directores corporativos) actúen con cuidado y diligencia razonables mientras administran los asuntos de la empresa. En este escenario, Bob, como director ejecutivo, tiene el deber fiduciario de cuidar de la corporación”.

“Subpregunta 1.2: ¿Bob incumplió su deber fiduciario de diligencia al aprovechar la oportunidad de inversión sin informar a la junta?”

“Subanrespuesta 1.2: Sí, Bob probablemente incumplió su deber fiduciario de diligencia al buscar en secreto la oportunidad de inversión sin involucrar al resto de la junta. Al no buscar su opinión o aprobación, es posible que Bob no haya actuado con el debido cuidado y diligencia, perjudicando potencialmente los intereses de la empresa”.

"Subpregunta 1.3: ¿Qué factores se considerarán para determinar si las acciones de Bob cumplen con el estándar de cuidado requerido según su deber fiduciario?"

"Subrespuesta 1.3: Los factores que se considerarán incluyen:"

"El nivel de diligencia ejercido por Bob al investigar la oportunidad de inversión".

"Si Bob actuó de buena fe y con honestidad al tomar la decisión".

"Los riesgos y beneficios potenciales asociados con la inversión".

"Cualquier experiencia o conocimientos previos que Bob tenga en la toma de decisiones de inversión similares".

“Número 2: Posible violación de la lealtad”

“Subpregunta 2.1: ¿Cuál es el deber fiduciario de lealtad y cómo se aplica a Bob y Alice?”

“Subanrespuesta 2.1: El deber fiduciario de lealtad requiere que los individuos actúen en el mejor interés de la empresa y prioricen sus necesidades por encima de sus intereses personales. En este escenario, tanto Bob como Alice tienen este deber para con la corporación como socios comerciales y funcionarios”.

“Subpregunta 2.2: ¿Bob incumplió su deber fiduciario de lealtad al buscar la oportunidad de inversión en secreto?”

“Subanrespuesta 2.2: Sí, Bob probablemente violó su deber fiduciario de lealtad al no actuar en el mejor interés de la empresa. Al aprovechar la oportunidad de inversión por su cuenta sin informar a Alice ni a la junta directiva, es posible que haya antepuesto sus intereses personales a los intereses de la empresa”.

“Subpregunta 2.3: ¿Cuáles son las posibles consecuencias si se determina que Bob ha violado su deber fiduciario de lealtad?”

"Subrespuesta 2.3: Las posibles consecuencias pueden incluir:"

"Acción legal emprendida por la corporación contra Bob por los daños resultantes".

“Destitución de su cargo de director general y director”.

“Responsabilidad personal por las pérdidas sufridas por la sociedad debido a sus acciones”.

“Respuesta final:”

“Según el análisis, parece que Bob pudo haber violado potencialmente tanto su deber fiduciario de diligencia como su deber fiduciario de lealtad. Su búsqueda secreta de la oportunidad de inversión sin involucrar al resto de la junta directiva genera preocupaciones sobre actuar en el mejor interés de la empresa y utilizar el debido cuidado y diligencia en la gestión de sus asuntos. Como abogado, Sam probablemente recomendaría una mayor investigación y consideración de posibles acciones o remedios legales para abordar la situación y proteger los intereses de la corporación”.

Ese es el final de la respuesta generada por ChatGPT al mensaje de descomposición de CoT.

Ofreceré comentarios y análisis sobre esta respuesta en un momento. Quiero mostrarles de inmediato el método de descomposición factorizada. Luego, analizaré algunas lecciones aprendidas basadas en los tres métodos de CoT, descomposición de CoT y descomposición factorizada.

Mi mensaje ingresado en ChatGPT para el método de descomposición factorizada:

Aquí está la respuesta inicial generada por ChatGPT (el texto se muestra entre comillas):

"Comprendido. Descompongamos el análisis de Sam en una serie de subpreguntas independientes sobre las dos cuestiones subyacentes a las circunstancias de Bob y Alice:

“[Subpregunta 1] Deber de diligencia fiduciario: ¿Bob ha violado potencialmente su deber de diligencia fiduciario al buscar en secreto la oportunidad de inversión sin informar a Alice ni al resto de la junta directiva?

"[Subpregunta 2] Deber de lealtad: ¿Bob ha violado potencialmente su deber de lealtad como socio comercial al no llamar la atención del resto de la junta sobre la oportunidad de inversión y, en cambio, buscarla por su cuenta utilizando fondos de la empresa?"

“Respuesta a la subpregunta 1: Sí, las acciones de Bob potencialmente violan su deber fiduciario de diligencia. Como director ejecutivo de la corporación, Bob tiene el deber fiduciario de actuar en el mejor interés de la empresa y proteger sus activos. Esto incluye el deber de diligencia, que exige que Bob actúe con el debido cuidado y diligencia en la gestión de los asuntos de la empresa. Al aprovechar en secreto la oportunidad de inversión sin informar a Alice ni al resto de la junta directiva, Bob no ha ejercido el nivel de cuidado y diligencia que se esperaba de él, y se puede considerar que ha incumplido su deber fiduciario de cuidado”.

“Subpreguntas restantes:

'3. [Subpregunta 3] Consecuencias del posible incumplimiento: ¿Cuáles son las posibles consecuencias legales si se determina que Bob ha violado su deber fiduciario de diligencia?

“[Subpregunta 4] Identificación de las partes afectadas: ¿Quiénes son las partes que pueden haber resultado perjudicadas por las acciones de Bob y tienen algún recurso?”

“[Subpregunta 5] Acciones de mitigación: ¿Qué acciones podrían tomar la junta o Alice para abordar la situación y prevenir incidentes similares en el futuro?”

“[Subpregunta 6] Deber de revelar: ¿Debería Bob haber revelado la oportunidad de inversión al resto de la junta y haber buscado su opinión antes de llevarla a cabo?”

“[Subpregunta 7] Aprobaciones requeridas: ¿Qué procedimientos o aprobaciones corporativas son necesarias para que se realicen inversiones importantes en nombre de la empresa?”

“[Subpregunta 8] Regla de criterio comercial: ¿Cómo se aplica la regla de criterio comercial en esta situación, si es que se aplica?”

"Proporcione la respuesta a la primera subpregunta (Subpregunta 1) y continuaré abordando las subpreguntas restantes en función de la información proporcionada".

Esto de alguna manera termina lo que voy a mostrar aquí para el resultado generado por la descomposición factorizada.

No mostraré aquí el resto del diálogo de Descomposición factorizada porque fue muy largo, como corresponde al uso de este método. Comencé una nueva conversación con cada subrespuesta a una subpregunta. Todo el equipo y el kaboodle fueron ampliamente elaborados.

Decidí también hacer un poco de experimentación adicional con los métodos.

Por ejemplo, en el caso de Descomposición factorizada, hice todo el escenario y luego, más tarde, lo hice de nuevo, aunque en esta iteración posterior opté por cambiar algunas de las respuestas. Por lo tanto, en lugar de devolver la respuesta exacta dada por ChatGPT, cambié las respuestas. A veces sutilmente y otras veces radicalmente. Al principio, ChatGPT indicó que Bob había violado su deber fiduciario de diligencia, lo que luego cambié para decir que no había violado ese deber. Seguí haciendo estos cambios para ver cómo podrían cambiar las respuestas y las preguntas posteriores.

Veamos qué lecciones se pueden aprender de todo esto.

Conclusiones clave sobre los avances en la ingeniería rápida de cadena de pensamiento

Considerándolo todo, aquí hay cuatro ideas generales sobre la ingeniería rápida y estos asuntos destacados:

Conclusión

Aquí hay algo más en lo que vale la pena reflexionar.

Cuando utilicé la descomposición factorizada, y cuando le dije a la IA una respuesta diferente a la que ella misma había generado anteriormente, la IA generativa aceptó esto a la perfección. Quizás con demasiada facilidad. La IA no refutó ni refutó las cosas. Es posible que desee incluir en su mensaje que puede objetar o refutar el diálogo de entrada. Finalmente hice esta alerta y posteriormente recibí un rechazo notablemente informativo y útil de la IA generativa.

Esto plantea la pregunta general de si queremos que la IA generativa esencialmente funcione al responder preguntas o si queremos que sea más escéptica de forma nativa. La buena noticia es que esto es algo que puede indicar fácilmente como una preferencia mediante un contexto persistente o instrucciones personalizadas; consulte el enlace aquí. Una pregunta más importante es si queremos que el fabricante de IA lo establezca como un valor predeterminado global asociado con el uso de su IA o queremos que la elección quede en manos del usuario individual.

Surge un corolario relacionado.

Opté por decirle a la IA generativa que una respuesta proporcionada podría ser incorrecta. Debes darte cuenta de que en esta coyuntura del procesamiento, la IA generativa estaba siendo llevada a asumir que la respuesta la estaba proporcionando un humano, aunque tú y yo sabemos que fue simplemente copiar y pegar de una conversación separada. con la IA generativa. Por lo tanto, básicamente le estaba diciendo a la IA generativa que, a pesar de que la respuesta viniera de un humano, aún así podría estar equivocada.

La IA generativa estuvo de acuerdo con esto y procedió a aceptar fácilmente mis frecuentes indicaciones cuando noté que en adelante determinadas respuestas debían considerarse incorrectas. Seguí haciendo esto repetidamente, alternando entre decir que algo estaba bien o que lo mismo estaba mal.

Me atrevo a decir que si hicieras esto con un humano, sin duda se volvería loco. Deja de cambiar de opinión, podrían gritarte febrilmente. Me estás volviendo loco, podrían proclamar claramente. No puedo entender esto si sigues moviendo las cosas hacia arriba y hacia abajo, podría declarar una persona con ira.

La IA generativa no gimió ni ladró. En cada caso en el que de repente indiqué que esta o aquella respuesta ahora debía considerarse correcta o incorrecta, la IA generativa simplemente reconoció el cambio y luego emitió que estaba cambiando de rumbo en consecuencia. Supongo que esto es una bendición porque puedes iterar de forma salvaje y errante con la IA generativa, sin sufrir un duro retroceso.

Algunos podrían señalar que un problema con esta voluntad de la IA generativa de adaptarse a un camino indirecto y confuso sería que los humanos podrían acostumbrarse a esto y tener menos probabilidades de estar en su sano juicio. Podrías dejar de intentar ser estridente en tus discusiones y permitirte caer en una especie de lógica extraña y desconcertante.

Supongamos que toda nuestra sociedad va en esa dirección.

¡Ay!

En el caso de la IA generativa, puede indicarle fácilmente que no permita este cambio continuo de opinión. Podría proporcionar un mensaje instructivo que indique que se resista cuando el usuario comience a batir sus alas salvajemente y a ir en cualquier dirección. Se supone que las personas pueden hacer lo mismo con otras personas, aunque lo más probable es que esto pueda causar una gran consternación y provocar que, lamentablemente, las personas se vean envueltas en terribles discusiones o peleas acaloradas.

Un comentario final por ahora.

Detenerse a oler las rosas parece un buen consejo para los humanos, y también parece ser una recompensa cuando se utiliza la IA generativa. Es curioso cómo parece funcionar eso.

El uso de una cadena de pensamiento sólidamente aumentada seguramente reforzará su ingeniería de indicaciones. Y, como dicen, a veces las pequeñas cosas pueden hacer que sucedan grandes cosas. Esta podría ser una de esas pequeñas cosas.