In ambito AI, per la creazione di prompt funzionali, ossia richieste in forma testuale di ciò che si vuole ottenere, ci sono differenti framework, intesi come insieme di elementi cardine di una richiesta ben formata, una sorta di ricetta per la stesura di prompt efficaci ed efficienti, mutuati anche da altri ambiti relazionali (vedere questo corposo elenco di framework).
Ad esempio, il framework CO-STAR propone sei elementi chiave da includere nel prompt; nella nostra richiesta al chatbot AI dovremmo ricordarci di specificare: Contesto, Obiettivo, Stile, Tono, Audience, Risposta (qui una spiegazione più dettagliata).
Trattandosi di framework generici può comunque capitare che non tutte le sue componenti siano applicabili a "calzanti" per ogni richiesta. Di modelli possibili da coniugare con i prompt per AI ne esistono davvero molti, così come esistono raccolte di prompt preconfezionati; l'importante è non sottovalutare il ruolo del prompt: a riprova di quanto sia importante, pare ad esempio che calibrando adeguatamente un giusto prompt introduttivo alla propria richiesta, sia possibile emulare un upgrade da ChatGPT-4o ((la cui versione "mini" è disponibile qui) al recentissimo ChatGPT-o1 (come spiegato qui).
Per provare a districarci meglio fra i numerosi framework per il prompting, abbiamo chiesto aiuto ai diretti interessati: i chatbot AI. Abbiamo optato per chatbot disponibili liberamente anche senza registrazione; alcuni di loro sono basati su ChatGPT (OpenAI), in differenti versioni, altri su altri noti modelli come Mixtral, Claude e Meta-Llama, altri su un proprio modello (come Phind Istant o Komo) mentre alcuni non specificano chiaramente il LLM di riferimento. Ecco l'elenco completo:
- Copilot (disponibile nel browser Edge)
- DuckDuckGo (Mixtral 8x7b)
- Felo
- HIX (Claude 3 haiku)
- HuggingChat (Meta-Llama-3.1-70B-Instruct)
- Komo
- OpenPerplex
- Perplexity
- Phind
- You
Il prompt che abbiamo dato in pasto ai chatbot, ossia la richiesta di creare un acronimo che sintetizzasse differenti framwork, è stato: Can you create an acronym about a new AI prompting framework, that synthesize these already existing frameworks: STAR (Situation, Task, Action, Result), CO-STAR (Context, Outcome, Scale, Time, Actor, Resources), RISEN (Requirement, Information, Strategy, Evaluation, Narrowing), IDEA (Intent, Details, Examples, Adjustments), CLEAR (Context, Logic, Expectations, Action, Restrictions) and GUIDE (Goal, Understanding, Information, Direction, Evaluation)?
Vediamo dunque quali sono state le loro proposte.
Copilot
Risposta sintetica e molto mirata; se suona familiare è perché si tratta di un framework omonimo, ma differente nei contenuti, a questo. Finale non scontato: il chatbot ci invita a continuare la conversazione chiedendoci cosa ne pensiamo del risultato.
Duckduckgo (Mixtral 8x7b)
In questo caso i punti del framework vengono spiegati tramite domande esplicite; soluzione interessante perché fornisce al contempo anche una guida pratica alla stesura del prompt (basta rispondere alle domande), che rende il framework facilmente applicabile. L'acronimo è stranamente errato: le iniziali formano IMPACT-ROE, non IMPACT-PRO.
Felo
Proposta ben dettagliata che contiene anche i riferimenti precisi ai framework citati nella domanda, abbinati a ciascun punto del framework proposto. Sebbene non fosse stato richiesto, il chatbot propone, di sua iniziativa, anche un esempio pratico per illustrare meglio la sua proposta; iniziativa sicuramente utile e interessante. Inoltre, è prevista anche la possibilità di visualizzare una mind map del risultato:
Hix (Claude 3 haiku)
Presentazione schematica e breve (come gli haiku, d'altronde) che, a differenza di Copilot, non stimola l'utente a proseguire la conversazione.
Huggingface (Meta-Llama-3.1-70B-Instruct)
Il chatbot ostenta un certo "entusiasmo" nell'accogliere la nostra richiesta e propone un framework in cui ogni elemento è prima abbinato ad alcuni elementi dei framework citati nella domanda, poi dettagliato con due verbi che introducono la spiegazione delle azioni implicate da ciascun elemento.
Komo
Komo conferma la sua tendenza a schematizzare le risposte in tabelle e anche in questo caso il risultato è un'esposizione lineare e precisa. Sotto la tabella, vengono esplicitati i rapporti fra gli elementi del framework creato e quelli proposti nel prompt con la richiesta.
Openperplex
L'acronimo proposto, CAG-TER, è finora l'unico non riconducibile ad una parola sensata, né in inglese né, probabilmente, in altre lingue. Nelle spiegazioni dei vari elementi, questi vengono ricollegati a quelli presenti nella richiesta ed è da notare che il secondo elemento, Audience, viene dichiarato come opzionale, riconoscendo che potrebbe non essere applicabile in tutti i casi, una "consapevolezza" non scontata per un'AI.
Perplexity
Questo framework fa proseguire il successo della "E" intesa come valutazione ("evaluate" e derivati), ma è anche il primo che associa alla "E" l'esempio ("examples"), che notoriamente è un elemento importante per condizionare positivamente la risposta e spiegare meglio i propri obiettivi. Nel complesso risulta uno dei framwork più parametrizzabile, nel senso di avere parametri ben definiti, non ridondanti fra loro o ambigui.
Phind
Nella sua proposta, Phind si dimentica di spiegare l'ultimo componente, "Yield" e quando viene interrogato in merito, ripara precisando che «we could consider "Yield" to mean "Yield" as in "Yield insights" or "Yield value." This component could represent: extracting meaningful insights from the AI's output; focusing on generating valuable content or information; ensuring the prompt yields relevant and useful results». A parte la "svista", anche Phind ha esplicitato i vari riferimenti specifici ai framework citati nel prompt, ma risulta l'unico a non aver usato la "E" di "evaluation" o derivati, dimostrandosi, almeno in questo singolo caso, più autonomo decisionalmente rispetto agli altri (che si sono lasciati influenzare dal fatto che "evaluation" era, assieme ad "action" e "information", una voce presente in due framework nel prompt).
You
Una delle proposte più stringate la dà You, che nel suo framework include la consueta "Evaluation", non esplicita i riferimenti al prompt e non si dilunga in spiegazioni o esempi.
Miglioramenti?
Dopo aver chiesto a ciascun chatbot se avrebbe preferito ricevere richieste con il framework che aveva appena creato o gli avrebbe apportato prima dei miglioramenti, escludendo quelli che hanno fornito risposte generiche, sono da segnalare:
- Perplexity, che ha proposto una miglioria aggiungendo il suffisso "FS" (feedback e scenarios) al suo precedente modello:
- Phind, che ha modificato drasticamente CLARITY, aggiungendo IPCSACEL, con il risultato di non avere più un acronimo riconducibile ad una parola significante (che ne avrebbe agevolato la memorizzazione), ottenendo un framework piuttosto complesso e con alcuni elementi un po' vaghi:
- HuggingChat-MetaLlama ha ottimizzato, dopo aver illustrato le sue motivazioni, ASCEND in ASCENT (quindi ha sostituito un elemento senza aggiungerne ulteriori, come hanno invece fatti gli altri chatbot):, confermando, oltre all'entusiasmo nello stile, il suo modello di spiegazione che prevede due punti per ogni elemento:
- Felo è stato l'unico ad aver inserito, nella suo proposta di miglioramento, anche la dimensione etica, con il suffisso "FES" (flexibility, ethics e scalability):
Considerazioni
Al di là della qualità dei framework proposti, è comunque un'occasione per osservare le differenze di "stile comunicativo" dei vari chatbot: risposte più o meno sintetiche, più o meno esemplificate, più o meno divergenti dalle altre, etc. il fatto stesso che alcuni chatbot abbiano "scelto" (virgolette obbligatorie) di rielaborare le proprie risposte per migliorarle, mentre altri no, è a suo modo indice di una differenza operativa non trascurabile. Così come lo stile conversazionale di Copilot, che ci chiede cosa ne pensiamo della sua "creazione", o di HuggingChat (Meta-Llama) che parla di "sfida affascinante" e si esprime in prima persona (come anche altri), producono un'esperienza dialogica differente rispetto a risposte più fredde e apatiche (per quanto non basta certo una singola conversazione per poter trarre conclusioni affidabili su un chatbot)
Non è infine superfluo notare come tali framework, oltre ad essere funzionali quando si sottopone una richiesta ad un'AI, rimangono altrettanto applicabili e utili quando si fanno richieste ad una "intelligenza naturale", che sia la propria, quando si ha bisogno di chiarirsi le idee, o quella di un consulente (nel senso più generico del termine), quando esplicitiamo una nostra esigenza cercando di essere il più efficaci possibile.
