Scheda tecnica di GEM FLEXNAO

Abstract: quando un robot umanoide incontra l’intelligenza artificiale per il benessere umano

Il progetto GEM FLEXNAO propone un’innovativa integrazione tra robotica, intelligenza artificiale e scienze motorie, con l’obiettivo di creare un ecosistema tecnologico dedicato alla promozione del benessere fisico e mentale. Al centro dell’esperienza c’è NAO, un robot umanoide programmato per dialogare con gli utenti e guidarli in attività di recupero motorio, allenamento o apprendimento. La componente conversazionale e cognitiva è gestita da una struttura software basata su due web server Python, distribuiti tra un computer centrale e un Raspberry Pi. Il progetto integra riconoscimento vocale, generazione di risposte con AI (tramite il modello llama3-groq-tool-use) e visualizzazione di contenuti video on demand. L’infrastruttura è stata sviluppata interamente dagli studenti, con una forte attenzione all’usabilità, all’accessibilità e alla sostenibilità.

English abstract: when humanoid robot meets artificial intelligence for human well-being

The GEM FLEXNAO project proposes an innovative integration of robotics, artificial intelligence and motor sciences, with the aim of creating a technological ecosystem dedicated to promoting physical and mental wellbeing. At the centre of the experience is NAO, a humanoid robot programmed to dialogue with users and guide them in motor recovery, training or learning activities. The conversational and cognitive component is managed by a software structure based on two Python web servers, distributed between a central computer and a Raspberry Pi. The project integrates voice recognition, AI response generation (via the llama3-groq-tool-use model) and the display of video content on demand. The infrastructure was developed entirely by the students, with a strong focus on usability, accessibility and sustainability.

Introduzione

Nel contesto della NAO Challenge, il team GEM del Liceo Scientifico “A. Calini” ha sviluppato una piattaforma avanzata di interazione uomo-robot, incentrata sull’utilizzo del robot umanoide NAO e su una struttura software modulare distribuita tra PC e Raspberry Pi. L’obiettivo primario è supportare attività di riabilitazione motoria, allenamento e interazione educativa, rendendo le sessioni più efficaci, inclusive e motivanti grazie alla presenza di un assistente robotico empatico, intelligente e multimediale. GEM FLEXNAO è un progetto nato in un liceo scientifico, ma con un impatto potenziale su molteplici contesti: educativo, sportivo, riabilitativo e sociale.

Architettura del sistema

L’intero ecosistema software è stato costruito su tre elementi chiave:

1. NAO: il robot umanoide programmato tramite Choregraphe, responsabile dell’interazione vocale e della gestione delle conversazioni.
2. Webserver 1 (su PC): server centrale in Python, con doppia funzione:
   • Ricezione e interpretazione di file audio tramite la libreria SpeechRecognition.
   • Generazione delle risposte grazie al modello di AI groq-llama3-tool-use, che può anche attivare funzioni estern
3. Webserver 2 (su Raspberry Pi): server Python leggero ma potente, che gestisce la visualizzazione di video tramite uno schermo collegato al Raspberry, su richiesta dell’intelligenza artificiale.

Questa architettura modulare consente una separazione efficiente delle funzioni, facilitando test, debugging e futura scalabilità.

Timeline e funzionamento del dialogo

Il processo di conversazione tra l’utente e NAO si svolge secondo una timeline ben definita:

1. 1. Inizio registrazione: NAO avvia la registrazione audio quando l’utente comincia a parlare.
   2. Fine del parlato: Al termine dell’intervento dell’utente, NAO invia il file audio a Webserver 1.
   3. Riconoscimento vocale: Webserver 1 riceve il file, lo ricostruisce localmente e lo elabora tramite la libreria Python SpeechRecognition, traducendo il parlato in testo.
   4. Restituzione del testo compreso: Il testo risultante viene restituito al NAO come conferma di comprensione.
   5. Richiesta di risposta: NAO invia nuovamente il testo al server, questa volta richiedendo una risposta da pronunciare.
   6. Risposta dell’IA: Webserver 1 inoltra la richiesta a un modello AI (llama3-groq-tool-use) dotato di funzione di “function calling”, che può rispondere direttamente o attivare funzioni aggiuntive.
   7. Generazione ed esecuzione della funzione: Se richiesto, il modello può eseguire azioni, come mostrare un video. La risposta finale viene inviata al NAO.
   8. Esecuzione vocale e/o multimediale: NAO pronuncia la risposta; se è richiesto un video, il modello attiva la funzione playVideo, che invia una richiesta a Webserver 2.
   9. Visualizzazione del contenuto: Webserver 2, localizzato su un Raspberry Pi, riceve la richiesta e visualizza il video desiderato (se disponibile) sullo schermo collegato.

Il cuore del sistema: AI e function calling

Il modello AI utilizzato, llama3-groq-tool-use, è ottimizzato per la gestione di richieste complesse. Non si limita a generare risposte testuali, ma è in grado di decidere autonomamente se invocare una funzione, simulando così un comportamento intelligente e flessibile. Questo approccio consente a NAO di:

• Interagire verbalmente in modo naturale e contestuale
• Visualizzare contenuti didattici o motivazionali
• Adattarsi a diversi tipi di utenza (anziani, sportivi, bambini, studenti)

L’interazione continua tra moduli rende l’esperienza dinamica, senza interruzioni, potenziando il realismo e l’efficacia della simulazione.

Impatto e potenzialità

Il progetto GEM FLEXNAO si inserisce in un filone emergente di robotica al servizio del benessere umano, con una particolare attenzione a inclusività, motivazione e accessibilità. Le applicazioni immaginate spaziano dal supporto alla fisioterapia post-operatoria, all’educazione motoria nei bambini, fino alla prevenzione dell’ipomobilità negli anziani.

La presenza del modello AI, integrato in una pipeline software fluida e modulare, apre la strada a scenari futuri di:

• Telemedicina assistita da robot
• Allenatori virtuali intelligenti
• Tutor educativi personalizzati
• Interfacce vocali interattive in ambienti scolastici e terapeutici

Conclusione

GEM FLEXNAO dimostra come sia possibile, anche in ambito scolastico, integrare tecnologie avanzate come il riconoscimento vocale, l’intelligenza artificiale e la robotica in un progetto coerente, scalabile e ad alto impatto sociale. Grazie alla collaborazione tra studenti, docenti e tecnologie open-source, il team GEM ha costruito una vera e propria piattaforma conversazionale al servizio del benessere, della motivazione e dell’educazione.

Il futuro? È già in movimento. E si chiama NAO.