http://164.73.124.35/inco/proyectos/butia/mediawiki/api.php?action=feedcontributions&feedformat=atom&user=Florencia+Clerici 2026-04-05T21:58:21Z Contribuciones del usuario MediaWiki 1.26.2 http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5503 2014-06-25T11:35:01Z

<p>Florencia Clerici: </p> <hr /> <div>==Integrantes==<br /> * Mercedes Marzoa<br /> * Florencia Clerici<br /> <br /> ==Tutor==<br /> * Andrés Aguirre<br /> <br /> ==Introducción==<br /> El proyecto consiste en programar mediante instrucciones de voz funcionalidades básicas para el butiá.<br /> <br /> ==Motivación==<br /> La idea nuestra de elegir este proyecto surge luego de una reunión a la que fuimos donde una maestra que trabaja con niños con capacidades diferentes planteó la necesidad de agregarle funcionalidades al Butiá para poder trabajar con sus alumnos.<br /> Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br /> <br /> ==Objetivos==<br /> * Tener un módulo de reconocimiento de voz<br /> * Definir un gramática para poder usar las operaciones básicas del robot butiá en TurtleBot<br /> * Integrar el módulo en el TurtleBot<br /> <br /> ==Desarrollo del problema==<br /> Para realizar nuestro proyecto utilizamos una parte del proyecto CMU Sphinx. <br /> CMU Sphinx es un sistemas de reconocimiento de voz desarrollado en la Universidad de Carnegie Mellon compuesto por una serie de programas para reconocimiento de voz. <br /> En nuestro caso utilizamos —PocketSohinx que es una biblioteca escrita en c para el reconocimiento de voz basada en SphinxBase, en particular elegimos esta biblioteca por ser liviana, especial si se necesita velocidad y portabilidad.<br /> También usamos otra herramienta de CMU Sphinx llamada SphinxTrain que sirve para entrenar el modelo acústico. <br /> <br /> <br /> '''Los modelos necesarios para el reconocimiento de voz son los siguientes:'''<br /> <br /> —Modelo acústico: VoxForge[1]. Contiene la probabilidad de que aparezcan ciertas palabras en un determinado orden. <br /> —Diccionario fonético: Relaciona cada palabra con su fonética.<br /> Gramática: Define el conjunto de combinaciones de palabras.<br /> <br /> '''¿Porque utilizamos VoxForge?'''<br /> <br /> A pesar de que existen corpus disponibles para poder crear modelos acústicos, la mayoría (especialmente los grandes y mejor construidos, con los que se podrían construir buenos modelos acústicos) deben ser adquiridos bajo licencias restrictivas. VoxForge es un proyecto que intenta recoger transcripciones de textos mediante voz para ser usada como herramienta de reconocimiento de voz libre y de código abierto.<br /> <br /> '''Creando el modelo de lenguaje'''<br /> Hay dos tipos de modelos para describir un lenguaje: Dependiendo de la aplicación se usará o bien una gramática (se definen una serie de frases, con un cierto formato) o un modelo de lenguaje (empleado para aplicaciones de dictado), en nuestro caso usamos una gramática ya que solo nos interesa reconocer unas frases determinadas.<br /> <br /> '''Gramática:'''<br /> <br /> [[Archivo:Gramatica.jpg]]<br /> <br /> '''Adaptando el modelo acústico'''<br /> Si bien CMUSphinx tiene varios modelos acústicos muy bien preparados, los mismos no están en español. Incluso en voxForge no existe, todavía, un Corpus de voz o un modelo acústico en castellano para poder ser descargado. Lo que hicimos entonces fue grabar a varias personas diciendo las palabras que necesitamos para los comandos.<br /> <br /> Para poder adaptar el modelo fue necesario definir lo siguiente:<br /> * butia-listens.dic: es donde se define el diccionario, todas las palabras que se reconocerán con su correspondiente fonética. <br /> * butia-listens.fileids - Lista de archivos a entrenar<br /> * butia-listens.transcription - Transcripción para entrenar, asocia las palabras con los archivos de audio<br /> * wav - Carpeta con los archivos de audio de las voces grabadas<br /> <br /> Luego de tener todas estas cosas definidas adaptamos el modelo usando el script correspondiente [4]<br /> <br /> ==Preparando la plataforma==<br /> Pocketsphinx como ya mencionamos es una biblioteca que depende de otra llamada SphinxBase, por este motivo es que se necesita instalar las dos. Entonces, primero que nada instalamos las dos bibliotecas, siguiendo el tutorial en [3].<br /> <br /> Luego hay que instalar las dependencias para que puedan funcionar las bibliotecas, es necesario instalar las siguientes:<br /> *gstreamer<br /> *gstramer-python<br /> *pocketshpix-plugin.x86_64<br /> <br /> ==El programa==<br /> Para hacer el programa nos basamos en [3]<br /> Lo que hace el programa es escuchar el micrófono y usando pockesphinx y el modelo adaptado por nosotros devuelve el comando en texto. Luego según el comando elegido se llama al bloque correspondiente. Si el comando es ejecutar detiene el esuchar y ejecuta, si es limpiar borra todos los bloques y sigue escuchando para poder ingresar nuevamente los comandos. <br /> <br /> ==Paleta==<br /> <br /> [[Archivo:PaletaEscuchar.png]]<br /> <br /> La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br /> Luego simplemente se comienza a decir las instrucciones. <br /> <br /> '''Comandos válidos:'''<br /> * Empezar<br /> * Adelante Butiá<br /> * Atrás Butiá<br /> * Derecha Butiá<br /> * Izquierda Butiá<br /> * Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br /> * Limpiar: Borra todos los comandos <br /> * Ejecutar: Deja de escuchar y ejecuta el programa <br /> <br /> <br /> ==Demo==<br /> Ejemplo de ejecutar: <br /> <br /> &lt;youtube&gt;UVaBrpXh3s4&lt;/youtube&gt;<br /> <br /> Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br /> <br /> Ejemplo de limpiar bloques: <br /> <br /> &lt;youtube&gt;85LtJ-DWd5Q&lt;/youtube&gt;<br /> <br /> Ejemplo de instrucciones con error al final: <br /> <br /> &lt;youtube&gt;A5dZr13dnHY&lt;/youtube&gt;<br /> <br /> ==Conclusiones==<br /> Aprendimos como hacer una platea en turtlebots, como se trabaja con reconocimiento de voz y lo complejo que es esto. <br /> También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo.<br /> <br /> ==Trabajo a futuro==<br /> * Ampliar la gramática para abarcar mas funcionalidades del TurtleBot.<br /> * Entrenar el modelo acústico con más personas y en ambientes con ruido.<br /> * Ampliar a otros idiomas<br /> <br /> <br /> ==Referencias==<br /> [1] Modelo acustico VoxForge: http://www.voxforge.org/es<br /> [2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br /> [3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br /> [4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt</div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5502 2014-06-25T11:33:32Z

<p>Florencia Clerici: </p> <hr /> <div>==Integrantes==<br /> * Mercedes Marzoa<br /> * Florencia Clerici<br /> <br /> ==Tutor==<br /> * Andrés Aguirre<br /> <br /> ==Introducción==<br /> El proyecto consiste en programar mediante instrucciones de voz funcionalidades básicas para el butiá.<br /> <br /> ==Motivación==<br /> La idea nuestra de elegir este proyecto surge luego de una reunión a la que fuimos donde una maestra que trabaja con niños con capacidades diferentes planteó la necesidad de agregarle funcionalidades al Butiá para poder trabajar con sus alumnos.<br /> Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br /> <br /> ==Objetivos==<br /> * Tener un módulo de reconocimiento de voz<br /> * Definir un gramática para poder usar las operaciones básicas del robot butiá en TurtleBot<br /> * Integrar el módulo en el TurtleBot<br /> <br /> ==Desarrollo del problema==<br /> Para realizar nuestro proyecto utilizamos una parte del proyecto CMU Sphinx. <br /> CMU Sphinx es un sistemas de reconocimiento de voz desarrollado en la Universidad de Carnegie Mellon compuesto por una serie de programas para reconocimiento de voz. <br /> En nuestro caso utilizamos —PocketSohinx que es una biblioteca escrita en c para el reconocimiento de voz basada en SphinxBase, en particular elegimos esta biblioteca por ser liviana, especial si se necesita velocidad y portabilidad.<br /> También usamos otra herramienta de CMU Sphinx llamada SphinxTrain que sirve para entrenar el modelo acústico. <br /> <br /> <br /> '''Los modelos necesarios para el reconocimiento de voz son los siguientes:'''<br /> <br /> —Modelo acústico: VoxForge[1]. Contiene la probabilidad de que aparezcan ciertas palabras en un determinado orden. <br /> —Diccionario fonético: Relaciona cada palabra con su fonética.<br /> Gramática: Define el conjunto de combinaciones de palabras.<br /> <br /> '''¿Porque utilizamos VoxForge?'''<br /> <br /> A pesar de que existen corpus disponibles para poder crear modelos acústicos, la mayoría (especialmente los grandes y mejor construidos, con los que se podrían construir buenos modelos acústicos) deben ser adquiridos bajo licencias restrictivas. VoxForge es un proyecto que intenta recoger transcripciones de textos mediante voz para ser usada como herramienta de reconocimiento de voz libre y de código abierto.<br /> <br /> '''Creando el modelo de lenguaje'''<br /> Hay dos tipos de modelos para describir un lenguaje: Dependiendo de la aplicación se usará o bien una gramática (se definen una serie de frases, con un cierto formato) o un modelo de lenguaje (empleado para aplicaciones de dictado), en nuestro caso usamos una gramática ya que solo nos interesa reconocer unas frases determinadas.<br /> <br /> '''Gramática:'''<br /> <br /> [[Archivo:Gramatica.jpg]]<br /> <br /> '''Adaptando el modelo acústico'''<br /> Si bien CMUSphinx tiene varios modelos acústicos muy bien preparados, los mismos no están en español. Incluso en voxForge no existe, todavía, un Corpus de voz o un modelo acústico en castellano para poder ser descargado. Lo que hicimos entonces fue grabar a varias personas diciendo las palabras que necesitamos para los comandos.<br /> <br /> Para poder adaptar el modelo fue necesario definir lo siguiente:<br /> * butia-listens.dic: es donde se define el diccionario, todas las palabras que se reconocerán con su correspondiente fonética. <br /> * butia-listens.fileids - Lista de archivos a entrenar<br /> * butia-listens.transcription - Transcripción para entrenar, asocia las palabras con los archivos de audio<br /> * wav - Carpeta con los archivos de audio de las voces grabadas<br /> <br /> Luego de tener todas estas cosas definidas adaptamos el modelo usando el script correspondiente [4]<br /> <br /> ==Preparando la plataforma==<br /> Pocketsphinx como ya mencionamos es una biblioteca que depende de otra llamada SphinxBase, por este motivo es que se necesita instalar las dos. Entonces, primero que nada instalamos las dos bibliotecas, siguiendo el tutorial en [3].<br /> <br /> Luego hay que instalar las dependencias para que puedan funcionar las bibliotecas, es necesario instalar las siguientes:<br /> *gstreamer<br /> *gstramer-python<br /> *pocketshpix-plugin.x86_64<br /> <br /> ==El programa==<br /> Para hacer el programa nos basamos en [3]<br /> Lo que hace el programa es escuchar el micrófono y usando pockesphinx y el modelo adaptado por nosotros devuelve el comando en texto. Luego según el comando elegido se llama al bloque correspondiente. Si el comando es ejecutar detiene el esuchar y ejecuta, si es limpiar borra todos los bloques y sigue escuchando para poder ingresar nuevamente los comandos. <br /> <br /> ==Paleta==<br /> <br /> [[Archivo:PaletaEscuchar.png]]<br /> <br /> La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br /> Luego simplemente se comienza a decir las instrucciones. <br /> <br /> '''Comandos válidos:'''<br /> * Empezar<br /> * Adelante Butiá<br /> * Atrás Butiá<br /> * Derecha Butiá<br /> * Izquierda Butiá<br /> * Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br /> * Limpiar: Borra todos los comandos <br /> * Ejecutar: Deja de escuchar y ejecuta el programa <br /> <br /> <br /> ==Demo==<br /> Ejemplo de ejecutar: <br /> <br /> &lt;youtube&gt;UVaBrpXh3s4&lt;/youtube&gt;<br /> <br /> Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br /> <br /> Ejemplo de limpiar bloques: <br /> <br /> &lt;youtube&gt;85LtJ-DWd5Q&lt;/youtube&gt;<br /> <br /> Ejemplo de instrucciones con error al final: <br /> <br /> &lt;youtube&gt;A5dZr13dnHY&lt;/youtube&gt;<br /> <br /> ==Conclusiones==<br /> Aprendimos como hacer una platea en turtlebots, como se trabaja con reconocimiento de voz y lo complejo que es esto. <br /> También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo.<br /> <br /> ==Trabajo a futuro==<br /> Ampliar la gramática para abarcar mas funcionalidades del TurtleBot<br /> Entrenar el modelo acústico con más personas y en ambientes con ruido<br /> Ampliar a otros idiomas<br /> <br /> <br /> ==Referencias==<br /> [1] Modelo acustico VoxForge: http://www.voxforge.org/es<br /> [2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br /> [3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br /> [4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt</div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Archivo:PaletaEscuchar.png&diff=5501 2014-06-25T11:33:15Z

<p>Florencia Clerici: </p> <hr /> <div></div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5439 2014-06-18T16:49:10Z

<p>Florencia Clerici: </p> <hr /> <div>==Integrantes==<br /> * Mercedes Marzoa<br /> * Florencia Clerici<br /> <br /> ==Tutor==<br /> * Andrés Aguirre<br /> <br /> ==Introducción==<br /> El proyecto consiste en programar mediante instrucciones de voz funcionalidades básicas para el butiá.<br /> <br /> ==Motivación==<br /> La idea nuestra de elegir este proyecto surge luego de una reunión a la que fuimos donde una maestra que trabaja con niños con capacidades diferentes planteó la necesidad de agregarle funcionalidades al Butiá para poder trabajar con sus alumnos.<br /> Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br /> <br /> ==Objetivos==<br /> * Tener un módulo de reconocimiento de voz<br /> * Definir un gramática para poder usar las operaciones básicas del robot butiá en TurtleBot<br /> * Integrar el módulo en el TurtleBot<br /> <br /> ==Desarrollo del problema==<br /> Para realizar nuestro proyecto utilizamos una parte del proyecto CMU Sphinx. <br /> CMU Sphinx es un sistemas de reconocimiento de voz desarrollado en la Universidad de Carnegie Mellon compuesto por una serie de programas para reconocimiento de voz. <br /> En nuestro caso utilizamos —PocketSohinx que es una biblioteca escrita en c para el reconocimiento de voz basada en SphinxBase, en particular elegimos esta biblioteca por ser liviana, especial si se necesita velocidad y portabilidad.<br /> También usamos otra herramienta de CMU Sphinx llamada SphinxTrain que sirve para entrenar el modelo acústico. <br /> <br /> <br /> '''Los modelos necesarios para el reconocimiento de voz son los siguientes:'''<br /> <br /> —Modelo acústico: VoxForge[1]. Contiene la probabilidad de que aparezcan ciertas palabras en un determinado orden. <br /> —Diccionario fonético: Relaciona cada palabra con su fonética.<br /> Gramática: Define el conjunto de combinaciones de palabras.<br /> <br /> '''¿Porque utilizamos VoxForge?'''<br /> <br /> A pesar de que existen corpus disponibles para poder crear modelos acústicos, la mayoría (especialmente los grandes y mejor construidos, con los que se podrían construir buenos modelos acústicos) deben ser adquiridos bajo licencias restrictivas. VoxForge es un proyecto que intenta recoger transcripciones de textos mediante voz para ser usada como herramienta de reconocimiento de voz libre y de código abierto.<br /> <br /> '''Creando el modelo de lenguaje'''<br /> Hay dos tipos de modelos para describir un lenguaje: Dependiendo de la aplicación se usará o bien una gramática (se definen una serie de frases, con un cierto formato) o un modelo de lenguaje (empleado para aplicaciones de dictado), en nuestro caso usamos una gramática ya que solo nos interesa reconocer unas frases determinadas.<br /> <br /> '''Gramática:'''<br /> <br /> [[Archivo:Gramatica.jpg]]<br /> <br /> '''Adaptando el modelo acústico'''<br /> Si bien CMUSphinx tiene varios modelos acústicos muy bien preparados, los mismos no están en español. Incluso en voxForge no existe, todavía, un Corpus de voz o un modelo acústico en castellano para poder ser descargado. Lo que hicimos entonces fue grabar a varias personas diciendo las palabras que necesitamos para los comandos.<br /> <br /> Para poder adaptar el modelo fue necesario definir lo siguiente:<br /> * butia-listens.dic: es donde se define el diccionario, todas las palabras que se reconocerán con su correspondiente fonética. <br /> * butia-listens.fileids - Lista de archivos a entrenar<br /> * butia-listens.transcription - Transcripción para entrenar, asocia las palabras con los archivos de audio<br /> * wav - Carpeta con los archivos de audio de las voces grabadas<br /> <br /> Luego de tener todas estas cosas definidas adaptamos el modelo usando el script correspondiente [4]<br /> <br /> ==Preparando la plataforma==<br /> Pocketsphinx como ya mencionamos es una biblioteca que depende de otra llamada SphinxBase, por este motivo es que se necesita instalar las dos. Entonces, primero que nada instalamos las dos bibliotecas, siguiendo el tutorial en [3].<br /> <br /> Luego hay que instalar las dependencias para que puedan funcionar las bibliotecas, es necesario instalar las siguientes:<br /> *gstreamer<br /> *gstramer-python<br /> *pocketshpix-plugin.x86_64<br /> <br /> ==El programa==<br /> Para hacer el programa nos basamos en [3]<br /> Lo que hace el programa es escuchar el micrófono y usando pockesphinx y el modelo adaptado por nosotros devuelve el comando en texto. Luego según el comando elegido se llama al bloque correspondiente. Si el comando es ejecutar detiene el esuchar y ejecuta, si es limpiar borra todos los bloques y sigue escuchando para poder ingresar nuevamente los comandos. <br /> <br /> ==Paleta==<br /> <br /> [[Archivo:Paleta.png]]<br /> <br /> La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br /> Luego simplemente se comienza a decir las instrucciones. <br /> <br /> '''Comandos válidos:'''<br /> * Empezar<br /> * Adelante Butiá<br /> * Atrás Butiá<br /> * Derecha Butiá<br /> * Izquierda Butiá<br /> * Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br /> * Limpiar: Borra todos los comandos <br /> * Ejecutar: Deja de escuchar y ejecuta el programa <br /> <br /> <br /> ==Demo==<br /> Ejemplo de ejecutar: http://youtu.be/UVaBrpXh3s4<br /> <br /> Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br /> <br /> Ejemplo de limpiar bloques: http://youtu.be/85LtJ-DWd5Q<br /> <br /> Ejemplo de instrucciones con error al final: http://youtu.be/A5dZr13dnHY<br /> <br /> <br /> ==Conclusiones==<br /> Aprendimos como hacer una platea en turtlebots, como se trabaja con reconocimiento de voz y lo complejo que es esto. <br /> También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo.<br /> <br /> ==Trabajo a futuro==<br /> Ampliar la gramática para abarcar mas funcionalidades del TurtleBot<br /> Entrenar el modelo acústico con más personas y en ambientes con ruido<br /> Ampliar a otros idiomas<br /> <br /> <br /> ==Referencias==<br /> [1] Modelo acustico VoxForge: http://www.voxforge.org/es<br /> [2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br /> [3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br /> [4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt</div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5438 2014-06-18T16:48:10Z

<p>Florencia Clerici: </p> <hr /> <div>==Integrantes==<br /> * Mercedes Marzoa<br /> * Florencia Clerici<br /> <br /> ==Tutor==<br /> * Andrés Aguirre<br /> <br /> ==Introducción==<br /> El proyecto consiste en programar mediante instrucciones de voz funcionalidades básicas para el butiá.<br /> <br /> ==Motivación==<br /> La idea nuestra de elegir este proyecto surge luego de una reunión a la que fuimos donde una maestra que trabaja con niños con capacidades diferentes planteó la necesidad de agregarle funcionalidades al Butiá para poder trabajar con sus alumnos.<br /> Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br /> <br /> ==Objetivos==<br /> * Tener un módulo de reconocimiento de voz<br /> * Definir un gramática para poder usar las operaciones básicas del robot butiá en TurtleBot<br /> * Integrar el módulo en el TurtleBot<br /> <br /> ==Desarrollo del problema==<br /> Para realizar nuestro proyecto utilizamos una parte del proyecto CMU Sphinx. <br /> CMU Sphinx es un sistemas de reconocimiento de voz desarrollado en la Universidad de Carnegie Mellon compuesto por una serie de programas para reconocimiento de voz. <br /> En nuestro caso utilizamos —PocketSohinx que es una biblioteca escrita en c para el reconocimiento de voz basada en SphinxBase, en particular elegimos esta biblioteca por ser liviana, especial si se necesita velocidad y portabilidad.<br /> También usamos otra herramienta de CMU Sphinx llamada SphinxTrain que sirve para entrenar el modelo acústico. <br /> <br /> <br /> '''Los modelos necesarios para el reconocimiento de voz son los siguientes:'''<br /> <br /> —Modelo acústico: VoxForge[1]. Contiene la probabilidad de que aparezcan ciertas palabras en un determinado orden. <br /> —Diccionario fonético: Relaciona cada palabra con su fonética.<br /> Gramática: Define el conjunto de combinaciones de palabras.<br /> <br /> '''¿Porque utilizamos VoxForge?'''<br /> <br /> A pesar de que existen corpus disponibles para poder crear modelos acústicos, la mayoría (especialmente los grandes y mejor construidos, con los que se podrían construir buenos modelos acústicos) deben ser adquiridos bajo licencias restrictivas. VoxForge es un proyecto que intenta recoger transcripciones de textos mediante voz para ser usada como herramienta de reconocimiento de voz libre y de código abierto.<br /> <br /> '''Creando el modelo de lenguaje'''<br /> Hay dos tipos de modelos para describir un lenguaje: Dependiendo de la aplicación se usará o bien una gramática (se definen una serie de frases, con un cierto formato) o un modelo de lenguaje (empleado para aplicaciones de dictado), en nuestro caso usamos una gramática ya que solo nos interesa reconocer unas frases determinadas.<br /> <br /> '''Gramática:'''<br /> <br /> [[Archivo:Gramatica.jpg]]<br /> <br /> '''Adaptando el modelo acústico'''<br /> Si bien CMUSphinx tiene varios modelos acústicos muy bien preparados, los mismos no están en español. Incluso en voxForge no existe, todavía, un Corpus de voz o un modelo acústico en castellano para poder ser descargado. Lo que hicimos entonces fue grabar a varias personas diciendo las palabras que necesitamos para los comandos.<br /> <br /> Para poder adaptar el modelo fue necesario definir lo siguiente:<br /> * butia-listens.dic: es donde se define el diccionario, todas las palabras que se reconocerán con su correspondiente fonética. <br /> * butia-listens.fileids - Lista de archivos a entrenar<br /> * butia-listens.transcription - Transcripción para entrenar, asocia las palabras con los archivos de audio<br /> * wav - Carpeta con los archivos de audio de las voces grabadas<br /> <br /> Luego de tener todas estas cosas definidas adaptamos el modelo usando el script correspondiente [4]<br /> <br /> ==Preparando la plataforma==<br /> Pocketsphinx como ya mencionamos es una biblioteca que depende de otra llamada SphinxBase, por este motivo es que se necesita instalar las dos. Entonces, primero que nada instalamos las dos bibliotecas, siguiendo el tutorial en [3].<br /> <br /> Luego hay que instalar las dependencias para que puedan funcionar las bibliotecas, es necesario instalar las siguientes:<br /> *gstreamer<br /> *gstramer-python<br /> *pocketshpix-plugin.x86_64<br /> <br /> ==El programa==<br /> Para hacer el programa nos basamos en [3]<br /> Lo que hace el programa es escuchar el micrófono y usando pockesphinx y el modelo adaptado por nosotros devuelve el comando en texto. Luego según el comando elegido se llama al bloque correspondiente. Si el comando es ejecutar detiene el esuchar y ejecuta, si es limpiar borra todos los bloques y sigue escuchando para poder ingresar nuevamente los comandos. <br /> <br /> ==Paleta==<br /> <br /> [[Archivo:Paleta.png]]<br /> <br /> La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br /> Luego simplemente se comienza a decir las instrucciones. <br /> <br /> '''Comandos válidos:'''<br /> * Empezar<br /> * Adelante Butiá<br /> * Atrás Butiá<br /> * Derecha Butiá<br /> * Izquierda Butiá<br /> * Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br /> * Limpiar: Borra todos los comandos <br /> * Ejecutar: Deja de escuchar y ejecuta el programa <br /> <br /> <br /> ==Demo==<br /> Ejemplo de ejecutar: http://youtu.be/UVaBrpXh3s4<br /> Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br /> Ejemplo de limpiar bloques: http://youtu.be/85LtJ-DWd5Q<br /> Ejemplo de instrucciones con error al final: http://youtu.be/A5dZr13dnHY<br /> <br /> <br /> ==Conclusiones==<br /> Aprendimos como hacer una platea en turtlebots, como se trabaja con reconocimiento de voz y lo complejo que es esto. <br /> También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo.<br /> <br /> ==Trabajo a futuro==<br /> Ampliar la gramática para abarcar mas funcionalidades del TurtleBot<br /> Entrenar el modelo acústico con más personas y en ambientes con ruido<br /> Ampliar a otros idiomas<br /> <br /> <br /> ==Referencias==<br /> [1] Modelo acustico VoxForge: http://www.voxforge.org/es<br /> [2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br /> [3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br /> [4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt</div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Archivo:Gramatica.jpg&diff=5437 2014-06-18T16:15:08Z

<p>Florencia Clerici: subió una nueva versión de «Archivo:Gramatica.jpg»</p> <hr /> <div></div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5436 2014-06-18T16:12:14Z

<p>Florencia Clerici: </p> <hr /> <div>==Integrantes==<br /> * Mercedes Marzoa<br /> * Florencia Clerici<br /> <br /> ==Tutor==<br /> * Andrés Aguirre<br /> <br /> ==Introducción==<br /> El proyecto consiste en programar mediante instrucciones de voz funcionalidades básicas para el butiá.<br /> <br /> ==Motivación==<br /> La idea nuestra de elegir este proyecto surge luego de una reunión a la que fuimos donde una maestra que trabaja con niños con capacidades diferentes planteó la necesidad de agregarle funcionalidades al Butiá para poder trabajar con sus alumnos.<br /> Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br /> <br /> ==Objetivos==<br /> * Tener un módulo de reconocimiento de voz<br /> * Definir un gramática para poder usar las operaciones básicas del robot butiá en TurtleBot<br /> * Integrar el módulo en el TurtleBot<br /> <br /> ==Desarrollo del problema==<br /> Para realizar nuestro proyecto utilizamos una parte del proyecto CMU Sphinx. <br /> CMU Sphinx es un sistemas de reconocimiento de voz desarrollado en la Universidad de Carnegie Mellon compuesto por una serie de programas para reconocimiento de voz. <br /> En nuestro caso utilizamos —PocketSohinx que es una biblioteca escrita en c para el reconocimiento de voz basada en SphinxBase, en particular elegimos esta biblioteca por ser liviana, especial si se necesita velocidad y portabilidad.<br /> También usamos otra herramienta de CMU Sphinx llamada SphinxTrain que sirve para entrenar el modelo acústico. <br /> <br /> <br /> '''Los modelos necesarios para el reconocimiento de voz son los siguientes:'''<br /> <br /> —Modelo acústico: VoxForge[1]. Contiene la probabilidad de que aparezcan ciertas palabras en un determinado orden. <br /> —Diccionario fonético: Relaciona cada palabra con su fonética.<br /> Gramática: Define el conjunto de combinaciones de palabras.<br /> <br /> '''¿Porque utilizamos VoxForge?'''<br /> <br /> A pesar de que existen corpus disponibles para poder crear modelos acústicos, la mayoría (especialmente los grandes y mejor construidos, con los que se podrían construir buenos modelos acústicos) deben ser adquiridos bajo licencias restrictivas. VoxForge es un proyecto que intenta recoger transcripciones de textos mediante voz para ser usada como herramienta de reconocimiento de voz libre y de código abierto.<br /> <br /> '''Creando el modelo de lenguaje'''<br /> Hay dos tipos de modelos para describir un lenguaje: Dependiendo de la aplicación se usará o bien una gramática (se definen una serie de frases, con un cierto formato) o un modelo de lenguaje (empleado para aplicaciones de dictado), en nuestro caso usamos una gramática ya que solo nos interesa reconocer unas frases determinadas.<br /> <br /> '''Gramática:'''<br /> <br /> [[Archivo:Gramatica.jpg]]<br /> <br /> '''Adaptando el modelo acústico'''<br /> Si bien CMUSphinx tiene varios modelos acústicos muy bien preparados, los mismos no están en español. Incluso en voxForge no existe, todavía, un Corpus de voz o un modelo acústico en castellano para poder ser descargado. Lo que hicimos entonces fue grabar a varias personas diciendo las palabras que necesitamos para los comandos.<br /> <br /> Para poder adaptar el modelo fue necesario definir lo siguiente:<br /> * butia-listens.dic: es donde se define el diccionario, todas las palabras que se reconocerán con su correspondiente fonética. <br /> * butia-listens.fileids - Lista de archivos a entrenar<br /> * butia-listens.transcription - Transcripción para entrenar, asocia las palabras con los archivos de audio<br /> * wav - Carpeta con los archivos de audio de las voces grabadas<br /> <br /> Luego de tener todas estas cosas definidas adaptamos el modelo usando el script correspondiente [4]<br /> <br /> ==Preparando la plataforma==<br /> Pocketsphinx como ya mencionamos es una biblioteca que depende de otra llamada SphinxBase, por este motivo es que se necesita instalar las dos. Entonces, primero que nada instalamos las dos bibliotecas, siguiendo el tutorial en [3].<br /> <br /> Luego hay que instalar las dependencias para que puedan funcionar las bibliotecas, es necesario instalar las siguientes:<br /> *gstreamer<br /> *gstramer-python<br /> *pocketshpix-plugin.x86_64<br /> <br /> ==El programa==<br /> Para hacer el programa nos basamos en [3]<br /> Lo que hace el programa es escuchar el micrófono y usando pockesphinx y el modelo adaptado por nosotros devuelve el comando en texto. Luego según el comando elegido se llama al bloque correspondiente. Si el comando es ejecutar detiene el esuchar y ejecuta, si es limpiar borra todos los bloques y sigue escuchando para poder ingresar nuevamente los comandos. <br /> <br /> ==Paleta==<br /> <br /> [[Archivo:Paleta.png]]<br /> <br /> La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br /> Luego simplemente se comienza a decir las instrucciones. <br /> <br /> '''Comandos válidos:'''<br /> * Empezar<br /> * Adelante Butiá<br /> * Atrás Butiá<br /> * Derecha Butiá<br /> * Izquierda Butiá<br /> * Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br /> * Limpiar: Borra todos los comandos <br /> * Ejecutar: Deja de escuchar y ejecuta el programa <br /> <br /> <br /> ==Demo==<br /> <br /> <br /> <br /> ==Conclusiones==<br /> Aprendimos como hacer una platea en turtlebots, como se trabaja con reconocimiento de voz y lo complejo que es esto. <br /> También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo.<br /> <br /> ==Trabajo a futuro==<br /> Ampliar la gramática para abarcar mas funcionalidades del TurtleBot<br /> Entrenar el modelo acústico con más personas y en ambientes con ruido<br /> Ampliar a otros idiomas<br /> <br /> <br /> ==Referencias==<br /> [1] Modelo acustico VoxForge: http://www.voxforge.org/es<br /> [2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br /> [3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br /> [4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt</div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5435 2014-06-18T16:11:34Z

<p>Florencia Clerici: </p> <hr /> <div>==Integrantes==<br /> * Mercedes Marzoa<br /> * Florencia Clerici<br /> <br /> ==Tutor==<br /> * Andrés Aguirre<br /> <br /> ==Introducción==<br /> El proyecto consiste en programar mediante instrucciones de voz funcionalidades básicas para el butiá.<br /> <br /> ==Motivación==<br /> La idea nuestra de elegir este proyecto surge luego de una reunión a la que fuimos donde una maestra que trabaja con niños con capacidades diferentes planteó la necesidad de agregarle funcionalidades al Butiá para poder trabajar con sus alumnos.<br /> Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br /> <br /> ==Objetivos==<br /> * Tener un módulo de reconocimiento de voz<br /> * Definir un gramática para poder usar las operaciones básicas del robot butiá en TurtleBot<br /> * Integrar el módulo en el TurtleBot<br /> <br /> ==Desarrollo del problema==<br /> Para realizar nuestro proyecto utilizamos una parte del proyecto CMU Sphinx. <br /> CMU Sphinx es un sistemas de reconocimiento de voz desarrollado en la Universidad de Carnegie Mellon compuesto por una serie de programas para reconocimiento de voz. <br /> En nuestro caso utilizamos —PocketSohinx que es una biblioteca escrita en c para el reconocimiento de voz basada en SphinxBase, en particular elegimos esta biblioteca por ser liviana, especial si se necesita velocidad y portabilidad.<br /> También usamos otra herramienta de CMU Sphinx llamada SphinxTrain que sirve para entrenar el modelo acústico. <br /> <br /> <br /> '''Los modelos necesarios para el reconocimiento de voz son los siguientes:'''<br /> <br /> —Modelo acústico: VoxForge[1]. Contiene la probabilidad de que aparezcan ciertas palabras en un determinado orden. <br /> —Diccionario fonético: Relaciona cada palabra con su fonética.<br /> Gramática: Define el conjunto de combinaciones de palabras.<br /> <br /> '''¿Porque utilizamos VoxForge?'''<br /> <br /> A pesar de que existen corpus disponibles para poder crear modelos acústicos, la mayoría (especialmente los grandes y mejor construidos, con los que se podrían construir buenos modelos acústicos) deben ser adquiridos bajo licencias restrictivas. VoxForge es un proyecto que intenta recoger transcripciones de textos mediante voz para ser usada como herramienta de reconocimiento de voz libre y de código abierto.<br /> <br /> '''Creando el modelo de lenguaje'''<br /> Hay dos tipos de modelos para describir un lenguaje: Dependiendo de la aplicación se usará o bien una gramática (se definen una serie de frases, con un cierto formato) o un modelo de lenguaje (empleado para aplicaciones de dictado), en nuestro caso usamos una gramática ya que solo nos interesa reconocer unas frases determinadas.<br /> <br /> '''Gramática:'''<br /> <br /> [[Archivo:Gramatica.jpg]]<br /> <br /> '''Adaptando el modelo acústico'''<br /> Si bien CMUSphinx tiene varios modelos acústicos muy bien preparados, los mismos no están en español. Incluso en voxForge no existe, todavía, un Corpus de voz o un modelo acústico en castellano para poder ser descargado. Lo que hicimos entonces fue grabar a varias personas diciendo las palabras que necesitamos para los comandos.<br /> <br /> Para poder adaptar el modelo fue necesario definir lo siguiente:<br /> * butia-listens.dic: es donde se define el diccionario, todas las palabras que se reconocerán con su correspondiente fonética. <br /> * butia-listens.fileids - Lista de archivos a entrenar<br /> * butia-listens.transcription - Transcripción para entrenar, asocia las palabras con los archivos de audio<br /> * wav - Carpeta con los archivos de audio de las voces grabadas<br /> <br /> Luego de tener todas estas cosas definidas adaptamos el modelo usando el script correspondiente [4]<br /> <br /> ==Preparando la plataforma==<br /> Pocketsphinx como ya mencionamos es una biblioteca que depende de otra llamada SphinxBase, por este motivo es que se necesita instalar las dos. Entonces, primero que nada instalamos las dos bibliotecas, siguiendo el tutorial en [3].<br /> <br /> Luego hay que instalar las dependencias para que puedan funcionar las bibliotecas, es necesario instalar las siguientes:<br /> *gstreamer<br /> *gstramer-python<br /> *pocketshpix-plugin.x86_64<br /> <br /> ==El programa==<br /> Para hacer el programa nos basamos en [3]<br /> Lo que hace el programa es escuchar el micrófono y usando pockesphinx y el modelo adaptado por nosotros devuelve el comando en texto. Luego según el comando elegido se llama al bloque correspondiente. Si el comando es ejecutar detiene el esuchar y ejecuta, si es limpiar borra todos los bloques y sigue escuchando para poder ingresar nuevamente los comandos. <br /> <br /> ==Paleta==<br /> <br /> [[Archivo:Paleta.png]]<br /> La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br /> Luego simplemente se comienza a decir las instrucciones. <br /> <br /> '''Comandos válidos:'''<br /> * Empezar<br /> * Adelante Butiá<br /> * Atrás Butiá<br /> * Derecha Butiá<br /> * Izquierda Butiá<br /> * Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br /> * Limpiar: Borra todos los comandos <br /> * Ejecutar: Deja de escuchar y ejecuta el programa <br /> <br /> <br /> ==Demo==<br /> <br /> <br /> <br /> ==Conclusiones==<br /> Aprendimos como hacer una platea en turtlebots, como se trabaja con reconocimiento de voz y lo complejo que es esto. <br /> También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo.<br /> <br /> ==Trabajo a futuro==<br /> Ampliar la gramática para abarcar mas funcionalidades del TurtleBot<br /> Entrenar el modelo acústico con más personas y en ambientes con ruido<br /> Ampliar a otros idiomas<br /> <br /> <br /> ==Referencias==<br /> [1] Modelo acustico VoxForge: http://www.voxforge.org/es<br /> [2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br /> [3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br /> [4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt</div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Archivo:Paleta.png&diff=5434 2014-06-18T16:10:49Z

<p>Florencia Clerici: </p> <hr /> <div></div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5433 2014-06-18T16:08:48Z

<p>Florencia Clerici: </p> <hr /> <div>==Integrantes==<br /> * Mercedes Marzoa<br /> * Florencia Clerici<br /> <br /> ==Tutor==<br /> * Andrés Aguirre<br /> <br /> ==Introducción==<br /> El proyecto consiste en programar mediante instrucciones de voz funcionalidades básicas para el butiá.<br /> <br /> ==Motivación==<br /> La idea nuestra de elegir este proyecto surge luego de una reunión a la que fuimos donde una maestra que trabaja con niños con capacidades diferentes planteó la necesidad de agregarle funcionalidades al Butiá para poder trabajar con sus alumnos.<br /> Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br /> <br /> ==Objetivos==<br /> * Tener un módulo de reconocimiento de voz<br /> * Definir un gramática para poder usar las operaciones básicas del robot butiá en TurtleBot<br /> * Integrar el módulo en el TurtleBot<br /> <br /> ==Desarrollo del problema==<br /> Para realizar nuestro proyecto utilizamos una parte del proyecto CMU Sphinx. <br /> CMU Sphinx es un sistemas de reconocimiento de voz desarrollado en la Universidad de Carnegie Mellon compuesto por una serie de programas para reconocimiento de voz. <br /> En nuestro caso utilizamos —PocketSohinx que es una biblioteca escrita en c para el reconocimiento de voz basada en SphinxBase, en particular elegimos esta biblioteca por ser liviana, especial si se necesita velocidad y portabilidad.<br /> También usamos otra herramienta de CMU Sphinx llamada SphinxTrain que sirve para entrenar el modelo acústico. <br /> <br /> <br /> '''Los modelos necesarios para el reconocimiento de voz son los siguientes:'''<br /> <br /> —Modelo acústico: VoxForge[1]. Contiene la probabilidad de que aparezcan ciertas palabras en un determinado orden. <br /> —Diccionario fonético: Relaciona cada palabra con su fonética.<br /> Gramática: Define el conjunto de combinaciones de palabras.<br /> <br /> '''¿Porque utilizamos VoxForge?'''<br /> <br /> A pesar de que existen corpus disponibles para poder crear modelos acústicos, la mayoría (especialmente los grandes y mejor construidos, con los que se podrían construir buenos modelos acústicos) deben ser adquiridos bajo licencias restrictivas. VoxForge es un proyecto que intenta recoger transcripciones de textos mediante voz para ser usada como herramienta de reconocimiento de voz libre y de código abierto.<br /> <br /> '''Creando el modelo de lenguaje'''<br /> Hay dos tipos de modelos para describir un lenguaje: Dependiendo de la aplicación se usará o bien una gramática (se definen una serie de frases, con un cierto formato) o un modelo de lenguaje (empleado para aplicaciones de dictado), en nuestro caso usamos una gramática ya que solo nos interesa reconocer unas frases determinadas.<br /> <br /> '''Gramática:'''<br /> <br /> [[Archivo:Gramatica.jpg]]<br /> <br /> '''Adaptando el modelo acústico'''<br /> Si bien CMUSphinx tiene varios modelos acústicos muy bien preparados, los mismos no están en español. Incluso en voxForge no existe, todavía, un Corpus de voz o un modelo acústico en castellano para poder ser descargado. Lo que hicimos entonces fue grabar a varias personas diciendo las palabras que necesitamos para los comandos.<br /> <br /> Para poder adaptar el modelo fue necesario definir lo siguiente:<br /> * butia-listens.dic: es donde se define el diccionario, todas las palabras que se reconocerán con su correspondiente fonética. <br /> * butia-listens.fileids - Lista de archivos a entrenar<br /> * butia-listens.transcription - Transcripción para entrenar, asocia las palabras con los archivos de audio<br /> * wav - Carpeta con los archivos de audio de las voces grabadas<br /> <br /> Luego de tener todas estas cosas definidas adaptamos el modelo usando el script correspondiente [4]<br /> <br /> ==Preparando la plataforma==<br /> Pocketsphinx como ya mencionamos es una biblioteca que depende de otra llamada SphinxBase, por este motivo es que se necesita instalar las dos. Entonces, primero que nada instalamos las dos bibliotecas, siguiendo el tutorial en [3].<br /> <br /> Luego hay que instalar las dependencias para que puedan funcionar las bibliotecas, es necesario instalar las siguientes:<br /> *gstreamer<br /> *gstramer-python<br /> *pocketshpix-plugin.x86_64<br /> <br /> ==El programa==<br /> Para hacer el programa nos basamos en [3]<br /> Lo que hace el programa es escuchar el micrófono y usando pockesphinx y el modelo adaptado por nosotros devuelve el comando en texto. Luego según el comando elegido se llama al bloque correspondiente. Si el comando es ejecutar detiene el esuchar y ejecuta, si es limpiar borra todos los bloques y sigue escuchando para poder ingresar nuevamente los comandos. <br /> <br /> ==Paleta==<br /> La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br /> Luego simplemente se comienza a decir las instrucciones. <br /> <br /> '''Comandos válidos:'''<br /> * Empezar<br /> * Adelante Butiá<br /> * Atrás Butiá<br /> * Derecha Butiá<br /> * Izquierda Butiá<br /> * Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br /> * Limpiar: Borra todos los comandos <br /> * Ejecutar: Deja de escuchar y ejecuta el programa <br /> <br /> <br /> ==Demo==<br /> <br /> <br /> <br /> ==Conclusiones==<br /> Aprendimos como hacer una platea en turtlebots, como se trabaja con reconocimiento de voz y lo complejo que es esto. <br /> También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo.<br /> <br /> ==Trabajo a futuro==<br /> Ampliar la gramática para abarcar mas funcionalidades del TurtleBot<br /> Entrenar el modelo acústico con más personas y en ambientes con ruido<br /> Ampliar a otros idiomas<br /> <br /> <br /> ==Referencias==<br /> [1] Modelo acustico VoxForge: http://www.voxforge.org/es<br /> [2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br /> [3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br /> [4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt</div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5432 2014-06-18T16:08:00Z

<p>Florencia Clerici: </p> <hr /> <div>==Integrantes==<br /> * Mercedes Marzoa<br /> * Florencia Clerici<br /> <br /> ==Tutor==<br /> * Andrés Aguirre<br /> <br /> ==Introducción==<br /> El proyecto consiste en programar mediante instrucciones de voz funcionalidades básicas para el butiá.<br /> <br /> ==Motivación==<br /> La idea nuestra de elegir este proyecto surge luego de una reunión a la que fuimos donde una maestra que trabaja con niños con capacidades diferentes planteó la necesidad de agregarle funcionalidades al Butiá para poder trabajar con sus alumnos.<br /> Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br /> <br /> ==Objetivos==<br /> * Tener un módulo de reconocimiento de voz<br /> * Definir un gramática para poder usar las operaciones básicas del robot butiá en TurtleBot<br /> * Integrar el módulo en el TurtleBot<br /> <br /> ==Desarrollo del problema==<br /> Para realizar nuestro proyecto utilizamos una parte del proyecto CMU Sphinx. <br /> CMU Sphinx es un sistemas de reconocimiento de voz desarrollado en la Universidad de Carnegie Mellon compuesto por una serie de programas para reconocimiento de voz. <br /> En nuestro caso utilizamos —PocketSohinx que es una biblioteca escrita en c para el reconocimiento de voz basada en SphinxBase, en particular elegimos esta biblioteca por ser liviana, especial si se necesita velocidad y portabilidad.<br /> También usamos otra herramienta de CMU Sphinx llamada SphinxTrain que sirve para entrenar el modelo acústico. <br /> <br /> <br /> '''Los modelos necesarios para el reconocimiento de voz son los siguientes:'''<br /> <br /> —Modelo acústico: VoxForge[1]. Contiene la probabilidad de que aparezcan ciertas palabras en un determinado orden. <br /> —Diccionario fonético: Relaciona cada palabra con su fonética.<br /> Gramática: Define el conjunto de combinaciones de palabras.<br /> <br /> '''¿Porque utilizamos VoxForge?'''<br /> <br /> A pesar de que existen corpus disponibles para poder crear modelos acústicos, la mayoría (especialmente los grandes y mejor construidos, con los que se podrían construir buenos modelos acústicos) deben ser adquiridos bajo licencias restrictivas. VoxForge es un proyecto que intenta recoger transcripciones de textos mediante voz para ser usada como herramienta de reconocimiento de voz libre y de código abierto.<br /> <br /> '''Creando el modelo de lenguaje'''<br /> Hay dos tipos de modelos para describir un lenguaje: Dependiendo de la aplicación se usará o bien una gramática (se definen una serie de frases, con un cierto formato) o un modelo de lenguaje (empleado para aplicaciones de dictado), en nuestro caso usamos una gramática ya que solo nos interesa reconocer unas frases determinadas.<br /> <br /> '''Gramática:'''<br /> [[Archivo:Gramatica.jpg]]<br /> <br /> '''Adaptando el modelo acústico'''<br /> Si bien CMUSphinx tiene varios modelos acústicos muy bien preparados, los mismos no están en español. Incluso en voxForge no existe, todavía, un Corpus de voz o un modelo acústico en castellano para poder ser descargado. Lo que hicimos entonces fue grabar a varias personas diciendo las palabras que necesitamos para los comandos.<br /> <br /> Para poder adaptar el modelo fue necesario definir lo siguiente:<br /> * butia-listens.dic: es donde se define el diccionario, todas las palabras que se reconocerán con su correspondiente fonética. <br /> * butia-listens.fileids - Lista de archivos a entrenar<br /> * butia-listens.transcription - Transcripción para entrenar, asocia las palabras con los archivos de audio<br /> * wav - Carpeta con los archivos de audio de las voces grabadas<br /> <br /> Luego de tener todas estas cosas definidas adaptamos el modelo usando el script correspondiente [4]<br /> <br /> ==Preparando la plataforma==<br /> Pocketsphinx como ya mencionamos es una biblioteca que depende de otra llamada SphinxBase, por este motivo es que se necesita instalar las dos. Entonces, primero que nada instalamos las dos bibliotecas, siguiendo el tutorial en [3].<br /> <br /> Luego hay que instalar las dependencias para que puedan funcionar las bibliotecas, es necesario instalar las siguientes:<br /> *gstreamer<br /> *gstramer-python<br /> *pocketshpix-plugin.x86_64<br /> <br /> ==El programa==<br /> Para hacer el programa nos basamos en [3]<br /> Lo que hace el programa es escuchar el micrófono y usando pockesphinx y el modelo adaptado por nosotros devuelve el comando en texto. Luego según el comando elegido se llama al bloque correspondiente. Si el comando es ejecutar detiene el esuchar y ejecuta, si es limpiar borra todos los bloques y sigue escuchando para poder ingresar nuevamente los comandos. <br /> <br /> ==Paleta==<br /> La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br /> Luego simplemente se comienza a decir las instrucciones. <br /> <br /> '''Comandos válidos:'''<br /> * Empezar<br /> * Adelante Butiá<br /> * Atrás Butiá<br /> * Derecha Butiá<br /> * Izquierda Butiá<br /> * Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br /> * Limpiar: Borra todos los comandos <br /> * Ejecutar: Deja de escuchar y ejecuta el programa <br /> <br /> <br /> ==Demo==<br /> <br /> <br /> <br /> ==Conclusiones==<br /> Aprendimos como hacer una platea en turtlebots, como se trabaja con reconocimiento de voz y lo complejo que es esto. <br /> También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo.<br /> <br /> ==Trabajo a futuro==<br /> Ampliar la gramática para abarcar mas funcionalidades del TurtleBot<br /> Entrenar el modelo acústico con más personas y en ambientes con ruido<br /> Ampliar a otros idiomas<br /> <br /> <br /> ==Referencias==<br /> [1] Modelo acustico VoxForge: http://www.voxforge.org/es<br /> [2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br /> [3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br /> [4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt</div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Archivo:Gramatica.jpg&diff=5431 2014-06-18T16:06:44Z

<p>Florencia Clerici: </p> <hr /> <div></div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5430 2014-06-18T15:54:04Z

<p>Florencia Clerici: </p> <hr /> <div>==Integrantes==<br /> * Mercedes Marzoa<br /> * Florencia Clerici<br /> <br /> ==Tutor==<br /> * Andrés Aguirre<br /> <br /> ==Introducción==<br /> El proyecto consiste en programar mediante instrucciones de voz funcionalidades básicas para el butiá.<br /> <br /> ==Motivación==<br /> La idea nuestra de elegir este proyecto surge luego de una reunión a la que fuimos donde una maestra que trabaja con niños con capacidades diferentes planteó la necesidad de agregarle funcionalidades al Butiá para poder trabajar con sus alumnos.<br /> Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br /> <br /> ==Objetivos==<br /> * Tener un módulo de reconocimiento de voz<br /> * Definir un gramática para poder usar las operaciones básicas del robot butiá en TurtleBot<br /> * Integrar el módulo en el TurtleBot<br /> <br /> ==Desarrollo del problema==<br /> Para realizar nuestro proyecto utilizamos una parte del proyecto CMU Sphinx. <br /> CMU Sphinx es un sistemas de reconocimiento de voz desarrollado en la Universidad de Carnegie Mellon compuesto por una serie de programas para reconocimiento de voz. <br /> En nuestro caso utilizamos —PocketSohinx que es una biblioteca escrita en c para el reconocimiento de voz basada en SphinxBase, en particular elegimos esta biblioteca por ser liviana, especial si se necesita velocidad y portabilidad.<br /> También usamos otra herramienta de CMU Sphinx llamada SphinxTrain que sirve para entrenar el modelo acústico. <br /> <br /> <br /> '''Los modelos necesarios para el reconocimiento de voz son los siguientes:'''<br /> <br /> —* Modelo acústico: VoxForge[1]. Contiene la probabilidad de que aparezcan ciertas palabras en un determinado orden. <br /> <br /> * —Diccionario fonético: Relaciona cada palabra con su fonética.<br /> <br /> —* Gramática: Define el conjunto de combinaciones de palabras.<br /> <br /> '''¿Porque utilizamos VoxForge?'''<br /> <br /> A pesar de que existen corpus disponibles para poder crear modelos acústicos, la mayoría (especialmente los grandes y mejor construidos, con los que se podrían construir buenos modelos acústicos) deben ser adquiridos bajo licencias restrictivas. VoxForge es un proyecto que intenta recoger transcripciones de textos mediante voz para ser usada como herramienta de reconocimiento de voz libre y de código abierto.<br /> <br /> '''Creando el modelo de lenguaje'''<br /> Hay dos tipos de modelos para describir un lenguaje: Dependiendo de la aplicación se usará o bien una gramática (se definen una serie de frases, con un cierto formato) o un modelo de lenguaje (empleado para aplicaciones de dictado), en nuestro caso usamos una gramática ya que solo nos interesa reconocer unas frases determinadas.<br /> <br /> '''Gramática:'''<br /> <br /> <br /> '''Adaptando el modelo acústico'''<br /> Si bien CMUSphinx tiene varios modelos acústicos muy bien preparados, los mismos no están en español. Incluso en voxForge no existe, todavía, un Corpus de voz o un modelo acústico en castellano para poder ser descargado. Lo que hicimos entonces fue grabar a varias personas diciendo las palabras que necesitamos para los comandos.<br /> <br /> Para poder adaptar el modelo fue necesario definir lo siguiente:<br /> * butia-listens.dic: es donde se define el diccionario, todas las palabras que se reconocerán con su correspondiente fonética. <br /> * butia-listens.fileids - Lista de archivos a entrenar<br /> * butia-listens.transcription - Transcripción para entrenar, asocia las palabras con los archivos de audio<br /> * wav - Carpeta con los archivos de audio de las voces grabadas<br /> <br /> Luego de tener todas estas cosas definidas adaptamos el modelo usando el script correspondiente [4]<br /> <br /> ==Preparando la plataforma==<br /> Pocketsphinx como ya mencionamos es una biblioteca que depende de otra llamada SphinxBase, por este motivo es que se necesita instalar las dos. Entonces, primero que nada instalamos las dos bibliotecas, siguiendo el tutorial en [3].<br /> <br /> Luego hay que instalar las dependencias para que puedan funcionar las bibliotecas, es necesario instalar las siguientes:<br /> *gstreamer<br /> *gstramer-python<br /> *pocketshpix-plugin.x86_64<br /> <br /> ==El programa==<br /> Para hacer el programa nos basamos en [3]<br /> Lo que hace el programa es escuchar el micrófono y usando pockesphinx y el modelo adaptado por nosotros devuelve el comando en texto. Luego según el comando elegido se llama al bloque correspondiente. Si el comando es ejecutar detiene el esuchar y ejecuta, si es limpiar borra todos los bloques y sigue escuchando para poder ingresar nuevamente los comandos. <br /> <br /> ==Paleta==<br /> La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br /> Luego simplemente se comienza a decir las instrucciones. <br /> <br /> '''Comandos válidos:'''<br /> * Empezar<br /> * Adelante Butiá<br /> * Atrás Butiá<br /> * Derecha Butiá<br /> * Izquierda Butiá<br /> * Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br /> * Limpiar: Borra todos los comandos <br /> * Ejecutar: Deja de escuchar y ejecuta el programa <br /> <br /> <br /> ==Demo==<br /> <br /> <br /> <br /> ==Conclusiones==<br /> Aprendimos como hacer una platea en turtlebots, como se trabaja con reconocimiento de voz y lo complejo que es esto. <br /> También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo.<br /> <br /> ==Trabajo a futuro==<br /> Ampliar la gramática para abarcar mas funcionalidades del TurtleBot<br /> Entrenar el modelo acústico con más personas y en ambientes con ruido<br /> Ampliar a otros idiomas<br /> <br /> <br /> ==Referencias==<br /> [1] Modelo acustico VoxForge: http://www.voxforge.org/es<br /> [2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br /> [3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br /> [4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt</div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5429 2014-06-18T15:53:25Z

<p>Florencia Clerici: Página blanqueada</p> <hr /> <div></div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5214 2014-05-24T21:40:20Z

<p>Florencia Clerici: Página creada con '==Integrantes== * Mercedes Marzoa * Florencia Clerici ==Tutor== * Andrés Aguirre ==Introducción== A continuación presentamos el proyecto Paleta para primitivas de reconoci...'</p> <hr /> <div>==Integrantes==<br /> <br /> * Mercedes Marzoa<br /> * Florencia Clerici<br /> <br /> ==Tutor==<br /> * Andrés Aguirre<br /> <br /> ==Introducción==<br /> A continuación presentamos el proyecto Paleta para primitivas de reconocimiento de voz en tortuga.<br /> <br /> ==Motivación==<br /> El proyecto surge a partir de una reunión del Proyecto Butiá en la que una maestra que trabaja en la escuela (?) planteo la necesidad de contar con una herramienta que le permitiera trabajar a sus alumnos con TurtleBot y el robot butiá. Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br /> <br /> ==Objetivos==<br /> * Tener un módulo de reconocimiento de voz<br /> * Definir un gramática básica para poder usar las operaciones básicas del robot butiá en el TurtleBot <br /> * Integrar el módulo en el TurtleBot<br /> <br /> ==Desarrollo del problema==<br /> <br /> Hay dos tipos de modelos para describir un lenguaje: gramáticos o estáticos. Los modelos gramáticos son muy simples y se utilizan para reconocer comandos y controles. En este caso como se quiere reconocer comandos se define un modelo de lenguaje gramático.<br /> <br /> Para poder utilizar la biblioteca de reconocimiento tienen que estar definidos:<br /> *''butia-listens.gram:'' es donde se define la gramática.<br /> *''butia-listens.dic:'' es donde se define el diccionario (todas las palabras que se reconocerán).<br /> *''modelo acustico:'' es lo que va a utilizar la biblioteca como fuente de datos para hacer el reconocimiento.<br /> <br /> <br /> Una vez se tiene definido lo anterior, podemos empezar a desarrollar el modulo de reconocimiento. El primer paso es instalar la biblioteca y sus dependencias. Para eso hay que descargar: Pocketsphinx y Sphinxbase, siguiendo el tutorial en [1].<br /> <br /> La estructura básica del programa que usamos para reconocer se encuentra publicada en [2].<br /> <br /> * Describir modulo de escucha<br /> * Describir proceso de entrenamiento del modelo acústico<br /> *''butia-listens.transcription:'' es donde asociamos los comandos a reconocer con los archivos de audio.<br /> * Describir paleta<br /> * Recorte y video de un ejemplo<br /> <br /> <br /> ==Conclusiones==<br /> <br /> <br /> ==Trabajo a futuro==<br /> * Ampliar la gramática para abarcar mas funcionalidades del TurtleBot<br /> * Seguir entrenando el modelo acústico<br /> <br /> <br /> ==Referencias==<br /> [1] http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx<br /> [2] http://cmusphinx.sourceforge.net/wiki/gstreamer</div>

Florencia Clerici http://164.73.124.35/inco/proyectos/butia/mediawiki/index.php?title=Espacio_para_grupos_2013&diff=5213 2014-05-24T17:46:34Z

<p>Florencia Clerici: </p> <hr /> <div>Cada grupo debe crearse un link como el del ejemplo a continuación: &lt;br&gt;<br /> <br /> [[ejemplo|Nombre Proyecto]]&lt;br&gt;<br /> <br /> [[integracion_ros_butia|Integración de ROS a la plataforma Butiá]]&lt;br&gt;<br /> <br /> [[Plugin_colores|Plugin que permita usar la cámara como sensor de colores]]&lt;br&gt;<br /> <br /> [[fut_rob|Futbol de Robots]]&lt;br&gt;<br /> <br /> [[butia_android|Butiá Android II]]&lt;br&gt;<br /> <br /> [[Utilización_de_GPS_USB_en_TurtleBlocks|Utilización de GPS USB en TurtleBlocks]]&lt;br&gt;<br /> <br /> [[Accesibilidad|Paleta para primitivas de accesibilidad a personas con discapacidad en tortuga]]&lt;br&gt;<br /> <br /> [[Paleta para primitivas de reconocimiento de voz en tortuga]]&lt;br&gt;</div>

Florencia Clerici