http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/api.php?action=feedcontributions&feedformat=atom&user=AlvaroProyecto Butiá - Contribuciones del usuario [es]2026-04-03T22:53:13ZContribuciones del usuarioMediaWiki 1.26.2http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Archivo:Butia_listens.zip&diff=5977Archivo:Butia listens.zip2014-09-18T20:36:15Z<p>Alvaro: subió una nueva versión de «Archivo:Butia listens.zip»</p>
<hr />
<div>Plugin reconocimiento de voz</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga&diff=5956Paleta para primitivas de reconocimiento de voz en tortuga2014-09-16T13:31:13Z<p>Alvaro: /* Desarrollo del problema */</p>
<hr />
<div>==Integrantes==<br />
* Mercedes Marzoa<br />
* Florencia Clerici<br />
<br />
==Tutor==<br />
* Andrés Aguirre<br />
<br />
==Introducción==<br />
El proyecto consiste en programar mediante instrucciones de voz funcionalidades básicas para el butiá.<br />
<br />
==Motivación==<br />
La idea nuestra de elegir este proyecto surge luego de una reunión a la que fuimos donde una maestra que trabaja con niños con capacidades diferentes planteó la necesidad de agregarle funcionalidades al Butiá para poder trabajar con sus alumnos.<br />
Si bien el proyecto no puede resolver toda la problemática, la idea es que se pueda extender y que quede planteado el problema para motivar otras soluciones.<br />
<br />
==Objetivos==<br />
* Tener un módulo de reconocimiento de voz<br />
* Definir un gramática para poder usar las operaciones básicas del robot butiá en TurtleBot<br />
* Integrar el módulo en el TurtleBot<br />
<br />
==Desarrollo del problema==<br />
Para realizar nuestro proyecto utilizamos una parte del proyecto CMU Sphinx. <br />
CMU Sphinx es un sistemas de reconocimiento de voz desarrollado en la Universidad de Carnegie Mellon compuesto por una serie de programas para reconocimiento de voz. <br />
En nuestro caso utilizamos PocketSphinx que es una biblioteca escrita en C para el reconocimiento de voz basada en SphinxBase, en particular elegimos esta biblioteca por ser liviana, especial si se necesita velocidad y portabilidad.<br />
También usamos otra herramienta de CMU Sphinx llamada SphinxTrain que sirve para entrenar el modelo acústico. <br />
<br />
<br />
'''Los modelos necesarios para el reconocimiento de voz son los siguientes:'''<br />
<br />
Modelo acústico: VoxForge[1]. Contiene la probabilidad de que aparezcan ciertas palabras en un determinado orden. <br />
Diccionario fonético: Relaciona cada palabra con su fonética.<br />
Gramática: Define el conjunto de combinaciones de palabras.<br />
<br />
'''¿Porque utilizamos VoxForge?'''<br />
<br />
A pesar de que existen corpus disponibles para poder crear modelos acústicos, la mayoría (especialmente los grandes y mejor construidos, con los que se podrían construir buenos modelos acústicos) deben ser adquiridos bajo licencias restrictivas. VoxForge es un proyecto que intenta recoger transcripciones de textos mediante voz para ser usada como herramienta de reconocimiento de voz libre y de código abierto.<br />
<br />
'''Creando el modelo de lenguaje'''<br />
Hay dos tipos de modelos para describir un lenguaje: Dependiendo de la aplicación se usará o bien una gramática (se definen una serie de frases, con un cierto formato) o un modelo de lenguaje (empleado para aplicaciones de dictado), en nuestro caso usamos una gramática ya que solo nos interesa reconocer unas frases determinadas.<br />
<br />
'''Gramática:'''<br />
<br />
[[Archivo:Gramatica.jpg]]<br />
<br />
'''Adaptando el modelo acústico'''<br />
Si bien CMUSphinx tiene varios modelos acústicos muy bien preparados, los mismos no están en español. Incluso en voxForge no existe, todavía, un Corpus de voz o un modelo acústico en castellano para poder ser descargado. Lo que hicimos entonces fue grabar a varias personas diciendo las palabras que necesitamos para los comandos.<br />
<br />
Para poder adaptar el modelo fue necesario definir lo siguiente:<br />
* butia-listens.dic: es donde se define el diccionario, todas las palabras que se reconocerán con su correspondiente fonética. <br />
* butia-listens.fileids - Lista de archivos a entrenar<br />
* butia-listens.transcription - Transcripción para entrenar, asocia las palabras con los archivos de audio<br />
* wav - Carpeta con los archivos de audio de las voces grabadas<br />
<br />
Luego de tener todas estas cosas definidas adaptamos el modelo usando el script correspondiente [4]<br />
<br />
==Preparando la plataforma==<br />
Pocketsphinx como ya mencionamos es una biblioteca que depende de otra llamada SphinxBase, por este motivo es que se necesita instalar las dos. Entonces, primero que nada instalamos las dos bibliotecas, siguiendo el tutorial en [3].<br />
<br />
Luego hay que instalar las dependencias para que puedan funcionar las bibliotecas, es necesario instalar las siguientes:<br />
*gstreamer<br />
*gstramer-python<br />
*pocketshpix-plugin.x86_64<br />
<br />
==El programa==<br />
Para hacer el programa nos basamos en [3]<br />
Lo que hace el programa es escuchar el micrófono y usando pockesphinx y el modelo adaptado por nosotros devuelve el comando en texto. Luego según el comando elegido se llama al bloque correspondiente. Si el comando es ejecutar detiene el esuchar y ejecuta, si es limpiar borra todos los bloques y sigue escuchando para poder ingresar nuevamente los comandos. <br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos válidos:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
<br />
==Demo==<br />
Ejemplo de ejecutar: <br />
<br />
<youtube>UVaBrpXh3s4</youtube><br />
<br />
Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br />
<br />
Ejemplo de limpiar bloques: <br />
<br />
<youtube>85LtJ-DWd5Q</youtube><br />
<br />
Ejemplo de instrucciones con error al final: <br />
<br />
<youtube>A5dZr13dnHY</youtube><br />
<br />
==Conclusiones==<br />
Aprendimos como hacer una platea en turtlebots, como se trabaja con reconocimiento de voz y lo complejo que es esto. <br />
También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo.<br />
<br />
==Trabajo a futuro==<br />
* Ampliar la gramática para abarcar mas funcionalidades del TurtleBot.<br />
* Entrenar el modelo acústico con más personas y en ambientes con ruido.<br />
* Ampliar a otros idiomas<br />
<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]]</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5955Grupo 32014-09-16T13:17:05Z<p>Alvaro: /* Desarrollo del problema */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki de la parte anterior del proyecto.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Tutorial de entrenamiento==<br />
Como se puede leer en el enlace de la sección anterior, la forma de mejorar el reconocimiento del programa es mediante el entrenamiento. La forma de entrenar el programa es sumando archivos con los comandos grabados con distintas voces a los ya existentes. Cuanto más voces distintas con cada comando se graben, mejor se interpretará dicho comando a la hora de usar la paleta.<br />
Para permitir que todo el que desee pueda contribuir al entrenamiento del programa, decidimos realizar un tutorial de entrenamiento, en el cual se muestran los distintos pasos a seguir para agregar su voz al entrenamiento de esta programa.<br />
Para seguir el tutorial, será necesario contar con:<br />
* Un programa de grabación de audio. Nosotros usamos y recomendamos Audacity, disponible para instalar en las XO.<br />
* Tener ubicado el directorio de instalación del TurtleBots, ya que será necesario acceder a algunos archivos desde dicho directorio<br />
<br />
A continuación, un video donde se explican los pasos a seguir.<br />
<br />
<youtube>OG5ebQA8Rpk</youtube><br />
<br />
GRABACIÓN DE COMANDOS<br />
<br />
1. Abrir un programa para grabar audio. Nosotros recomendamos usar Audacity.<br />
<br />
2. Configurar Frecuencia del proyecto en «8000 Hz» y Canales de entrada en "1 (mono)".<br />
<br />
3. Grabar el comando correspondiente.<br />
<br />
4. Exportarlo en formato WAV en la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm/wav/ con el nombre (nombre de la persona)-butia-listens-(numero del comando)<br />
<br />
<br />
Por ejemplo se puede grabar el comando "adelante Butiá" y exportarlo con el nombre tutorial-butia-listens-0001<br />
<br />
<br />
MODIFICACIÓN DE ARCHIVOS<br />
<br />
1. Abrir la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm<br />
<br />
2. Abrir el archivo butia-listens.fileids y agregar una linea al final que contenga el nombre que se le asignó al archivo wav. <br />
<br />
<br />
En el ejemplo, la linea a agregar sería tutorial-butia-listens-0001<br />
<br />
3. Abrir el archivo butia-listens.transcription y agregar una linea al final con el sigueinte formato: <nowiki><s> (nombre del comando en mayúscula) </s> ((nombre del archivo wav))</nowiki><br />
<br />
<br />
En el ejemplo, la linea a agregar sería <nowiki><s> ADELANTE BUTIA </s></nowiki> (tutorial-butia-listens-0001)<br />
<br />
<br />
APLICACIÓN DE CAMBIOS<br />
<br />
Para que los pasos anteriores surtan efecto, es necesario correr dos comandos.<br />
<br />
1. Abrir una terminal e ir a la ubicación Activities/TurtleBots.activity/plugins/butia_listens/asr<br />
<br />
2. Intruducir el comando cd lm y a continuación introducir sh all.sh<br />
<br />
3. Volver a la carpeta anterior mediante el comando cd ..<br />
<br />
4. Introducir elcomando cd hmm y a continuación introducir sh all.sh<br />
<br />
<br />
Cuando el último comando termine de ejecutarse, los cambios quedarán aplicados.<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar".<br />
<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
<br />
'''Deshacer'''<br />
<br />
La demostración del comando "Deshacer" se separa en 5 casos:<br />
* El último bloque insertado es uno simple (adelante/atrás/derecha/izquierda/detener Butiá).<br />
* El último bloque insertado es uno compuesto por dos bloques (cualquiera de los "Esperar").<br />
* El último bloque insertado es una estructura de repetición ("Por siempre" o cualquiera de los "Repetir").<br />
* El último bloque insertado viene inmediatamente después de salir de una estructura de repetición (mediante el comando "Fin"). En este caso hay que notar que, luego de deshacer, el siguiente bloque que se inserte puede quedar adentro o afuera de la estructura de repetición. Nosotros decidimos que quede fuera y esto se puede ver en el video.<br />
* El último caso se puede ver como una continuación del anterior, con la diferencia de que, luego de insertado el bloque afuera de la estructura de repetición, se deshace más de una vez. De esta forma, se borra el bloque exterior (como en el caso anterior) pero también algunos de los interiores. Lógicamente, al insertarse un bloque nuevo a continuación de lo mencionado, el mismo quedará adentro de la estructura de repetición.<br />
<br />
<br />
<youtube>0mAKes-7qQI</youtube><br />
<br />
<br />
'''Demostración completa'''<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en este proyecto.<br />
<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
'''Nota:'''<br />
<br />
Luego de grabadas las demostraciones se agregó una tortuga de color azul y naranja que indica donde va a ser agregado el próximo bloque.<br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5795Grupo 32014-08-17T00:00:51Z<p>Alvaro: /* Demostración */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki de la parte anterior del proyecto.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Tutorial de entrenamiento==<br />
Como se puede leer en el enlace de la sección anterior, la forma de mejorar el reconocimiento del programa es mediante el entrenamiento. La forma de entrenar el programa es sumando archivos con los comandos grabados con distintas voces a los ya existentes. Cuanto más voces distintas con cada comando se graben, mejor se interpretará dicho comando a la hora de usar la paleta.<br />
Para permitir que todo el que desee pueda contribuir al entrenamiento del programa, decidimos realizar un tutorial de entrenamiento, en el cual se muestran los distintos pasos a seguir para agregar su voz al entrenamiento de esta programa.<br />
Para seguir el tutorial, será necesario contar con:<br />
* Un programa de grabación de audio. Nosotros usamos y recomendamos Audacity, disponible para instalar en las XO.<br />
* Tener ubicado el directorio de instalación del TurtleBots, ya que será necesario acceder a algunos archivos desde dicho directorio<br />
<br />
A continuación, un video donde se explican los pasos a seguir.<br />
<br />
<youtube>OG5ebQA8Rpk</youtube><br />
<br />
GRABACIÓN DE COMANDOS<br />
<br />
1. Abrir un programa para grabar audio. Nosotros recomendamos usar Audacity.<br />
<br />
2. Configurar Frecuencia del proyecto en «8000 Hz» y Canales de entrada en "1 (mono)".<br />
<br />
3. Grabar el comando correspondiente.<br />
<br />
4. Exportarlo en formato WAV en la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm/wav/ con el nombre (nombre de la persona)-butia-listens-(numero del comando)<br />
<br />
<br />
Por ejemplo se puede grabar el comando "adelante Butiá" y exportarlo con el nombre tutorial-butia-listens-0001<br />
<br />
<br />
MODIFICACIÓN DE ARCHIVOS<br />
<br />
1. Abrir la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm<br />
<br />
2. Abrir el archivo butia-listens.fileids y agregar una linea al final que contenga el nombre que se le asignó al archivo wav. <br />
<br />
<br />
En el ejemplo, la linea a agregar sería tutorial-butia-listens-0001<br />
<br />
3. Abrir el archivo butia-listens.transcription y agregar una linea al final con el sigueinte formato: <nowiki><s> (nombre del comando en mayúscula) </s> ((nombre del archivo wav))</nowiki><br />
<br />
<br />
En el ejemplo, la linea a agregar sería <nowiki><s> ADELANTE BUTIA </s></nowiki> (tutorial-butia-listens-0001)<br />
<br />
<br />
APLICACIÓN DE CAMBIOS<br />
<br />
Para que los pasos anteriores surtan efecto, es necesario correr dos comandos.<br />
<br />
1. Abrir una terminal e ir a la ubicación Activities/TurtleBots.activity/plugins/butia_listens/asr<br />
<br />
2. Intruducir el comando cd lm y a continuación introducir sh all.sh<br />
<br />
3. Volver a la carpeta anterior mediante el comando cd ..<br />
<br />
4. Introducir elcomando cd hmm y a continuación introducir sh all.sh<br />
<br />
<br />
Cuando el último comando termine de ejecutarse, los cambios quedarán aplicados.<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar".<br />
<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
<br />
'''Deshacer'''<br />
<br />
La demostración del comando "Deshacer" se separa en 5 casos:<br />
* El último bloque insertado es uno simple (adelante/atrás/derecha/izquierda/detener Butiá).<br />
* El último bloque insertado es uno compuesto por dos bloques (cualquiera de los "Esperar").<br />
* El último bloque insertado es una estructura de repetición ("Por siempre" o cualquiera de los "Repetir").<br />
* El último bloque insertado viene inmediatamente después de salir de una estructura de repetición (mediante el comando "Fin"). En este caso hay que notar que, luego de deshacer, el siguiente bloque que se inserte puede quedar adentro o afuera de la estructura de repetición. Nosotros decidimos que quede fuera y esto se puede ver en el video.<br />
* El último caso se puede ver como una continuación del anterior, con la diferencia de que, luego de insertado el bloque afuera de la estructura de repetición, se deshace más de una vez. De esta forma, se borra el bloque exterior (como en el caso anterior) pero también algunos de los interiores. Lógicamente, al insertarse un bloque nuevo a continuación de lo mencionado, el mismo quedará adentro de la estructura de repetición.<br />
<br />
<br />
<youtube>0mAKes-7qQI</youtube><br />
<br />
<br />
'''Demostración completa'''<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en este proyecto.<br />
<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
'''Nota:'''<br />
<br />
Luego de grabadas las demostraciones se agregó una tortuga de color azul y naranja que indica donde va a ser agregado el próximo bloque.<br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5794Grupo 32014-08-16T20:14:33Z<p>Alvaro: /* Tutorial de entrenamiento */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki de la parte anterior del proyecto.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Tutorial de entrenamiento==<br />
Como se puede leer en el enlace de la sección anterior, la forma de mejorar el reconocimiento del programa es mediante el entrenamiento. La forma de entrenar el programa es sumando archivos con los comandos grabados con distintas voces a los ya existentes. Cuanto más voces distintas con cada comando se graben, mejor se interpretará dicho comando a la hora de usar la paleta.<br />
Para permitir que todo el que desee pueda contribuir al entrenamiento del programa, decidimos realizar un tutorial de entrenamiento, en el cual se muestran los distintos pasos a seguir para agregar su voz al entrenamiento de esta programa.<br />
Para seguir el tutorial, será necesario contar con:<br />
* Un programa de grabación de audio. Nosotros usamos y recomendamos Audacity, disponible para instalar en las XO.<br />
* Tener ubicado el directorio de instalación del TurtleBots, ya que será necesario acceder a algunos archivos desde dicho directorio<br />
<br />
A continuación, un video donde se explican los pasos a seguir.<br />
<br />
<youtube>OG5ebQA8Rpk</youtube><br />
<br />
GRABACIÓN DE COMANDOS<br />
<br />
1. Abrir un programa para grabar audio. Nosotros recomendamos usar Audacity.<br />
<br />
2. Configurar Frecuencia del proyecto en «8000 Hz» y Canales de entrada en "1 (mono)".<br />
<br />
3. Grabar el comando correspondiente.<br />
<br />
4. Exportarlo en formato WAV en la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm/wav/ con el nombre (nombre de la persona)-butia-listens-(numero del comando)<br />
<br />
<br />
Por ejemplo se puede grabar el comando "adelante Butiá" y exportarlo con el nombre tutorial-butia-listens-0001<br />
<br />
<br />
MODIFICACIÓN DE ARCHIVOS<br />
<br />
1. Abrir la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm<br />
<br />
2. Abrir el archivo butia-listens.fileids y agregar una linea al final que contenga el nombre que se le asignó al archivo wav. <br />
<br />
<br />
En el ejemplo, la linea a agregar sería tutorial-butia-listens-0001<br />
<br />
3. Abrir el archivo butia-listens.transcription y agregar una linea al final con el sigueinte formato: <nowiki><s> (nombre del comando en mayúscula) </s> ((nombre del archivo wav))</nowiki><br />
<br />
<br />
En el ejemplo, la linea a agregar sería <nowiki><s> ADELANTE BUTIA </s></nowiki> (tutorial-butia-listens-0001)<br />
<br />
<br />
APLICACIÓN DE CAMBIOS<br />
<br />
Para que los pasos anteriores surtan efecto, es necesario correr dos comandos.<br />
<br />
1. Abrir una terminal e ir a la ubicación Activities/TurtleBots.activity/plugins/butia_listens/asr<br />
<br />
2. Intruducir el comando cd lm y a continuación introducir sh all.sh<br />
<br />
3. Volver a la carpeta anterior mediante el comando cd ..<br />
<br />
4. Introducir elcomando cd hmm y a continuación introducir sh all.sh<br />
<br />
<br />
Cuando el último comando termine de ejecutarse, los cambios quedarán aplicados.<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar".<br />
<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
<br />
'''Deshacer'''<br />
<br />
La demostración del comando "Deshacer" se separa en 5 casos:<br />
* El último bloque insertado es uno simple (adelante/atrás/derecha/izquierda/detener Butiá).<br />
* El último bloque insertado es uno compuesto por dos bloques (cualquiera de los "Esperar").<br />
* El último bloque insertado es una estructura de repetición ("Por siempre" o cualquiera de los "Repetir").<br />
* El último bloque insertado viene inmediatamente después de salir de una estructura de repetición (mediante el comando "Fin"). En este caso hay que notar que, luego de deshacer, el siguiente bloque que se inserte puede quedar adentro o afuera de la estructura de repetición. Nosotros decidimos que quede fuera y esto se puede ver en el video.<br />
* El último caso se puede ver como una continuación del anterior, con la diferencia de que, luego de insertado el bloque afuera de la estructura de repetición, se deshace más de una vez. De esta forma, se borra el bloque exterior (como en el caso anterior) pero también algunos de los interiores. Lógicamente, al insertarse un bloque nuevo a continuación de lo mencionado, el mismo quedará adentro de la estructura de repetición.<br />
<br />
<br />
<youtube>0mAKes-7qQI</youtube><br />
<br />
<br />
'''Demostración completa'''<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en este proyecto.<br />
<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5793Grupo 32014-08-16T20:13:00Z<p>Alvaro: /* Tutorial de entrenamiento */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki de la parte anterior del proyecto.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Tutorial de entrenamiento==<br />
Como se puede leer en el enlace de la sección anterior, la forma de mejorar el reconocimiento del programa es mediante el entrenamiento. La forma de entrenar el programa es sumando archivos con los comandos grabados con distintas voces a los ya existentes. Cuanto más voces distintas con cada comando se graben, mejor se interpretará dicho comando a la hora de usar la paleta.<br />
Para permitir que todo el que desee pueda contribuir al entrenamiento del programa, decidimos realizar un tutorial de entrenamiento, en el cual se muestran los distintos pasos a seguir para agregar su voz al entrenamiento de esta programa.<br />
Para seguir el tutorial, será necesario contar con:<br />
* Un programa de grabación de audio. Nosotros usamos y recomendamos Audacity, disponible para instalar en las XO.<br />
* Tener ubicado el directorio de instalación del TurtleBots, ya que será necesario acceder a algunos archivos desde dicho directorio<br />
<br />
A continuación, un video donde se explican los pasos a seguir.<br />
<br />
<youtube>OG5ebQA8Rpk</youtube><br />
<br />
GRABACIÓN DE COMANDOS<br />
<br />
1. Abrir un programa para grabar audio. Nosotros recomendamos usar Audacity.<br />
<br />
2. Configurar Frecuencia del proyecto en «8000 Hz» y Canales de entrada en "1 (mono)".<br />
<br />
3. Grabar el comando correspondiente.<br />
<br />
4. Exportarlo en formato WAV en la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm/wav/ con el nombre (nombre de la persona)-butia-listens-(numero del comando)<br />
<br />
<br />
Por ejemplo se puede grabar el comando "adelante Butiá" y exportarlo con el nombre tutorial-butia-listens-0001<br />
<br />
<br />
MODIFICACIÓN DE ARCHIVOS<br />
<br />
1. Abrir la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm<br />
<br />
2. Abrir el archivo butia-listens.fileids y agregar una linea al final que contenga el nombre que se le asignó al archivo wav. <br />
<br />
<br />
En el ejemplo, la linea a agregar sería tutorial-butia-listens-0001<br />
<br />
3. Abrir el archivo butia-listens.transcription y agregar una linea al final con el sigueinte formato: "<s> (nombre del comando en mayúscula) </s> ((nombre del archivo wav))"<br />
<br />
<br />
En el ejemplo, la linea a agregar sería "<s> ADELANTE BUTIA </s>" (tutorial-butia-listens-0001)<br />
<br />
<br />
APLICACIÓN DE CAMBIOS<br />
<br />
Para que los pasos anteriores surtan efecto, es necesario correr dos comandos.<br />
<br />
1. Abrir una terminal e ir a la ubicación Activities/TurtleBots.activity/plugins/butia_listens/asr<br />
<br />
2. Intruducir el comando cd lm y a continuación introducir sh all.sh<br />
<br />
3. Volver a la carpeta anterior mediante el comando cd ..<br />
<br />
4. Introducir elcomando cd hmm y a continuación introducir sh all.sh<br />
<br />
<br />
Cuando el último comando termine de ejecutarse, los cambios quedarán aplicados.<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar".<br />
<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
<br />
'''Deshacer'''<br />
<br />
La demostración del comando "Deshacer" se separa en 5 casos:<br />
* El último bloque insertado es uno simple (adelante/atrás/derecha/izquierda/detener Butiá).<br />
* El último bloque insertado es uno compuesto por dos bloques (cualquiera de los "Esperar").<br />
* El último bloque insertado es una estructura de repetición ("Por siempre" o cualquiera de los "Repetir").<br />
* El último bloque insertado viene inmediatamente después de salir de una estructura de repetición (mediante el comando "Fin"). En este caso hay que notar que, luego de deshacer, el siguiente bloque que se inserte puede quedar adentro o afuera de la estructura de repetición. Nosotros decidimos que quede fuera y esto se puede ver en el video.<br />
* El último caso se puede ver como una continuación del anterior, con la diferencia de que, luego de insertado el bloque afuera de la estructura de repetición, se deshace más de una vez. De esta forma, se borra el bloque exterior (como en el caso anterior) pero también algunos de los interiores. Lógicamente, al insertarse un bloque nuevo a continuación de lo mencionado, el mismo quedará adentro de la estructura de repetición.<br />
<br />
<br />
<youtube>0mAKes-7qQI</youtube><br />
<br />
<br />
'''Demostración completa'''<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en este proyecto.<br />
<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5792Grupo 32014-08-16T20:11:36Z<p>Alvaro: /* Tutorial de entrenamiento */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki de la parte anterior del proyecto.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Tutorial de entrenamiento==<br />
Como se puede leer en el enlace de la sección anterior, la forma de mejorar el reconocimiento del programa es mediante el entrenamiento. La forma de entrenar el programa es sumando archivos con los comandos grabados con distintas voces a los ya existentes. Cuanto más voces distintas con cada comando se graben, mejor se interpretará dicho comando a la hora de usar la paleta.<br />
Para permitir que todo el que desee pueda contribuir al entrenamiento del programa, decidimos realizar un tutorial de entrenamiento, en el cual se muestran los distintos pasos a seguir para agregar su voz al entrenamiento de esta programa.<br />
Para seguir el tutorial, será necesario contar con:<br />
* Un programa de grabación de audio. Nosotros usamos y recomendamos Audacity, disponible para instalar en las XO.<br />
* Tener ubicado el directorio de instalación del TurtleBots, ya que será necesario acceder a algunos archivos desde dicho directorio<br />
<br />
A continuación, un video donde se explican los pasos a seguir.<br />
<br />
<youtube>OG5ebQA8Rpk</youtube><br />
<br />
GRABACIÓN DE COMANDOS<br />
1. Abrir un programa para grabar audio. Nosotros recomendamos usar Audacity.<br />
<br />
2. Configurar Frecuencia del proyecto en «8000 Hz» y Canales de entrada en "1 (mono)".<br />
<br />
3. Grabar el comando correspondiente.<br />
<br />
4. Exportarlo en formato WAV en la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm/wav/ con el nombre (nombre de la persona)-butia-listens-(numero del comando)<br />
<br />
<br />
Por ejemplo se puede grabar el comando "adelante Butiá" y exportarlo con el nombre tutorial-butia-listens-0001<br />
<br />
MODIFICACIÓN DE ARCHIVOS<br />
1. Abrir la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm<br />
<br />
2. Abrir el archivo butia-listens.fileids y agregar una linea al final que contenga el nombre que se le asignó al archivo wav. <br />
<br />
<br />
En el ejemplo, la linea a agregar sería tutorial-butia-listens-0001<br />
<br />
3. Abrir el archivo butia-listens.transcription y agregar una linea al final con el sigueinte formato: "<s> (nombre del comando en mayúscula) </s> ((nombre del archivo wav))"<br />
<br />
<br />
En el ejemplo, la linea a agregar sería "<s> ADELANTE BUTIA </s>" (tutorial-butia-listens-0001)<br />
<br />
<br />
APLICACIÓN DE CAMBIOS<br />
Para que los pasos anteriores surtan efecto, es necesario correr dos comandos.<br />
1. Abrir una terminal e ir a la ubicación Activities/TurtleBots.activity/plugins/butia_listens/asr<br />
2. Intruducir el comando cd lm y a continuación introducir sh all.sh<br />
3. Volver a la carpeta anterior mediante el comando cd ..<br />
4. Introducir elcomando cd hmm y a continuación introducir sh all.sh<br />
<br />
Cuando el último comando termine de ejecutarse, los cambios quedarán aplicados.<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar".<br />
<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
<br />
'''Deshacer'''<br />
<br />
La demostración del comando "Deshacer" se separa en 5 casos:<br />
* El último bloque insertado es uno simple (adelante/atrás/derecha/izquierda/detener Butiá).<br />
* El último bloque insertado es uno compuesto por dos bloques (cualquiera de los "Esperar").<br />
* El último bloque insertado es una estructura de repetición ("Por siempre" o cualquiera de los "Repetir").<br />
* El último bloque insertado viene inmediatamente después de salir de una estructura de repetición (mediante el comando "Fin"). En este caso hay que notar que, luego de deshacer, el siguiente bloque que se inserte puede quedar adentro o afuera de la estructura de repetición. Nosotros decidimos que quede fuera y esto se puede ver en el video.<br />
* El último caso se puede ver como una continuación del anterior, con la diferencia de que, luego de insertado el bloque afuera de la estructura de repetición, se deshace más de una vez. De esta forma, se borra el bloque exterior (como en el caso anterior) pero también algunos de los interiores. Lógicamente, al insertarse un bloque nuevo a continuación de lo mencionado, el mismo quedará adentro de la estructura de repetición.<br />
<br />
<br />
<youtube>0mAKes-7qQI</youtube><br />
<br />
<br />
'''Demostración completa'''<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en este proyecto.<br />
<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5791Grupo 32014-08-16T20:10:53Z<p>Alvaro: /* Tutorial de entrenamiento */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki de la parte anterior del proyecto.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Tutorial de entrenamiento==<br />
Como se puede leer en el enlace de la sección anterior, la forma de mejorar el reconocimiento del programa es mediante el entrenamiento. La forma de entrenar el programa es sumando archivos con los comandos grabados con distintas voces a los ya existentes. Cuanto más voces distintas con cada comando se graben, mejor se interpretará dicho comando a la hora de usar la paleta.<br />
Para permitir que todo el que desee pueda contribuir al entrenamiento del programa, decidimos realizar un tutorial de entrenamiento, en el cual se muestran los distintos pasos a seguir para agregar su voz al entrenamiento de esta programa.<br />
Para seguir el tutorial, será necesario contar con:<br />
* Un programa de grabación de audio. Nosotros usamos y recomendamos Audacity, disponible para instalar en las XO.<br />
* Tener ubicado el directorio de instalación del TurtleBots, ya que será necesario acceder a algunos archivos desde dicho directorio<br />
<br />
A continuación, un video donde se explican los pasos a seguir.<br />
<br />
<youtube>OG5ebQA8Rpk</youtube><br />
<br />
GRABACIÓN DE COMANDOS<br />
1. Abrir un programa para grabar audio. Nosotros recomendamos usar Audacity.<br />
<br />
2. Configurar Frecuencia del proyecto en «8000 Hz» y Canales de entrada en "1 (mono)".<br />
<br />
3. Grabar el comando correspondiente.<br />
<br />
4. Exportarlo en formato WAV en la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm/wav/ con el nombre (nombre de la persona)-butia-listens-(numero del comando)<br />
<br />
<br />
Por ejemplo se puede grabar el comando "adelante Butiá" y exportarlo con el nombre tutorial-butia-listens-0001<br />
<br />
MODIFICACIÓN DE ARCHIVOS<br />
1. Abrir la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm<br />
<br />
2. Abrir el archivo butia-listens.fileids y agregar una linea al final que contenga el nombre que se le asignó al archivo wav. <br />
<br />
<br />
En el ejemplo, la linea a agregar sería tutorial-butia-listens-0001<br />
<br />
3. Abrir el archivo butia-listens.transcription y agregar una linea al final con el sigueinte formato: <s> (nombre del comando en mayúscula) </s> ((nombre del archivo wav))<br />
<br />
<br />
En el ejemplo, la linea a agregar sería <s> ADELANTE BUTIA </s> (tutorial-butia-listens-0001)<br />
<br />
<br />
APLICACIÓN DE CAMBIOS<br />
Para que los pasos anteriores surtan efecto, es necesario correr dos comandos.<br />
1. Abrir una terminal e ir a la ubicación Activities/TurtleBots.activity/plugins/butia_listens/asr<br />
2. Intruducir el comando cd lm y a continuación introducir sh all.sh<br />
3. Volver a la carpeta anterior mediante el comando cd ..<br />
4. Introducir elcomando cd hmm y a continuación introducir sh all.sh<br />
<br />
Cuando el último comando termine de ejecutarse, los cambios quedarán aplicados.<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar".<br />
<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
<br />
'''Deshacer'''<br />
<br />
La demostración del comando "Deshacer" se separa en 5 casos:<br />
* El último bloque insertado es uno simple (adelante/atrás/derecha/izquierda/detener Butiá).<br />
* El último bloque insertado es uno compuesto por dos bloques (cualquiera de los "Esperar").<br />
* El último bloque insertado es una estructura de repetición ("Por siempre" o cualquiera de los "Repetir").<br />
* El último bloque insertado viene inmediatamente después de salir de una estructura de repetición (mediante el comando "Fin"). En este caso hay que notar que, luego de deshacer, el siguiente bloque que se inserte puede quedar adentro o afuera de la estructura de repetición. Nosotros decidimos que quede fuera y esto se puede ver en el video.<br />
* El último caso se puede ver como una continuación del anterior, con la diferencia de que, luego de insertado el bloque afuera de la estructura de repetición, se deshace más de una vez. De esta forma, se borra el bloque exterior (como en el caso anterior) pero también algunos de los interiores. Lógicamente, al insertarse un bloque nuevo a continuación de lo mencionado, el mismo quedará adentro de la estructura de repetición.<br />
<br />
<br />
<youtube>0mAKes-7qQI</youtube><br />
<br />
<br />
'''Demostración completa'''<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en este proyecto.<br />
<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5790Grupo 32014-08-16T20:09:39Z<p>Alvaro: /* Tutorial de entrenamiento */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki de la parte anterior del proyecto.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Tutorial de entrenamiento==<br />
Como se puede leer en el enlace de la sección anterior, la forma de mejorar el reconocimiento del programa es mediante el entrenamiento. La forma de entrenar el programa es sumando archivos con los comandos grabados con distintas voces a los ya existentes. Cuanto más voces distintas con cada comando se graben, mejor se interpretará dicho comando a la hora de usar la paleta.<br />
Para permitir que todo el que desee pueda contribuir al entrenamiento del programa, decidimos realizar un tutorial de entrenamiento, en el cual se muestran los distintos pasos a seguir para agregar su voz al entrenamiento de esta programa.<br />
Para seguir el tutorial, será necesario contar con:<br />
* Un programa de grabación de audio. Nosotros usamos y recomendamos Audacity, disponible para instalar en las XO.<br />
* Tener ubicado el directorio de instalación del TurtleBots, ya que será necesario acceder a algunos archivos desde dicho directorio<br />
<br />
A continuación, un video donde se explican los pasos a seguir.<br />
<br />
<youtube>OG5ebQA8Rpk</youtube><br />
<br />
GRABACIÓN DE COMANDOS<br />
1. Abrir un programa para grabar audio. Nosotros recomendamos usar Audacity.<br />
2. Configurar Frecuencia del proyecto en «8000 Hz» y Canales de entrada en «1 (mono)».<br />
3. Grabar el comando correspondiente.<br />
4. Exportarlo en formato WAV en la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm/wav/ con el nombre (nombre de la persona)-butia-listens-(numero del comando)<br />
<br />
Por ejemplo se puede grabar el comando «adelante Butiá» y exportarlo con el nombre tutorial-butia-listens-0001<br />
<br />
MODIFICACIÓN DE ARCHIVOS<br />
1. Abrir la carpeta Activities/TurtleBots.activity/plugins/butia_listens/asr/hmm<br />
2. Abrir el archivo butia-listens.fileids y agregar una linea al final que contenga el nombre que se le asignó al archivo wav. <br />
<br />
En el ejemplo, la linea a agregar sería tutorial-butia-listens-0001<br />
<br />
3. Abrir el archivo butia-listens.transcription y agregar una linea al final con el sigueinte formato: <s> (nombre del comando en mayúscula) </s> ((nombre del archivo wav))<br />
<br />
En el ejemplo, la linea a agregar sería <s> ADELANTE BUTIA </s> (tutorial-butia-listens-0001)<br />
<br />
APLICACIÓN DE CAMBIOS<br />
Para que los pasos anteriores surtan efecto, es necesario correr dos comandos.<br />
1. Abrir una terminal e ir a la ubicación Activities/TurtleBots.activity/plugins/butia_listens/asr<br />
2. Intruducir el comando cd lm y a continuación introducir sh all.sh<br />
3. Volver a la carpeta anterior mediante el comando cd ..<br />
4. Introducir elcomando cd hmm y a continuación introducir sh all.sh<br />
<br />
Cuando el último comando termine de ejecutarse, los cambios quedarán aplicados.<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar".<br />
<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
<br />
'''Deshacer'''<br />
<br />
La demostración del comando "Deshacer" se separa en 5 casos:<br />
* El último bloque insertado es uno simple (adelante/atrás/derecha/izquierda/detener Butiá).<br />
* El último bloque insertado es uno compuesto por dos bloques (cualquiera de los "Esperar").<br />
* El último bloque insertado es una estructura de repetición ("Por siempre" o cualquiera de los "Repetir").<br />
* El último bloque insertado viene inmediatamente después de salir de una estructura de repetición (mediante el comando "Fin"). En este caso hay que notar que, luego de deshacer, el siguiente bloque que se inserte puede quedar adentro o afuera de la estructura de repetición. Nosotros decidimos que quede fuera y esto se puede ver en el video.<br />
* El último caso se puede ver como una continuación del anterior, con la diferencia de que, luego de insertado el bloque afuera de la estructura de repetición, se deshace más de una vez. De esta forma, se borra el bloque exterior (como en el caso anterior) pero también algunos de los interiores. Lógicamente, al insertarse un bloque nuevo a continuación de lo mencionado, el mismo quedará adentro de la estructura de repetición.<br />
<br />
<br />
<youtube>0mAKes-7qQI</youtube><br />
<br />
<br />
'''Demostración completa'''<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en este proyecto.<br />
<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5789Grupo 32014-08-16T19:52:16Z<p>Alvaro: </p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki de la parte anterior del proyecto.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Tutorial de entrenamiento==<br />
Como se puede leer en el enlace de la sección anterior, la forma de mejorar el reconocimiento del programa es mediante el entrenamiento. La forma de entrenar el programa es sumando archivos con los comandos grabados con distintas voces a los ya existentes. Cuanto más voces distintas con cada comando se graben, mejor se interpretará dicho comando a la hora de usar la paleta.<br />
Para permitir que todo el que desee pueda contribuir al entrenamiento del programa, decidimos realizar un tutorial de entrenamiento, en el cual se muestran los distintos pasos a seguir para agregar su voz al entrenamiento de esta programa.<br />
Para seguir el tutorial, será necesario contar con:<br />
* Un programa de grabación de audio. Nosotros usamos y recomendamos Audacity, disponible para instalar en las XO.<br />
* Tener ubicado el directorio de instalación del TurtleBots, ya que será necesario acceder a algunos archivos desde dicho directorio<br />
<br />
A continuación, un video donde se explican los pasos a seguir.<br />
<br />
<youtube>OG5ebQA8Rpk</youtube><br />
<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar".<br />
<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
<br />
'''Deshacer'''<br />
<br />
La demostración del comando "Deshacer" se separa en 5 casos:<br />
* El último bloque insertado es uno simple (adelante/atrás/derecha/izquierda/detener Butiá).<br />
* El último bloque insertado es uno compuesto por dos bloques (cualquiera de los "Esperar").<br />
* El último bloque insertado es una estructura de repetición ("Por siempre" o cualquiera de los "Repetir").<br />
* El último bloque insertado viene inmediatamente después de salir de una estructura de repetición (mediante el comando "Fin"). En este caso hay que notar que, luego de deshacer, el siguiente bloque que se inserte puede quedar adentro o afuera de la estructura de repetición. Nosotros decidimos que quede fuera y esto se puede ver en el video.<br />
* El último caso se puede ver como una continuación del anterior, con la diferencia de que, luego de insertado el bloque afuera de la estructura de repetición, se deshace más de una vez. De esta forma, se borra el bloque exterior (como en el caso anterior) pero también algunos de los interiores. Lógicamente, al insertarse un bloque nuevo a continuación de lo mencionado, el mismo quedará adentro de la estructura de repetición.<br />
<br />
<br />
<youtube>0mAKes-7qQI</youtube><br />
<br />
<br />
'''Demostración completa'''<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en este proyecto.<br />
<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5788Grupo 32014-08-14T20:31:17Z<p>Alvaro: /* Demostración */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki anterior.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar".<br />
<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
<br />
'''Deshacer'''<br />
<br />
La demostración del comando "Deshacer" se separa en 5 casos:<br />
* El último bloque insertado es uno simple (adelante/atrás/derecha/izquierda/detener Butiá).<br />
* El último bloque insertado es uno compuesto por dos bloques (cualquiera de los "Esperar").<br />
* El último bloque insertado es una estructura de repetición ("Por siempre" o cualquiera de los "Repetir").<br />
* El último bloque insertado viene inmediatamente después de salir de una estructura de repetición (mediante el comando "Fin"). En este caso hay que notar que, luego de deshacer, el siguiente bloque que se inserte puede quedar adentro o afuera de la estructura de repetición. Nosotros decidimos que quede fuera y esto se puede ver en el video.<br />
* El último caso se puede ver como una continuación del anterior, con la diferencia de que, luego de insertado el bloque afuera de la estructura de repetición, se deshace más de una vez. De esta forma, se borra el bloque exterior (como en el caso anterior) pero también algunos de los interiores. Lógicamente, al insertarse un bloque nuevo a continuación de lo mencionado, el mismo quedará adentro de la estructura de repetición.<br />
<br />
<br />
<youtube>0mAKes-7qQI</youtube><br />
<br />
<br />
'''Demostración completa'''<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en este proyecto.<br />
<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5787Grupo 32014-08-14T20:30:14Z<p>Alvaro: /* Demostración */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki anterior.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
'''Deshacer'''<br />
<br />
La demostración del comando "Deshacer" se separa en 5 casos:<br />
* El último bloque insertado es uno simple (adelante/atrás/derecha/izquierda/detener Butiá)<br />
* El último bloque insertado es uno compuesto por dos bloques (cualquiera de los "Esperar")<br />
* El último bloque insertado es una estructura de repetición ("Por siempre" o cualquiera de los "Repetir")<br />
* El último bloque insertado viene inmediatamente después de salir de una estructura de repetición (mediante el comando "Fin"). En este caso hay que notar que, luego de deshacer, el siguiente bloque que se inserte puede quedar adentro o afuera de la estructura de repetición. Nosotros decidimos que quede fuera y esto se puede ver en el video.<br />
* El último caso se puede ver como una continuación del anterior, con la diferencia de que, luego de insertado el bloque afuera de la estructura de repetición, se deshace más de una vez. De esta forma, se borra el bloque exterior (como en el caso anterior) pero también algunos de los interiores. Lógicamente, al insertarse un bloque nuevo a continuación de lo mencionado, el mismo quedará adentro de la estructura de repetición.<br />
<br />
<youtube>0mAKes-7qQI</youtube><br />
<br />
'''Demostración completa'''<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en este proyecto.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5786Grupo 32014-08-14T20:13:54Z<p>Alvaro: /* Demostración */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki anterior.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
'''Subir y bajar scroll'''<br />
<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
'''Deshacer'''<br />
La demostración del comendo "Deshacer" se separa en 5 casos, todos mostrados en el video de más abajo.<br />
<br />
<br />
<br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5784Grupo 32014-08-13T20:09:14Z<p>Alvaro: /* Paleta */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki anterior.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
'''Notas:'''<br />
* El bloque escuchar no debe ser borrado y no debe estar conectado a ningún otro bloque<br />
* Para poder utilizar el comando ejecutar es necesario que se haya colocado un bloque empezar, de modo que la ejecución comience desde el mismo<br />
<br />
==Demostración==<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5783Grupo 32014-08-13T19:54:14Z<p>Alvaro: /* Desarrollo del problema */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki anterior.<br />
<br />
'''Gramática:'''<br />
Al implementar nuevas funcionalidades, fue necesario modificar la gramática original. La nueva gramática, luego de las modificaciones de esta iteración, es la siguiente:<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demostración==<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5782Grupo 32014-08-13T19:51:54Z<p>Alvaro: /* Desarrollo del problema */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema] de la wiki anterior.<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demostración==<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5781Grupo 32014-08-13T19:51:25Z<p>Alvaro: /* Desarrollo del problema */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
En el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga proyecto anterior] se realizó una extensa investigación del área de reconocimiento de voz, recabándose información e implementándose la paleta en base a ella.<br />
La completa explicación sobre el funcionamiento del reconocimiento de voz dentro del proyecto y sobre como fue implementado, se puede leer en la siguiente sección de la wiki anterior [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demostración==<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5780Grupo 32014-08-13T19:31:51Z<p>Alvaro: /* Motivación */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga paleta anterior], pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demostración==<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5779Grupo 32014-08-13T19:30:40Z<p>Alvaro: /* Introducción */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
El proyecto sobre el que trata esta wiki es una continuación del anteriormente mencionado y tiene como objetivo fundamental el mejorar las funcionalidades del anterior, así como agregar nuevas a la paleta.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demostración==<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5778Grupo 32014-08-13T19:27:28Z<p>Alvaro: /* Introducción */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demostración==<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5777Grupo 32014-08-13T19:27:17Z<p>Alvaro: /* Introducción */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demostración==<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5776Grupo 32014-08-13T19:26:49Z<p>Alvaro: /* Introducción */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
En el año 2013 comenzó un proyecto denominado [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga Paleta para primitivas de reconocimiento de voz en tortuga<br />
] que tuvo como objetivo el agregar una paleta al TurtleBot que trabaje con reconocimiento de voz.<br />
La idea central de ese proyecto fue acercar el [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/P%C3%A1gina_principal Proyecto Butiá] a estudiantes con discapacidades físicas tales que no les permitan usar el mouse para manejar el TurtleBots. Se planteó entonces la opción de crear un módulo de reconocimiento de voz que permita programar las funcionalidades del robot mediante comandos de voz.<br />
Dicho proyecto inició la investigación del área del reconocimiento de voz, creó la nueva paleta y agregó las primeras funcionalidades a la misma.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demostración==<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5748Grupo 32014-08-09T01:58:07Z<p>Alvaro: /* Demo */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
El proyecto consiste en agregar nuevas funcionalidades y mejorar, mediante entrenamiento, las existentes en el proyecto anterior.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demostración==<br />
A continuación se adjunta una demostración de la funcionalidad que permite subir y bajar el scroll mediante los comandos de voz "Subir" y "Bajar"<br />
<br />
<youtube>pwnOLB_7D1I</youtube><br />
<br />
Finalmente se adjunta una demostración de todas las funcionalidades agregadas en esta iteración.<br />
<br />
<youtube>9kdOFACfQ0Y</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5733Grupo 32014-08-07T19:05:46Z<p>Alvaro: /* Plugin */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
El proyecto consiste en agregar nuevas funcionalidades y mejorar, mediante entrenamiento, las existentes en el proyecto anterior.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demo==<br />
Ejemplo de ejecutar: <br />
<br />
<youtube>UVaBrpXh3s4</youtube><br />
<br />
Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br />
<br />
Ejemplo de limpiar bloques: <br />
<br />
<youtube>85LtJ-DWd5Q</youtube><br />
<br />
Ejemplo de instrucciones con error al final: <br />
<br />
<youtube>A5dZr13dnHY</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5732Grupo 32014-08-07T18:59:15Z<p>Alvaro: /* Plugin */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
El proyecto consiste en agregar nuevas funcionalidades y mejorar, mediante entrenamiento, las existentes en el proyecto anterior.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demo==<br />
Ejemplo de ejecutar: <br />
<br />
<youtube>UVaBrpXh3s4</youtube><br />
<br />
Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br />
<br />
Ejemplo de limpiar bloques: <br />
<br />
<youtube>85LtJ-DWd5Q</youtube><br />
<br />
Ejemplo de instrucciones con error al final: <br />
<br />
<youtube>A5dZr13dnHY</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,2 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5731Grupo 32014-08-06T19:51:49Z<p>Alvaro: </p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
El proyecto consiste en agregar nuevas funcionalidades y mejorar, mediante entrenamiento, las existentes en el proyecto anterior.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demo==<br />
Ejemplo de ejecutar: <br />
<br />
<youtube>UVaBrpXh3s4</youtube><br />
<br />
Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br />
<br />
Ejemplo de limpiar bloques: <br />
<br />
<youtube>85LtJ-DWd5Q</youtube><br />
<br />
Ejemplo de instrucciones con error al final: <br />
<br />
<youtube>A5dZr13dnHY</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]] (31,07 MB)</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Archivo:Butia_listens.zip&diff=5730Archivo:Butia listens.zip2014-08-06T19:23:29Z<p>Alvaro: subió una nueva versión de «Archivo:Butia listens.zip»: Paleta de reconocimiento de voz para TurtleBots.</p>
<hr />
<div>Plugin reconocimiento de voz</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5729Grupo 32014-08-06T19:11:23Z<p>Alvaro: /* Referencias */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
El proyecto consiste en agregar nuevas funcionalidades y mejorar, mediante entrenamiento, las existentes en el proyecto anterior.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demo==<br />
Ejemplo de ejecutar: <br />
<br />
<youtube>UVaBrpXh3s4</youtube><br />
<br />
Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br />
<br />
Ejemplo de limpiar bloques: <br />
<br />
<youtube>85LtJ-DWd5Q</youtube><br />
<br />
Ejemplo de instrucciones con error al final: <br />
<br />
<youtube>A5dZr13dnHY</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
<br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]]</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5728Grupo 32014-08-06T19:10:51Z<p>Alvaro: /* Trabajo a futuro */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
El proyecto consiste en agregar nuevas funcionalidades y mejorar, mediante entrenamiento, las existentes en el proyecto anterior.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demo==<br />
Ejemplo de ejecutar: <br />
<br />
<youtube>UVaBrpXh3s4</youtube><br />
<br />
Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br />
<br />
Ejemplo de limpiar bloques: <br />
<br />
<youtube>85LtJ-DWd5Q</youtube><br />
<br />
Ejemplo de instrucciones con error al final: <br />
<br />
<youtube>A5dZr13dnHY</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Agregar más funcionalidades básicas y más complejas, como por ejemplo guardado de proyecto, uso de cajas, estructuras "if" y sensores.<br />
* Entrenar aún más el modelo acústico.<br />
* Ampliar a otros idiomas.<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]]</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5727Grupo 32014-08-06T19:08:25Z<p>Alvaro: /* Conclusiones */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
El proyecto consiste en agregar nuevas funcionalidades y mejorar, mediante entrenamiento, las existentes en el proyecto anterior.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demo==<br />
Ejemplo de ejecutar: <br />
<br />
<youtube>UVaBrpXh3s4</youtube><br />
<br />
Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br />
<br />
Ejemplo de limpiar bloques: <br />
<br />
<youtube>85LtJ-DWd5Q</youtube><br />
<br />
Ejemplo de instrucciones con error al final: <br />
<br />
<youtube>A5dZr13dnHY</youtube><br />
<br />
==Conclusiones==<br />
Logramos implementar las funcionalidades que nos propusimos y concluímos que aún quedan varias funcionalidades importantes que desarrollar, como las estructuras "if-then-else" y la utilización de cajas.<br />
Centramos nuestro trabajo en agregar algunas estructuras básicas, como repetir (de 1 a 10) y por siempre, y funcionalidades de edición, como movimiento del scroll y el deshacer. Esta última es fundamental, dado que el reconocimiento de voz es aún inexacto y es necesario poder volver atrás sin necesidad de borrar todo.<br />
El otro objetivo que nos propusimos fue el de mejorar el entrenamiento de las funcionalidades preexistentes.<br />
Logramos duplicar la base de datos de voz y mejorar el reconocimiento adecuado de los comandos anteriores. Sin embargo, notamos que todavía hace falta trabajo de entrenamiento para que la paleta pueda ser usada convenientemente.<br />
<br />
==Trabajo a futuro==<br />
* Ampliar la gramática para abarcar mas funcionalidades del TurtleBot.<br />
* Entrenar el modelo acústico con más personas y en ambientes con ruido.<br />
* Ampliar a otros idiomas<br />
<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]]</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5726Grupo 32014-08-06T18:48:32Z<p>Alvaro: /* Motivación */</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
El proyecto consiste en agregar nuevas funcionalidades y mejorar, mediante entrenamiento, las existentes en el proyecto anterior.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
Las principales dificultades que notamos a la hora de programar mediante voz con la paleta anterior, pasaban por la imposibilidad de desplazarse por la pantalla (moviendo el scroll) y de deshacer. Creímos conveniente orientar nuestro trabajo hacía la implementación de dichas funcionalidades.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demo==<br />
Ejemplo de ejecutar: <br />
<br />
<youtube>UVaBrpXh3s4</youtube><br />
<br />
Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br />
<br />
Ejemplo de limpiar bloques: <br />
<br />
<youtube>85LtJ-DWd5Q</youtube><br />
<br />
Ejemplo de instrucciones con error al final: <br />
<br />
<youtube>A5dZr13dnHY</youtube><br />
<br />
==Conclusiones==<br />
Aprendimos como se trabaja con reconocimiento de voz y lo complejo que es esto. <br />
También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo aún.<br />
<br />
==Trabajo a futuro==<br />
* Ampliar la gramática para abarcar mas funcionalidades del TurtleBot.<br />
* Entrenar el modelo acústico con más personas y en ambientes con ruido.<br />
* Ampliar a otros idiomas<br />
<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]]</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5725Grupo 32014-08-06T18:40:43Z<p>Alvaro: </p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Introducción==<br />
El proyecto consiste en agregar nuevas funcionalidades y mejorar, mediante entrenamiento, las existentes en el proyecto anterior.<br />
<br />
==Motivación==<br />
Nos pareció buena idea continuar con este proyecto, con el fin de mejorarlo y acercarlo más a el objetivo final de insertarlo en el mundo educativo, dando así nuevas posibilidades a los chicos con capacidades diferentes de trabajar con el robot Butiá.<br />
<br />
==Objetivos==<br />
* Agregar varias funcionalidades básicas a las ya existentes.<br />
* Permitir al usuario una más cómoda edición del código, mediante comandos para mover del scroll y la operación "Deshacer".<br />
* Agregar más entrenamiento a las operaciones pre existentes, con el fin de mejorar la capacidad de reconocimiento de las mismas.<br />
<br />
==Desarrollo del problema==<br />
''Articulo principal:'' [http://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php/Paleta_para_primitivas_de_reconocimiento_de_voz_en_tortuga#Desarrollo_del_problema Paleta para primitivas de reconocimiento de voz en tortuga: Desarrollo del problema]<br />
<br />
'''Gramática:'''<br />
La gramática actual es la siguiente:<br />
<br />
[[Archivo:Gram.jpg]]<br />
<br />
==Paleta==<br />
<br />
[[Archivo:PaletaEscuchar.png]]<br />
<br />
La paleta como se ve en la imagen consta de un solo bloque llamado escuchar. Lo que hace este bloque es iniciar el programa que escucha.<br />
Luego simplemente se comienza a decir las instrucciones. <br />
<br />
'''Comandos soportados desde antes:'''<br />
* Empezar<br />
* Adelante Butiá<br />
* Atrás Butiá<br />
* Derecha Butiá<br />
* Izquierda Butiá<br />
* Esperar [número] donde número es la cantidad de tiempo a esperar de 1 a 10<br />
* Limpiar: Borra todos los comandos <br />
* Ejecutar: Deja de escuchar y ejecuta el programa <br />
<br />
'''Comandos nuevos:'''<br />
* Bajar: Baja el scroll<br />
* Subir: Sube el scroll<br />
* Deshacer<br />
* Por siempre<br />
* Repetir [número] donde número es la cantidad de veces a repetir de 1 a 10<br />
* Fin: Comando utilizado para terminar de poner bloques dentro de una estructura de repetición (Repetir o Por siempre) y comenzar a ponerlos abajo de la misma<br />
<br />
==Demo==<br />
Ejemplo de ejecutar: <br />
<br />
<youtube>UVaBrpXh3s4</youtube><br />
<br />
Aclaración: El problema del ultimo bloque que agrega luego de recibir el comando ejecutar ya fue arreglado.<br />
<br />
Ejemplo de limpiar bloques: <br />
<br />
<youtube>85LtJ-DWd5Q</youtube><br />
<br />
Ejemplo de instrucciones con error al final: <br />
<br />
<youtube>A5dZr13dnHY</youtube><br />
<br />
==Conclusiones==<br />
Aprendimos como se trabaja con reconocimiento de voz y lo complejo que es esto. <br />
También vimos la importancia de tener una buena base de datos de voz para que funcione bien, aunque no pudimos lograrlo aún.<br />
<br />
==Trabajo a futuro==<br />
* Ampliar la gramática para abarcar mas funcionalidades del TurtleBot.<br />
* Entrenar el modelo acústico con más personas y en ambientes con ruido.<br />
* Ampliar a otros idiomas<br />
<br />
<br />
==Referencias==<br />
[1] Modelo acustico VoxForge: http://www.voxforge.org/es<br />
[2] Tutorial Pocketsphinx http://cmusphinx.sourceforge.net/wiki/tutorialpocketsphinx <br />
[3] Using PocketSphinx with GStreamer: http://cmusphinx.sourceforge.net/wiki/gstreamer<br />
[4] Adapting the default acoustic model: http://cmusphinx.sourceforge.net/wiki/tutorialadapt<br />
<br />
==Plugin==<br />
[[Archivo:Butia_listens.zip ]]</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Archivo:Gram.jpg&diff=5724Archivo:Gram.jpg2014-08-06T18:27:14Z<p>Alvaro: Gramática versión 2.0</p>
<hr />
<div>Gramática versión 2.0</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5543Grupo 32014-07-02T21:55:09Z<p>Alvaro: </p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Actas==<br />
===Primera reunión - 02/07/2014===<br />
Acordamos realizar una investigación sobre la estructura interna del TortugArte, para saber de que forma encarar la ampliación del proyeto y la inclusión de bloques más complejos que los ya controlados por el plugin. Por ejemplo: bloques de control, borrado de bloques individuales.<br />
<br />
El objetivo para la sigueinte reunión es definir el alcance del proyecto en base a lo investigado anteriormente.</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5542Grupo 32014-07-02T21:50:02Z<p>Alvaro: </p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa<br />
<br />
==Actas==<br />
'''Primera reunión - 02/07/2014'''<br />
Acordamos realizar una investigación sobre la estructura interna del TortugArte, para saber de que forma encarar la ampliación del proyeto y la inclusión de bloques más complejos que los ya controlados por el plugin. Por ejemplo: bloques de control, borrado de bloques individuales.<br />
El objetivo para la sigueinte reunión es definir el alcance del proyecto en base a lo investigado anteriormente.</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_3&diff=5541Grupo 32014-07-01T19:19:28Z<p>Alvaro: Página creada con '==Integrantes== * Álvaro Pardo * Fernando Penadés ==Tutor== * Mercedes Marzoa'</p>
<hr />
<div>==Integrantes==<br />
* Álvaro Pardo<br />
* Fernando Penadés<br />
<br />
==Tutor==<br />
* Mercedes Marzoa</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Archivo:VideoEjercicio1.zip&diff=5115Archivo:VideoEjercicio1.zip2014-04-07T14:29:13Z<p>Alvaro: subió una nueva versión de «Archivo:VideoEjercicio1.zip»</p>
<hr />
<div></div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_laboratorio_3_2014&diff=5111Grupo laboratorio 3 20142014-04-07T13:09:13Z<p>Alvaro: </p>
<hr />
<div>== Integrantes: ==<br />
<br />
<br />
<br />
Alvaro Pardo<br />
<br />
Fernando Penadés<br />
<br />
== Programa 1 ==<br />
<br />
[[Archivo:Imagen1.png]]<br />
<br />
Toma un numero entre 1 y 6 y saca esa cantidad de fotos, esperando 2 segundos entre cada captura.<br />
Código fuente del ejercicio: [[Media:Ejercicio1.tb.zip]]<br />
<br />
Video de uso: [[Media:VideoEjercicio1.zip]]<br />
<br />
== Programa 2 ==<br />
<br />
<br />
[[Archivo:Imagen2.png]]<br />
<br />
El programa obtiene la posición "x" e "y" del mouse y el "brillo de la cámara". Luego traza lineas de largo "x modulo 100" y gira cuantos grados indique el "brillo de la cámara". Este proceso lo repite "y modulo 100" veces.<br />
<br />
Cógido fuente del ejercicio: [[Media:Ejercicio2.tb.zip]]<br />
<br />
Video de uso: [[Media:VideoEjercicio2.zip]]</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_laboratorio_3_2014&diff=5110Grupo laboratorio 3 20142014-04-07T13:08:49Z<p>Alvaro: </p>
<hr />
<div>#INDEX Índice de contenido<br />
== Integrantes: ==<br />
<br />
<br />
<br />
Alvaro Pardo<br />
<br />
Fernando Penadés<br />
<br />
== Programa 1 ==<br />
<br />
[[Archivo:Imagen1.png]]<br />
<br />
Toma un numero entre 1 y 6 y saca esa cantidad de fotos, esperando 2 segundos entre cada captura.<br />
Código fuente del ejercicio: [[Media:Ejercicio1.tb.zip]]<br />
<br />
Video de uso: [[Media:VideoEjercicio1.zip]]<br />
<br />
== Programa 2 ==<br />
<br />
<br />
[[Archivo:Imagen2.png]]<br />
<br />
El programa obtiene la posición "x" e "y" del mouse y el "brillo de la cámara". Luego traza lineas de largo "x modulo 100" y gira cuantos grados indique el "brillo de la cámara". Este proceso lo repite "y modulo 100" veces.<br />
<br />
Cógido fuente del ejercicio: [[Media:Ejercicio2.tb.zip]]<br />
<br />
Video de uso: [[Media:VideoEjercicio2.zip]]</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_laboratorio_3_2014&diff=5109Grupo laboratorio 3 20142014-04-07T13:05:54Z<p>Alvaro: </p>
<hr />
<div>== Integrantes: ==<br />
<br />
<br />
<br />
Alvaro Pardo<br />
<br />
Fernando Penadés<br />
<br />
== Programa 1 ==<br />
<br />
[[Archivo:Imagen1.png]]<br />
<br />
Toma un numero entre 1 y 6 y saca esa cantidad de fotos, esperando 2 segundos entre cada captura.<br />
Código fuente del ejercicio: [[Media:Ejercicio1.tb.zip]]<br />
<br />
Video de uso: [[Media:VideoEjercicio1.zip]]<br />
<br />
== Programa 2 ==<br />
<br />
<br />
[[Archivo:Imagen2.png]]<br />
<br />
El programa obtiene la posición "x" e "y" del mouse y el "brillo de la cámara". Luego traza lineas de largo "x modulo 100" y gira cuantos grados indique el "brillo de la cámara". Este proceso lo repite "y modulo 100" veces.<br />
<br />
Cógido fuente del ejercicio: [[Media:Ejercicio2.tb.zip]]<br />
<br />
Video de uso: [[Media:VideoEjercicio2.zip]]</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Archivo:VideoEjercicio1.zip&diff=5108Archivo:VideoEjercicio1.zip2014-04-07T13:05:05Z<p>Alvaro: </p>
<hr />
<div></div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Archivo:VideoEjercicio2.zip&diff=5107Archivo:VideoEjercicio2.zip2014-04-07T12:59:08Z<p>Alvaro: </p>
<hr />
<div></div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_laboratorio_3_2014&diff=5106Grupo laboratorio 3 20142014-04-07T12:58:57Z<p>Alvaro: /* Programa 2 */</p>
<hr />
<div>== Integrantes: ==<br />
<br />
<br />
<br />
Alvaro Pardo<br />
<br />
Fernando Penadés<br />
<br />
== Programa 1 ==<br />
<br />
[[Archivo:Imagen1.png]]<br />
<br />
Toma un numero entre 1 y 6 y saca esa cantidad de fotos, esperando 2 segundos entre cada captura.<br />
Código fuente del ejercicio: [[Media:Ejercicio1.tb.zip]]<br />
<br />
Video de uso:<br />
<br />
== Programa 2 ==<br />
<br />
<br />
[[Archivo:Imagen2.png]]<br />
<br />
El programa obtiene la posición "x" e "y" del mouse y el "brillo de la cámara". Luego traza lineas de largo "x modulo 100" y gira cuantos grados indique el "brillo de la cámara". Este proceso lo repite "y modulo 100" veces.<br />
<br />
Cógido fuente del ejercicio: [[Media:Ejercicio2.tb.zip]]<br />
<br />
Video de uso: [[Media:VideoEjercicio2.zip]]</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_laboratorio_3_2014&diff=5066Grupo laboratorio 3 20142014-04-06T21:53:51Z<p>Alvaro: /* Integrantes: */</p>
<hr />
<div>== Integrantes: ==<br />
<br />
<br />
<br />
Alvaro Pardo<br />
<br />
Fernando Penadés<br />
<br />
== Programa 1 ==<br />
<br />
[[Archivo:Imagen1.png]]<br />
<br />
Toma un numero entre 1 y 6 y saca esa cantidad de fotos, esperando 2 segundos entre cada captura.<br />
Código fuente del ejercicio: [[Media:Ejercicio1.tb.zip]]<br />
<br />
Video de uso:<br />
<br />
== Programa 2 ==<br />
<br />
<br />
[[Archivo:Imagen2.png]]<br />
<br />
El programa obtiene la posición "x" e "y" del mouse y el "brillo de la cámara". Luego traza lineas de largo "x modulo 100" y gira cuantos grados indique el "brillo de la cámara". Este proceso lo repite "y modulo 100" veces.<br />
<br />
Cógido fuente del ejercicio: [[Media:Ejercicio2.tb.zip]]<br />
<br />
Video de uso:</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_laboratorio_3_2014&diff=5062Grupo laboratorio 3 20142014-04-06T20:31:08Z<p>Alvaro: /* Integrantes: */</p>
<hr />
<div>== Integrantes: ==<br />
<br />
<br />
<br />
Alvaro Pardo<br />
<br />
Fernando Penadés<br />
<br />
Ezequiel Sanchez<br />
<br />
== Programa 1 ==<br />
<br />
[[Archivo:Imagen1.png]]<br />
<br />
Toma un numero entre 1 y 6 y saca esa cantidad de fotos, esperando 2 segundos entre cada captura.<br />
Código fuente del ejercicio: [[Media:Ejercicio1.tb.zip]]<br />
<br />
Video de uso:<br />
<br />
== Programa 2 ==<br />
<br />
<br />
[[Archivo:Imagen2.png]]<br />
<br />
El programa obtiene la posición "x" e "y" del mouse y el "brillo de la cámara". Luego traza lineas de largo "x modulo 100" y gira cuantos grados indique el "brillo de la cámara". Este proceso lo repite "y modulo 100" veces.<br />
<br />
Cógido fuente del ejercicio: [[Media:Ejercicio2.tb.zip]]<br />
<br />
Video de uso:</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_laboratorio_3_2014&diff=5061Grupo laboratorio 3 20142014-04-06T20:30:28Z<p>Alvaro: /* Programa 1 */</p>
<hr />
<div>== Integrantes: ==<br />
<br />
<br />
<br />
Alvaro Pardo<br />
Fernando Penadés<br />
Ezequiel Sanchez<br />
<br />
<br />
== Programa 1 ==<br />
<br />
[[Archivo:Imagen1.png]]<br />
<br />
Toma un numero entre 1 y 6 y saca esa cantidad de fotos, esperando 2 segundos entre cada captura.<br />
Código fuente del ejercicio: [[Media:Ejercicio1.tb.zip]]<br />
<br />
Video de uso:<br />
<br />
== Programa 2 ==<br />
<br />
<br />
[[Archivo:Imagen2.png]]<br />
<br />
El programa obtiene la posición "x" e "y" del mouse y el "brillo de la cámara". Luego traza lineas de largo "x modulo 100" y gira cuantos grados indique el "brillo de la cámara". Este proceso lo repite "y modulo 100" veces.<br />
<br />
Cógido fuente del ejercicio: [[Media:Ejercicio2.tb.zip]]<br />
<br />
Video de uso:</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Archivo:Imagen1.png&diff=5060Archivo:Imagen1.png2014-04-06T20:29:12Z<p>Alvaro: </p>
<hr />
<div></div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Grupo_laboratorio_3_2014&diff=5059Grupo laboratorio 3 20142014-04-06T20:12:27Z<p>Alvaro: Página creada con '== Integrantes: == Alvaro Pardo Fernando Penadés Ezequiel Sanchez == Programa 1 == Código fuente del ejercicio: Media:Ejercicio1.tb.zip Video de uso: == Program...'</p>
<hr />
<div>== Integrantes: ==<br />
<br />
<br />
<br />
Alvaro Pardo<br />
Fernando Penadés<br />
Ezequiel Sanchez<br />
<br />
<br />
== Programa 1 ==<br />
<br />
<br />
<br />
Código fuente del ejercicio: [[Media:Ejercicio1.tb.zip]]<br />
<br />
Video de uso:<br />
<br />
<br />
== Programa 2 ==<br />
<br />
<br />
[[Archivo:Imagen2.png]]<br />
<br />
El programa obtiene la posición "x" e "y" del mouse y el "brillo de la cámara". Luego traza lineas de largo "x modulo 100" y gira cuantos grados indique el "brillo de la cámara". Este proceso lo repite "y modulo 100" veces.<br />
<br />
Cógido fuente del ejercicio: [[Media:Ejercicio2.tb.zip]]<br />
<br />
Video de uso:</div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Archivo:Imagen2.png&diff=5058Archivo:Imagen2.png2014-04-06T20:01:07Z<p>Alvaro: </p>
<hr />
<div></div>Alvarohttp://www.fing.edu.uy/inco/proyectos/butia/mediawiki/index.php?title=Archivo:Ejercicio2.tb.zip&diff=5057Archivo:Ejercicio2.tb.zip2014-04-06T19:48:17Z<p>Alvaro: </p>
<hr />
<div></div>Alvaro