Merge pull request #28 from lappis-unb/devel

Devel

Author: pablodiegoss

.gitignore

@@ -15,16 +15,18 @@ bot/.keras/
 bot/.local/
 bot/work
 
-### Intents Notebook ###
+### Jupyter Notebooks ###
 notebooks/intents/evaluate-intents.ipynb
-notebooks/intents/models
 notebooks/intents/errors.json
-notebooks/stories/matrix.pdf
+notebooks/intents/reports/
+notebooks/intents/hist.png
+notebooks/intents/confmat.png
 
- ### Stories Notebook ###
 notebooks/stories/models
 notebooks/stories/errors.json
 notebooks/stories/img
+notebooks/stories/results/
+notebooks/stories/matrix.pdf
 
 ### Rocketchat ###
 /data
@@ -146,7 +148,7 @@ docs/_build/
 target/
 
 # Jupyter Notebook
-.ipynb_checkpoints
+*.ipynb_checkpoints*
 
 # pyenv
 .python-version
@@ -192,3 +194,7 @@ tags
 
 
 # End of https://www.gitignore.io/api/vim,linux,macos,python
+
+models/dialogue/
+
+models/nlu/current/

Makefile

@@ -0,0 +1,12 @@
+first-run:
+	cd docker && ./build-base.sh
+	make train
+	docker-compose run --rm bot make config-rocket
+	docker-compose up bot
+
+train:
+	docker build . -f docker/coach.Dockerfile -t botcoach:latest
+	docker-compose build bot
+
+console:
+	docker-compose run bot make run-console

README.md

@@ -2,9 +2,10 @@
 <a href="https://codeclimate.com/github/lappis-unb/rasa-ptbr-boilerplate/maintainability"><img src="https://api.codeclimate.com/v1/badges/3fe22bf52000e147c6df/maintainability" /></a>
 
 # Rasa Boilerplate
+<!-- badges -->
+<a href="https://www.gnu.org/licenses/gpl-3.0.pt-br.html"><img src="https://img.shields.io/badge/licence-GPL3-green.svg"/></a>
 
-Um projeto feito em Rasa com configurações necessárias para a construção
-de um projeto grande de chatbot.
+Um projeto feito em Rasa com configurações necessárias para a construção de um projeto grande de chatbot.
 
 Este projeto teve como base a [Tais](http://github.com/lappis-unb/tais).
 
@@ -19,9 +20,18 @@ As *models* utilizadas para a conversação foram geradas pelo módulo *trainer*
 Os notebooks avaliam o funcionamento de acordo com o formato das *intents* e *stories*.
 O elasticsearch coleta os dados da conversa e armazena para a análise feita pelo kibana, que gera gráficos para avaliação das conversas dos usuários e do boilerplate.
 
-
 ## Bot
 
+**Atenção**: Para funcionamento inicial das imagens docker citadas aqui, como "bot", "coach" e "requirements", é importante que em sua primeira execução deste repositório, seja executado:
+```sh
+docker-compose up -d rocketchat
+
+make first-run
+# ou 
+sudo make first-run
+```
+Este script foi configurado para construir as imagens genéricas necessárias para execução deste ambiente. Caso seu projeto utilize este boilerplate e vá realizar uma integração contínua ou similar, é interessante criar um repositório para as imagens e substitua os nomes das imagens "bot", "coach" e "requirements" pelas suas respectivas novas imagens, por exemplo "<organização>/bot" em repositório público, não sendo mais necessário então a execução do script "first-run".
+
 ### RocketChat
 
 ```sh
@@ -106,8 +116,10 @@ Para executar somente o serviço do bot para o Telegram, utilize o seguinte coma
 Se ainda não tiver treinado seu bot execute antes:
 
 ```sh
-sudo docker-compose run --rm bot make train
+make train
 ```
+**Atenção**: o comando "make train" executa um container docker, caso precise de sudo em seu computador para execução docker, utilize "sudo make train".  
+
 
 Depois execute o bot no telegram:
 
@@ -118,15 +130,15 @@ sudo docker-compose up telegram_bot
 ### Console
 
 ```sh
-sudo docker-compose run --rm bot make train
+make train
 sudo docker-compose run --rm bot make run-console
 ```
 
 ### Train Online
 
 ```
-sudo docker-compose run --rm bot make train
-sudo docker-compose run --rm bot make train-online
+make train
+sudo docker-compose run --rm coach make train-online
 ```
 
 ## Analytics
@@ -181,6 +193,7 @@ sudo docker-compose run --rm -v $PWD/analytics:/analytics bot python /analytics/
 sudo docker-compose up -d bot
 ```
 
+
 # Como conseguir ajuda
 
 Parte da documentação técnica do framework da Tais está disponível na [wiki do repositório](https://github.com/lappis-unb/tais/wiki). Caso não encontre sua resposta, abra uma issue com a tag `duvida` que tentaremos responder o mais rápido possível.

bot/Makefile

@@ -1,37 +1,24 @@
-train-nlu:
-	python3 -m rasa_nlu.train -c nlu_config.yml --fixed_model_name current \
-  --data data/intents/ -o models --project nlu --verbose
-
-train-core:
-	python3 train.py
-
-train: train-nlu train-core
-
 run-rocketchat:
 	python3 run-rocketchat.py
 
 run-telegram:
-	python -m rasa_core.run -d models/dialogue -u models/nlu/current --port 5001 --credentials credentials.yml --endpoints endpoints.yml
+	python -m rasa_core.run -d /models/dialogue -u /models/nlu/current --port 5001 --credentials credentials.yml --endpoints endpoints.yml
+
+config-rocket:
+	python /scripts/bot_config.py
 
 run-console:
-	python3 -m rasa_core.run -d models/dialogue -u models/nlu/current \
+	python3 -m rasa_core.run -d /models/dialogue -u /models/nlu/current \
   --debug --endpoints endpoints.yml
 
 run-api:
-	python3 -m rasa_core.run -d models/dialogue -u models/nlu/current \
+	python3 -m rasa_core.run -d /models/dialogue -u /models/nlu/current \
   --endpoints endpoints.yml --debug --enable_api 
 
-train-online:
-	python -m rasa_core.train        \
-  interactive -o models/dialogue     \
-  -d domain.yml -c policy_config.yml \
-  -s data/stories                    \
-  --nlu models/nlu/current/          \
-  --endpoints endpoints.yml
-
-
 evaluate:
-	python3 -m rasa_core.evaluate -d models/dialogue -s data/core/
+	python3 -m rasa_core.evaluate -d /models/dialogue -s data/core/
 
 run-actions:
 	python -m rasa_core_sdk.endpoint --actions actions
+
+

bot/connector.py

@@ -26,9 +26,14 @@ def __init__(self, user, password, server, ssl=False):
         self.password = password
 
         self.logged_in = False
-
-        self.connector.connect()
-        self.login()
+        try:
+            self.connector.connect()
+            self.login()
+        except:
+            raise Exception (
+                '\n\n\n\n\nRocket-chat is not running! \n'
+                'Be sure to run docker-compose up rocketchat\n'
+                'or change your run-rocketchat for run-console on docker-compose.yml')
 
     def login(self):
         while not self.logged_in:

bot/nlu_config.yml

@@ -56,4 +56,4 @@ def run(core_dir, nlu_dir):
         logger.exception(exc)
 
 if __name__ == '__main__':
-    run('models/dialogue', 'models/nlu/current')
+    run('/models/dialogue', '/models/nlu/current')

bot/run-rocketchat.py

@@ -0,0 +1,19 @@
+train-nlu:
+	python3 -m rasa_nlu.train -c nlu_config.yml --fixed_model_name current \
+	--data data/intents/ -o /src_models --project nlu --verbose
+
+train-core:
+	python3 train.py
+
+train: train-nlu train-core
+
+train-online:
+	python -m rasa_core.train        \
+  interactive -o models/dialogue     \
+  -d domain.yml -c policy_config.yml \
+  -s data/stories                    \
+  --nlu models/nlu/current/          \
+  --endpoints endpoints.yml
+
+run-validator:
+	python3 validator.py --intents data/intents/ --stories data/stories --domain domain.yml