Merge pull request #1170 from scieloorg/beta

Incorporação de códigos estáveis

Author: gustavofonseca

.travis.yml

@@ -1,3 +1,4 @@
+sudo: false
 language: python
 python:
   - 2.7

Makefile

@@ -10,7 +10,6 @@ deps:
 clean:
 	@echo "Removing all .pyc files..."
 	@find . -name "*.pyc" -delete
-	@echo "Removing articletrack db structure..."
 
 test: 
 	@python $(MANAGE) test --settings=$(SETTINGS_TEST)

circus.ini-TEMPLATE

@@ -0,0 +1,33 @@
+.. _func-getScanArticlesBatch:
+
+``scanResults getScanArticlesBatch(1:string batch_id) throws (1:ServerError srv_err, 2:BadRequestError req_err, 3:TimeoutError tou_err);``
+==========================================================================================================================================
+
+
+Retorna a struct ``ScanArticlesResults`` representando o lote identificado 
+por *batch_id*. A struct contém dois campos: 1) next_batch_id - que é o 
+identificador para a obtenção do próximo lote e 2) articles - a lista de 
+``Article``. 
+
+A responsabilidade de saber o momento de parar de solicitar por novos lotes é 
+do cliente. O serviço sempre retornará valores para ''next_batch_id'', mesmo 
+que não haja mais resultado.
+
+
+Exemplo:: 
+
+    def get_articles(year):
+        batch_id = client.scanArticles(
+                '{"query": {"match": {"year": %s}}, "size": 50}' % year)
+
+        while True:
+            result = client.getScanArticlesBatch(batch_id)
+
+            if not result.articles:
+                return
+
+            for article in result.articles:
+                yield article
+
+            batch_id = result.next_batch_id
+

docs/dev/rpc_spec/getScanArticlesBatch.rst

@@ -0,0 +1,58 @@
+.. _func-scanArticles:
+
+``string scanArticles(1:string es_dsl_query) throws (1:ServerError srv_err, 2:BadRequestError req_err, 3:TimeoutError tou_err);``
+=================================================================================================================================
+
+
+Realiza consulta nos registros do tipo de ``journalmanager.models.Article``, 
+fazendo uso da DSL do Elasticsearch, e retorna identificador para o primeiro 
+lote de resultados.
+
+Os índices que podem ser utilizados na consulta são:
+
++----------------------+------------------------------------------------------+
+| Índice               | Descrição                                            |
++======================+======================================================+
+| abbrev_journal_title | Título abreviado do periódico conforme ISSN.         |
++----------------------+------------------------------------------------------+
+| epub                 | ISSN eletrônico do periódico.                        |
++----------------------+------------------------------------------------------+
+| ppub                 | ISSN impresso do periódico.                          |
++----------------------+------------------------------------------------------+
+| volume               | Identificador de volume do fascículo o qual o artigo | 
+|                      | é parte.                                             |
++----------------------+------------------------------------------------------+
+| issue                | Identificador do fascículo o qual o artigo é parte.  |
++----------------------+------------------------------------------------------+
+| year                 | Ano de publicação.                                   |
++----------------------+------------------------------------------------------+
+| doi                  | Digital Object Identifier.                           |
++----------------------+------------------------------------------------------+
+| pid                  | Identificador único de artigo (legado).              |
++----------------------+------------------------------------------------------+
+| aid                  | Article Id (identificador único atual).              |
++----------------------+------------------------------------------------------+
+| head_subject         | Seção do fascículo a qual o artigo é parte.          |
++----------------------+------------------------------------------------------+
+| article_type         | O tipo do documento conforme consta no doc XML.      |                     
++----------------------+------------------------------------------------------+
+| version              | A versão da especificação SciELO PS.                 |
++----------------------+------------------------------------------------------+
+| is_aop               | Se o artigo é `ahead of print`.                      |
++----------------------+------------------------------------------------------+
+| source               | O documento XML codificado em utf-8.                 |
++----------------------+------------------------------------------------------+
+
+
+.. note:: A quantidade de registros por lote não é definida pelo cliente, e 
+          sim pelo servidor, a fim de manter a saúde dos serviços.
+
+
+Exemplo::
+
+    batch_id = client.scanArticles('{"query": {"match": {"year": "2013"}}}')
+    next_batch_id, articles = client.getScanArticlesBatch(batch_id)
+
+    for article in articles:
+        ...
+

docs/dev/rpc_spec/scanArticles.rst

@@ -23,7 +23,7 @@ django-kombu
 defusedxml==0.4.1
 cython
 thriftpy
-django-countries
+django-countries==3.3
 -e git+https://github.com/scieloorg/[email protected]#egg=thriftpywrap
 elasticsearch>=1.0.0,<2.0.0
-zerorpc>=0.4.4   
+zerorpc>=0.4.4

fabfile.py

@@ -35,8 +35,8 @@ class EditorialMember(models.Model):
     link_cv = models.URLField(_('Link CV'), null=True, blank=True)
     city = models.CharField(_('City'), max_length=256, null=True, blank=True)
     state = models.CharField(_('State'), max_length=256, null=True, blank=True)
-    country = CountryField(_('Country'), default='')
-    research_id = models.CharField(_('ResearchID'), max_length=256, null=True, blank=True)
+    country = CountryField(_('Country'), blank_label="----------")
+    research_id = models.CharField(_('ResearcherID'), max_length=256, null=True, blank=True)
     orcid = models.CharField(_('ORCID'), max_length=256, null=True, blank=True)
 
     order = models.IntegerField(_('board order'), default=1)

fabfile_settings.py-TEMPLATE

@@ -27,6 +27,8 @@
     //Register autocomplete when model made visible to the user
     $('#id_modal_form').on('loaded', function(){
       {% include "includes/add_member_form_loaded_callbacks.js" %}
+
+      $('.btn-resize-full').click()
     });//loaded
 
     function display_error(message){

libs/django-tastypie-0.9.12-alpha.tar.gz

@@ -153,7 +153,7 @@ <h4><strong>{{ member.get_full_name }}</strong></h4>
                                           {% if member.institution %} &bull; {{ member.institution }}{% endif %}
                                           {% if member.city %} &bull; {{ member.city }} {% endif %}
                                           {% if member.state %} &bull; {{ member.state }} {% endif %}
-                                          {% if member.country %} &bull; {{ member.country }} {% endif %}
+                                          {% if member.country %} &bull; {{ member.country.name }} {% endif %}
                                           {% if member.email %}
                                             <a href="mailto:{{ member.email }}">
                                               <i class="icon-envelope"></i> {{ member.email }}
@@ -210,6 +210,6 @@ <h4><strong>{{ member.get_full_name }}</strong></h4>
     {% endfor %}
 </div>
 
-{% modal_form title="Edit Member" %}
+{% modal_form title="Manage Member" %}
 {% modal_form title="Confirm to delete this Member" modal_id="id_modal_delete_member" %}
 {% modal_form title="Roles" modal_id="id_modal_roles" %}

requirements.txt

@@ -2,7 +2,7 @@
 
 /* Este codigo contém callbacks que pode ser executado em duas situações:
  * - Quando o formulario de adicionar um Board Member é carregado no modal (após ser disparado o evento: 'loaded')
- * - QUando o formulario de adicionar um Board Member é carregado numa página simples, (não no modal, nem com ajax.load)
+ * - Quando o formulario de adicionar um Board Member é carregado numa página simples, (não no modal, nem com ajax.load)
  */
 
 /*** campo Institution: AUTOCOMPLETE: ***/
@@ -154,7 +154,7 @@ function has_valid_orcid(orcid_id){
 
 $('#id_orcid').on('input', function(event) {
   /* Para cada mudança no campo '#id_orcid':
-   * Valida o fomarto do valor inserido no campo (has_valid_orcid(...)).
+   * Valida o formato do valor inserido no campo (has_valid_orcid(...)).
    * - Se for válido, é criado um link para que o usuário possa validar visualmente.
    * - Se o conteúdo do campo é vazio, então é considerado como válido também.
    */

scielomanager/editorialmanager/models.py

@@ -12,6 +12,7 @@
                                      RoleType,
                                      RoleTypeTranslation)
 from audit_log.models import AuditLogEntry, ADDITION, CHANGE, DELETION
+from django_countries import countries
 
 
 def _makePermission(perm, model, app_label='editorialmanager'):
@@ -180,6 +181,7 @@ def test_ADD_board_member_valid_POST_is_valid(self):
         """
         User of the group "Editors" successfully ADD a new board member
         """
+
         # with
         role = editorial_modelfactories.RoleTypeFactory.create()
         response = self.app.get(reverse("editorial.board.add", args=[self.journal.id, self.issue.id]), user=self.user)
@@ -219,7 +221,8 @@ def test_ADD_board_member_valid_POST_is_valid(self):
         self.assertIn(member_data['institution'], response.body)
         # the link_cv is not displayed in the frontend
         self.assertIn(member_data['state'], response.body)
-        self.assertIn(member_data['country'], response.body)
+
+        self.assertIn(str(dict(countries)[member_data['country']]), response.body)
 
         # check new member in DB
         members = EditorialMember.objects.filter(
@@ -311,6 +314,7 @@ def test_EDIT_board_member_valid_POST_is_valid(self):
         """
         User of the group "Editors" successfully EDIT a board member
         """
+
         # with
         member = editorial_modelfactories.EditorialMemberFactory.create()
         member.board = EditorialBoard.objects.create(issue=self.issue)
@@ -353,7 +357,7 @@ def test_EDIT_board_member_valid_POST_is_valid(self):
         self.assertIn(member_data_update['institution'], response.body)
         # the link_cv is not displayed in the frontend
         self.assertIn(member_data_update['state'], response.body)
-        self.assertIn(member_data_update['country'], response.body)
+        self.assertIn(str(dict(countries)[member_data_update['country']]), response.body)
 
         # check data from db
         member_from_db = EditorialMember.objects.get(pk=member.pk)

scielomanager/editorialmanager/templates/board/board_list.html

@@ -9,19 +9,17 @@
 import os
 import io
 import logging
-import base64
 import threading
 import contextlib
 import datetime
 from copy import deepcopy
 
 from lxml import isoschematron, etree
-from elasticsearch import Elasticsearch
-from django.conf import settings
 from django.db.models import Q
 from django.db import IntegrityError
 
 from scielomanager.celery import app
+from scielomanager import connectors
 from . import models
 
 
@@ -37,27 +35,7 @@
 ARTICLE_META_SCHEMATRON = isoschematron.Schematron(file=BASIC_ARTICLE_META_PATH)
 
 
-def get_elasticsearch():
-    """Fábrica de clientes do Elasticsearch.
-
-    Essa função é um singleton.
-    """
-    if not hasattr(get_elasticsearch, 'client'):
-        get_elasticsearch.client = Elasticsearch(settings.ELASTICSEARCH_NODES)
-
-    return get_elasticsearch.client
-
-
-def index_article(id, struct, **kwargs):
-    """Indexa `struct` no índice de artigos do catman no Elasticsearch.
-    """
-    client = get_elasticsearch()
-    result = client.index(
-            index=settings.ES_ARTICLE_INDEX_NAME,
-            doc_type=settings.ES_ARTICLE_DOC_TYPE,
-            id=id, body=struct, **kwargs)
-
-    return result
+elasticsearch_client = connectors.ArticleElasticsearch()
 
 
 def _gen_es_struct_from_article(article):
@@ -78,13 +56,12 @@ def _gen_es_struct_from_article(article):
                  for attr, expr in values_to_struct_mapping}
 
     article_as_octets = str(article.xml)
-    base64_octets = base64.b64encode(article_as_octets)
 
     partial_struct = {
         'version': article.xml_version,
         'is_aop': article.is_aop,
-        'b64_source': base64_octets,
         'source': article_as_octets,
+        'aid': article.aid,
     }
 
     es_struct.update(partial_struct)
@@ -122,16 +99,14 @@ def submit_to_elasticsearch(article_pk):
         return None
 
     struct = _gen_es_struct_from_article(article)
-    result = index_article(article.aid, struct)
+    elasticsearch_client.add(article.aid, struct)
 
-    logger.info('Elasticsearch indexing result for article "%s": %s.',
-            article.domain_key, result)
+    logger.info('Article "%s" was indexed successfully.', article.domain_key)
 
-    if result.get('_version') > 0:
-        article.es_updated_at = datetime.datetime.now()
-        article.es_is_dirty = False
-        with avoid_circular_signals(ARTICLE_SAVE_MUTEX):
-            article.save()
+    article.es_updated_at = datetime.datetime.now()
+    article.es_is_dirty = False
+    with avoid_circular_signals(ARTICLE_SAVE_MUTEX):
+        article.save()
 
 
 @app.task(ignore_result=True)