Criar task(s) para fazer relacionamento entre os modelos das áreas temáticas, concepts, programas de pós-graduação

[robertatakenaka]

Descrição da tarefa

Criar task(s) para fazer relacionamento entre os modelos das áreas temáticas, concepts, programas de pós-graduação

Modelos:

• scms-oca/usefulmodels/models.py

  Line 259 in 75220a8

  class ThematicArea(CommonControlField):

• scms-oca/article/models.py

  Line 16 in 75220a8

  class Concepts(models.Model):

• scms-oca/article/models.py

  Line 248 in 75220a8

  class Program(models.Model):

Subtarefas:

• adicionar ao modelo Concepts o relacionamento m2m para Program
• execute a task de carga dos dados do Sucupira que contém dados de 2017-2020 (já existe o procedimento) que preencherá SourceArticle
• Crie uma task que percorre os registros SourceArticle cuja fonte é Sucupira e encontre o artigo correspondente pelo DOI no OpenAlex e carregue este documento no sistema em SourceArticle, fonte openalex. Isso tem a finalidade de, por consequência, ter o relacionamento entre programa de pós graduação (sucupira) com os concepts (openalex)
• execute a task acima para ter os dados
• execute a task que carrega os concepts
• execute a task que percorre SourceArticle e preenche Article
• crie uma task que preenche Concepts com os dados de Program pelo relacionamento pelo DOI do artigo presente em openalex e sucupira ( Em sucupira Nome de Programa, esta como "NM_PROGRAMA_IES")
• crie 2 tasks: a) que percorre Concepts, ausentes de Program, e b) busca correspondência dos campos Concepts.name e Program.name e adiciona o relacionamento
• crie 2 tasks: a) que percorre Program e b) busca correspondência em Concepts, ausentes de Program, e adiciona o relacionamento
• crie 2 tasks: a) que percorre Concepts, ausentes de ThematicArea, e b) busca correspondência em ThematicArea (3 níveis) e adiciona o relacionamento
• faça uma task que percorra Concepts e gere 2 arquivos csv: a) tabela com correspondência de concepts, thematicArea, Program; b) tabela de concepts, sem nenhuma associação com ThematicArea e Program.

Nota: inicialmente podemos fazer correspondência simples com contains e regex e futuramente com similaridade ou ainda outras estratégias. Use a planilha mencionada em #243 contém todos os valores das 3 listas para decidir as melhores estratégias para fazer a correspondência entre as listas.