Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
224 changes: 224 additions & 0 deletions colaboracao-multi-repos/ARQUITETURA_E_STACK_COMPLETA.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,224 @@
# Arquitetura e Stack Completa — Chatbot Operacional + Dashboard (Multi-tenant)

## 1) Contexto consolidado da conversa

Este documento traduz a conversa completa enviada para um plano técnico executável.
Objetivo do produto:

- Um **chatbot operacional** (texto + áudio) para uso diário no celular.
- Um **dashboard principal** de operação/admin.
- Ambos sobre o mesmo core de dados, governança e auditoria.
- Capacidade de automação com aprovação/quórum para ações críticas.
- Integração de e-mail corporativo com leitura/classificação por IA, extração de anexos, sugestão de resposta e notificação no WhatsApp.

---

## 2) Princípios de arquitetura

1. **Chat-first**: usuário resolve quase tudo no chat.
2. **Core único de regras**: chatbot e dashboard usam as mesmas APIs de domínio.
3. **Segurança por padrão**: nenhuma interface acessa DB diretamente.
4. **Governança explícita**: mutações sensíveis passam por aprovação.
5. **Acessibilidade real de campo**: UX para público leigo/mecânicos (botões grandes, alto contraste, baixo atrito).

---

## 3) Blueprint técnico (alto nível)

```mermaid
flowchart LR
U[Usuário Web/PWA/Android] --> FE[Chat + Dashboard]
FE --> BFF[API Gateway / BFF]

BFF --> AUTH[Auth OIDC + RBAC/ABAC]
BFF --> CHAT[Chat Service]
BFF --> ERP[Domain Services ERP-lite]
BFF --> WF[Workflow Engine]
BFF --> NOTI[Notification Service]
BFF --> MAIL[Email Ingestion Service]

CHAT --> STT[STT: Whisper/Alternativa]
CHAT --> LLM[LLM Router + Guardrails]
LLM --> TOOLS[Tool Runner]
TOOLS --> ERP
TOOLS --> REPORT[Report Engine PDF/XLSX]
TOOLS --> WF

MAIL --> DOC[Document Parser OCR/PDF]
DOC --> LLM
NOTI --> WA[WhatsApp Provider]
NOTI --> EM[Email Provider]

ERP --> DB[(Postgres + RLS)]
CHAT --> DB
WF --> DB
REPORT --> OBJ[(S3/MinIO)]
BFF --> AUDIT[Audit Log]
AUDIT --> DB
```

---

## 4) Stack recomendada + alternativas

## 4.1 Frontend

**Recomendado**
- Next.js + TypeScript
- Tailwind + design system acessível
- PWA como base (instalável)
- Capacitor para empacotar Android quando necessário

**Alternativas**
- React Native (mais nativo cedo)
- Flutter (consistência visual forte)

## 4.2 Backend e dados

**Recomendado**
- FastAPI (Python) para integração IA/ETL rápida
- Postgres + RLS para multi-tenant seguro
- pgvector para RAG sem banco extra no MVP
- Redis (cache/rate-limit)
- S3/MinIO (anexos/relatórios)

**Alternativas**
- NestJS (Node) para time JS fullstack
- Go para serviços de alta performance específicos

## 4.3 Orquestração (aprovação, jobs, SLAs)

**Recomendado**
- Temporal (robustez enterprise) ou Conductor (modelo worker forte)

**Alternativa MVP**
- Celery + Redis + cron (rápido), migrando depois

## 4.4 IA e áudio

**Recomendado**
- STT: Whisper (self-host/API)
- LLM Router: OpenAI/Anthropic/Gemini via camada de abstração
- Guardrails: schema validation + policy gate + allowlist de tools

## 4.5 WhatsApp (notificações e interação)

Opções principais:
- Meta WhatsApp Business Platform (Cloud API)
- Twilio WhatsApp
- BSPs regionais (Zenvia, 360dialog, Take Blip)

Estratégia:
- MVP com provedor de menor fricção operacional
- fase 2/escala avaliando custo por conversa/template e SLA

## 4.6 E-mail (ingestão + envio)

**Entrada (inbound)**
- Microsoft Graph (M365), Gmail API ou IMAP controlado
- Webhook/polling com marcação de processamento idempotente

**Saída (outbound transacional)**
- SES, Postmark, SendGrid, Mailgun

---

## 5) Fluxo de e-mail inteligente (pedido central da conversa)

1. Captura e-mail da caixa corporativa.
2. Classifica intenção/criticidade/destinatário interno.
3. Processa anexos (PDF, imagem, planilha), extrai entidades/dados.
4. Aplica regras de roteamento:
- só proprietário,
- financeiro,
- compras,
- jurídico, etc.
5. Gera:
- resumo executivo,
- pontos de ação,
- sugestão de resposta (template).
6. Se regra exigir: abre workflow de aprovação/tarefa.
7. Notifica via WhatsApp/e-mail/app conforme perfil.
8. Persiste trilha completa em audit log.

---

## 6) Modelo de governança para ações críticas

Ações críticas (exemplo): alteração de preço, desconto acima de limite, troca de fornecedor padrão, aprovação de orçamento alto.

Pipeline de mutação:
- preview de mudança (antes/depois)
- checagem de política
- aprovação N-de-M (ex.: 2 admins)
- execução transacional
- auditoria imutável
- notificação de conclusão

---

## 7) UX e acessibilidade (perfil mecânico/leigo)

Padrões obrigatórios:
- área de toque mínima 56px
- tipografia base 18px com modo ampliado
- contraste AA/AAA + modo alto contraste
- fluxo com botões de ação claros e poucos passos
- linguagem simples e orientada a tarefa
- confirmação explícita para ações de risco
- feedback visual/sonoro de sucesso/erro

---

## 8) Entregáveis técnicos para iniciar build na IDE

1. Monorepo com apps:
- `apps/chat`
- `apps/dashboard`
- `apps/api`
2. Serviços:
- `services/email-ingestion`
- `services/notification`
- `services/workflow`
3. Pacotes comuns:
- `packages/contracts` (schemas/eventos)
- `packages/policies`
- `packages/design-system`
4. Infra:
- `docker-compose.dev.yml`
- observabilidade base

---

## 9) Roadmap enxuto

## Fase 0 (1-2 semanas)
- Contratos de dados e políticas
- Auth multi-tenant + RLS
- Chat base + tool runner seguro

## Fase 1 (2-4 semanas)
- Inbound e-mail
- resumo + sugestão de resposta
- notificação WhatsApp
- 1 fluxo de aprovação 2-de-2

## Fase 2 (4-8 semanas)
- dashboard operacional completo
- KPIs + relatórios
- worker specs configuráveis

## Fase 3
- conectores ERP legado
- otimização de custo IA por tenant
- hardening de observabilidade/auditoria

---

## 10) Gaps que devem ser fechados antes da produção

- Política formal de retenção de e-mails e anexos por tenant.
- Classificação de dados sensíveis e estratégia de redaction.
- Plano de contingência para falha de provedor WhatsApp.
- Testes de autorização por papel + tenant para 100% das mutações.
- Catálogo de prompts/versionamento/avaliação de qualidade do agente.
52 changes: 52 additions & 0 deletions colaboracao-multi-repos/BASELINE_EGOS_INTELIGENCIA.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,52 @@
# Baseline técnico inicial — EGOS Inteligência (revisado)

## 1) O que já existe e pode ser reaproveitado imediatamente

## Plataforma
- Backend FastAPI
- Frontend React/Vite
- Neo4j (grafo)
- Redis (cache)
- ETL Python

## Módulos de produto
- Chat e conversas
- Busca/entidade/conexões/grafo
- Padrões, baseline e exposição
- Investigations e compartilhamento
- Meta, monitoramento, analytics e activity

## Controles e conformidade
- Modo público configurável
- Guardrails LGPD/masking
- Segurança e observabilidade já estruturadas

Comment on lines +20 to +23
Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

⚠️ Potential issue | 🟠 Major

Escopo de conformidade está amplo demais e pode induzir decisão incorreta

Em Line 20–23, o texto sugere cobertura generalizada de LGPD/guardrails, mas os snippets mostram aplicação seletiva por rota. Documente explicitamente que a proteção atual é parcial por endpoint e que há hardening pendente para cobertura uniforme.

✏️ Proposta de ajuste textual
-## Controles e conformidade
-- Modo público configurável
-- Guardrails LGPD/masking
-- Segurança e observabilidade já estruturadas
+## Controles e conformidade
+- Modo público configurável
+- Guardrails LGPD/masking já implementados em rotas específicas (cobertura parcial)
+- Base de segurança e observabilidade existente, com hardening pendente para cobertura uniforme
🤖 Prompt for AI Agents
Verify each finding against the current code and only fix it if needed.

In `@colaboracao-multi-repos/BASELINE_EGOS_INTELIGENCIA.md` around lines 20 - 23,
Atualize o trecho que lista "Modo público configurável", "Guardrails
LGPD/masking" e "Segurança e observabilidade já estruturadas" para deixar
explícito que a proteção de LGPD/mascaramento é parcial e aplicada por endpoint,
não global; adicione uma frase informando que a cobertura uniformizada ainda
está pendente e que há necessidade de hardening para garantir proteção
consistente em todas as rotas/endpoints, e marque esse status como "parcial por
endpoint" e "hardening pendente" ao lado dos itens relevantes para evitar
interpretações de cobertura completa.

---

## 2) Como isso conecta com a solução pedida na conversa

A conversa descreve um produto de operação empresarial em formato chat-first com:

- áudio + transcrição,
- integração de e-mail corporativo com IA,
- notificação no WhatsApp,
- geração de relatórios,
- governança com quórum/aprovação,
- dashboard completo para administração/operação,
- foco forte em acessibilidade para usuários leigos de campo.

O EGOS Inteligência já oferece base de orquestração de dados e análise que reduz esforço para:

1. camada de chat/tooling;
2. trilha de auditoria;
3. arquitetura de APIs e monitoramento.

---

## 3) Pendências para completar a visão alvo

- Serviços dedicados de e-mail inbound + processamento de anexos.
- Serviço de notificações omnichannel (WhatsApp/e-mail/push).
- Motor de workflow para aprovação N-de-M.
- Contratos de interoperabilidade com egos-lab e Carteira Livre.
- Pacote de UX acessível e simplificada para operação em campo.
45 changes: 45 additions & 0 deletions colaboracao-multi-repos/GAP_ANALYSIS_MERCADO.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,45 @@
# Gap Analysis de mercado (referências para benchmarking)

> Objetivo: mapear categorias de soluções globais relevantes para comparar arquitetura, custo e risco antes da implementação final.

## 1) Categorias-chave de referência

1. **Workflow/orquestração**: Temporal, Conductor/Orkes, Camunda
2. **Automation/iPaaS**: n8n, Make, Zapier, Workato
3. **Chatbot/IA enterprise**: Microsoft Copilot stack, Salesforce Einstein, Intercom Fin, Zendesk AI
4. **E-mail inteligência**: Superhuman AI features, Front, Missive, Gmail/Outlook + AI copilots
5. **WhatsApp enterprise**: Meta Cloud API, Twilio, BSPs locais
6. **Observabilidade/AIOps**: Datadog, New Relic, Grafana Cloud, Elastic

---

## 2) Matriz de decisão sugerida

Avaliar cada fornecedor em:

- Tempo de implantação
- Custo total (fixo + variável)
- Suporte no Brasil
- Compliance/LGPD/GDPR
- Qualidade de API e webhooks
- Confiabilidade/SLA
- Facilidade de auditoria e trilha de decisão
- Lock-in e portabilidade

---

## 3) Gaps críticos identificados para o plano atual

1. **Catálogo formal de políticas** por ação/tenant ainda não consolidado.
2. **Estratégia de fallback multicanal** (WhatsApp indisponível -> e-mail/app) precisa virar contrato técnico.
3. **Métricas de qualidade do agente** (assertividade de classificação/sugestão de resposta) ainda não definidas.
4. **Gestão de prompts e versões** com auditoria por tenant precisa ser padrão desde o início.
5. **Teste de usabilidade extrema** (mão de obra de campo, baixa literacia digital) deve entrar no ciclo de release.

---

## 4) Recomendação prática

- Executar um piloto curto com 1 stack por categoria (workflow, WhatsApp, e-mail).
- Medir SLA real, custo por operação e taxa de erro.
- Só depois fixar contratos de longo prazo com fornecedores.
Original file line number Diff line number Diff line change
@@ -0,0 +1,61 @@
# Mapeamento do que já existe no EGOS Inteligência para a nova ferramenta

## 1) Reuso direto de módulos atuais

## APIs e capacidades já existentes
- Chat (`/api/v1/chat`)
- Conversas (`/api/v1/conversations`)
- Busca (`/api/v1/search`)
- Entidade/Conexões/Grafo (`/api/v1/entity`, `/api/v1/graph`)
- Padrões e baseline (`/api/v1/patterns`, `/api/v1/baseline`)
- Investigations e compartilhamento (`/api/v1/investigation`, `/api/v1/shared`)
- Meta/monitor/analytics/activity (`/api/v1/meta`, `/api/v1/monitor`, `/api/v1/analytics`, `/api/v1/activity`)
Comment on lines +11 to +12
Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

⚠️ Potential issue | 🟠 Major

Path de API inconsistente com o roteamento atual

Em Line 11, '/api/v1/investigation' está no singular, enquanto o router está em '/api/v1/investigations'. Isso pode quebrar integração e documentação de consumo.

✏️ Proposta de correção
-- Investigations e compartilhamento (`/api/v1/investigation`, `/api/v1/shared`)
+- Investigations e compartilhamento (`/api/v1/investigations`, `/api/v1/shared`)
📝 Committable suggestion

‼️ IMPORTANT
Carefully review the code before committing. Ensure that it accurately replaces the highlighted code, contains no missing lines, and has no issues with indentation. Thoroughly test & benchmark the code to ensure it meets the requirements.

Suggested change
- Investigations e compartilhamento (`/api/v1/investigation`, `/api/v1/shared`)
- Meta/monitor/analytics/activity (`/api/v1/meta`, `/api/v1/monitor`, `/api/v1/analytics`, `/api/v1/activity`)
- Investigations e compartilhamento (`/api/v1/investigations`, `/api/v1/shared`)
- Meta/monitor/analytics/activity (`/api/v1/meta`, `/api/v1/monitor`, `/api/v1/analytics`, `/api/v1/activity`)
🤖 Prompt for AI Agents
Verify each finding against the current code and only fix it if needed.

In `@colaboracao-multi-repos/MAPEAMENTO_EGOS_INTELIGENCIA_PARA_NOVA_FERRAMENTA.md`
around lines 11 - 12, The API path in the doc uses the singular
'/api/v1/investigation' which is inconsistent with the router
'/api/v1/investigations'; update the documentation entry to use the plural
'/api/v1/investigations' so it matches the router and avoid integration
mismatches (replace '/api/v1/investigation' with '/api/v1/investigations' in the
listed endpoints).


## Ferramentas de inteligência já presentes
- Tooling de busca em grafo + fontes públicas
- Estrutura de análise de vínculos/padrões
- Base de dados relacional em grafo + cache

## Regras de conformidade já presentes
- Controles de modo público
- Proteções LGPD/masking
- Guardas de exposição de dados

---

## 2) O que falta para o cenário pedido na conversa

1. Módulo formal de **email ingestion** com roteamento inteligente.
2. Módulo de **notificação omnichannel** (WhatsApp/e-mail/push) com templates.
3. Camada de **workflow de aprovação** centrada em operações ERP (N-de-M).
4. Contratos comuns para interoperar com egos-lab e Carteira Livre.
5. Dashboard operacional orientado ao público leigo com acessibilidade reforçada.

---

## 3) Estratégia de adaptação sem retrabalho

1. Preservar endpoints maduros e criar novos serviços por composição.
2. Evitar duplicar engine de chat; expandir tool runner com policies.
3. Introduzir eventos de domínio para sincronização cross-repo.
4. Reusar observabilidade e auditoria existentes como trilha única.

---

## 4) Backlog técnico priorizado

## Prioridade Alta
- `email-ingestion-service` (inbound + parsing + classificação + actions)
- `notification-service` (WhatsApp/e-mail, templates, retries)
- `approval-workflows` (2-de-2 e políticas configuráveis)
- `accessibility-pass` no front (tokens, componentes, testes)

## Prioridade Média
- `worker-spec` DSL + editor no dashboard
- catálogo de políticas por tenant
- cockpit de custo IA por tenant

## Prioridade Contínua
- hardening LGPD
- testes de segurança por endpoint
- rastreabilidade de decisões do agente
Loading
Loading