Add admin DOCX to JSON schema conversion

AGENTS.md

@@ -4,7 +4,8 @@ Ce référentiel utilise des agents/outils pour automatiser des modifications de
 
 ## Règle essentielle
 - Toujours écrire des tests pertinents (pytest) pour couvrir le correctif ou la fonctionnalité ajoutée.
-- Toujours exécuter la suite de tests localement avec `pytest -q` et s'assurer qu'elle passe avant de conclure la tâche.
+- Toujours exécuter la suite de tests localement avec `PYTEST_DISABLE_PLUGIN_AUTOLOAD=1 pytest -q` pour accélérer l'exécution et s'assurer qu'elle passe avant de conclure la tâche.
+- Inclure et valider un jeton CSRF pour toute requête POST/PUT/DELETE modifiant l'état (champ `csrf_token` ou en-tête `X-CSRFToken`).
 
 ## Détails pratiques
 - Emplacement des tests: placez-les sous `tests/` avec le préfixe `test_*.py`.
@@ -15,7 +16,9 @@ Ce référentiel utilise des agents/outils pour automatiser des modifications de
 - Si des avertissements perturbent la lisibilité, nettoyez-les ou filtrez-les de manière ciblée, sans masquer des problèmes réels.
 
 ## Commandes utiles
-- Lancer toute la suite: `pytest -q`
+- Lancer toute la suite (résumé concis): `PYTEST_DISABLE_PLUGIN_AUTOLOAD=1 pytest -q`
+- Pour obtenir explicitement le résumé final (nombre de tests et durée), exécutez `PYTEST_DISABLE_PLUGIN_AUTOLOAD=1 pytest` sans `-q` supplémentaire (le fichier `pytest.ini` l'inclut déjà) et relevez la dernière ligne de sortie.
+- Interrompre au premier échec pour un diagnostic rapide: `PYTEST_DISABLE_PLUGIN_AUTOLOAD=1 pytest -q --maxfail=1`
 - Exécuter un seul fichier: `pytest -q tests/test_mon_module.py`
 - Exécuter un seul test: `pytest -q tests/test_mon_module.py::test_cas_specifique`
 - Compter les tests rapidement (collect only): `pytest -q --collect-only | awk -F': ' '{s+=$2} END{print s}'`

OPENAI_USAGE.md

@@ -26,6 +26,7 @@ Note: L’ancien endpoint synchrone `POST /gestion_programme/update_verifier_pla
 - Grille d’évaluation: `src/app/tasks/generation_grille.py`
 - Logigramme de compétences: `src/app/tasks/generation_logigramme.py`
 - OCR/Imports: `src/app/tasks/ocr.py`, `src/app/tasks/import_plan_de_cours.py`, `src/app/tasks/import_grille.py`, `src/app/tasks/import_plan_cadre.py`
+- Conversion DOCX→Schéma JSON: `src/app/tasks/docx_to_schema.py` (start `POST /docx_to_schema/start`)
 
 Tous suivent le pattern:
 

requirements.txt

@@ -34,6 +34,7 @@ python-dotenv
 pytz
 redis
 reportlab
+pytest-asyncio
 requests
 starlette
 tiktoken

src/app/__init__.py

@@ -43,6 +43,7 @@
 from .routes import competences_management  # noqa: F401
 from .routes import fil_conducteur_routes  # noqa: F401
 from .routes import settings_departements  # noqa: F401
+from .routes import admin_docx_schema  # noqa: F401
 from .routes.chat import chat
 # Import blueprints
 from .routes.cours import cours_bp
@@ -58,7 +59,6 @@
 from .routes.api import api_bp
 from .routes.oauth import oauth_bp
 from .routes.tasks import tasks_bp
-from ..mcp_server.server import init_app as init_mcp_server
 
 # Import version
 from ..config.version import __version__
@@ -246,6 +246,7 @@ def load_user(user_id):
     init_change_tracking(db)
 
     # Bind Flask app to MCP server for OAuth verification
+    from ..mcp_server.server import init_app as init_mcp_server
     init_mcp_server(app)
 
     if not testing:
@@ -297,6 +298,15 @@ def asset_url(path: str) -> str:
         # Expose csrf_token() helper globally for templates
         return dict(has_endpoint=has_endpoint, asset_url=asset_url, csrf_token=generate_csrf)
 
+    @app.context_processor
+    def inject_docx_schema_pages():
+        try:
+            from .models import DocxSchemaPage
+            pages = DocxSchemaPage.query.order_by(DocxSchemaPage.created_at.asc()).all()
+        except Exception:
+            pages = []
+        return dict(docx_schema_pages=pages)
+
     @app.before_request
     def before_request():
         # Allow static files and explicitly public routes to bypass auth redirect

src/app/forms.py

@@ -73,6 +73,11 @@ class FileUploadForm(FlaskForm):
     file = FileField("Importez un fichier PDF", validators=[DataRequired()])
     submit = SubmitField("Envoyer")
 
+
+class DocxToSchemaForm(FlaskForm):
+    file = FileField("Fichier DOCX ou PDF", validators=[DataRequired()])
+    submit = SubmitField("Convertir")
+
 class AssociateDevisForm(FlaskForm):
     base_filename = HiddenField(validators=[DataRequired()])
     programme_id = SelectField("Choisir le Programme Cible :", coerce=int, validators=[DataRequired()])

src/app/models.py

@@ -256,6 +256,17 @@ def get_current(cls):
                 db.session.rollback()
         return obj
 
+class DocxSchemaPage(db.Model):
+    """Page générée à partir d'une validation de schéma DOCX."""
+    __tablename__ = 'docx_schema_pages'
+
+    id = db.Column(db.Integer, primary_key=True)
+    title = db.Column(db.String(255), nullable=True)
+    json_schema = db.Column(db.JSON, nullable=False)
+    markdown_content = db.Column(db.Text, nullable=True)
+    created_at = db.Column(db.DateTime, default=now_utc)
+
+
 class EvaluationSavoirFaire(db.Model):
     __tablename__ = 'evaluation_savoirfaire'
 

src/app/routes/admin_docx_schema.py

@@ -0,0 +1,178 @@
+import os
+import re
+import time
+from flask import render_template, request, jsonify, current_app, redirect, url_for, session
+from flask_login import login_required, current_user
+
+from ..forms import DocxToSchemaForm
+from ..tasks.docx_to_schema import docx_to_json_schema_task
+from ..models import db, DocxSchemaPage, SectionAISettings
+from .routes import main
+from ...utils.decorator import role_required, ensure_profile_completed
+
+DEFAULT_DOCX_TO_SCHEMA_PROMPT = (
+    "Propose un schéma JSON simple, cohérent et normalisé pour représenter parfaitement ce document. "
+    "Retourne un objet structuré avec quatre clés : `title`, `description`, `schema` et `markdown`. "
+    "`schema` contient le schéma JSON complet, `markdown` une version Markdown fidèle au document. "
+    "Chaque champ du schéma doit inclure un titre et une description et la hiérarchie doit être respectée. "
+    "Ne retourne que cet objet JSON."
+)
+
+
+@main.route('/docx_to_schema', methods=['GET'])
+@role_required('admin')
+@ensure_profile_completed
+def docx_to_schema_page():
+    form = DocxToSchemaForm()
+    return render_template('settings/docx_to_schema.html', form=form)
+
+
+@main.route('/docx_to_schema/start', methods=['POST'])
+@role_required('admin')
+@ensure_profile_completed
+def docx_to_schema_start():
+    form = DocxToSchemaForm()
+    if not form.validate_on_submit():
+        return jsonify({'error': 'Invalid submission.', 'details': form.errors}), 400
+
+    file = form.file.data
+    if not file or not file.filename.lower().endswith(('.docx', '.pdf')):
+        return jsonify({'error': 'Veuillez fournir un fichier .docx ou .pdf.'}), 400
+
+    upload_dir = os.path.join(current_app.config.get('UPLOAD_FOLDER', 'uploads'))
+    os.makedirs(upload_dir, exist_ok=True)
+    safe_name = re.sub(r'[^A-Za-z0-9_.-]+', '_', file.filename)
+    stored_name = f"docx_schema_{int(time.time())}_{safe_name}"
+    stored_path = os.path.join(upload_dir, stored_name)
+    file.save(stored_path)
+
+    sa = SectionAISettings.get_for('docx_to_schema')
+    model = sa.ai_model or 'gpt-4o-mini'
+    reasoning = sa.reasoning_effort or 'medium'
+    verbosity = sa.verbosity or 'medium'
+    system_prompt = sa.system_prompt or DEFAULT_DOCX_TO_SCHEMA_PROMPT
+
+    task = docx_to_json_schema_task.delay(stored_path, model, reasoning, verbosity, system_prompt, current_user.id)
+    return jsonify({'task_id': task.id}), 202
+
+
+@main.route('/docx_to_schema/preview', methods=['GET', 'POST'])
+@role_required('admin')
+@ensure_profile_completed
+def docx_to_schema_preview_temp():
+    if request.method == 'POST':
+        data = request.get_json() or {}
+        schema = data.get('schema')
+        title = data.get('title')
+        description = data.get('description')
+        if isinstance(schema, dict):
+            if title and 'title' not in schema:
+                schema['title'] = title
+            if description and 'description' not in schema:
+                schema['description'] = description
+        session['pending_docx_schema'] = schema
+        session['pending_docx_markdown'] = data.get('markdown')
+        session['pending_docx_title'] = title
+        session['pending_docx_description'] = description
+        return jsonify({'ok': True})
+    schema = session.get('pending_docx_schema')
+    markdown = session.get('pending_docx_markdown')
+    title = session.get('pending_docx_title')
+    description = session.get('pending_docx_description')
+    if not schema:
+        return redirect(url_for('main.docx_to_schema_page'))
+    return render_template('docx_schema_validate.html', schema=schema, markdown=markdown, title=title, description=description)
+
+
+@main.route('/docx_to_schema/validate', methods=['POST'])
+@role_required('admin')
+@ensure_profile_completed
+def docx_to_schema_validate():
+    """Persiste le schéma validé et retourne l'identifiant de la nouvelle page."""
+    data = request.get_json() or {}
+    schema = data.get('schema')
+    markdown = data.get('markdown')
+    if not schema:
+        return jsonify({'error': 'Schéma manquant.'}), 400
+
+    title = data.get('title') or schema.get('title') or schema.get('titre') or f"Schéma {int(time.time())}"
+    description = data.get('description') or schema.get('description')
+    if isinstance(schema, dict):
+        if title and 'title' not in schema:
+            schema['title'] = title
+        if description and 'description' not in schema:
+            schema['description'] = description
+    page = DocxSchemaPage(title=title, json_schema=schema, markdown_content=markdown)
+    db.session.add(page)
+    db.session.commit()
+    session.pop('pending_docx_schema', None)
+    session.pop('pending_docx_markdown', None)
+    session.pop('pending_docx_title', None)
+    session.pop('pending_docx_description', None)
+    return jsonify({'success': True, 'page_id': page.id}), 201
+
+@main.route('/docx_schema', methods=['GET'])
+@role_required('admin')
+@ensure_profile_completed
+def docx_schema_pages():
+    pages = DocxSchemaPage.query.order_by(DocxSchemaPage.created_at.desc()).all()
+    return render_template('docx_schema_list.html', pages=pages)
+
+
+@main.route('/docx_schema/<int:page_id>', methods=['GET'])
+@role_required('admin')
+@ensure_profile_completed
+def docx_schema_page_view(page_id):
+    page = DocxSchemaPage.query.get_or_404(page_id)
+    return render_template('docx_schema_preview.html', page=page)
+
+
+@main.route('/docx_schema/<int:page_id>/json', methods=['GET'])
+@role_required('admin')
+@ensure_profile_completed
+def docx_schema_page_json(page_id):
+    page = DocxSchemaPage.query.get_or_404(page_id)
+    return render_template('docx_schema_json.html', page=page)
+
+
+@main.route('/docx_schema/<int:page_id>/edit', methods=['POST'])
+@role_required('admin')
+@ensure_profile_completed
+def docx_schema_page_edit(page_id):
+    """Met à jour le schéma JSON d'une page existante."""
+    page = DocxSchemaPage.query.get_or_404(page_id)
+    data = request.get_json() or {}
+    schema = data.get('schema')
+    if not schema:
+        return jsonify({'error': 'Schéma manquant.'}), 400
+    page.json_schema = schema
+    page.title = schema.get('title') or schema.get('titre') or page.title
+    db.session.commit()
+    return jsonify({'success': True})
+
+
+@main.route('/docx_schema/<int:page_id>/rename', methods=['POST'])
+@role_required('admin')
+@ensure_profile_completed
+def docx_schema_page_rename(page_id):
+    """Met à jour uniquement le titre d'un schéma existant."""
+    page = DocxSchemaPage.query.get_or_404(page_id)
+    data = request.get_json() or {}
+    title = data.get('title')
+    if not title:
+        return jsonify({'error': 'Titre manquant.'}), 400
+    page.title = title
+    if isinstance(page.json_schema, dict):
+        page.json_schema['title'] = title
+    db.session.commit()
+    return jsonify({'success': True})
+
+
+@main.route('/docx_schema/<int:page_id>/delete', methods=['POST'])
+@role_required('admin')
+@ensure_profile_completed
+def docx_schema_page_delete(page_id):
+    page = DocxSchemaPage.query.get_or_404(page_id)
+    db.session.delete(page)
+    db.session.commit()
+    return redirect(url_for('main.docx_schema_pages'))

src/app/routes/routes.py

@@ -57,7 +57,8 @@
     ElementCompetenceParCours,
     Cours,
     CoursProgramme,
-    ListeCegep
+    ListeCegep,
+    DocxSchemaPage
 )
 from ...extensions import limiter
 from ...utils.decorator import role_required, roles_required, ensure_profile_completed
@@ -80,6 +81,14 @@ def version():
     from ...config.version import __version__
     return jsonify({'version': __version__})
 
+
+@main.route('/parametres')
+@login_required
+@ensure_profile_completed
+def parametres_alias():
+    docx_schemas = DocxSchemaPage.query.order_by(DocxSchemaPage.created_at.desc()).all()
+    return render_template('parametres.html', docx_schemas=docx_schemas)
+
 # Public: Health endpoint
 @main.route('/health')
 @public_route