Annoter les images automatiquement

Extraire des informations structurées depuis les graphiques, schémas, tableaux et illustrations des documents.

L’option Extraire des informations depuis les images demande à Mistral OCR de décrire chaque image rencontrée dans un document. Cette description est ajoutée au contenu indexé : elle peut ensuite ressortir dans une recherche, comme le texte du document.

Il s’agit d’une annotation automatique. L’interface ne permet pas de dessiner manuellement des zones sur une image.

Conditions nécessaires

L’option est disponible pour une base documentaire. Les documents concernés doivent être traités avec le parser Mistral OCR.

À la création, le réglage apparaît si le preset choisi utilise Mistral OCR par défaut.
Pour une base existante, la section Extraction d’images se trouve dans Paramètres.
Si un document est importé ou retraité avec un autre parser, le schéma d’annotation n’est pas appliqué à ce document.

Activer pendant la création

Cliquez sur Créer une base et choisissez Base documentaire.

Sélectionnez un preset dont le parser affiché est Mistral OCR.

Activez Extraire des informations depuis les images.

Conservez le schéma proposé pour une description générale, ou adaptez ses propriétés à votre besoin.

Vérifiez que le champ Schéma JSON ne signale aucune erreur, puis validez la création.

Ouvrez Contenu et importez vos documents.

Si le preset utilise un autre parser, l’écran l’indique et vous invite à choisir un preset Mistral OCR.

Activer sur une base existante

Ouvrez la base documentaire.

Ouvrez l’onglet Paramètres.

Dans Extraction d’images, activez Extraire des informations depuis les images.

Relisez ou adaptez le schéma.

Cliquez sur Enregistrer le schéma et attendez le message Schéma enregistré.

Activer le réglage ne retraite pas les fichiers déjà indexés. Pour leur appliquer l’annotation, revenez dans Contenu, sélectionnez les documents, choisissez l’action de retraitement et utilisez Mistral OCR.

Comprendre le schéma proposé

Le schéma prérempli demande une propriété description contenant ce que montre l’image, y compris les nombres et le texte visibles :

{
  "type": "object",
  "properties": {
    "description": {
      "type": "string",
      "description": "Décrire ce que montre l’image, y compris les nombres et le texte visibles."
    }
  },
  "required": ["description"]
}

Ce réglage convient aux documents variés. Pour un besoin métier précis, ajoutez des propriétés explicites. Par exemple, pour des graphiques :

{
  "type": "object",
  "properties": {
    "description": {
      "type": "string",
      "description": "Résumé fidèle du graphique ou du schéma."
    },
    "valeurs_cles": {
      "type": "array",
      "items": { "type": "string" },
      "description": "Valeurs, dates et unités importantes visibles dans l’image."
    },
    "tendance": {
      "type": "string",
      "description": "Tendance principale, sans extrapolation au-delà de l’image."
    }
  },
  "required": ["description"]
}

Le schéma doit être un objet JSON valide avec au moins une propriété. Si l’enregistrement est refusé, lisez le message affiché, corrigez le schéma puis recommencez.

Décrivez les informations à extraire, pas la réponse finale attendue. Des propriétés courtes et stables donnent des annotations plus faciles à rechercher.

Vérifier le résultat

Importez ou retraitez un document qui contient une image pertinente.

Attendez que son statut redevienne Indexée.

Ouvrez Recherche.

Recherchez un texte, une valeur ou un élément présent uniquement dans l’image.

Ouvrez le résultat pour vérifier l’extrait et le document d’origine.

Si rien ne ressort, vérifiez le parser réellement affiché sur la ligne du document, puis retraitez-le avec Mistral OCR. Reformulez aussi la recherche avec les mots que l’annotation est susceptible d’avoir produits.

Modifier ou désactiver

Pour changer les informations extraites, modifiez le JSON puis cliquez sur Enregistrer le schéma. Retraitez ensuite les documents qui doivent utiliser la nouvelle structure.

Désactiver l’interrupteur enregistre immédiatement la désactivation. Les prochains traitements n’ajoutent plus ces annotations. Les documents déjà indexés doivent être retraités pour reconstruire leur contenu sans l’ancienne annotation.

L’extraction appelle le service OCR pour les images du document. Activez-la lorsque les informations visuelles apportent une réelle valeur à la recherche.