Nous devons gérer un fichier d'historique. Ce fichier est à enregistrement quotidien sur une entité : 1 ligne par jour par 'objet' et par 'utilisateur'.
Sa croissance est alors trés trés rapide.
Son exploitation est prévue pour réaliser des cumul/comptages pour des sélection d'objet sur des périodes données.

Si, la première année tout va bien, les années suivantes génèrent des volumes rapidement conséquent. Nous somme ainsi parvenu à dépasser la barrière des 2Go pour un fichier.

Dans le but de limiter les pertes et facilité la maintenance nous prévoyons un découpage en fichiers mensuels et un mécanisme qui jouera sur les nom physiques (hChangeNom).

Ainsi, l'accès à des petites périodes sera plus rapide. En revanche l'accès aux périodes plus longues sera un peu plus longue.

Merci de me faire part de vos expériences sur ce sujet...

bonsoir,
Pour ma part avec ma maigre expérience, j'ai utilisé un fichier texte qui est alimenté à chaque édition d'un courrier avec la date et l'heure, le nom du destinataire et l'objet.
Il est en effet peut être dur d'utiliser ce type de fichier, à moins d'effectivement de le partagé.

bon courage!

En fait pour donner la mesure de la croissance de ce fichier voici une idée :
Notre projet est multi site : on gère plusieurs sites sur un seul pc. Chaque site dispose de sont propre historique (1 ligne par jour par 'objet') sur lequel nous devons proposer des outils d'analyse statistique le plus rapide possible.
Nous disposons d'un site central qui consolide les données de chaque site et pour lequel on propose aussi une analyse statistique sur l'ensemble.
C'est sur ce dernier que le problème de volume est considérable. Si la durée de vie du fichier de chaque site est en adéquation avec les tailles normales des fichiers (rapport entre les 2Go et le volume généré sur 24 mois d'exploitation), la consolidation pose un problème avec les client comportants de nombreux sites.

Ces outils d'analyse statistiques ne sont pas à utilisation fréquente, l'import (hImporteTexte) sur demande de fichiers texte permettrait sans doute de gagner le volume des clés et indexes (définis aussi à la demande selon la stat voulue) et de ne traiter que la période analysée.
Le tout, accompagnée d'une compression des anciennes données) devrai permettre de limiter rapidement les volumes.

Bonjour,
je pense que pour ce genre de problème il est pratique de créer des fichiers "récapitulatifs" :
c'est-à-dire dans lesquels ont trouve des totaux, par mois, par année, par personne, par objet.
Par contre ça demande une analyse précise des résultats souhaités, en fait c'est un peu le principe des Entrepots de données, qui ne respectent plus merise, mais se basent sur une recomposition annexe de la base de données en fonction des besoins.

Voir www.dicodunet.com/definitions/e-marketing/data-warehouse.htm

OK, merci. Dans ce lien, on parle de la possiblité de constituer un modèle en étoile pour agréger les données. Ce modèle est stocké sur un SGBD.

Par conséquent j'imagine que constituer ce modèle sur nos besoins pourrait constituer un gain considérable de performance. Merci de vos liens sur ce sujet (constitution d'un modèle étoile).