Bonjour.

La LST63 et son changement de mot de passe, utilise HEcrit pour alimenter le fichier sans mettre à jour les index. Cette opération a lieux par la suite.

Cette technique est particulièrrement efficace car elle limite le nombre d'accès disque.

Dans la même problématique, je cherche une solution pour découper un fichier volumineux (>2Go) en plusieurs fichiers.
Le découpage aura lieux selon une date contenu dans les enregistrement et une création de fichier limité à un mois de données (en utilisant hChangeNom et la partie Année/mois de la date)

Je cherche donc une solution pour rapidement exporter (au format texte (pour hImporteTexte) ou transférer des millions d'enregistrement...

En effet le parcours selon la date et le hCopieEnreg + hEcrit n'est pas trés convainquant sur ces volumes.

Merci de vos pistes.

Salut,

Tout depend du volume des donnees a exporter (c'est a dire nombre d'element a recuperer du fichier)

Tu pourrais par exemple decrire une structure des donnees
genre : Annee,Mois,Valeur1,Valeur2,Valeur3. Definir un tableau dynamique sur cette structure. Lire ton fichier et remplir le dit tableau et a la fin le trier par annee et mois. A la fin on traite le tableau, on ouvre le fichier, on ecrit, une fois le mois termine on ferme le fichier, on passe au fichier suivant.

Avantage : Toute tes donnees sont deja lu.
Inconvenient : Panne de courrant ou disque = Plus rien

De toute facon tu as pas le choix d'ecrire a un moment donne.

a+++

En effet, mais les performance de hImporteTexte sont telles que c'est la méthode que je vise.

Mais je vais en effet voir comment alimenter mon fichier texte rapidement.

Il s'agit d'un transfert d'enregistrement entre fichiers de même structures. Je vais déjà utiliser des chaines de taille fixe pour stocker mes enregistrement. L'allocation sera plus efficace.

Bonjour,

La méthode de la requête SQL " INSERT ... SELECT " permet d'insérer dans un fichier des enregistrements en provenance d'un autre fichier. J'ai effectué des tests en HF classique, mais cela n'a pas l'air de fonctionner (peut être en HF C/S). En MySQL cela fonctionne.

Bon dév.,

Totof

Merci.

J'avais monté un outil qui permet la sélection d'un fichier et de le filtrer sur une rubrique.
Les données sont alors envoyées dans un fichier de même structure.

Il me reste à le rendre paramétrable (un peu comme WDInst avec un fihcier ini) et lancer les traitement en batch.

J'ai pas de solutions miracle mais voici comment j'ai "importé" 7 millions de récords

mes "étapes"

- créer un requète WD pour filtrer mes données pour le nouveau fichier.
- export du/des résultats dans un fichier XLS ou TXT
-reimport dans les fichiers définitifs de chaque periode.

L'avantage à été de pouvoir importer les récents rapidement et de finir par les anciens (ce qui n'as pas géné les users)

Si cela peut te servir, j'ai une fenêtre/appli qui me permet de "importer" des données sans trop de problèmes, je l'intègre dans mes applis pour me simplifier la vie....

A+

Bonjour et merci
Pour information, le libellé du message débute bien par "export" et non import.
En effet, concernant cette étape j'ai justement indiqué m'orienter vers un HImporteTexte et donc l'utilisation d'un tel fichier.

NB : l'utilisation d'une requête est proscrite en raison du temps mis à récupérer un résultat (et donc avant de débuter le parcours).

Dans l'immediat je suis passé par un parcours filtré sur la clé date et HCopieEnreg + HEcrit suivit d'une indexation du fichier ainsi créé.
A chaque changement de période, un petit HChangeNom permet le découpage en fichier mensuels.