Bonjour à toutes et à tous,

Dans l'esprit d'AngelMJ, je souhaite pouvoir sauvegarder les données de mes fichiers HF.
En effet, dans mon projet je dois pouvoir gérer l'import de données.

Voici donc ce que je souhaite faire :

ET01 : Déconnexion de tous les utilisateurs
ET02 : Sauvegarde des données dans un répertoire backup dont le nom sera articulé comme suit 'BACKUP_'
ET03 : Importation des données clients dans une table 'client_import' qui est une duplication de la table 'clients'
ET04 : Mise en forme et contrôle des formats (MAJUSCULE, TELEPHONE, EMAIL) des données à importer --> Première sélection (les données invalides sont supprimées)
ET05 : Au cours de la nuit suivant l'importation, le programme devra déplacer, fusionner les données de la table 'clients_import' vers la table 'clients'.
ET06 : Pour chaque enregistrement de la table 'clients_import', on vérifie dans la table 'clients' que les données clés n'existent pas déjà (données clés avec doublon : nom, prénom, adresse1, adresse2, adresse3; données clés sans doublon : téléphone, portable, email)
Si l'enregistrement est nouveau (à 100%) alors ajout dans la table 'clients', si il est déjà présent mais possède de nouvelle données --> fusion des nouvelles données dans la table 'clients', si il est déjà présent mais possède des données contradictoires : un choix est à faire (remplacer les données en conflit ou pas). Toutefois sur ce dernier point, étant donné que l'application est pour un cabinet de voyance et que les clients sont appelés régulièrement, on peut supposer que les données en places sont pertinentes. On partirait alors sur le fait que les données en contradiction de la table 'clients_import' sont erronées.

Mes questions sont les suivantes :
- Est ce que ce schéma de principe vous parait applicable pour des import de fichier de 2500 à 50000 fiches ?
- Comment déconnecter les utilisateurs réseaux comme cela est fait lors de l'installation d'une mise à jour en réseau ? (je n'ai pas trouvé d'info dans la doc).
- L'importation doit pouvoir être faite à partir d'un fichier texte ou un fichier excel. Est ce qu'il n'est pas préférable de privilégier le format txt au format excel pour un meilleur temps de traitement ?
- Comment prévenir les utilisateurs que l'importation s'est déroulée correctement ?
- Vu la charge processeur que subira le processeur du serveur est ce un bon choix de programmer l'import et le dédoublonnage des données la nuit ? Ou bien WinDev peut il supporter cela facilement (en sachant que l'application est en mode client-serveur avec une dizaine de postes attaquant le serveur) ?

Voilà, je sais que c'est un gros morceau, mais il est impératif que je réalise ce moteur d'import/dédoublonnage d'ici à la fin de la semaine, c'est pourquoi je remercie d'avance toutes les personnes qui voudront bien me donner un coup de main.

Je pense par ailleurs que si on met au point ce moteur, on pourrait le passer en licence WDLibre, qu'en pensez vous ?

je ne peux pas t'aider, suis trop débutant sous Windev.

en revanche, l'idée de déconnecter les utilisateurs m'interesse enormement.

Bon courage.

Salut
je n'ai pas la réponse pour la déconnexion des utilisateurs (l'information doit être dans le source de GPw) mais pour ce qui est de l'importation je ne te conseille pas de passer par un fichier XLs car l'exemple fournis montre que si le fichier est gros il plante grave et bouffe pas mal de ressources.

Par contre j'ai fais des importation de plusieurs centaines de mille de rec en partant d'un Txt et sa bouge pas mal meme en incorporant une recherche en base pour voir si déjà présent ou pas et sa bouge vite.

voilà

William

Merci William pour tes réponses. Tu confirmes ce que je pensais sur les fichiers xls.

Pour ce qui est de la déconnexion je vais jetter un oeil dans le gpw.

Merci

Entre Toulonnais C normal lol
William

Ps je t'ai fait passer mon mail par MP tu l'as eu??

Salut Thernius,
Pour la sauvegarde tu peux t'inspirer du post que j'ai déposé Ici

En ce qui concerne L'import le mode texte que l'on te préconnise est surement l'une des meilleurs, a toi de créer les bonnes clés composées dans ton fichier client afin d'optimiser la rapidité de l'import

En ce qui concerne la déconnexion des utilisateurs je n'ai pas encore regardé mais sur le meme principe que la sauvegarde bloquer tous les fichiers via la fonction HBloqueFichier(,)
Traitements d'importation
HDebloqueFichier() sur tous les fichiers
peut etre meme voir si un HFerme("*") ne débloque pas les fichiers qui ont étés bloqués par le poste qui les à bloqués.

Que cela se fasse la nuit est meme plutot recommandé.

Bonjour,

[DECONNEXION des UTILISATEURS]
Si vous utilisez des fichiers au format hyperfile 7 avec la méthode 'Utilisation en réseau', vous constaterez que le programme utilise un fichier WDUPDATE.NET qui est en fait un fichier INI.
Dans ce fichier, tous les paramètres visibles par le programme WDADMINEXE.EXE se retouvent.
Ainsi, vous avez donc pour votre application [Section]
le paramètre MODE=0 (Fct normal), MODE=1 (Connexion interdite), MODE=2 (Avert arrêt imminent) et MODE=4 (Arrêt forcé). Il suffit donc de modifier ce fichier en MODE=4 pour forcer l'arrêt de l'application. MAIS, ne pas oublier le délai de déconnexion (ce n'est pas instantané, voir DELAI_AUTO) et puis l'instance de votre application back-up va se fermer aussi ! Pour éviter cela, MODE=3 ne vous éjecte pas (je pense) mais le délai est plus long. Vous devrez faire des tests pour vous en rendre compte.
Il est possible de programmer cela de manière plus avancée mais je n'en ai pas encore eu l'opportunité ni les besoins.
Après vos traitements, ne pas oublier de remettre MODE=0 avant le matin.
Si c'est un batch de nuit, n'y a-t-il pas moyen que les utilisateurs ne soient pas connectés la nuit ?
[IMPORT]
Via fichier texte = très rapide et on ne dépend pas d'une autre application (Excel).
Idéal pour un batch de nuit.
Faire éventuellement un rapport dans un fichier .LOG pour que les utilisateurs puissent s'assurer de la réussite de l'import ou mettre un champs [Date de dernière importation] sur la fenêtre principale, ...

En espérant vous avoir aidé ...
Bonne chance.

Merci Beaucoup devJFC,

Je testerais les éléments que tu m'as donné sur la déconnexion rapidement. Cela dit il est vrai que normalement en milieu de nuit personne n'est connecté à la base, mais c'est dans le but d'avoir une sécurité supplémentaire.

Maintenant, il faut que je m'attaque à la gestion des doublons et là c'est un très très gros morceau, car il faut que je puisse gérer les différences phonétiques dans les noms, j'utiliserais pour cela la fonction phonétique qui donne d'assez bons résultats.
Il faut que la majorité de la procédure soit entièrement automatique et qu'il ne reste vraiment que les cas litigieux à gérer par l'homme (et sur des gros fichiers, genre 50000 fiches, cela peut représenter plusieurs centaines de fiches à traiter en manuel).

Je relève les manches et j'attaque, screugneugneu!!!!

OUAH !
Merci devJFC, ça fait une semaine que notre équipe cherche un moyen de rendre l'arrêt obligatoire plus efficace.

Je vais faire des tests :
1 - par copie de fichiers ( passage de mode 0 à mode 4 )
2 - par lecture et écriture du fichiers

... je vous tien au courant :)
merci encore

Pour ce qui est de l'arret obligatoire,
tu peux faire une application 'z' a part qui fermera l'application cliente via les sockets.
tu mets une sockette (chaussette ) en écoute du coté client et du coté de l'application 'z', tu envoies le signal d'arret sur cette sockette.

en espèrant t'avoir aidé.

PS : je n'ai pas encore fais cette manip, mais on devra y passer aussi.

Geo.

Merci G_Angel,

Mais là les sockets je ne connais pas du tout, il va falloir que je regarde les exemples fournit avec WinDev.
Peux tu me donner quelques indications supplémentaire sur les sockets, je ne crois pas avoir vu quelquechose d'écrit sur les sockets sur rbesset, à mois que j'ai mal enfourché mes lunettes.

je suis en train de faire un petit projet là dessus, apres le boulot.
Je te dirai quoi qd ce sera bon :