| Re: [BLOG] Chronique d'une amélioration sensible |
Sujet: Re: [BLOG] Chronique d'une amélioration sensible par lmame sur 23/11/2005 0:17:45  Dans le même genre, on a un serveur qui ponds chaque jour un fichier de log (en .txt) de 100 Mo (+ ou -), et évidemment, il fallait chercher une communication dedans... et vite en plus... Dans premier réflexe (car la recherche peut être faite temps réel pour le service client, donc pas le temps d'intégrer en HF, vu le temps que ça prends): -> flitligne() avec peut être un fichier d'index pour ranger un peu les communications et tricher sur l'offset de départ... Super lent, genre 3 minutes... ok, on laisse tomber... -> bon, ok, alors flit() par tranche de 1 Mo (mais faut gérer les lignes à la main et les données qui restent entre les lignes, mais bon), 1 minute, -> bon ok, tu m'enquiquines toi là bas dans le fond, mange toi 4 threads sur le principe de la dichotomie (ouais bon, quadrichotomie) sauvage avec des flit à 2 Mo... 2 seconde... Ah ouais... Y'a miam dichotomie  Encore un peu je ressortais le QuickSort des familles pour l'adapter...Résultat, entre moins d'1 et 6 secondes (si le serveur est chargé) pour trouver le record (et les events suivants) dans un fichier de 100 M... Corrolaire, jeter à la poubelle flitligne qui est décidément beaucoup trop lent... Dans une prochaine aventure, je vous parlerai du dév qui prétendait que Windev était tellement lent que même une appli en PHP tournait plus vite... C'est sûr que vu comment il codait en Windev... |
|
|
Connexion
Menu
Chercher WDForge
Chercher Web
Partenaires
|
