Bonjour à tous. J’ai de bonnes nouvelles pour ce rapport !
Mise à jour du serveur
Le mois dernier, j’ai mis à jour les dépendances du serveur. Cette mise à jour m’a permis d’améliorer le serveur en utilisant les dernières fonctionnalités disponibles. Le serveur est maintenant capable d’exécuter une IA sur le GPU et le CPU. Jusqu’à présent, il ne pouvait qu’utiliser le GPU ou le CPU mais pas les deux. C’est une grande amélioration. De plus, j’ai simplifié l’interaction avec les options du serveur. Si vous voulez exécuter le serveur par lui-même, le fichier de configuration dispose désormais de plus d’options.
Toutes ces options seront bien sûr disponibles dans le client aussi.
Mise à jour du client
Je n’ai pas encore mis à jour le client. Mais il aura de nouvelles options à votre disposition pour bricoler.
Tout d’abord, vous pourrez spécifier la quantité de mémoire que vous autorisez l’IA à utiliser. Par exemple, vous pourrez dire “5 Go” ou “3400 Mo” pour le GPU. Idem pour le CPU. En outre, le serveur prendra en charge une nouvelle fonctionnalité appelée “Disk offload” (ou déchargement sur le disque). Ce sera une simple option true ou false. L’activer permettra au serveur d’écrire des données dans un dossier temporaire (supprimé à la fermeture du serveur) si vous n’avez pas assez de mémoire pour l’IA. De cette façon, vous serez en mesure d’exécuter des IA beaucoup plus grande qu’avant. Tant que vous avez un SSD (je crains qu’un disque dur ne soit trop lent pour cette option).
J’espère mettre à jour très bientôt et le publier dans la branche expérimentale comme le 1.5.2-BETA.1.
Comment ça marche ?
Petite vidéo explicative:
Pour rendre cela possible, j’ai également dû diviser les IA en petites parties. Jusqu’à présent, les AI étaient stockées dans un seul fichier énorme. Par conséquent, il était impossible de les charger sans avoir des pic de mémoire (qui pourrait conduire à des freezes ou planter pour ceux qui ont peu de mémoire). Les AI seront maintenant divisés en parties de 200 Mo. Cela permet au serveur d’utiliser beaucoup moins de mémoire et d’optimiser son utilisation.
Résumé
Voici donc un petit résumé des améliorations
- Plus de pic de mémoire lorsque l’IA se charge.
- La possibilité de spécifier la quantité de mémoire que vous autorisez (sur CPU et GPU).
- Possibilité d’utiliser un dossier pour écrire des données au lieu de les stocker en mémoire.
- De nombreuses nouvelles options pour ceux qui aiment expérimenter.
- L’IA est divisée en parties de 200 Mo pour permettre une meilleure gestion de la mémoire.
Le mauvais point est, vous devrez re-télécharger les AI.
Et ensuite?
- La diffusion de la 1.5.2-BETA.1
- Rien d’autre pour mai et juin :(. Je serai très occupé pendant ces deux mois.
Merci.