Transfert de Style avec Spell : Guide Complet et Tutoriel de Codage

Le transfert de style est une technique fascinante qui permet de combiner le contenu d'une image avec le style d'une autre. Ce processus, autrefois complexe, est désormais accessible grâce à des plateformes comme Spell. Cet article vous guidera à travers les prérequis techniques, l'installation et l'utilisation de Spell, ainsi qu'un tutoriel de codage détaillé pour maîtriser le transfert de style. Préparez-vous à transformer vos images et à explorer de nouvelles frontières artistiques !

Qu'est-ce que le Transfert de Style ?

Le transfert de style, ou style transfer, est une technique d'intelligence artificielle qui permet d'appliquer le style visuel d'une image (par exemple, une peinture célèbre) au contenu d'une autre image.

Imaginez transformer une photo de votre chat en une œuvre d'art à la manière de Van Gogh ou de Picasso. C'est le pouvoir du transfert de style ! Cette technique repose sur des réseaux neuronaux convolutifs (CNN) et des algorithmes sophistiqués qui analysent et décomposent les images en différents niveaux de représentation, permettant ainsi de séparer le contenu du style. Le but ultime est de recréer l'image originale avec le style visuel de l'image de référence.

Le transfert de style est un domaine en constante évolution, avec de nouvelles approches et algorithmes qui émergent régulièrement. Les avancées dans l'apprentissage profond et les CNN ont permis de rendre cette technique plus accessible et de produire des résultats toujours plus impressionnants. Aujourd'hui, des plateformes comme Spell facilitent l'expérimentation et la création de modèles de transfert de style personnalisés. En maîtrisant cette technique, vous pouvez débloquer un potentiel créatif immense et transformer votre vision artistique en réalité.

Pourquoi Utiliser Spell pour le Transfert de Style ?

Spell est une plateforme de cloud computing conçue pour l'entraînement de modèles d'apprentissage automatique. Elle offre une infrastructure robuste et flexible, permettant de gérer les ressources nécessaires pour les tâches gourmandes en calcul comme le transfert de style.

Voici quelques avantages clés de l'utilisation de Spell :

• Puissance de calcul : Spell donne accès à des machines virtuelles équipées de GPU performants, accélérant considérablement le processus d'entraînement des modèles.
• Facilité d'utilisation : La plateforme offre une interface intuitive et des outils simplifiés pour configurer et lancer vos entraînements.
• Personnalisation : Spell permet de personnaliser les environnements d'entraînement, en installant les bibliothèques et les dépendances nécessaires pour votre projet.
• Collaboration : La plateforme facilite le travail en équipe, en permettant de partager des projets et des ressources avec d'autres utilisateurs.
• Accessibilité : Spell rend le transfert de style accessible à tous, même sans expertise approfondie en infrastructure informatique.

En utilisant Spell, vous pouvez vous concentrer sur l'aspect créatif du transfert de style, sans vous soucier des complexités techniques liées à l'infrastructure. La plateforme prend en charge les tâches d'installation, de configuration et de gestion des ressources, vous permettant ainsi de gagner du temps et d'optimiser votre workflow.

Création et Gestion d'Environnements Personnalisés

Spell permet de créer des environnements personnalisés, adaptés aux besoins spécifiques de votre projet. Cela signifie que vous pouvez installer les bibliothèques, les frameworks et les dépendances nécessaires pour le transfert de style, sans affecter d'autres projets ou l'environnement système.

Pour créer un environnement personnalisé, vous pouvez utiliser un fichier requirements.txt qui liste toutes les dépendances de votre projet. Ce fichier peut être créé manuellement ou généré à partir de votre environnement local à l'Aide de la commande pip freeze > requirements.txt.

Une fois le fichier requirements.txt créé, vous pouvez l'utiliser pour créer un environnement personnalisé sur Spell :

1. Connectez-vous à votre compte Spell.
2. Créez un nouveau projet ou utilisez un projet existant.
3. Téléchargez le fichier requirements.txt dans votre projet.
4. Configurez l'environnement d'entraînement en spécifiant le fichier requirements.txt comme source de dépendances.

En utilisant des environnements personnalisés, vous vous assurez que votre projet dispose de toutes les dépendances nécessaires et que vous évitez les conflits potentiels.

Optimiser les Notifications pour Suivre l'Entraînement de Vos Modèles

L'entraînement de modèles de transfert de style peut prendre du temps, en particulier avec des datasets volumineux et des modèles complexes. Pour suivre l'avancement de vos entraînements et être informé des éventuels problèmes, il est fortement recommandé de configurer les notifications sur Spell.

Vous pouvez configurer Spell pour vous envoyer des e-mails ou des notifications Slack lorsque certaines conditions sont remplies, comme :

• La fin d'un entraînement.
• Une erreur lors de l'entraînement.
• Un dépassement du budget alloué.

Pour configurer les notifications, accédez aux paramètres de votre compte Spell et sélectionnez l'onglet "Notifications". Vous pourrez alors choisir les événements pour lesquels vous souhaitez recevoir des notifications et définir les canaux de communication préférés.

Préparation de l'Environnement

Cette étape consiste à préparer l'environnement sur Spell. Cette étape comprend:

1. Activation de l'environnement de coding本地(本地 coding 环境配置)
2. Clone the fast-style-transfer git repo from github(获取git文件):

git clone https://github.com/lengstrom/fast-style-transfer
cd fast-style-transfer

3. Création de quelques folder和files(准备文件夹）

   mkdir ckpt/
   touch ckpt/.gitignore
   mkdir images
   mkdir images/style

4. Put a “style” image into the images/style directory, make sure that we can actually use this artwork and we will give credit to all those images:

在images/style/这个文件里要放入需要学习的style图片。 这一步非常重要，注意版权，如果对图片版权没有把握需要谨慎，或者使用允许你用的图片

5. Commit it to git (上传到git里）

   git add images ckpt
   git commit -m "Added required folders and images"

Téléchargement des Datasets (Environ 1 Heure)

Le dataset COCO2014 est utilisé pour la classification，因为我们需要8万张图片用来给machine学些，这步非常重要。

1. run ./setup.sh （执行download data代码)
2. 如果要挂载GPU需要输入如下command:

   spell run --machine-type CPU ./setup.sh

   运行起来需要1.5h左右。

3. 在spell后台可以看见run的情况。

RUN is pending - waiting for a CPU machine
Machine a71a14603 is ready
BUILD- 100% (10/10), 0:00:02
PULL- 100% (5/5), 0:00:03
RUN  - Queued
RUN is building

https://www.google.com/url?q=https://iterm2.com/
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100  576M  100  576M    0     0  3405k      0  0:02:54  0:02:54 --:--:-- 3180k

需要给它一点时间。

4. 准备完成！

Entraînement avec style.py (Environ 2 Heures)

This step we start train the model, it will take the machine 3-4 hours for machine learn style transfer model.

在console中输入如下命令开始train，由于需要大量GPU，推荐V100类型。

spell run \
    --mount runs/THE_RUN_NUMBER_OF_YOUR_SETUP_RUN/data:datasets \
    --machine-type V100 \
    --framework tensorflow \
    --apt ffmpeg \
    --pip moviepy \
    "python style.py \
    --checkpoint-dir ckpt \
    --style images/style/YOUR_STYLE_IMAGE_NAME.jpg \
    --style-weight 1.5e2 \
    --train-path datasets/train2014 \
    --vgg-path datasets/imagenet-vgg-verydeep-19.mat"

Remember to replace THE_RUN_NUMBER_OF_YOUR_SETUP_RUN and YOUR_STYLE_IMAGE_NAME .

It took me ~2 hours. And it created files in the ckpt folder.

It will use the data from ./setup.sh 这一步时间比较长，大概2小时以上。 这个时候可以设置notiication，防止超预算。可以关注下email。

Conversion du Modèle en ml5.js

This step is final step, convert model to TensorFlow.js Model, so that we can use it inside browser. Convert tensorflow 模型到 TensorFlow.js model

1. 克隆转换代码:

   git clone https://github.com/reiinakano/fast-style-transfer-deeplearnjs
   cd fast-style-transfer-deeplearnjs

2. 需要put刚才获得的checkpoint files放到刚刚下载的文件夹:

   python scripts/dump_checkpoint_vars.py \
   --output_dir src/ckpts/YOUR_FOLDER_NAME
   python scripts/remove_optimizer_variables.py \
   --output_dir src/ckpts/YOUR_FOLDER_NAME

   需要进行如下替换：

   Remember to replace YOUR_FOLDER_NAME, the folder that holds all the checkpoint files and a manifest json file. 替换成check point对应的路径名： /Users/yining/Dev/fast-style-transfer/src/ckpts/ckpt

3. 开始建立tensorflow model

   python -m http.server 8000