Convertir un site SPIP 3 en utf-8 avec le plugin Grenier - commentaires

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Effectivement les fonctions pour convertir les bases ont été rétirées du plugin grenier pour les sites SPIP 4+

Il existe un autre solution en utilisant spip-cli (j'ai mis à jour l'article et les liens ad hoc)
Par contre, cela requiert un peu de connaissances techniques.

Donc si vous partez d'un SPIP 3, il est conseillé de plutôt convertir en utf-8 puis de passer en SPIP 4.

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour,
J'ai le même souci... avec la même erreur Fichier base_convert_sql_utf8 introuvable, sur un spip 4.0.9
Merci

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

pffiouf,
grace à ta contribution, j'ai réussi à repasser la base mysql d'un site en UTF-8 et ultime gageure : sans accès FTP !
merci bien !

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour et bonne année

à bien y regarder le plugin v1.0.1 ne fait plus la conversion de base. Il faut alors que je repasse en spip 3.2 et que j'utilise la v0.3.3 ?

Merci

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Re-bonjour

Dans le readme du plugin, je viens de voir « Dans votre code PHP, ajouter include_spip('inc/vieilles_defs'); pour charger toutes ces vieilles fonctions. » Pouvez-vous m'indiquer dans quel fichier php de spip faut-il ajouter cette ligne de code ?

Joyeuses fêtes

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour merci pour ce plugin très utile
je viens d'installer la dernière version du plugin v1.0.1 sur un SPIP 4.0.1 (php 7.4) mais quand je cherche à le lancer avec ecrire/ ?exec=base_convert_utf8 j'ai le message d'erreur suivant
Fichier base_convert_utf8 introuvable. Effectivement le plugin v1.0.1 contrairement à la version 0.3.3 n'a pas de sous-dossier « base » où se trouve le fichier convert_utf8.php.

Est-ce qu'en ajoutant le sous-dossier base de la v 0.3.3 dans la v1.0.1, est-ce que le plugin fonctionnera correctement avec SPIP 4.0 ?

Cordialement

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Merci pour le retour d'expérience et bravo pour le passage en SPIP 3.2.7 en utf-8 !
Une année qui commence bien :)

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour et bonne année 2020 à vous !

Merci pour votre réponse et votre aide. Tout est maintenant rentré dans l'ordre : base en UTF8, SPIP 3.2.7 (à la place de 3.0.1) et PHP 7.2 (contre 5.6 précédemment) !
J'ai suivi vos conseils mais sans avoir le courage de réinstaller le vieux Spip3.0 !

Résumé de ma procédure :
- retour à php 5.6 (via le « manager » OVH) avec Spip 3.2.7.
- tentative de restauration de la sauvegarde antérieure à la mise à jour depuis l'interface de SPIP. Message de réussite mais... base visiblement effacée !!
- Retour au manager OVH pour restaurer leur propre sauvegarde de la base antérieure à la MAJ (merci OVH !) ;
>> Et là, j'avais récupéré des textes lisibles et accentués !
- Un petit nettoyage grâce au plugin « Grenier » (merci à vous !). Le premier script me dit que la base est en UTF-8, le second semble apporter des corrections.
- Vérification de la base via phpMyAdmin : tout est en ordre ! Ouf !

Eh bien, voilà une année qui commence bien !
Il reste des petits réglages à reprendre sur le site mais l'essentiel est préservé.
Moralité : prudence avec les mises à jour un peu trop « ambitieuses » !

Cordialement,
TG

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour,

Quelle était la version précédente de SPIP ?
Avez-vous fait une sauvegarde avant la migration ?

Si vous avez une sauvegarde :

essayer de revenir à la version précédente (PHP 5.6, votre SPIP précédente, votre base, précédente).
utiliser les fonctions de grenier pour passer la base en utf-8. si cela fonctionne bien, les accents doivent bien s'afficher sous phpmyadmin
faire une nouvelle sauvegarde
lancer la migration vers le dernier spip avec le spip_loader
passer à PHP 7.2

Tenez-nous informé !

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour,
Merci pour le plugin et les diverses options proposées mais malheureusement rien ne fonctionne pour moi à partir du plugin Grenier.
Je viens de mettre à jour le site www.culturejazz.fr (hébergement mutualisé OVH) ce 28 décembre vers la dernière version de SPIP avec Spip_loader. Ça s'est globalement bien passé mis à part un problème d'encodage des caractères accentués (et autres « spéciaux ») qui résiste aux deux syntaxes proposées pour « Grenier », ci-dessus. La seconde me liste un certain nombre de modifications mais rien n'a changé !
J'avais testé aussi avant cela la modification de l'interclassement de la base par phpMyAdmin.

NB : J'ai profité de la mise à jour pour passer de PHP 5.6 à PHP 7.2... Cela peut-il avoir une incidence ?

Je précise que dans l'interface privée de SPIP, seul le rédactionnel lié au contenu du site est affecté. Les menus, entêtes etc. de SPIP s'affichent sans erreurs d'accents etc.

Quelqu'un a-t-il une idée ? une solution ?
Merci d'avance et belle fin d'année à vous !

Th.

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Un grand merci pour ce plugin, depuis ce matin 11h00 je me suis retrouvé avec des ? à la place des accents, à la suite d'un changement de version de mysql. Recherches sur Google, forums, plein de tests et puis rien et là en 3 minutes c'est corrigé ! La première syntaxe m'a dit que mon site était en utf8, la 2 eme a tout réparé !
ouf !

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

bonjour,

d'après https://plugins.spip.net/grenier.html

la version grenier 0.3.2 est compatible avec SPIP 3.2+	télécharger
la version grenier 0.2.6 est compatible avec SPIP 3.1+	télécharger
la version grenier 0.2.4 est compatible avec SPIP 3.0+	télécharger

Pour SPIP 3.1.8, il faut donc utiliser la version 0.2.6 ne devrait pas être indiquée obsolète..

il faudrait que tu effaces la version grenier 0.3.2 de ton serveur et à la limite ré-télécharge la version 0.2.6

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour,
J'ai essayé d'installer ce plugin, mais toutes les deux versions sont marquées soit « version incompatible » (0.3.2) soit « version obsolète » (0.2.6). Mon site est actuellement sous version SPIP 3.1.8 [23955].
Pourriez-vous m'expliquer comment faire, SVP ?
D'avance merci.

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

En fait quand j'installe Spip 3.2, il m'affiche une langue principale en utf8 alors que les tables sont encore en iso-8859-1...

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour,
J'ai suivi exactement cette procédure mais résultat non satisfaisant, toujours des problèmes de codage dans les tables et dans le site.

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Je viens de mettre les liens a jours :-)

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

le lien vers le plugin est erroné :
il y a 3 versions :
grenier_30
grenier_31
grenier_32

Merci pour ce plugin bien pratique !

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

ici aussi ecrire/ ?exec=base_convert_sql_utf8 donne juste :

Fichier base_convert_sql_utf8 introuvable

concernant le probleme "une recherche sur « bebe » ne retournera rien même s'il y a tout bien de « bébé » dans les textes."
je suis a 100 % d accord, il faudrait faire comme google, et ignorer totalement les accents lors d une recherche

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

J'ai un autre effet de bord lorsque le plugin grenier est activé : tout le contenu éditorial au centre de la page ecrire/ ?exec=accueil disparaît (liste des derniers articles, etc.)

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Sur la page / ?exec=fulltext en haut j'ai X fois la mention « Une incohérence entre le charset de votre site et celui des tables de votre base de données risque de fausser les recherches avec caractères accentués :convertir en UTF-8 pour restaurer la cohérence »

j'ai installé la version du plugin Grenier sur un SPIP 3.1.1 et j'ai Fichier convert_sql_utf8 introuvable pour / ?exec=convert_sql_utf8

pour ?exec=base_convert_utf8 j'ai « Votre site est déjà en utf-8, inutile de le convertir... »

Est-ce qu'avec le bon encodage en UTF-8 la recherche différencie les caractères accentués ? Pour l'instant c'est bien le cas sur mon site (mais ce n'est pas la panacée car beaucoup d'internautes ne les tapent pas) et donc une recherche sur « bebe » ne retournera rien même s'il y a tout bien de « bébé » dans les textes.

Merci
dd

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Pour info, je viens de tester sous SPIP 3.0.23-dev svn avec la version 0.2.4 (elle aussi svn) du plugin et je ne reproduis pas. Le plugin s'active bien, je le vois dans la liste des plugins actifs et j'ai bien accès à la page de conversion...

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

ici aussi la version 3.0 ne fonctionne pas, il apparait bien dans la liste de plugins inactifs, mais apres activation « reussie » il reste dans la liste des inactifs, et les liens de conversion ne fonctionnent pas.

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Merci pour ce plugin utilisé avec Spip 3.0.17
Pour info, le plugin n'était pas visible l'admin, et l'url « ecrire/ ?exec=base_convert_utf8 » restait introuvable.
Il a fallu que je rajoute ceci à la fin du fichier paquet.xml pour l'activer et accéder au script de conversion :

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

C'est parfait !
Merci beaucoup pour votre efficacité et votre réactivité !

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Salut et merci pour le signalement, on va corriger ça au plus vite. En attendant, tu peux activer le plugin sur ue 3.1 en modifiant la ligne suivante dans le paquet.xml du plugin :

http://zone.spip.org/trac/spip-zone/browser/_core_/branches/spip-3.0/plugins/grenier/paquet.xml#L6

Il suffit de remplacer 3.0.* par 3.1.*

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour,

Merci pour ce plugin bien efficace avec Spip 3.0.
J'ai malheureusement fait la mise à jour vers Spip 3.1 et là le plugin est incompatible.
Il y a-t-il une solution ?
Déjà merci de votre réponse

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Ce plugin est excellent ! Je ne sais pas si c'est voulu mais il ne s'affiche pas dans la liste des plugins sur la page ecrire/ ?exec=charger_plugin

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Une autre remarque : j'ai constaté que les champs statut varchar(10) NOT NULL DEFAULT '0', (présents dans de nombreuses tables) perdent leur valeur par défaut '0' après conversion des structures.

Géré en ajoutant L105 :
$default = $row2['Default'] || $row2['Default']==='0' ?(" DEFAULT ".sql_quote($row2['Default'])):"";

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour,

J'ai un site sur lequel la conversion de la structure des tables ne s'est pas bien déroulée, au final certains champs se sont retrouvés en utf8, d'autres sont restés en latin1.
Ce qui est dommage, c'est que les erreurs MySQL rencontrées ne sont pas affichées.
Je propose donc l'ajout de cette ligne juste après l'affichage des requêtes de conversion exécutées :
if (!_DEBUG_CONVERT && sql_errno()!=0) print '

Erreur: '.sql_error().'

';

Avec ces affichages j'ai pu identifier un premier problème lié à des index FULLTEXT, que j'ai pu régler.

Puis un second lot d'erreurs lié à la conversion intermédiaire en BLOB comme ces exemples :

SQL : ALTER TABLE spip_articles CHANGE statut statut blob NOT NULL
Erreur : BLOB/TEXT column 'statut' used in key specification without a key length

SQL : ALTER TABLE spip_articles CHANGE export export blob DEFAULT 'oui'
Erreur : BLOB/TEXT column 'export' can't have a default value

Provenant de cette portion de code (fichier base/convert_sql_utf8.php ligne 92) :

 $type_texte= $row2['Type']; $type_blob = "blob"; if (strpos($type_texte,"text")!==FALSE) $type_blob = str_replace("text","blob",$type_texte);

plus bas on exécute (L107) :
"ALTER TABLE spip_$nom CHANGE $champ $champ $type_blob $default $notnull"

En clair, le type destination est d'office blob sauf si le type orifinal est machinTEXT alors il devient machinBLOB. Je suppose qu'il faut passer provisoirement en binaire pour éviter une quelconque transformation des données lors du passage en utf8 (?). Toujours est-il que cette opération est refusée sur beaucoup de champs (généralement en VARCHAR). Faut-il s'en inquiéter ?

Sont concernés les champs (soit avec une valeur par défaut, soit utilisés dans un index) :
- statut, export, lang, langue_choisie de spip_articles
- login, statut, source, webmestre de spip_auteurs
- objet, vu de spip_auteurs_liens
- langue_choisie de spip_breves
- media, mode, distant, extension de spip_documents
- objet, vu de spip_documents_liens
- objet, statut de spip_forum
- objet de spip_jobs_liens
- nom, impt de spip_meta
- objet de spip_mots_liens
- actif, installe, superieur, obsolete, attente de spip_paquets
- statut de spip_petitions
- prefixe de spip_plugins
- lang, langue_choisie de spip_rubriques
- statut de spip_signatures
- statut, moderation, miroir, oubli, resume de spip_syndic
- url, statut de spip_syndic_articles
- extension, inclus, upload, media_defaut de spip_types_documents
- url, type de spip_urls
- objet de spip_versions
- objet de spip_versions_fragments
(sans parler des autres champs ou tables non installées par le core)

Ca fait beaucoup de champs en erreur sur cette étape de conversion en BLOB ; cela dit, beaucoup d'entre eux contiennent des chaînes prédéfinies (objet, langue, statut) qui ne poseront pas de problème.

J'ai modifié le script pour qu'il affiche les erreurs et des instructions SELECT DISTINCT champs à copier-coller dans phpMyAdmin pour vérifier que les données de ces champs en erreur n'ont pas subi de dommages.
Il peut être téléchargé à cette adresse (site du Kit labos CNRS) : http://www.harmoweb.cnrs.fr/IMG/zip/convert_sql_utf8-2.zip

Pour info, aucun de ces champs récalcitrants à la conversion en BLOB n'ont finalement posé de problème de conversion.

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Super boulot, cela m'a pris à peine 30s. Bravo !!!

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Bonjour et merci pour ce plugin qui m'a permis de convertir un site iso-8859-1 en utf-8 ; une remarque cependant, ce site utilisait le plugin Agenda et les événements n'étaient pas convertis (table spip_evenements) ; à cette fin j'ai ajouté dans grenier/base/convert_utf8.php la ligne
'spip_evenements' => 'titre',
(après 'spip_articles'), cela a fonctionné.

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Soit un SPIP 1.9.x avec une base en iso-8859-1. En local après avoir importé la base mysql. Je connecte un nouveau SPIP3 tout frais. La migration de la base se déroule bien de 1.9 vers 3. Mon site est toujours en iso-8859-1 quand je vais dans ecrire/?exec=configurer_langue.

J'active le plugin grenier ( svn co svn://zone.spip.org/spip-zone/_core_/plugins/grenier) .

Puis je vais visiter ecrire/?exec=base_convert_utf8 et ecrire/?exec=base_convert_sql_utf8 Et hop c'est nickel !!!

merci Erational

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Ce pourrait être un retour d'expérience assez intéressant à priori. Tu peux nous tenir au courant de tes tests ?

MErci d'avance ;)

Convertir un site SPIP 3 en utf-8 avec le plugin Grenier

Voici un cas de figure qui se présente à moi : j'ai des tables en utf8 et d'autres en iso 8859. Faut-il procéder avec Grenier ?