Plus c'est gros, plus ça fait mal
Par Olivier le mercredi 7 février 2007, 00:00 - LinuxFR - Lien permanent
Texte initialement publié sur LinuxFR
C'était un des trucs que vous craigniez. Ça fait plusieurs semaines que vous savez que ça allait arriver. Mais comme tant que ça n'arrive pas ça reste moins prioritaire qu'un bon millier d'autres trucs qui n'attendent pas. Bref...
C'était un des trucs que vous craigniez. Ça fait plusieurs semaines que vous savez que ça allait arriver. Mais comme tant que ça n'arrive pas ça reste moins prioritaire qu'un bon millier d'autres trucs qui n'attendent pas. Bref...
Je parle bien évidemment d'un raid5 (4 x 160Go dans mon cas) qui vous claque entre les doigts. Merci EDF pour la succession de microcoupures, et merci plus encore à l'agent EDF qui est venu travailler sur mon compteur hier: "vous avez fini ?" "oui" et bam tout qui pête dans les 5 minutes, en pleine reconstruction du raid à qui il manquait une patte. Conclusion: Todo++ "batterie onduleur naze".
Bien sûr, j'ai des sauvegardes pas trop vieilles, mais rien que d'imaginer devoir restaurer et réorganiser tout ça... sans compter bien sûr tout ce qui n'est pas sauvegardé, parce que disponible sur internet (mirroir debian local) ou regénérable avec plus ou moins de difficultés (genre les nfsroot des 4 terminaux de la maison, dont je ne garde que le minimum) et les films en cours de montage qu'il va falloir retransférer depuis la caméra, les CD à encoder, etc...
Les sauvegardes c'est bien, mais ça ne fait pas tout. Et dans un contexte perso, perdre 480Go (moins vu qu'il était pas à 100%) de données bien rangées, bien organisées, c'est toujours une cata.
Finalement, après des vérifications sur les disques avec smartctl, quelques recherches sur Internet, et plusieurs tentatives avec mdadm, j'ai réussi à remonter le raid sans pertes de données. (Surtout parce qu'aucun disque n'était hs, c'était juste une cause électrique). Tout ça fait bien perdre plusieurs heures quand même.
Du coup il je vais devoir revoir une partie des priorités, pour prendre le temps de remettre à plat. Réparer l'onduleur, repenser les procédures de sauvegarde (les miennes datent de plus de 2 ans, et mon usage a évolué depuis).
Mais en y réfléchissant, le problème est plus général, j'ai un système informatique complexe (sans aucun doute trop), et de moins en moins de temps pour le maintenir. Comme d'un autre côté il se trouve dans la branche "loisirs" de mes activités informatiques, je préfère consacrer le temps disponible à essayer les nouveautés dont on me parle ici ou là, qu'à revenir sans cesse sur les mêmes sujets.
Avec un budget (très) conséquent ce serait facile, mais comme ce budget n'existe pas... c'est la quadrature du cercle.
Commentaires
Ce qui serait intérréssant c'est un mini-howto sur le comment tu as fais pour récupérer les données, ce qui a marcher et ce qui ne sert à rien
enfin si tu as le temps quoi !
Je suis étonné de voir un particulier faire du Raid 5. Contrairement au Raid 1, pour être fiable dans le genre de situation que tu as rencontré (plusieurs coupures de courant pendant des écritures), il est nécessaire d'avoir une carte haut de gamme avec de la NVRAM qui garantie une écriture atomique sur tous les disques en même temps.
Pour rappel, en Raid 1, on fait un mirroir exact des données sur les deux disques. La matrice enregistre dans le superblock un compteur d'evenement pour être capable de retrouver le mirroir le plus récent en cas de coupure sauvage. Au pire, on a une série de blocs qui est partiellement écrite. Si c'est dans les méta-données, le journal sait gérer les transactions terminées et en cours, si c'est dans les données, on a un fichier qui est partiellement écrit.
En Raid 5, les secteurs sont répartis sur plusieurs disques et on doit en permanence maintenir le bloc de parité à jour. Si on a une coupure de courant sauvage, on ne sait plus trop quels sont les blocs de parités écrits ou non et il est impossible de les utiliser sans quoi on risque de corrompre les données, il faut tous les recalculer.
Si on perd un disque avant d'avoir tout recalculé; on est mort, parce qu'on ne sait pas si nos blocs de parité sont utilisables pour reconstruire le disque manquant. Comme généralement, les disques meurts plutot lorsqu'on coupe ou redémarre le courant, cette situation a d'autant plus de chances de se produire.
La couteuse NVRAM embarquée sur les cartes controleur haut de gamme conserve en mémoire, même en cas de coupure de courant, les blocs de parité qui restent à écrire, permettant de court-circuiter les phases de ré-écriture.
Cette solution n'est quand même pas parfaite; ces cartes on un schéma de matrice Raid qui est propriétaire. Si jamais la carte lache; il faut installer la même carte avec le même firmware pour pouvoir accéder à la matrice en mode dégradé; et la reconstruction des blocs de parité est alors obligatoire.
La documentation du kernel Linux dit au sujet du Raid 5 et 6:
"If a raid5 or raid6 array is both dirty and degraded, it could have
undetectable data corruption. This is because the fact that it is
'dirty' means that the parity cannot be trusted, and the fact that it
is degraded means that some datablocks are missing and cannot reliably be reconstructed (due to no parity)."
Je profite du sujet pour poser une question : en tant que particulier, quelle solution préconisez vous pour réduire le risque de pertes de données personnelles ?
Cela fait quelques temps que je me dis que si jamais un de mes disques lâche, ce serait la cata, mais comme pour l'auteur de ce journal, cela fait partie des priorités qui ne le deviennent vraiment que lorsque le problème arrive ... c'est à dire trop tard.
Personnellement, j'ai des données que je qualifierai de "critiques" : projets en cours, photos persos, vidéos persos, ... etc que je ne peux pas me permettre de perdre. Je fais des sauvegardes de ce que je peux, mais cela pose toujours (surtout concernant mes prjets) le problème que les sauvegardes sont, presque par nature, jamais synchronisées...
J'ai pensé à un moment à du Raid1, mais suite à divers commentaires ici, je me demande si c'est une bonne solution ...
Voilà, je m'en remets à vous et à votre expérience pour savoir quelle solution est la plus pertinente pour un particulier qui souhaiterait sécuriser pour pas trop cher 300Go de données accumulées au fil des ans ...
Merci
(et pardon à l'auteur du journal d'utiliser sauvagement cet espace !)
Non. Le temps ne s'achète pas.
Ou alors, il te va falloir employer quelqu'un pour faire tes sauvegardes domestiques
Depuis un crash disque complet il y a deux ans (j'ai joué, LVM a gagné), je n'ai presque plus rien d'important sur mon DD. mon /home (deux personnes) fait 10Go en comptant la musique libre et les reportages traitant du libre. Autant dire rien si on les enlève... Tout peut se retrouver sur le net, à quoi bon stocker ? J'ai quand même une sauvegarde que je fais une fois par mois quand j'y pense, mais c'est vraiment pour les photos de famille et les comptes sur ooCalc.
C'est bien la peine d'avoir ~200 Go de disques...
Ben oui, un raid 5 ça sert à donner un moyen de réparer très vite en cas de petit problème (crash d'un disque).
Mais en cas de gros problème (foudre, alim qui grille) y'a pas d'autres solution que d'avoir une sauvegarde, sur un média déconnecté de l'installation électrique, de préférence dans des locaux différents.
Achète deux disques de 400 Go, mets en un dans un rack, et fait du rsync à la main de temps en temps. Et trouve un pote d'accord pour conserver tes données à la rigueur. Quant au prix, ça coûte toujours moins cher qu'un Raid5 (autour de 250¤).
Une solution simple et peu couteuse est ce que je fais : un disque en interne et deux en usb de même capacité. Tous les jours un script lance rsync dans la nuit et synchronise le disque dur interne avec le disque externe. Comme ça, j'ai un miroir au jour le jour des mes données importantes.
En fin de semaine, je prends le disque externe et vais le déposer chez ma grand-mère (profitant ainsi pour lui rendre visite). Je récupère un autre disque (déposé la semaine précédente) qui me servira pour les sauvegardes de la semaine. Le rsync est un peu long la première fois (la dernière synchro date de la semaine précédente), mais après c'est bon. J'ai ainsi une sauvegarde au jour le jour et une extérieurisé qui date d'une semaine.
Les données ne bougeant pas sont en plus graver sur deux DVD, un chez moi et un chez ma grand-mère. Comme ça, j'ai aussi un support autre que le disque dur.
Et quand je vais chez ma boulangère, en bas de chez moi, grâce à mon Nokia 880, je peux me connecter via le wiki (et au ssh) à mon serveur de la maison, rentrer sur mon Lan local et vérifier que tout tourne bien, tout en achetant la baguette de pain que nous mangerons, ma grand-mère et moi le midi (lors de ma visite pour échanger les disques dur et déposer quelques DVD, si vous avez tout suivis).
Ca coute moins cher que du RAID0 (deux disques durs externes, une baguette de pain le dimanche) et ma grand-mère est contente de voir son petit fils.
Un disque dur chez tes parents à qui tu causes par internet, c'est lent mais au moins pas au même endroit.
Et Mamie Genma sait-elle qu'elle ne te voit chaque semaine que parce que tes films pornos de vacances sont très importants ?
Mais non, mais non, il ne faut pas s'excuser, c'est aussi un peu pour ça que j'ai pris le temps de faire un journal.
> j'ai un système informatique complexe (sans aucun doute trop), et de moins en moins de temps pour le maintenir.
Pareil. C'est pourquoi par exemple j'ai viré ma passerelle internet sous linux, et enfin utilisé la freebox a plein potentiel (en mode routeur quoi).
Les quelques services que j'avais dessus, je les ai soit migré sur les machines qui s'en servait vraiment (genre, serveur http local sur mon desktop pour mes devs web, serveur impression sur la machine de ma femme parce que c'est elle qui imprime le plus souvent), et même supprimé certains (dns interne par exemple, remplacé par l'usage des fichiers hosts, ce qui est finalement plus simple, vu le nombre de machine du réseau).
Ça me plaisait d'avoir un système "complexe" quand j'étais jeune, ça m'a permis de me former un peu à l'admin système, mais il arrive un moment où ça devient un peu trop dimensionné, inutile, et trop chronophage. Il faut donc savoir appuyer sur le bouton off de certaines machines
Et depuis, je m'emmerde beaucoup moins
Mes projets sont sauvegardés dans des dépots svn la plupart extérieurs (donc automatiquement, j'ai des copies locales sur les machines que j'utilise). Pour mes photos et données persos : je grave régulièrement des cds. Bon le seul problème, c'est que régulièrement = 1 fois par an environ
Sur le principe du P2P, il existe : http://www.ubistorage.com/fr/
D'après ce que j'ai compris, les données sont sauvées selon un algo qui duplique les données entre les possesseurs de la box.
Quelque chose équivalent existerait-t-il en libre?
Il y a deux choses, Les deux points ne sont pas mutuellements exclusifs, le plus sécurisé étant de faire les deux.
1- Assurer le fonctionnement de la machine; ne pas être privé de la machine lorsqu'un disque lache, qu'il faut tout réinstaller, ressortir les sauvegardes... S'il faut 15 jours pour tout ré-installer et que l'on estime que l'on a une meilleur façon de dépenser son temps, alors on peut dépenser 100 ou 200 ¤ pour de la redondance.
Pour assurer de la sécurité de fonctionnement, le Raid 1 est une bonne solution. J'ai deux recommandations:
- Toujours acheter des disques de constructeurs différents, pour éviter d'avoir un défaut de série sur les deux disques.
- Faire du Raid logiciel; on peut récupérer les données même si la carte controleur lache; parce que le Raid hardware impose pratiquement toujours un format de matrice propriétaire que l'on ne peut pas utiliser si on change de matériel.
2- Assurer que les données ne sont pas perdues, s'assurer qu'une commande saisie un peu rapidement, qu'un hackeur mécontent, qu'un cambriolage ou qu'un incendie ne marque pas la fin de nos données. A nouveau, il faut estimer le prix et les contrainte en fonction de la valeur des données.
Pour cela, il faut faire des sauvegarde, il faut généralement conserver au moins deux jeux, parce qu'on ne se rends pas forcément compte tout de suite de la disparition. Je donne trois recommandations :
- Eviter tout système manuel, c'est très très rapidement lassant et la fréquence des sauvegardes décroit exponentiellement avec le temps.
- S'assurer que les sauvegardes fonctionnent bien, que les données sont effectivement enregistrées et récupérables.
- Préférer tout les mécanismes hors-site. Avec la généralisation de l'ADSL et de l'hébergement, il est facile de faire un mécanisme de sauvegarde croisé avec un ami. Un coup de rsync via ssh dans une crontab toutes les nuits est simple à mettre en place.
Voir http://www.peerple.org/
C'est un système de p2p développé par l'INRIA, qui sert pour l'instant à partager des données.
Dans le paragraphe tout en bas de la page d'accueil, il est indiqué que "The next major feature will be an automatic peer-to-peer backup solution".
On pourra donc bientôt s'en servir comme solution de sauvegarde, moyennant l'allocation d'un espace sur son disque dur.
Comme la sauvegarde est répartie chez plusieurs personnes, et dupliquée, elle est toujours accessible même après un crash.
Une condition est bien sûr que les inscrits soient connectés le plus souvent et le plus longtemps possible (en permanence, quoi).
A voir...
Je vais essayer de faire une petite synthèse:
Le problème (diagnostiqué à posteriori):
Le 6 au matin j'ai un mail de mdadm qui me prévient que mon raid est en mode dégradé. Les logs me donnent ça:Comme dans le même temps j'ai un appel de la société de sécurité pour un problème d'alimentation électrique de la centrale d'alarme dans le même créneau, je me pose des questions sur mon onduleur. Je vérifie hdf avec un petit smartctl -a /dev/hdf | less: j'y trouve ça (j'ai mis la dernière du moment, pas celle trouvée hier)les autres disques du raid ne montrent aucune erreur (j'en déduit aussi que hdf va me lâcher un des jours, todo++). Vu que globalement smarctl me dit que le disque est encore bon "SMART overall-health self-assessment test result: PASSED", je lance une reconstruction: mdadm -r /dev/md9 /dev/hdf1; mdadm -a /dev/md9 /dev/hdf1.
à 11h, arrivée d'un technicien EDF qui vient vérifier les compteurs, merde j'étais presque à la fin de la reconstruction. Comme il a pas l'air de vouloir attendre 1h de plus
vers 12h, je rallume le PC, il n'est pas visible sur le réseau. (c'est un headless). Je soupçonne un problème de montage mais Je dois sortir, pression sur le bouton off...
vers 20h, je branche un écran/clavier, tape mon mot de passe root, et trouve ça dans les logsPlus une goutte de sang dans le visage :).
Je passerais sur la loooongue recherche sur internet plus arriver à la commande qui m'a permis de récupérer la situation:Juste un truc que j'ai pas compris: l'ordre des devices à assembler semble très important. J'avais fait un premier test avec un ordre différent, mdadm n'a pas bronché mais les partitions étaient illisibles.
Et pour finir, forcer la vérification des deux partitions (une reiser et une xfs) (en croisant les doigts super super fort, une gousse d'ail dans chaque poche, et une prière à saint-maxtor...
Et là, le MIRACLE, rien, nada, qued, donc remontage, roulage, linuxjournal...
À la maison, backups rsync croisés:
mon laptop -> le serveur
le pc de ma femme -> le serveur
le serveur -> mon laptop
Avec un RAID1 et un onduleur sur le serveur, et bien sûr en faisant en sorte de ne pas rebackuper les backups de mon laptop sur le serveur vers mon laptop
Au boulot, RAID1 sur tous les serveurs ; full backup journalier de chaque serveur sur bande (une seule bande nécessaire à la récupération, ça va parce qu'on est loin de la remplir, rotation en 5 jours sur 5 bandes, tests de restauration 1 fois par mois) ; backup rdiff de chaque serveur sur un serveur dédié et off-site, avec historique sur trois mois ; et enfin backup rdiff des stations des employés sur un des serveurs backupés sur bande. C'est moins drôle, mais c'est pas de photos de vacances dont il s'agit...
Ah tiens, il manque un morceau entre
[...] Je rallume..."
Et là, bien sûr, ça tiens pas 10mn avant de recouper. Et je me rends compte en passant que mon onduleur est naze de chez naze ('fin la batterie) puisqu'il n'a pas tenu 1/2 seconde. (todo++ batterie) re-attente...
vers 12h, [...]
« Tout bien que tu détiens est un soucis qui te retient »
Et Skippy est là pour nous enlever tous nos soucis
La raison du choix du raid5 est principalement économique, pour le prix de 4 disques, on peut exploiter la capacité de 3. Pour avoir l'équivalent de mes 480Go en raid1, il me faudrait 4 x 250Go. C'est vrai que c'est plus sensible aux coupures sauvages, mais je pensais avoir un onduleur :] et puis il y a toujours le côté un peu geek. Pour mon prochain serveur (commande prévue après le tirage du loto) je prévois un raid 6 avec 6 x 250 ou 6 x 300 Go...
Je suis déjà content d'avoir pu remonter mon raid. Comme tu le fais judicieusement remarquer, j'ai peut-être des données corrompues quelque part, même si les xfs_check et reiserfsck n'ont rien trouvé dans la structure, mais je suis assez optimiste parce que le système était presque idle quand le problème est apparu, sous 20 de charge avec des io dans tous les sens, les conséquences auraient sans doute été autres. Là j'ai peut-être un fichier de log ou un paquet debian corrompu dans le mirroir (par exemple), mais dans un cas je ne m'en rendrais probablement jamais compte, et dans l'autre je pourrais corriger à la main le jour où ça posera problème.
Une étagère, un graveur de DVD et un stock complet de DVD de qualité.
Ce qui revient à 43.7 euros (grand max) pour 100 DVD, soit 437 Go.
D'où 10 centimes d'euro le Go.
Et en plus c'est méga transportable.
>Plus c'est gros, plus ça fait mal
elle disent toutes ça !!!
M.
et tu fais comment pour les changements incrementaux?
et tu as aussi un robot pour faire automatiquement les gravures sur 100 DVD a la suite?
Tu as pense a la dure de vie des dvd (non c'est pas inusable)
...
non, elles te disent toutes ca
:D
euh... je suis innocent.
Non sérieusement, je ne parle pas de faire 100 DVD par semaine.
Déjà , il y a toutes les données qui ne se gravent qu'une fois, films, musiques, photos... ce qui représente déjà une grosse quantité de données.
Puis pour tout ce qui est documentation, site web, fichiers bureautiques, code, à moins d'être très productif, quelques DVD tous les 3 ou 4 mois et c'est dans la boite.
Et puis je préfère acheter une boite de 100 DVD de temps en temps que je vais utiliser au fur et à mesure qu'un pauvre disque dur, qui va me couter 5 fois plus cher, qui va planter au bout d'un an et où je ne vais pas savoir ou foutre sur ma carte mère.
J'ai eu le meme genre de probleme cette année.
3 disques qui ont grillé les un apres les autres(sur un espace d'un mois): sur les 4...
J'ai rien perdu (sauvegarde des disques à froid au taf)
Maintenant, j'ai deux disques identiques, et un script qui se lance à chaque arret de la machine:
mount /mnt/backup
mirrordir /home /mnt/backup/home
umount /mnt/backup
Voila, comme ca je me sens vraiment tranquille. En générale, la machine met moins de 5 minutes à s'arreter tous les soir...
Bon, si les deux disques claques en meme temps, la j'ai vraiment pas de chance
Merci pour cette excellente réponse qui confirme ce que je pensais : il faut faire à la fois des sauvegardes et utiliser une solution qui améliore le niveau de sécurité du système.
En ce moment, j'ai des petits scripts qui font des archives de mes dossiers les plus importants et les stockent sur un autre disuqe dur, je les avais plutôt fait afin de prévenir une mauvaise manip de ma part, seulement ce n'est pas applicable à grande échelle ...
Si je devais identifier mes différents types de données, je ferai ce classement :
1- les données très importantes dont le contenu évolue rapidement et dont il n'existe pas de copie ailleurs. Typiquement : mon dossier mail, mes contacts, dans une moindre mesure la bdd amarok (si je la perd, ce n'est pas la fin de la vie, mais je serai triste de perdre ces stats), ...
-> pour ces données bien identifiées et pas trop volumineuses, j'ai fais des scripts qui font une archive sur une autre dd. Faire une sauvegarde sur DVD n'a aucun sens dans la mesure où j'y pense une fois par mois et que j'ai le temps de le faire au moment où j'y pense une fois ... par an ...
2- les données très importantes dont le contenu évolu régulièrement et dont je n'ai pas de copie ailleurs
Typiquement : mes photos et vidéos
Pour les photos, je mets sur DVD RW, pour l'instant tout tient sur un DVD, ça va.
Pour les vidéos, pas de solution ... trop gros pour des dvds ou pour dupliquer. J'aime bien garder les shots originaux, ça bouffe un max de place ...
3- les données persos, souvent en vrac un peu partout ... d'importance très variées, certaines sont sur cvs, d'autres sur ftp, d'autres nul part ailleurs ...
Typiquement : projet info, projets web (là, y a une copie en ligne), mais aussi classeurs, comptes, documents persos divers ...
Pour ça, je me force à faire une sauvegarde DVD ... mais la fréquence est tellement basse que j'ai le temps de paumer le DVD avant de penser à en faire un autre
4- mp3, films -> si je les paume je suis vert, mais les originaux ne sont pas loin (et pour les copies "privées", bah ... ça se retrouve ...)
Tout ça pour dire qu'en fonction du type de données et de l'importance qu'on leur donne ... ben ce n'est pas facile. L'idéal serait un système avec un niveau de sécurité élevé ... et pas cher ... et distant ... et rapide ...
Une dernière chose : pour ceux qui préconisent de faire des sauvegardes la nuit, c'est bien joli, mais je ne laisse pas allumé l'ordi la nuit alors qu'il ne sert à rien : vu ce que ça consomme en électricité !
Bon, en écrivant tout cela et en lisant les commentaires, voilà ce que j'aimerai :
une sorte de disque dur externe branché sur le routeur avec deux hdd en raid 1 dedans
j'ai pensé à le faire moi même avec un PII qui traine, mais ça consomme trop juste pour deux hdd
j'ai regardé du côté des NAS, mais ceux qui conviendraient ne permettent pas de faire du raid (les autres sont hors de prix)
j'ai trouvé ça : http://www.ldlc.com/fiche/PB00053246.html mais je n'ai pas besoin d'1 To et puis 1000¤ ... le même en 500Go à 500¤ je le prendrais bien ...
Ouais, bah attention. La fiablilité des DVD n'est pas garantie. Ca m'est arrivé plusieurs fois, après plusieurs mois, d'avoir des problèmes de lecture sur des DVD gravés. Et pourtant je ne les avaient guère manipulés.
Et c'est pas un problème de gravure, je fais systématiquement une vérification.
Moralité pour des données importantes, faire toujours plusieurs gravures!
Pour la consommation: la plupart des pc actuels proposent un option "boot on RTC" permettant de régler une heure de démarrage.
Tu t'arranges pour que ton script commence après le démarrage et éteigne la machine à la fin.
Cela te fait une machine allumée quelques minutes par jour.
(j'ai essayé un barebone asus à moins de 100¤, manquait la ram et le proc + disque, eh bien ça marche du tonnerre)
J'utilise backup-ninja, qui lui même appelle rdiff-backup qui sauve sur un autre disque (pour le moment en interne, bientôt en USB).
L'avantage de rdiff-backup:
- c'est simple et pas trop lent
- on a après chaque sauvegarde un miroir prêt à l'emploi
- on fait des sauvegardes incrémentales des N derniers jours
Maintenant, il me reste à avoir un troisième disque à apporter régulièrement quelqu'un d'autre pour me prévenir de l'incendie ou de l'inondation
Euh, je dis peut-être une bétise, mais si on efface ses données et qu'on fait un rsync juste après, on a tout perdu et on est dans de beaux draps, non? (d'où l'utilisation de rdiff-backup dans mon cas)
Le seul problème de ce genre de solutions, c'est que comme avec les cartes raid hardware, si c'est l'électronique qui claque (et pas un disque), tu ne pourras pas remettre tes disques dans un pc normal et les relire. Il te faudra le même boitier lacie (ou du moins la même carte contrôleur avec la même version de firmware).
rsync n'efface rien par défaut, il ajoute ou met à jour.
maintenant avec zfs et raidz on a plus besoin de nvram : raidz à éliminé le write hole.
Enfin pour 480 Go de donné, je connais pas ton budget, mais si tu les avait acheté il y a 2 ans, tu fait un raid6/raidz2 vu que le prix des dd a bien diminué
quelques liens par rapport à tout ca (la meilleur assurance par rapport à la place etc...)
http://blogs.sun.com/relling/entry/zfs_raid_recommendations_(...)
http://blogs.sun.com/relling/entry/zfs_raid_recommendations_(...)
http://blogs.sun.com/relling/entry/a_story_of_two_mttdl
http://blogs.sun.com/relling/entry/zfs_raid_recommendations_(...)
Je ne savais pas, merci. Mais ça veut dire qu'en cas de restauration il faut faire le tri entre les fichiers à garder et devant être effacer?
Non tu peux faire de l'incremental, il met dans un dossier la dernière sauvegarde et dans des dossiers nommés par exemple avec la date du jour de la sauvegarde seulement les fichier modifiés (les anciennes versions)
La raison du choix du raid5 est principalement économique, pour le prix de 4 disques, on peut exploiter la capacité de 3. Pour avoir l'équivalent de mes 480Go en raid1, il me faudrait 4 x 250Go.
L'argument économique me semble surtout valable dans le cas de RAID matériel (ou au moins de RAID logiciel sur des disques SCSI), pour lesquels le matériel est plutôt coûteux, et qui peut donner envie de perdre le moins d'espace possible pour la redondance.
Si on est parti pour faire du RAID soft en IDE/SATA, autant ne pas s'emmerder et partir sur du RAID1. Vu le prix du Go pour ces technologies-là, prendre les risques évoqués plus haut en faisant du RAID5, qui plus est en dégradant ses performances, je ne trouve pas que cela vaille le coup. Mais après, tu fais ce que tu veux.
Ca me rappel un histoire tout ca :
Un client de l'entreprise ou je bossait avant avait un serveur en raid 1 avec deux beau disque dur SCSI qui avait deux mois et pouf ils ont griller (pas de bole ils étaient d une même série défectueuse. De plus suite a une politique de sauvegarde foireuse ont a eu la bande magnétique qui nous a pété entre les mains durant la restauration et le client a perdu 3 ans de travail ce qui n'est vraiment pas négligable.
Bref tout ça pour dire que :
1) un raid ne remplace pas une solution de sauvegarde.
2) une sauvegarde sur un autre disque dur est aussi fiable qu'un raid 1.
3) ne jamais sauvegarder que sur un seul média (prévoir plusieurs bande et DVD et penser à les renouveler a l'occasion
4) ne jamais mettre la sauvegarde d'un serveur de fichier dans la même pièce que ce dernier (en cas de problème grave dans la salle du serveur la sauvegarde aura survécu).
Je sais que beaucoup d'entre vous trouve ces recommandation naturel et ne voient pas l'intéré de les rapeller mais je pense que ça fait pas de mal et que certain risque d'apprendre des choses.
De plus en écrivant ça je pense à un serveur de fichier de PME et non d'un cluster pour multinational qui aura des règles de sauvegarde j'espère un peut plus poussé que ça.
En attendant moi j'ai aucune règle pour la sauvegarde de mes donnée et je pris pour qu'il n'y ai pas de coupure de courant pour garder mon uptime sur ma passerelle
Bon d'abord, c'est "je prie". Et ensuite, ça sert à quoi d'avoir un super uptime ? Tu fais un concours de celui qui a la plus grosse ?
A ne surtout pas essayer :
Netgear sc101 :
- Technologie SAN pour partage de 2 disques dur IDE (non fournis)
- 1 port Ethernet RJ-45 10/100 Mbit/s
- 2 emplacements disques internes 3”5 IDE compatible toutes marques et toutes capacités (aucune limite)
- Stockez et manipulez vos données (fichiers, photos, musiques, vidéos etc…) aussi simplement que sur l'unité « d : » de votre PC
- Partagez ces données en réseau …
- Sauvegardez ces données automatiquement grâce à la fonction mirroring
- Pour activer le mirroring automatique, un seul boîtier SC101 et deux disques durs IDE (pas forcément identiques) suffisent !
- Taux de transfert sans comparaison avec les systèmes NAS entrée-de-gamme
- Technologie Z-SAN basée sur le transports des «blocks» directement en IP (UDP multicast) : plus aucune ressource CPU/Mémoire n'est nécessaire à l'inverse des boîtiers NAS usuels
un seul probléme :
marche pas avec linux faut installer un p****n de driver pour w*****s
Je fais un peu la même chose, avec unison(1)
L'avantage sur rsync, c'est qu'il me propose dans quel sens je veux faire mes changements, suivant la version du fichier ou dossier concerné.
Il faut juste penser entre chaque session de travail à faire un "unison" pour récupérer les dernières versions et "commiter" les changements.
Jusqu'à maintenant, je n'ai eu aucun soucis de mauvaise version, et j'ai le home dir de mon laptop et de mon fixe complètement synchro avec mon serveur, qui sauvegarde en plus sur un disque externe avec backuppc(2) et sur un serveur hebergé.
J'ajoute que ce dernier logiciel est particulièrement intéressant. Couplé à un disque externe, il propose une très bonne solution de sauvegarde incrémentale, basé sur rsync, multiplateforme. Il peut servir aussi bien pour un "particulier" ( un ptit peu geek le particulier quand meme ) q'une entreprise.
(1) http://www.cis.upenn.edu/~bcpierce/unison/
(2) http://backuppc.sourceforge.net/
Ca c'est ce que j'appelle un euphémisme !
Petite question au passage pour avoir des avis sur une idée qui vient de me passer par la tête:
Puisque souvent (en tout cas c'est mon cas) le problème de lecture d'un DVD sont localisés et n'impactent pas tout le disque, ne serait-il pas intéressant de rajouter des fichiers de redondance de type fichiers PAR souvent utilisés dans les newsgroups? Par exemple consacrer 10% de l'espace disque à cela.
Evidemment c'est contraignant et en cas d'erreur la correction prend du temps (et puis il faut copier les données sur le disque dur en ignorant les erreurs de lecture), mais ça permettrait de récupérer des données autrement perdues.
Ca pourrait être utile pour des données que l'on veut sauvegarder, mais qu'on ne considèrent pas suffisamment importantes pour multiplier les sauvegardes.
Je prend l'exemple des fichiers de parités PAR (basés sur du Reed-Solomon), mais une solution 'intégrée' existe peut-être déjà.
Des avis?
Intégrée je ne sais pas, mais j'utilise dar [1] et par2 [2] pour générer des fichiers de tailles fixes. Je crée ensuite une iso que je grave sur dvd. Toutes ces étapes sont scriptées et automatisées (cron). Seule la gravure réclame une intervention manuelle.
[1] http://dar.linux.free.fr/
[2] http://www.par2.net/
Oui c'est bien à par2 que je faisait allusion plus haut.
Mon utilisation (non encore testée) n'utiliserait pas dar ou autre programme d'archivage. Ca serait juste dans le cadre d'une gravure normale de génèrer préalablement via par2 des fichiers de parité qui seront gravés avec le reste.
Cela suppose évidemment de laisser un peu de place pour ces fichiers de parité.
Comme ça en cas de problème, un coup de ddrescue et un par2repair pourra peut-être me permettre de récupérer mes données.
Encore une fois ça serait plutôt pour des données que j'estime moyennement importantes (genre divx récupérés sur le net).
Par contre générer des fichiers de parité a l'air de prendre du temps. Faut pas être très pressé.
http://www.peerple.net/
http://gridblocks.hip.fi/
mais je suis encore à la recherche de mieux...
Unison aussi. Et c'est très facile à faire par l'interface graphique (il devine le sens, propose, permet de faire un diff, un merge, de forcer…).