Commandes utiles Celerra

De Le wiki de Fred sur gantzer.eu

Sommaire

Préambule

Ce document a pour but de présenter de façon simple l'administration des NAS Celerra (type NS41G) Ce document présente le principe de gestion pour des clients UNIX. CIFS ne sera pas abordé. La technologie VDM (Virtual Data Mover) non plus.

Nomenclature / Principe

  • Une tête NAS chez EMC s'appelle un datamover
  • Il y a généralement deux datamovers en mode failover. Ils sont nommés respectivement (server_2 et serveur_3)
  • Le datamover se présente comme un host client standard auquel on présente des disks groups depuis le SAN Clarrion.
  • Le datamover est administré au travers d'une CS (Control Station) qui est une machine Linux (accessible via ssh, mot de passe par défaut ???/???). On n'accède pas directement au datamover.
  • Sur les Celerra, un snapshot s'appelle un checkpoint
  • Il existe une interface d'administration graphique du NAS sur la CS accessible via http sur le port 80 (root/??? ou nasadmin/??? )
  • La version OS de la CS s'appelle le DART.

Couches NAS

 DM (server_2)		
  |
 Export/Share
  |
 Mount
  |
 File System
  |
 (AVM stripe, volume, etc)
  |
 storage pool (nas_pool)
  |
 disk


  • Export peut exporter un sous-répertoire à l'intérieur d'un File System. Tous les FS sont de type Unix (uxfs à première vue)
  • CIFS est implémenté via Samba (+ quelques add-on EMC à première vue)
  • Les shares CIFS sont recommandés via VDM (non présenté dans ce document. Les shares NFS via DM standard (server_X).
  • La plupart des commandes sont sous la forme:
    • server_...
    • nas_...
    • fs_...
    • /nas/sbin/...
  • les options typiques abrégées:
    • -l = -list
    • -c = -create
    • -n = -name
    • -P = -Protocol

NB: pour passer des commandes au datamover, se connecter sur la CS, compte nasadmin pour avoir l'environnement complet.

Commandes générales

reboot

 server_cpu server_2 -r now		# reboot du DM2 

Test de la connectivité IP

 server_ping  server_2 ip-to-ping		# ping du server_2

Version du DM

  nas_version   # version Celerra

Affichage des logs

  server_log server_2   #lecture ile du server_2

Localisation des fichiers de configuration

  /nas/server 
  /nas/site


Infromation sur les Datamovers

Liste des serveurs DM

  $ nas_server -list
  id      type  acl  slot groupID  state  name
  1        1    0     2              0    server_2
  2        4    0     3              0    server_3


type=1 : Actif

type=4 : StandBy

Caractéristiques du DM

Physique

  server_sysconfig server_2 -pci  

Logique

  $ nas_server -info server_2
  id        = 1
  name      = server_2
  acl       = 0
  type      = nas
  slot      = 2
  member_of =
  standby   = server_3, policy=auto
  status    :
  defined = enabled
  actual = online, active


Gestion des disques

Découverte de nouveaux volumes

  • Pour le server_2 (1ier datamover):
 server_devconfig server_2 -probe -scsi -all
 server_devconfig server_2 -create -scsi -all
  • Probe des devices non-disques (tape par exemple):
  server_devconfig ALL	  -list -scsi -nondisks

Affichage des disques

 $ nas_disk -l
 id   inuse  sizeMB    storageID-devID   type  name          servers
 1     y      11263  CK20008XX00560-0000 CLSTD root_disk     1,2
 2     y      11263  CK20008XX00560-0001 CLSTD root_ldisk    1,2
 3     y       2047  CK20008XX00560-0002 CLSTD d3            1,2
 4     y       2047  CK20008XX00560-0003 CLSTD d4            1,2
 5     y       2047  CK20008XX00560-0004 CLSTD d5            1,2
 6     y      32767  CK20008XX00560-0005 CLSTD d6            1,2
 7     y     175473  CK20008XX00560-0010 CLSTD d7            1,2
 8     n     175473  CK20008XX00560-0011 CLSTD d8            1,2
 9     y     547418  CK20008XX00560-0007 CLSTD d9            1,2
 10    y     547418  CK20008X00560-0006  CLSTD d10           1,2


Affichage des pools

Un pool correspond généralement à un disk group présenté au SAN

Liste des pools

AVM = Automatic Volume Management MVM = Manual Volume Management

 # nas_pool -l
 id      inuse   acl     name
 3       n       0       clar_r5_performance
 4       y       0       clar_r5_economy

taille des espaces de tous les HDs gérés par AVM

  nas_pool -size all

Taille des pools

  $ nas_pool -size -all
  id           = 3
  name         = clar_r5_performance
  used_mb      = 0
  avail_mb     = 0
  total_mb     = 0
  potential_mb = 350946
  id           = 4
  name         = clar_r5_economy
  used_mb      = 1087008
  avail_mb     = 7828
  total_mb     = 1094836
  potential_mb = 0


Lister tous les volumes existants

  nas_volume -list
  
  id      inuse type acl  name              cltype  clid
  193       y    3   0    v193                 1    194
  1         y    4   0    root_disk            0    2         
  ...
  189       y    1   0    s89                  1    190
  190       y    3   0    v190                 1    191
  191       y    100 0    vp191                2    124
  192       y    1   0    s90                  1    193


  • Si on veut seulement les FS:
  nas_fs -list
  
  id      inuse type acl   volume    name                server
  1         n    1   0     10        root_fs_1
  2         y    1   0     12        root_fs_2           1
  3         y    1   0     14        root_fs_3           2
  4         n    1   0     16        root_fs_4
  5         n    1   0     18        root_fs_5
  6         n    1   0     20        root_fs_6
  7         n    1   0     22        root_fs_7
  16        y    1   0     40        root_fs_common      1
  17        n    5   0     73        root_fs_ufslog
  18        n    5   0     76        root_panic_reserve
  19        n    5   0     77        root_fs_d3
  20        n    5   0     78        root_fs_d4
  21        n    5   0     79        root_fs_d5
  22        n    5   0     80        root_fs_d6
  70        y    1   0     180       FS1_vol          1
  73        y    1   0     186       FS2_vol          1
  74        y    1   0     188       FS3_vol          1
  123       y    7   0     184       ckpt_init_FS1    1
  125       y    7   0     191       ckpt_init_FS2    1
  127       y    7   0     194       ckpt_init_FS3    1

Les volumes en root_ correspondent le système de la CS qui est aussi sur les disques SAN !

Gestion des Filesystem

Création d'un FS et d'un share Unix

Trouver de la place

(nas_pool pour AVM, nas_disk pourmasoquistic MVM)

  nas_pool -list
  nas_pool -size all

Créer le Filesystem

  nas_fs -n FSNAME -create size=800G pool=clar_r5_performance -option slice=y

Monter le Filesystem

  server_mount server_2 -o accesspolicy=UNIX FSNAME /FSName

Exporter le FS pour NFS

  server_export server_2 -P nfs -o root=10.x.x.x /FSName

NB:: le montage NFS sur le client unix est à faire sur l'IP du datamover et pas celui de la CS. C'est le DM qui exporte un FS NFS, pas la CS !


Suppression d'un FS

Démonter au préalable les FS montés sur les clients

démonter le Filesystem

  server_umount server_2 -p /FSName

Il se peut que l'on ne puisse pas démonter le FS car un SNAP l'utilise par exemple. Il faut au préalable supprimer tous les objets accèdant au FS

Supprimer le FS

  nas_fs -d meth01_vol

Supprimer le point de montage

  server_mountpoint server_2 -d /FSName

Commandes générales sur les FS

Lister les FS

 /nas/bin/server_mount server_2
 
 server_2 :
 root_fs_2 on / uxfs,perm,rw
 root_fs_common on /.etc_common uxfs,perm,ro
 filesys1_vol on /filesys1_vol uxfs,perm,rw,accesspolicy=UNIX
 filesys2_vol on /filesys2_vol uxfs,perm,rw,accesspolicy=UNIX
 filesys3_vol on /filesys3_vol uxfs,perm,rw,accesspolicy=UNIX


ou

 /nas/bin/server_df server_2
 
  server_2 :
  Filesystem          kbytes         used        avail capacity Mounted on
  filesys1_vol       206515184          592    206514592    0%    /filesys1_vol
  filesys2_vol       206515184          592    206514592    0%    /filesys2_vol
  filesys3_vol         1032560          592      1031968    0%    /filesys3_vol
  root_fs_common       15368         5280        10088   34%    /.etc_common
  root_fs_2           258128         6144       251984    2%    /

Taille d'un FS

  nas_fs size FSNAME		# size du fs

Les exports

Lister les exports existants

 /nas/bin/server_export server_2
  
 server_2 :
 export "/filesys1_vol/dish" root=10.xxx.16.51:10.xxx.16.52
 export "/" anon=0 access=128.xxx.252.xxx:128.221.253.xxx:128.221.252.xxx:128.xxx.253.101
 export "/filesys2_vol/idx" root=10.xxx.16.51:10.xxx.16.52
 export "/filesys2_vol/eomfs" root=10.xxx.16.51:10.xxx.16.52
 export "/filesys2_vol/data" root=10.xxx.16.51:10.xxx.16.52

Créer un export

  server_export server_2 -P nfs -o rw=130.xxx.24.30/255.255.0.0,root=130.xxx.24.30/255.255.0.0 /FSName

Si on veut exporter depuis un VDM existant

  server_export server_2 -Protocol nfs -option root=10.xxx.91.44 /root_vdm_6 /FSName

Supprimer exports existants

  • Suppression temporaire. Le FS est dé-exporté mais sa définition est toujours présente dans /nas/dos/slot_2/boot.cfg. En cas de reboot, l'export est à nouveau présent.
  /nas/bin/server_export server_2 -P nfs -unexport /FSName
  • Suppression permanente.
  /nas/bin/server_export server_2 -P nfs -unexport -perm /FSName

Points de montages

Lister les mountpoints existants

 server_mountpoint server_2 -list
 
 server_2 :
 /.etc_common
 /filesys1_vol
 /filesys2_vol
 /filesys3_vol

Supprimer un point de montage

 server_mountpoint server_2 -d /FSName

Monter un FS en RW

Pas de besoin de démonter. Il est possible de remonter en rw sur un FS déjà monté en ro.

  su - nasadmin
  /nas/bin/server_mount server_2 -o rw filesystem_name /mount_point

Les Checkpoints

Un checkpoint est un Snap au sens DMX. C'est une copie de pointeur d'un volume qui permet de capturer l'image d'un filesystem à un instant t. Les checkpoints demandent un "SaveVol" pour garder une date du "copy on write". Le SaveVol est créé autiomatiquement quand le premier checkpoint est créé et il est auto-extensible. Il ne peut pas être réduit. Quand le dernier checkpoint est détruit, le SaveVol est retiré.

Création d'un snap en ReadOnly

En RO sans automount:

 /nas/bin/fs_ckpt FSName -name NomSnap -Create pool=clar_r5_performance -o automount=no

Suppression d'un snap en ReadOnly

 /nas/bin/nas_fs -delete NomSnap -o umount=yes

Renommer un Checkpoint

 /nas/bin/nas_fs -rename 'CHECKPT' 'CHECKPT_RENOMME'

Liste des snaps sur un FS

 /nas/bin/fs_ckpt FSName -list

Montage d'un snap en R/W

Pour monter un snap, ilfaut qu'il soit en RW. Il faut donc recréer un "snap du snap"

 export NAS_DB=/nas
 /nas/bin/fs_ckpt NomSnap -Create -readonly n  >/dev/null
 /nas/bin/server_export server_2 -P nfs -o root=NomSnap -n "NomSnap"_writeable1 /"NomSnap"_writeable1

Demontage d'un SNAP

 # Suppression de l'export sur le NAS
 /nas/bin/server_export server_2 -P nfs -unexport /"NomSnap"_writeable1
 # Suppression du Snap en R/W
 /nas/bin/nas_fs -delete "NomSnap"_writeable1  -o umount=yes >/dev/null


restore Snap

Le checkpoint à restaurer doit être en R/O:

 /nas/bin/server_mount server_2 -i -o ro NomSnap /MOUNT_POINT
 /nas/sbin/rootfs_ckpt NomSnap -name temp_ckpt -Restore 
 /nas/bin/nas_fs -delete temp_ckpt -o umount=yes

Fixer manuellement la taille de la SavVol

Il peut être intéressant de fixer la taille de la SavVol pour augmenter le temps de création des Snaps (le NAS n'a pas besoin d'allouer l'espace disque dans le pool avant de créer le Snap).

  su - nasadmin
  /nas/sbin/rootnas_fs -x ‹nom_d'un_ckpt› size=100G pool=<nom_pool>

ou

  nas_fs -xtend <nom_d'un_ckpt> size=<integer>
 

Attention: size=100G veut dire à ajouter, pas la taille finale.

Taille MAX de la SavVol par FS

  $ fs_ckpt <fs_name> -modify maxsavsize=<integer>


Modification du paramétre globale checkpoint

Editer /nbsnas/sys/nas_param

Modifier la ligne:

  ckpt:10:100:20: 

Explication:

ckpt:10:100:20:

10 = Control Station polling interval rate in seconds.

100 = maximum rate at which a file system is written in MB/second.

20 = percentage of the entire system's volume allotted to the creation and extension of all the SavVols used by Celerra software features. Note: If the line does not exist, the SavVol space allotment parameter is currently set to its default value of

20. To change this setting, you must first add the line: "ckpt:10:100:20:"


NB:Pas besoin de rebooter, c'est pris en direct

Replication IP

Le produit IP replicator est un peu (un peu...) l'équivalent de SRDF sur DMX. La grosse différence est qu'on ne réplique pas des HVE, mais des filesystems.

Liste des serveurs reliés au Celerra Network

  /nas/bin/nas_cel -interconnect -l
   
  id     name               source_server   destination_system   destination_server
  20001  loopback           server_2        emc2                 server_2
  20003  EMC2_vers_EMC1    server_2        emc1                 server_2


Information sur la connectivite

  $ nas_cel -list
  
  id    name          owner mount_dev  channel    net_path        CMU
  0     emc2          0                           10.XXX.XXX.55   CK2000X460XXXX0000
  2     emc1          0                           10.XXX.XXX.50   CK2000X240XXXX0000

Information sur le SavVol

Pour connaitre la taille du SavVol associé à un volume:

  nas_fs -i -size <un checkpoint du volume>

( permet aussi de voir sur quels disques le SavVol se trouve)


Creation session de replication nas_copy

  /nas/bin/nas_copy -name 'SESSION_Name' -source -ckpt 'NomSnap' -destination \ 
    -fs FS_DESTINATION -from_base 'NomSnap(n-1)' -interconnect id=20003  -background 

Affichage des taches de réplication en cours

  nas_task -l
  nas_task -i IDTASK


FailOver / Failback du DM

Sur certaines configurations, il peut y avoir deux DM par tête NAS. Il est possible de switcher de l'une à l'autre (active -> Stanby)

Vérifier la présence d'un deuxième DM

Etat des DM

  $ server_standby ALL -v mover
  server_2 : ok
  server_3 : ok


type de DM

  $ nas_server -l
  id      type  acl  slot groupID  state  name
  1        1    1000  2              0    server_2
  2        4    1000  3              0    server_3

type 1: active type 4: standby

failover DM

Pour basculer de server_2 vers server_3 :

  $ server_standby server_2 -activate mover
   server_2 :
   server_2 : going offline
   server_3 : going active
   replace in progress ...done
   failover activity complete
   commit  in progress (not interruptible)...done
   server_2 : renamed as server_2.faulted.server_3
   server_3 : renamed as server_2

Vérifier l'état du DM:

  $    nas_server -l
  id      type  acl  slot groupID  state  name
  1        4    1000  2              2    server_2.faulted.server_3
  2        1    1000  3              0    server_2

NB: cette action provoque un reboot du server_2

Failback DM

  • Avant de provoquer le failback, vérifier que l'on est revenu dans un état correct:
  $ /nasmcd/getreason
   10 - slot_0 primary control station
   5 - slot_2 contacted
   5 - slot_3 contacted

Si un des slots est encore en état reset, ce n'est pas encore prêt pour la bascule.

  • Provoquer le failback:
  $ server_standby server_2 -r mover
   server_2 :
   server_2 : going standby
   server_2.faulted.server_3 : going active
   replace in progress ...done
   failover activity complete
   commit  in progress (not interruptible)...done
   server_2 : renamed as server_3
   server_2.faulted.server_3 : renamed as server_2
  
  $ nas_server -l
  id      type  acl  slot groupID  state  name
  1        1    1000  2              0    server_2
  2        4    1000  3              0    server_3


Replication NAS Mirrorview

mirrorview est le systeme de replication bas niveau bloc à bloc pour les baies Clariion. En cas d'attachement d'une tête NAS à la baie Clariion, il est possible de piloter les opérations mirrorView depuis la Control Station du NAS.

Configuration

Lors de la premiere installation de NAS MirrorView, il est nécessaire de lancer la commande d’initialisation sur la destination en tant que root:

  /nas/sbin/nas_mview –create –init « SourceCelName » 

NB: si on ajoute de la volumétrie, il faut relancer la commande.


Vérifier le status du consistency group

  nas_devicegroup -info -all

Failover et Failback

  • user

Lorsque mview est actif, le compte d'administration nasadmin et remplacé par dradmin

  • failover
  su - dradmin
  su
  /nas/sbin/nas_mview -activate
  • failback
  su - dradmin
  su   
  /nas/sbin/nas_mview -restore
  • les logs sont disponibles sous /tmp/dr*.log

Pools mirrorés

Lorsque mirrorView est actif, le pools sont préfixés par cm_

  $ nas_pool -l
  id      inuse   acl     name
  3       n       0       clar_r5_performance
  13      y       0       cm_r5_performance
  14      y       0       cm_r5_economy
  15      y       0       cmata_archive

Info sur les devicegroups

  nas_devicegroup -info -all

Connaitre l'état dans lequel sont les DM

  /nas/sbin/getreason
  
  10 - slot_0 primary control station
  5 - slot_2 contacted
  5 - slot_3 contacted

Savoir quelle interface ethernet est active sur le fsn

  # server_sysconfig server_2 -virtual -info fsn0
  
  server_2 :
  *** FSN fsn0: Link is Up ***
  active=cge2 primary=cge0 standby=cge2

Récupération des logs pour le support EMC

  /nas/tools/collect_support_materials

Faire un ckeckup du nas

  nas_checkup

Activer le DEBUG

Avant de lancer une commande CLI, exporter:

  export NAS_DB_DEBUG=1

Stopper électriquement un celerra

  • Arrêt du datamover
  server_cpu server_2 –h now
  • Arrêt de la CS
  halt
  • Power off

Ensuite, couper électriquement l’armoire La coupure va enclencher la batterie et les données en cache vont être « déstagées ». Ca peut prendre quelques minutes.

Outils personnels
Navigation