LVM et powerpath sur RHES

De Le wiki de Fred sur gantzer.eu

Sommaire

Volumes physiques

Gestion des disques

  • Affichage de la répartition actuelle
  pvscan
  • Vérifier que le disque n'est pas atribué
  fdisk -l /dev/emcpowerc
  • inq emc
  pp_inq
  • Pour ajouter un disque dynamiquement
  SCSI_HOST=host3  
  echo "- - -" > /sys/class/scsi_host/${SCSI_HOST}/scan
  powermt config
  • Supprimer un disque qui existe plus
  powermt check
  • Créer un volume physique
  fdisk -l /dev/emcpowerc
  pvcreate /dev/emcpowerc

Volumes logiques

Affichage des vg

  vgdisplay

ou

  vgs

Créer un vg

  vgcreate test_vg /dev/sdb

Agrandir un vg

  vgextend datavg /dev/emcpowerc

Affichage des lv

  lvdisplay

ou

  lvs

Creer un lv

 lvcreate -n lvname --size 30G vgname

Creer un FS ext3

  mkfs.ext3 /dev/vgname/lvname


Agrandir un fs ext3

  lvextend -L +200M /dev/vgname/lvname
  resize2fs /dev/vgname/lvname

ou bien

  ext2online /dev/vgname/lvname

Agrandir un reiserfs

  • online :
   resize_reiserfs -f /dev/rootvg/lvabc
  • offline :
   umount /mnt
   resize_reiserfs /dev/rootvg/lvabc
   mount /dev/rootvg/lvabc /mnt

Réduire un fs

pas possible online. Attention, resizer le FS avant le lv

  umount /fsname
  e2fsck -f /dev/vgname/lvname
  resize2fs /dev/vgname/lvname 524288
  lvresize -L5G /dev/vgname/lvname
  mount /fsname

Installer les drivers Fibre Channel sous RHES

Prérequis

  • Se connecter comme ROOT
  • Installer les sources du noyau
  rpm -ivh kernel-devel-2.6.18-53.el5.x86_64.rpm
  • Ajouter le répertoire /sbin au PATH si nécessaire
  export PATH=/sbin:$PATH

Procédure d’installation

  • Récupérer le drivers chez emulex
    • RHEL 5: lpfc_2.6_driver_kit-8.2.0.22-2.tar.gz
    • RHEL 4.5: lpfc_2.6_driver_kit-8.0.16.40-2.tar.gz
  • Exécuter du script d'installation
./lpfc-install
  • Le fichier /etc/modprob.conf doit être organisé comme ci-dessous :

Rajouter le parametre “options lpfc lpfc_nodev_tmo=10” Il est préférable de rajouter les devices Emulex (lpfc) après les drivers scsi et Raid.

  cat /etc/modprobe.conf
  alias eth0 bnx2
  alias eth1 bnx2
  alias scsi_hostadapter cciss
  alias scsi_hostadapter1 ata_piix
  alias scsi_hostadapter2 lpfc
  alias scsi_hostadapter3 usb-storage
  options lpfc lpfc_nodev_tmo=10
  ###BEGINPP
  include /etc/modprobe.conf.pp
  ###ENDPP

regénération initrd

  • Il faut regénérer la ramdisk utilisée par le noyau linux pour prise en compte du driver lpfc par initrd :
  /sbin/mkinitrd -f -v <initrd> <version du noyau>

Exemple:

  cd /boot
  /sbin/mkinitrd –f –v initrd-2.6.9-42.ELsmp.img  2.6.9-42.ELsmp


Attributs des cartes fibre

liste des cartes hba

  #  cd  /usr/sbin/hbanyware
  # ./hbacmd listHBAs
  
  Manageable HBA List
  
  Port WWN   : 10:00:00:00:c9:3b:b2:50
  Node WWN   : 20:00:00:00:c9:3b:b2:50
  Fabric Name: 20:0c:00:0d:ec:1f:c9:01
  Flags      : 8000f902
  Host Name  : UBYMT001.localdomain
  Mfg        : Emulex Corporation
  
  Port WWN   : 10:00:00:00:c9:3b:b3:e7
  Node WWN   : 20:00:00:00:c9:3b:b3:e7
  Fabric Name: 20:0b:00:0d:ec:1f:f9:41
  Flags      : 8000f902
  Host Name  : UBYMT001.localdomain
  Mfg        : Emulex Corporation


Attributs des cartes

  #  cd  /usr/sbin/hbanyware
  # ./hbacmd HBAAttrib 10:00:00:00:c9:3b:b2:50
  
  HBA Attributes for 10:00:00:00:c9:3b:b2:50
  
  Host Name      : UBYMT001.localdomain
  Manufacturer   : Emulex Corporation
  Serial Number  : P562C0BQHPW08R
  Model          : LP9002
  Model Desc     : Emulex LP9002 2Gb PCI Fibre Channel Adapter
  Node WWN       : 20 00 00 00 c9 3b b2 50
  Node Symname   : Emulex LP9002 FV3.92A2 DV8.0.16.27
  HW Version     : 2002606d	
  Opt ROM Version:
  FW Version     : 3.92A2 (C2D3.92A2)
  Vender Spec ID : 10DF
  Number of Ports: 1
  Driver Name    : lpfc
  Device ID      : F900
  HBA Type       : LP9002
  Operational FW : SLI-2 Overlay
  SLI1 FW        : SLI-1 Overlay 3.92a2
  SLI2 FW        : SLI-2 Overlay 3.92a2
  IEEE Address   : 00 00 c9 3b b2 50
  Boot BIOS      : Boot Bios Firmware 1.70a3
  Driver Version : 8.0.16.27; HBAAPI(I) v2.1.c, 02-02-06
  Kernel Version : 1.30a1

infos carte HBA sans HBA Anywhere

 # cat /sys/class/scsi_host/host0/fwrev
 1.90A4 (H2D1.90A4)
 
 # cat /sys/class/scsi_host/host0/node_name
 0x20000000c94f7dd9
 
 # cat /sys/class/scsi_host/host0/port_name
 0x10000000c94f7dd9
 
 # cat /sys/class/scsi_host/host0/lpfc_drvr_version
 Emulex LightPulse Fibre Channel SCSI driver 8.0.16.27
 
 # cat /sys/class/scsi_host/host0/speed
 2 Gigabit
 # cat /sys/class/scsi_host/host0/state
 Link Up - Ready:
 Fabric
 

Installer Powerpath sous RHES

Prérequis

  • Récupérer le package chez EMC
    • RHEL 5: RHEL_5/EMCpower.LINUX.5.0.0.157.tar.gz
    • RHEL 4.5: RHEL_4.5/EMCpower.LINUX.5.1.1.Patch.b017.tar.gz
  • Installer le package (choisir la version de package en fonction de la plateforme)
    • x86_64: EMCpower.LINUX-*.x86_64.rpm
    • i386: EMCpower.LINUX-*.i386.rpm
    • IA64: EMCpower.LINUX-*.IA64.rpm

Installation

--> Le fichier /etc/modprob.conf doit être organisé comme ci-dessous :

Rajouter le parametre “options lpfc lpfc_nodev_tmo=10” Il est préférable de rajouter les devices Emulex (lpfc) après le driver megaraid dans tous les cas.

  # cat /etc/modprobe.conf
  alias eth0 bnx2
  alias eth1 bnx2
  alias scsi_hostadapter cciss
  alias scsi_hostadapter1 ata_piix
  alias scsi_hostadapter3 usb-storage
  alias scsi_hostadapter2 lpfc
  options lpfc lpfc_nodev_tmo=10
  ###BEGINPP
  include /etc/modprobe.conf.pp
  ###ENDPP

regénération initrd

Il faut regénérer la ramdisk utilisée par le noyau linux.

C'est très important car initrd (INITial RamDisk - Os minimal chargé en mémoire au boot) ne contient pas forcément les drivers EMC et n'est donc pas en mesure de charger les systèmes de fichier décrits dans la fstab.

  /sbin/mkinitrd -f -v <initrd> <version du noyau>

Par exemple:

  cd /boot
  /sbin/mkinitrd –f –v initrd-2.6.9-42.ELsmp.img  2.6.9-42.ELsmp

Modification LVM

mise en place de la configuration lvm (pour LVM2 principalement):

le fichier /etc/lvm/lvm.conf est à corrigé comme ci-dessous :

  avant	:	filter = [ "a/.*/" ]
  
  après	:	filter=["a/sda[1-9]$/", "r/disk.*/", "r/sd.*/", "a/.*/"]


Démarrer POWERPATH

  /etc/init.d/PowerPath start

Vérification du bon démarrage de POWERPATH

/sbin/lsmod|grep emc
emcpdm                 68640  0
emcpmpx               183944  0
emcpgpx                51016  1 emcpdm
emcp                 2118464  3 emcpdm,emcpmpx,emcpgpx
scsi_mod              186361  6 emcp,usb_storage,lpfc,scsi_transport_fc,cciss,sd_mod

Enregistrer le clé de licence PowerPath

PowerPath est soummis à licence. Si la licence n'est pas installée, le multipath ne fonctionnera pas.


  # /sbin/emcpreg -install
  
  ===========   EMC PowerPath Registration ===========
  Do you have a new registration key or keys to enter?[n] y
  Enter the registration keys(s) for your product(s),
  one per line, pressing Enter after each key.
  After typing all keys, press Enter again.
  
  Key (Enter if done): XXXX-XXXX-XXXX-XXXX-XXXX-XXXX
  1 key(s) successfully added.
  Key successfully installed.

exporter et importer un mapping pseudo names emc

Pour pouvoir avoir le mêmes noms de device emcpowerX sur plusieurs nœuds pour les mêmes devices:

Exporter la config pseudo emc sur la première machine:

  emcpadm export_mappings -f /tmp/pseudoemc_name.export

Copier le fichier sur l'autre noeud:

  scp /tmp/pseudoemc_name.export noeud2:/tmp/

Importer les définitions (s'assurer que rien n'est monté ou utilisé !!):

  emcpadm import_mappings -f /tmp/pseudoemc_name.export

renommer un pseudo device EMC

Il est possible de renommer directement un pseudo device EMC:

  emcpadm renamepseudo -s emcpowerx -t emcpowery

Changer la Policy

  powermt set policy=so

Troubleshooting

fsck au boot sur /dev/power HS

Dans certains cas, la machine linux ne reboote pas. C'est lié au fait que l'OS essaye de faire un fsck sur les devices power mais le driver powerpath n'est pas encore monté.

Solution: ajout du paramètre _netdev dans /etc/fstab (à la place de defaults)

Ajout de power devices avec offset Supérieur à FF

  • Dans le fichier /etc/modprob.conf :
  options lpfc lpfc_nodev_tmo=10 lpfc_max_luns=4096

+ régénération initrd

Outils personnels
Navigation