NCIE B&R NSO 504 notes

Hieronder volgt een uitwerking van de NSO-504 Study Guide.

Het betreffen de volgende onderwerpen:

  1. NSO 504 SCALABLE SAN SOLUTION ASSESSMENT
  2. NSO 504 Scalable SAN Implementation Plan Creation
  3. NSO 504 SCALABLE SAN IMPLEMENTATION AND CONFIGURATION TASKS
  4. NSO 504 SCALABLE SAN IMPLEMENTATION TESTING AND TROUBLESHOOTING

 

  1. NSO 504 SCALABLE SAN SOLUTION ASSESSMENT

De sollotion assessment inventariseert, verzameld de bestaande NetApp-, switch- en host-configuratie en maakt de performance over deze verschillende componenten inzichtelijk. De configuratie  en hoe deze functioneert kan hiermee gerapporteerd worden. Daarnaast kan aan de hand van de assessment inzichtelijk worden gemaakt of de omgeving voldoet aan de verwachtingen van de klant als het gaat om functionaliteit en performance eisen en/of waarom juist niet.

Ik zal verwijzen naar andere secties als er informatie is die elkaar overlapt of hier dieper op ingaat.

 1.1 Ensure that all prerequisites for the installation of NetApp system and switches (if needed) are met and that the required information to configure NetApp systems is collected:

Controleer dat altijd wordt voldaan aan de gestelde voorwaardes en Best Practices van de betreffende leveranciers en dat beperkingen en of ondersteuning bekend is (check de IMT tool: http://now.netapp.com/matrix). Onder volgen een aantal documenten hierover, lees deze:

In de volgende secties zal ik waar nodig aangeven wat de leveranciers eisen en/of beperkingen zijn of verwijzen naar bestaande documentatie.

1.1.1 Collect NetApp storage system configuration information.

Tools die door resellers gebruikt worden en heel veel informatie voor je kunnen verzamelen en genereren zijn Synergy en System Performance  Modeler (SPM). Maak voor het verzamelen van de NetApp system configuratie gebruik van Synergy. Is dit niet mogelijk zal men de betreffende commando’s moeten uitvoeren en deze informatie moeten loggen, ik zal dit later uitwerken.

Voor het inrichten of naderhand inzichtelijk maken van de storage omgeving maak ik altijd gebruik van de Setup Worksheets. Gebruik deze, het geeft in ieder geval een goed beeld wat er nodig is aan basis gegevens en welke waardes er nodig zijn om de basis in te richten:

 1.1.2 Collect Switch configuration information.

Wat voor switches worden er gebruikt en in welke topologie zijn deze actief? Zowel FC als Ethernet switches worden via een IP netwerk gemanaged, mogelijk is deze informatie te vinden in bestaande Netwerk designs.  Bij FC switch en Ethernet switch informatie zal verder ingegaan worden op hoe configuratie-, en performance  informatie verzameld kan worden.

Maak voor de inventarisatie en assessment gebruik van de tools van de betreffende leveranciers waaronder de SAN health tool. Deze tool inventariseert, analyseert en rapporteert SAN details waaronder Switch configuratie, HBA informatie, switch topologie en performance details. De tool is ook geschikt om Cisco MDS switches te inventariseren.

1.1.3 Gather power information such as circuit availability, wiring in place, etc…

Zie hiervoor de aantekeningen in 2.1 Verify and plan for dual power feeds for all components en sectie 3 over bekabeling

1.1.4 Collect Host configuration information.

Zie hiervoor ook de aantekeningen over Planning Host Configuration in het Implementation Plan Creation. Het gaat erom de informatie te verzamelen van hoe de host gebruik maakt van de NetApp storage systems:

  • FC, FCoE of iSCSI
  • OS versie
  • Patch levels
  • Vrije Bus slots en Type (PCIe of PCI-x)
  • Ethernet poorten (gebruik en vrij)

Utility to collect firmware/driver version for Emulex HBAs;

  • HBAAnywhere & OneCommand Manager GUI

Utility to collect firmware/driver version for Qlogic HBAs:

  • SANsurfer

In Windows vanaf Windows 2008:

  • Storage Explorer

1.1.5 Collect Application configuration and requirements.

Denk aan het volgende:

  • Gebruikte Applicaties / Software versies
  • Gebruikte OS en versies
  • IOPs eisen bij zwaar en gemiddeld gebruik

1.1.6 Collect potential DEDUPE information.

Lees de volgende documentatie:

Deduplication is enabled at the Volume level.

Om deze te starten een voorbeeld; Enable deduplication and verify space savings: sis on <vol>, sis start <vol>, df –s

The Space Savings Estimation Tool (SSET 3.0) can be used to estimate the amount of savings that would be achieved with compression or deduplication or both.

Starting in clustered Data ONTAP 8.1, NetApp have replaced the sis commands with new volume efficiency commands; however, for backward compatibility both will exist with identical behavior. The new volume efficiency commands are enhanced and offer more advanced options.

cluster ::> volume efficiency show

1.1.7 Collect backup and retention information.

Is er een back-up of disaster recovery design?

Zorg dat je de volgende vragen kan beantwoorden:

  • Hourly?
  • Daily?
  • Weekly?
  • Nightly?
  • Monthly?
  • Years kept?
  • Distance requirements?

 1.2 List a detailed inventory of SAN components including:

Maak alle SAN gerelateerde zaken inzichtelijk inclusief  onderdelen zoals disk ownership, igroups en protocols die gebruikt worden, snapshot configuratie en verdere informatie die nodig was om de Storage omgeving te kunnen configureren en hoe deze is opgezet.

Gebruik bijvoorbeeld de tool SANHealth en Synergy.

1.2.1 NetApp storage system configuration details

Ik ben bezig een document uit te werken; HOW 2 assess NetApp, hierin worden de commando’s uitgewerkt die deze informatie verzameld en inzichtelijk maakt. Wordt aan gewerkt.

1.2.2 Host details

FC Supported OS: Windows®, VMware, Solaris™, Oracle® Enterprise Linux®, Red Hat Linux, SUSE Linux, AIX, HP/UX, NetWare, and OpenVMS

Verify Host Utility Kit installation, HUK sets Timeouts, HUK lets the SAN see basic OS side data (filesystem paths, etc)

Verify SnapDrive Installation; Allowed easy access to basic SAN functionality from the mounting OS.  (Create snaps, mount volumes, create volumes)

1.2.3 FC switch details

Core Edge is de meest voorkomende SAN topologie die men in de praktijk tegenkomt. Zie ook sectie 2 waarin de supported configuraties worden behandeld.

Lees ook: “Setting up FCP on Clustered Ontap

Weet wat een OUI is; The Organizationally Unique Identifier (OUI) is built into all MAC addresses and World Wide Node and Port names. The naming format used will determine which part of the name is the OUI.  Lees: information on OUI’s to identify Netapp systemen (start met 5),

Show current configuration is supporting NPIV on Brocade switches:

# switchshow : display switch and port status information.
# portcfgshow : display the current user configuration of a port also shows NPIV capability and status
# portshow : display general port status and specific configuration  parameters for a specified port

Show current configuration is supporting NPIV on CISCO switches:

# show npiv status : When using Cisco NX-OS, the status of NPIV can be checked with the show npiv status command

Nog meer Brocade FOS commando’s en informatie:

The default FC domain ID is domain 1. (If desired, you can modify the FC domain ID)

# fabricshow : display fabric configuration

Check devices that have logged in to the switch (Brocade):
# portshow
# portloginshow : Displays port login status of devices attached to the specified port

# Switchdisable > configure > switchenable : steps required to set the Domain ID on a Brocade switch, a new domain starts from 10 (Keus: 1 – 239).
# Version > firmwaredownload : Update FOS
# Configupload or # configdownload  : backup
# supportshow  : Collects detailed diagnostic information
# configshow  : After completing the configuration of a new Brocade FC switch, to verify you configuration.

 Nog meer CISCO commando’s en informatie:

About the Default VSAN: The factory settings for switches in the Cisco Nexus 5000 Series have only the default VSAN 1 enabled. By default, all ports are assigned to the default VSAN.

Cisco Virtual SAN is a way to divide a fabric logically

Enable an FC port on a Cisco switch: no shutdown

On Cisco Nexus must occur before FCoE initiators and the FCoE targets can discover each other: Port Logoff

Zie ook: Cisco MDS 9000 Family Command Quick Reference

# show running-config : Show current running configuration on a Cisco switch

# show zoneset active : Show currently active zoneset

# show flogi database : Displays the devices that have logged into the fabric. Retrieve pWWNs for aliases and zoning from this database

# show fcns database : Displays device name server registration information per VSAN

To display the results of the discovery, or to display the name server database for a specified Virtual SAN (VSAN) or for all VSANs, use the show fcns database command.
show fcns database { detail [ vsan vsan-id ] | domain domain-id [ detail ] [ vsan vsan-range ] | fcid fcid-id [ detail ] vsan vsan-range | local [ detail ] [ vsan vsan-range ] | vsan vsan-id }

1.2.4 Ethernet switch details

# show version
# show running-config “sh run” on most switches
# show cdp neighbors : To display the Cisco Discovery Protocol (CDP) neighbors, to see what other devices are connected
# show vlan : To display VLAN information, use the show vlan command in privileged EXEC mode. show vlan [brief | id vlan-id | name name [ifindex] | ifindex]

1.2.5 Current zoning configuration

Gebruik de volgende commando’s op de NetApp omgeving:

Use the fcadmin config command to determine the status of the FC onboard adapters. Example:

cluster01 :: > node run -node node1 fcadmin config : Displaying information about an FC adapter type.

cluster01 :: > system node run -node node01 -command : (schakel naar 7-mode )

node01> fcp show adapter : (shows adapter type)

cluster01 :: > system node run -node node01 -command fcp show adapter : Target adapter node name, port name, and link state

cluster01 :: > system node run -node node01 fcp topology

Gebruik de volgende commando’s op de BROCADE omgeving:

Om de zone informatie te inventariseren en beheren op een Brocade switch kan men gebruik maken van de WebTool GUI of de informatie verkregen uit de Brocade assessment tool SANHealth.

Verder kan de zone configuratie met commando’s worden bekeken:

# cfgshow : Print zone configuration information:  If no operand is specified, all zone configuration  information (both defined and effective) displays.

# cfgactvshow : Display Effective (ACTIVE) zone configuration information: Use this command to display the effective zone configuration information.

# Alicreate > zonecreate > cfgcreate > cfgsave > cfgenable : steps to configure zoning

Op een CISCO omgeving: Fabric manager: manages CISCO switches:

# show zoneset active : Displays the active zone set for each VSAN, including which devices have logged in and are communicating

# show zone : Displays zone mappings

# show zone vsan X : Displays zone mapping ONLY for vsan X

# show fcalias : Displays alias mappings

1.2.6 Current iSCSI implementation details

Check the target node name, target alias, and iSCSI services.

cluster01:: > vserver iscsi show : Display a vserver’s iSCSI configuration

cluster01:: > vserver iscsi session show : Display iSCSI sessions

cluster01:: > iscsi session show -v : DOT CLI command to see if iSCSI digests are enabled.

 

Lees de volgende aantekeningen: Over iSCSI

1.2.7 CHAP settings

What CHAP authentication is: The Challenge Handshake Authentication Protocol (CHAP) enables authenticated communication between iSCSI initiators and targets. When you use CHAP authentication, you define CHAP user names and passwords on both the initiator and the storage system.

cluster01:: > iscsi security show : Show iSCSI authentication configuration

1.2.8 IPSEC configuration details

Internet Protocol Security (IPsec) is a security protocol suite that protects data from unauthorized disclosure when it is being transmitted between storage systems and clients. Using IPsec, you can add policies on your storage system that configure encryption and authentication algorithms between your storage system and client, and negotiate a security association (SA) between two end-stations that initiate and receive secure communications.

How it works: How Internet Protocol Security (IPsec) works

1.2.9 Snapshot configuration details

Voor dit en de volgende assessment details zie het document: HOW 2 assess NetApp.

cluster01:: >  snap show
node01> snap delta

1.2.10 Current data layout (aggregates, raid groups, volumes)

cluster01::> aggr show OF cluster01::> storage aggregate show
cluster01::> volume show
cluster01::> lun show
cluster01::> storage disk show

1.2.11 Consider listing out system names, IP addresses, current zoning configuration, OS versions, OS patch levels, driver versions and firmware versions

cluster01::> network inteface show
cluster01::> system node run -node node01 ifconfig -a

Zal verder worden uitgewerkt in HOW 2 assess.

1.3 Ensure that the solution design and the hardware provisioned do not fall short of the customer’s requirements and expectations.

Controleer of de omgeving voldoet aan de verwachtingen van de klant als het gaat om sizing, functionaliteits- en performance eisen.

De SPM tool (System Performance Modeler) kan worden gebruikt voor het dimensioneren van de hardware (sizing) het in kaard brengen van trends (trending) en diepgaande performance analyse (trending).

Solution Verification checklist from the SAN Design and Implementation Service Guide

Gap analysis worksheet.

Finalize any configuration details in the SAN design.

Work out any deficiencies prior to requesting approval on the design.

1.3.1 Validate requirements with the customer. Consider the following:

1.3.1.1 Sizing needs

Breng de totale Capaciteit in kaart; Total Capacity, expected growth, Bandwidth throughput, Per end host and application, Per SAN for all hosts, Per SAN for backups, For replication,

IOPs requirements, Perform simple IOPs calculations per existing application and per existing san, Look at daytime, backup time, and nightly processing IOPs differences. Zie ook sectie 4 voor de gebruikte tools en commando’s.

Wat zijn de Future needs.

1.3.1.2 Connectivity needs

In a FC environment utilizing 62.5 micron cable between patch panels – supported NetApp storage controller configuration is to use: short wave SFPs with 62.5 micron FC cable.

50/125 OM2 multi-mode fiber cable supports up to 300 meters at 2 Gbps.
50/125 OM3 multi-mode fiber cable supports up to 500 meters at 2 Gbps.
50/125 OM3 multi-mode fiber cable supports up to 380 meters at 4 Gbps.

Zie ook de aantekeningen in sectie 3.

1.3.1.3 Zoning types

Use single initiator zoning, gebruikt men hard zoning of softzoning. Zie ook de volgende sectie voor meer informatie hierover.

Two benefits of soft zoning (device WWPN zoning) over hard zoning (domain ID plus port) for Cisco and Brocade FC switches:

  • A device can be connected to any port in the fabric without changing zoning.
  • It is fully interoperable between switch vendors.

1.3.1.4 Expected level of functionality

MetroCluster is not supported in Data ONTAP 8.1 Cluster-Mode

Synchronous SnapMirror is not supported in DOT 8.1 Cluster-Mode.

SnapVault is not supported with DOT 8.1 Cluster-Mode.

SnapProtect is an end-to-end backup and recovery solution which also manages traditional tape backup and disk-to-disk-to-tape deployments. SnapProtect manages NetApp Snapshot, SnapVault, and SnapMirror technology, and tape from a single console.

NetApp solutions for disaster recovery of entire sites are: MetroCluster and SnapMirror software.

Stretch MetroCluster supports up to 500 meters @ 2 Gbps between two controllers.

Fabric MetroCluster supports up to 100 kilometers @ 2 Gbps between two nodes in a cluster.

1.3.1.5 Performance requirements

Controleer of de omgeving niet overbelast is. Voldoet de omgeving aan de verwachte performance in de opinie van de klant. Zie ook sectie 4 waar performance tools behandeld worden.

1.3.1.6 Solution requirements being provided by a third party

8.1 Cluster-Mode supports:

  • EMC Symmetric DMX4,
  • EMC CLARiiON CX4,
  • HP StorageWorks EVA (recommended at least one NetApp storage shelf be included with each V-Series installation.)

 

  1. NSO 504 Scalable SAN Implementation Plan Creation

Bij een project Implementatie Plan moeten de volgende zaken duidelijk zijn: Toebedeelde taken en door wie, duur, afhankelijkheden, verdere ressources en raakvlakken enz.

De implementatie planning kan aangepakt worden op een project matige manier door gebruik te maken van Project methodieken zoals Prince II of de Agille Methode.  Deze methodieken zal ik hier (nog) niet behandelen. Ik behandel hier de technische zaken dat je alles weet te plannen, verzamelen, weet voor te bereiden om de te plaatsen hardware (infrastructureel) en Storage systemen kan installeren in een Data Center Rack inclusief het creëren van een cabinet diagram en een connectivity diagram.

Samengevat SAN deployment and planning steps:

  • Review implementation flowchart with customer – assign tasks
  • Verify logistics plan for staging and installation of equipment
  • Validate equipment move path to installation location (doorway, clearances, floor loading inabilities, ect)
  • Verify Ethernet cabling plan and availability of cable support
  • Finalize switch zone configuration (FC NOT iSCSI)

Onder volgen een aantal voorbeelden en beperkingen waar men rekening mee dient te houden bij het plannen van een juiste configuratie:

Het aantal maximale NAS nodes is 24 maar als het gaat om een SAN configuratie houd dan rekening met het volgende:

  • cDOT 8.1 is dit 4
  • cDOT 8.1.2 is dit 6
  • cDOT 8.2 is dit 8

A pre-requisite for NetApp storage controller multipath HA between storage controller and disk shelves, is for Software Disk Ownership to be supported and configured. Disks that are not owned are not used.

De volgende switch configuraties zijn door NetApp toegestaan:

  • single FC switch
  • dual FC switches with no ISLs
  • Four switches with multiple ISLs between ALL switches
  • Four switches with multiple ISLs between each pair of switches

De volgende FC SAN (switch) topologie ’n worden door NetApp gebruikt:

  • Core-Edge (provides best performance and scalability),
  • Cascade,
  • Full Mesh, Partial Mesh,
  • Switched Fabric

NetApp best practice for primary block data (FC and iSCSI):

  • Dual controller and single shelf.
  • Dual controller and multiple shelves.

With limited budget and resources, a suitable solution for a new disaster recover site = SnapMirror and iSCSI at the disaster recovery site for all hosts.

2.1 Verify and plan for dual power feeds for all components.

Neem vooraf contact op met het Data Center personeel en laat je informeren of controleer waar mogelijk zelf zaken, waaronder: Powerdrops en Power aansluit mogelijkheden. Check bijvoorbeeld de aansluit connectoren (denk aan de C13-C14 kabels en CEE stekker). Lees het volgende document van NetApp door; Site Requirements Guide. In dit document wordt de aandacht bevestig op; Site Preperation waaronder tools, kabels de mogelijke aansluitingen switches alles wat met de te plaatsen hardware te maken heeft.

Onthoud dat DUAL/alles dubbel uitgevoerd hier van belang is (N+N), denk aan:

  • Dual Feeds
  • Dual PDUs
  • Dual Power Supplies
  • Dual CircuitsDual power supplies should be placed in all equipment.

Dual power feeds should be run to all equipment.  Power feeds should be connected to separate outlets connected to two separate PDUs.

NetApp Storage solution diagram for installation should include the following:

  • Power Feeds to all components to PDU and UPSs
  • Connectivity to switches – both Ethernet and FCP
  • Storage cabling, from the storage controllers to switches

2.2 Be able to create cabinet diagrams or be able to read and interpret a cabinet diagram. Diagrams should include the cabinet’s storage systems and switches with all connections shown.

Zorg dat je in staat bent cabinet diagrammen te begrijpen en mogelijk dat je deze zelf kan maken. Hier zijn tools voor die dit ook naderhand voor je kunnen genereren zoals de Synergy tool van NetApp. Jammer genoeg kan niet iedereen hier gebruik van maken en ben je dus op Fysio aangewezen.

De volgende informatie is hier van belang: 

  • Rack Fysieke locatie in het Data Center
  • Rack identificatie informatie
  • Cabinet inrichting plaatsing Controllers, Shelves en switches
  • De connectiviteit

Vergeet niet te zorgen dat je precies weet hoe alles moet worden aangesloten. Hou rekening met verschillende kabels zoals stroomkabels, Koper Netwerkaansluitingen , Fiber Netwerkaansluitingen, patching enz.

Note: Single-mode fibre is only supported for the inter-switch links

2.3 Create a connectivity diagram. Be able to read and interpret a connectivity diagram.

Naast kennis van de fysieke locatie van de hardware en met name de switch(en) in het rack, is de gebruikte topologie en de connectiviteit (kabels) per poort en de informatie en doel van belang.

De volgende informatie is van belang om deze te weten en/of te kunnen interpreteren, identificeer daarom de volgende port details:

Identify port details and connections for:

  • NetApp storage device(s),
  • for Hosts,
  • FC switches,
  • for Ethernet switches.

Voorbeeld van een connectivity diagram:

Verdere informatie over FC fabric configuratie is te vinden in:

Maak altijd gebruik van NetApp of leveranciers Best Practices, een aantal voorbeelden voor het gebruik van FC switches: Disable ongebruikte poorten en Configureer de poorten op de juiste Speed (fixed)

Opm: zorg voor de juiste Small Form Factor Pluggables (SFPs) en snap the verschillen tussen OM2 en OM3 en wat short wave of long wave en single en multi mode kabel behoefte is.Hier later meer over.

Wat je verder moet weten van een FC fabric:

Welke port met welk device of met welk doel deze is geconfigureerd. Is het een:

  • ISL,
  • een F port,
  • of een NPIV port,
  • Snelheid (2, 4, 8, 16 Gb)

Kennis per poort wat er op is aangesloten? Deze informatie is nodig zodat de relatie kan worden gelegd tussen de Port nummers van de switch en initiator(Host)/target(NetApp) configuratie informatie/relatie.

Samengevat is voor de configuratie Host (initiator) naar Storage controller (Target) is de volgende informatie van belang om de zone informatie te kunnen plannen:

  • Is het een Target of Host aansluiting,
  • wat is het WWPN,
  • wat is de locatie van de poort of portnummer,
  • Host name, Zone name, Aliassen

2.4 Plan storage controller configuration.

De minimale configuratie voor een controller die men moet instellen bij plaatsing is: BMC (oud), SP, RLM informatie en Autosupport informatie

Om de configuratie verder vorm te geven (zal uitgebreider behandeld worden in Implementation and Configuration Tasks) is het ook van belang te weten hoe je het cluster, de nodes de Storage Virtual Machines  (SVMs)  gaat noemen, welke protocols er gebruikt gaan worden en verder de IP configuratie waaronder DNS default gatway’s en domain gegevens. Gebruik hiervoor de volgende documentatie:

Plan de single/dual controller configuratie; cfmode = controller failover modes.

Only single_image and standby cfmodes are supported with the 4-Gb FC HBAs on 30xx and 60xx storage systems.

Single_image is the only supported cfmode for new installations starting with Data ONTAP 7.3 (on legacy systems, can continue to use other cfmodes supported by the system).

Statement about single_image cfmode: both nodes in the active-active configuration function as a single Fibre Channel node, and the LUN maps are shared between partners.

In single-image cfmode path failover from cable connectivity issue:

  • I/O will fail over to any port on either controller that is part of the associated portset,
  • choice of path controlled by the host’s MPIO weighting table.

Wanneer er naar single_image cfmode wordt geschakkeld dan is dit van invloed op het volgende:

  • There are more paths to LUNs,
  • Target ports WWPNs change on at least one controller.

cfmode is not applicable to O/S co-existence.

Plan capaciteit en inrichting van aggregates (RAID groups), volumes, LUNs.

Ik heb een document uitgewerkt over volume management. Lees deze.

Best practices:

  • Use RAID-DP technology
  • Separate data and log files by LUN, volume, and aggregate
  • Reserve space on the root volumes for log files, document installation, and images of the storage system’s memory (for diagnostic purposes).
  • Do not put LUNs or user data in the root volume.

2.5 Plan host configuration.

Plan en verify hosts hardware configuratie waaronder: gebruikte HBA inclusief firmware en drivers en PCI slots die gebruikt worden. Zorg dat je de gehele configuratie met de Interoperability Matric Tool (IMT) checkt.

When designing a NetApp storage solution for a customer, check the row in the IMT for:

  • Host OS & patches,
  • HBA driver,
  • Volume Manager,
  • File System,
  • and Clustering.

When planning the addition of a NetApp FC SAN where the company has an existing FC SAN, consider: existing hosts with OS level and patches, FC HBAs with firmware and driver, FC switches with firmware version and LUN layout.

Plan de installatie van de host Utilities op de hosts, gebruik hiervoor de aanwezig zijnde documentatie:

Plan de installatie van de SnapDrive software op hosts om te zorgen dat er consistent snapshot copies gemaakt kunnen worden. Plan igroups for alle hosts.

Features of SnapDrive:

  • Expand LUNs on the fly,
  • Perform SnapVault updates of qtrees to a SnapVault destination
  • Perform iSCSI session management.

Linux supports:

  • dm_mp multipathing type.

In a HP-UX environment to ensure proper failover:

  • set single_image cfmode

Windows 2008 host: consider installing ‘Microsoft Multipath I/O Role’, and ‘DOT DSM for Windows MPIO’.

2.6 Create a Snapshot plan.

Denk aan snapshot requirements/eisen en plan space reserve strategy. Lees een samenvatting over de verschillende Volume en LUN configuraties.

Create Snapshot plan voor elke host. Inventariseer en plan RPO (Recover Point Objective, hoeveelheid data verlies) & RTO (Recovery Time Objective, benodigde tijd die nodig is voor herstel dienst).

Om SnapDrive te kunnen gebruiken op een NetApp appliance: FCP or iSCSI license is required.

Best practice before installing SnapDrive is to establish a SnapDrive service account.

SnapDrive for Windows can communicate with NetApp Storage Controllers using the following protocols:

  • HTTP,
  • HTTPS,
  • RPC.

2.7 Plan Ethernet switch configuration.

De protocol oplossingen die Block based LUNs over een IP SAN aanbieden zijn;

  • FCoE
  • iSCSI.

Wat je verder moet weten over de Ethernet switch configuratie:

Lees:

Voor IP based fabric oplossingen is de volgende informatie van belang:

  • Netwerk Topologie (back-end, Mgt en Data Network)
  • Ethernet switch port details,
  • VLANs
  • Truncks/LACP
  • VIF/IFGRP en LIF informatie
  • IP host en storage adressen,
  • IQNs

Hoe de backend/Cluster Interconnect is aangesloten moet bekend zijn. Dit is minimaal 2 switches waarvan elke node met 2 aansluitingen op is aangesloten. Cluster Management switch is optional. Het Data Netwerk kan bestaan uit een Core Edge topologie.

Supported iSCSI Topologies:

  • Direct attached (not supported in HA pares)
  • Network-attached
  • Single or Muliplenetwork (VLANs)
  • Mixed

Port Aggregation in iSCSI environments: Ook bekend als:

  • Trunking
  • EtherChannel
  • NIC Teaming

Plan VLAN configuration.

There are 2 types of VLANs:

  • Static VLANs (port based; high secure, no MAC spoofing), similar to FC port zoning
  • Dynamic VLANs (MAC address-based) similar to FC WWN zoning

VLANs purposes:

  • To isolate iSCSI traffic from LAN/WAN traffic
  • To isolate management traffic from other IP traffic

Ports to include in a VLAN for administrative security purposes:

  • Storage Controllers Management Ethernet port.
  • FC Switches Management port.
  • Ethernet Switches Management port.
  • Hosts Management Ethernet port.

Zorg dat je FC vs UTA begrijpt. UTA = NetApp Unified Target Adapter:

Lees de volgende informatie: What Is Unified Connect?

  • Default allocation NetApp Unified Target Adapter uses between FCoE and other Ethernet Trafic: 50% FCoE,50% other 

Aantal commando’s om de UTA te inventariseren:

node01> dcb show

node1> dcb priority show

node1>  sysconfig -v

Supported cluster switches:

Lees het deel Cisco Nexus 5000 series switches in FlexPod Datacenter Technical Specifications.

Cluster interconnect switches: Nexus 5010 &  Nexus 5020:

  • Nexus 5010 support maximal 18 nodes in een cluster

Supported management switches: Catalyst 2960, CN1601 (vanaf cDOT 8.2)  are supported management switches:

  • Catalyst 2960 can be used only on the management network for clusters that have 24 nodes

Meer informatie over switches en hoe deze geconfigureerd worden in sectie 3.3.5.

2.8 Plan zoning configuration.

Voor het plannen van de zoning informatie maak je gebruik van de best practices van NetApp.

NetApp recommended best practice for zone configuration:

  • Be able to plan for single initiator zoning.
  • All zones should contain a single initiator and all the targets that initiator accesses.
  • NetApp recommends zoning by World Wide Port Name.

For a Host connected to a NetApp storage system through an FC switch, which has boot volumes on the NetApp storage system, a persistent binding is a mandatory configuration.

Provide a name for the alias that describes the port/WWPN (targets and initiators).

2.9 Plan iSCSI configuration.

Snap iSNS (internet Storage name Server, zoning mechanisme voor iSCSI) en hoe CHAP geïmplementeerd kan worden.

Two functions of iSCSI access lists:

  • control the network interfaces on the storage system that an initiator can access
  • limit the number of network interfaces advertised by the storage system

Portset informatie en dat deze ook gekoppeld kan worden aan een iGROUP: to limit host access to certain paths.

Plan IPSEC configuration:

Two IPSec modes: transport mode (performed by host processor) and tunneling mode (offloaded to an IPSec gateway).

  1. NSO 504 SCALABLE SAN IMPLEMENTATION AND CONFIGURATION TASKS

Zie ook sectie 2 a SCALABLE SAN IMPLEMENTATION PLAN CREATION. In deze sectie heb ik gebruik gemaakt van JK-47 notes. Ik zal hier nog het 1 en ander in gaan wijzigen.

Ik moet nog een weg zien te vinden in een duidelijke scheiding tussen de betreffende secties Planning en Configuration. Veel informatie overlappen elkaar op dit moment nog.

Note: The Scale out feature makes it possible to add more than  two storage systems to a cluster.

3.1 Prepare site for installation.

Tasks part of the site preperation for install:

  • Verify equipment move path
  • Verify power drops in the equipment location
  • make contact with data center personnel

3.1.1 Be able to review implementation flowchart with customer and assign task areas.

Doe dit aan de hand van het project implementatie plan of planning.

3.1.2 Verify site infrastructure including: dual power, floor space, floor loading plan, HVAC.

Zie ook 2.1 Verify and plan for dual power feeds for all components.

Onder heb ik een Site Survey Questions (not including networking) (from an cDot old Survey to Quote document) opgenomen van de site JK-47 die helpen de installatie goed te kunnen voorbereiden:

Over Cabinets:

Vragen die helpen om de te installeren hardware goed te kunnen plaatsen en te bekabelen:

  • Does the customer plan on using NetApp Cabinets?
  • If Yes, what PDUs does the customer want in the cabinets?
  • What country will these racks be installed in?
  • Will redundant power be able to be configured?
  • If No, what is the height in RackU of the customer’s cabinets?
  • Will customer provide redundant power for the equipment?
  • Does the customer want NetApp to supply PDU-to-Head/Shelf power cords?
  • If so, what length?
  • If not, country-specific power cords will be included.
  • Does the customer want NetApp Universal Rail kits?
  • If so, 2 post or 4 post?

Cables:

Zie ook 1.3.1.2 Connectivity needs. De volgende vragen gaan over het gebruik van de juiste kabels, connectoren en de hierbij behorende maximalen en beperkingen:

  • How does the customer plan on running cables between racks?
  • Down, under the floor and back up?
  • Up, through ladder racks/trays and back down?
  • Through cabinet sides (not recommended)?
  • What cable length(s) will be required?
  • How will cabinets be set up on the datacentre floor?
  • All adjacent with no gaps or other equipment in between?
  • Separated by an aisle or other equipment?
  • If not all adjacent, please build diagram of cabinet layout to facilitate cable length calculation with PS

Clusters with NAS, iSCSI & FCoE protocols:

  • What kind and quantity of Ethernet ports does the customer require?
  • 10GigE with optical SFP+
  • 10Gig CNA with optical SFP+
  • 10GigE bare cage
  • 10Gig CNA bare cage
  • 1GigE with optical SFP
  • 1GigE with RJ45 connector
  • Does the customer want NetApp to supply cables for any of the above?
  • If so, what length(s)?
  • For bare cage 10GigE & 10GigE CNA, does the customer want copper 10Gig cables?
  • If so, what length(s)?

Clusters with FC protocol:

  • What kind and quantity of FC ports does the customer require?
  • 8Gbps with optical SFP
  • 4Gbps with optical SFP
  • 8Gbps bare cage
  • 4Gbps bare cage
  • Does the customer want NetApp to supply cables for any of the above?
  • If so, what length(s)?

Read the Netapp Site Requirement guide

  • Review the BTU and Ton conversion of the heat output of the controllers and disk shelves.
  • Know the NEMA vs IEC power cables and voltage
  • C13 – C14
  • NEMA L5-15/L5-20
  • C19-C20

3.1.3 Validate equipment move path to installation location

3.1.4 Validate logistics plan for staging and installation of equipment.

  • Will this be built in a lab room? Built in production rack? Etc.

3.1.5 Verify Ethernet cabling plan and availability of cable supports.

Valid 1gb Administration Switches

  • Cisco 2960
  • Netapp 1601 (wordt gebruikt vanaf cDOT 8.2, wel gevraagd in NSO 156)

Valid 10gb Cluster Interconnect Switches

  • Cisco 5010– 12 or 18 node clusters
  • Cisco 5020– Up to 32 nodes (not like thats possible, realistically 24 nodes)
  • Cisco 5548UP
  • Cisco 5596UP– Up to 40 nodes
  • Cisco CN1610 (Wordt wel gevraagd in NSO 156)

Sample cabling plan:

  • Netapp CN1610 Cabling.

 

Zie ook 2.3 Create a connectivity diagram. Be able to read and interpret a connectivity diagram.  Onder volgt nog een voorbeeld en overzicht van een Cabling Diagram :

Sample Cabling Guide of a Flexpod – For illustration only. Dont use on modern production:

3.1.6 Verify fiber cabling plan and availability of cable supports.

3.2 Following the rack diagram, install systems and FC switches.

Voorbeeld Rack Diagram

3.3 Storage System Configuration Tasks.

Gebruik de betreffende system setup Guide, bijvoorbeeld voor een 32XX Systeem:  Data ONTAP 8.1 Express Setup Guide for Cluster-Mode SAN On 32xx Systems

Maak ook gebruik van een vooraf ingevulde  System Installation Workbook. Ik zal hier nog een versie van uitwerken.

Onder volgt een voorbeeld hoe je de onboard FC adapters configureert als een target (default is initiator) in cDOT op 1 node:

mscl01::> network fcp adapter show -node mscl01-01

mscl01::> node run -node mscl01-01 -command fcadmin config

mscl01::> node run -node mscl01-01 -command fcadmin config-d 0b 0d

mscl01::> node run -node mscl01-01 -command fcadmin config-t target 0b 0d

mscl01::> reboot -node mscl01-01

3.3.1 Data ONTAP 8.1.1 Cluster-Mode Setup Tasks

Maar gebruik van de : Completing the cluster setup worksheet

3.3.2 Storage Provisioning and Vserver Setup Tasks

Maar gebruik van de : Completing the Vserver setup worksheet

  • vserver create
  • protocol configuration
  • volume create
  • Adding to namespace
  • lun create
  • NFS: Export policy creation

The volume create command creates a volume on a specified Vserver and storage aggregate. You can optionally specify atributes for the new volume.

Andere taken:

  • Lif Migrate
  • ARL Aggregate Relocate
  • DataMotion for Volumes

3.3.3 FC, FCoE, and iSCSI Connectivity Tasks

Als je gebruik maakt van het meest gebruikte design: Core-edge topology

Topologies

 

FC Cable comparison (because they always have annoying distance questions, not like we couldnt just google this when we need to)

Comparison (from Wikipedia)

 

Category Minimum modal bandwidth
850 nm / 1310 nm
100 Mb Ethernet 100BASE-FX 1 Gb (1000 Mb) Ethernet 1000BASE-SX 10 Gb Ethernet 10GBASE-SR 40 Gb Ethernet 100 Gb Ethernet
OM1 (62.5/125) 200 / 500 MHz·km up to 2000 meters (FX) 275 meters (SX) 33 meters (SR) Not supported Not supported
OM2 (50/125) 500 / – MHz·km up to 2000 meters (FX) 550 meters (SX) 82 meters (SR) Not supported Not supported
OM3 (50/125) *Laser Optimized* 1500 / 2000 MHz·km up to 2000 meters (FX) 550 meters (SX) 300 meters (SR) 100 meters330 meters QSFP+ eSR4 100 meters
OM4 (50/125) *Laser Optimized* 3500 / 4700 MHz·km up to 2000 meters (FX) 1000 meters (SX) 400 meters (SR) 150 meters550 meters QSFP+ eSR4 150 meters

Fibre Channel loop speeds/Distance from Siemons

Connection Speed and Distance by Cable Category
Type Speed Distance
OM2 1Gb/s 500m/1,640’
OM3 1Gb/s 500m/1,640’
OM2 2Gb/s 300m/900’
OM3 2Gb/s 500m/1,640’
OM2 4Gb/s 150m/492’
OM3 4Gb/s 270m/886’
OM2 8Gb/s 50m/1,64’
OM3 8Gb/s 150m/492’
Twinax copper 8Gb/s 15m max’

 

  • Optical for SAS between controller and shelves distances: The point-to-point (QSFP-to-QSFP) path of any multimode cable cannot exceed 150 meters for OM4 and 100 meters for OM3.  Though this isnt supported on 8.1.1.
  • Important note!:  If you are using patch panels with a different thickness (62.5/125 instead of 50.125),you should match the patch panel fiber thickness to the end host or san A transition between 62.5/125 and 50/125 may result in a possible loss of signal strength.  Read this for more information. ( thefoa.org )

3.3.4 LUN Connectivity Tasks

Before a LUN can be created the following must be present:

  • Aggregate
  • Flexible Volume
  • Vserver
  • ALUA information for pathing preferences is gathered by the host sending scsi inquiry (or new  REPORT_TARGET_PORT_GROUPS) command. (From Netapp Knowledge Base)
  • The storage system implements four states for a LUN:
  • Active/Optimized
  • Active/Non-Optimized
  • Unavailable
  • Transitioning
  • These map to the following existing Data ONTAP terms:
  • Local/Fast/Primary
  • Partner/Proxy/Slow/Secondary
  • Cluster IC is down, path is not functional
  • Path is transitioning to another state

3.3.5 Configure FC and Ethernet switches

Hier worden de Initial configuration steps uitgewerkt van een Brocade en Cisco FC switch.

About Brocade FC switch and Zoning

Ethernet Switch Config

3.3.6 Host Configuration Tasks

3.3.7 Virtualized Environment/Platforms: SAN Best Practices.

Created EXS 3.5 datastore LUN accessed on ESX 4.0, what setting for the SATP (Storage Array Type Plugin):

  • VMW_SATP_DEFAULT_AA

On ESX 4.0 for guest OS in a MS cluster configuration, the Path Selection Plug-in (PSP) for a MSCS LUN should be set to:

  • MRU (Most Recently Used)

3.3.8 FCoE and Unified Connect Enabling Technologies

FCoE is designed to use the same operational model as native Fibre Channel technology. Services such as discovery, world-wide name (WWN) addressing, zoning and LUN masking all operate the same way in FCoE as they do in native Fibre Channel.

Lossless Ethernet (IEEE 802.1Qbb): Over 1 Ethernet link worden multiple traffic types gedeeld zonder elkaar te storen. FCoE en IP verkeer zoals iSCSI krijgen een eigen bandbreedte, deze bandbreedte is te managen. (gebruikt PAUSE frame command to control flow). Lossless Ethernet is a requirement for FCoE.

  • Relies on DataCenter Bridging(DCB)
  • Data center bridging (DCB) is a collection of extensions to the existing Ethernet standard that provides a lossless transport layer for FCoE traffic.
  • Per-priority pause (priority-based flow control)
  • Enables a device to only inhibit the transmission of frames based on user-defined priorities.
  • Enhanced transmission selection
  • Allows administrators to allocate bandwidth on a percentage basis to different priorities.
  • Congestion notification
  • Transmits congestion information.
  • DCB Exchange (DCBX) protocol
  • Exchanges connection information with directly connected peers and detects misconfigurations.
  • SAN Admin Guide Troubleshooting– Page 70-71 is a great resource for seeing this in action
  • Default priorities is 3 for FCoE traffic & 50% Bandwidth
  • Page 20 of TR3894states this.
  • Default priority is 0 for IP traffic.

3.3.9 FCoE and Unified Connect Hardware

To learn more about how our FCoE solutions can help you consolidate I/O and reduce costs, here are some resources you may want to explore:

3.3.10 FCoE and Unified Connect Configuration

Zie pagina 8: CONFIGURATION RECOMMENDATIONS FOR A UNIFIED CONNECT INFRASTRUCTURE

Lees ook:

  • Must read: FCoE End to End Deployment (TR-3800 Older – 2011, w/ Qlogic)
  • Configuring CNA/UTA Ports
  • ucadmin
  • fcp config
  • Converged network adapter (CNA) and unified target adapter (UTA/UTA2) LEDs
  • FCoE Overviewfor Clustered Ontap
  • FC and FCoE Zoning
  • Best practices and recommendations
  • Netapp recommends “Single Initiator Zoning”
  • A zone should include a SINGLE INITIATOR and ALL Targets the initiator is connecting to.
  • Zoning should be based on World Wide Port Name (wwpn)
  • Change an HBA card, update the zone. Change a server, update the zone.
  • 50/125 Recommended.
  • Short Wave SFPs required to connect to onboard FC.
  • Should be used when you have 4 or more hosts connected (really always)
  • Orange cable typically OM2. “Laser Optimized” needed for short length 10gb.
  • OM3 and OM4 are cyan (blue), recommended for 8gb FC, 10GB eth.
  • Why Zone?
  • Reduce the number of paths between a host and a LUN
  • Separate primary and secondary paths
  • Reduce or eliminate CROSSTALK between initiator HBAs
  • Increases Security
  • Increases reliability
  • Shortens troubleshooting times

Zie ook 1.2.3 FC switch details

 

4.0           NSO 504 SCALABLE SAN IMPLEMENTATION TESTING AND TROUBLESHOOTING

Performance Measurement Tools:

Download de Tools & Utilities

nSANity (NetApp Data Center Collector): (run from Windows CLI or Linux CLI) collects information about the following SAN components – Storage systems, Switches, Hosts.

Brocade SAN Health: captures diagnostic and performance data from SAN switches.

Perfstat Converged: (run from Windows CLI or Linux CLI) captures information from node(s), local and remote host(s), network switch(s), returns as a zip or tar file.

Use the NetApp perfstat utility to gather host and storage data for analysis if you have a FC SAN performance problem.

Relavant perfstat counters to check for unaligned I/O that do not fall on the WAFL boundry:

  • wp partial_write
  • read/write_align_hist.XX
  • read/write_partial_blocks.XX

Perfmon: (available on Windows Hosts) Can identify performance issues at the system and application level.

cp types that indicate a busy storage system:

  • cp_from_log_full
  • cp_from_cp

Analyze a packet trace file generated by the storage system:

  • WireShark
  • NetMon

dcb show : When FCoE traffic is only 30% of the bandwide allocation when 10GbE FCoE oath becomes fully satured. Use the dcb show command at the nodeshell

Load-generating tools: Simulated I/O (SIO and SIO_ntap), Microsoft Exchange Server Load Simulator (LoadSim) and Jetstress Tool, SQLIO for SQL Server, Iometer for SQL and Windows-based file-system I/O tests, Oracle Workload Generator.

*SQL Server performance depends on: logical design of databases, indexes, queries, and applications, with memory, cache buffers, and hardware also factoring in.

*Oracle includes fives types of transactions that affect performance: random queries, random updates, sequential queries, sequential updates, parallel queries.

 4.1 Be able to create an acceptance test plan.

Acceptance Test Plan: To define what the minimum performance should be, work with the customer to understand their performance expectations and determine the minimum performance they require for the application(s) this system will support.

 4.2 Test host to storage connectivity

Performance tuning parameters for Fibre Channel HBAs on a host: LUN queue depth and Fibre Channel speed.

During CFO (cluster fail over) paths on the surviving node of the HA pair will show as: Direct

During a Storage Failover Operation, paths to the down node will show as: Unoptimized.

Cluster Management LIF is down. What is a another method to access the cluster:

  • Login via one of the node management LIFs

Possible failures in connectivity:

  • Improper zoning
  • NPIV not enabled on switches

 Gather detailed statistics about network interfaces, including basic information about network connections:

  • ifstat –a
  • netdiag -i

Displaying performance information ONTAP commands:

  • nfsstat
  • sysstat

Display WWPN of hosts that have logged into the storage system:

  • fcp show initiator

iscsi interface show : cDOT CLI command to check the network interfaces are enabled for iSCSI traffic.

 fcp stats -i 5 : cDOT CLI command that displays the average service time on an FC target port basis every 5 seconds

 lun stats -i 5 : cDOT CLI command that displays the average latency time on a per LUN basis every five seconds

 sanlun lun show -p : UNIX CLI NetApp host utility command to determining the number of paths per LUN visible to the host

sanlun fcp show adapter : UNIX CLI NetApp host utility command to verify WWNN and WWPNs

esxcfg-info : VMware ESX CLI command to verify WWNN and WWPNs

pktt : Utility on the storage system to capture network packet information.

/var/adm/messages : Check this log for SAN connectivity errors

To verify FC connectivity between host and FC switch – check FC switch for WWPN of host HBA.

Steps prior to replacing a failed Brocade FC Switch:

  • Change the domain ID of the replacement switch to the domain ID of the failed switch
  • Clear all zoning configuration on the replacement switch
  • Change the core PID format of the replacement switch to be the core PID format of the failed switch

When hard zoning (domain ID plus port) is in use and a host HBA is replaced, no changes need to be made provided the new HBA is connected to the same port.

Operations using iGROUP throttles on a NetApp:

  • To assign a specific percentage of the queue resources on each physical port to the igroup
  • To reserve a minimum percentage of queue resources for a specific igroup
  • To limit the number of concurrent I/O requests an initiator can send to the storage system
  • To restrict an igroup to a maximum performance of use

4.3 Test LUN availability during failover scenarios (multipathing).

When a Windows 2008 iSCSI initiator is NOT able to switch between different paths, check: if the Multipath I/O function is installed.

When using SnapRestore to restore a single LUN;

  • the LUN must be taken offline or unmapped.

4.4 Test controller failover scenarios (multipath HA).

To test NetApp storage controller failover execute the cf takeover command on both controllers.

Troubleshoot/verify cluster configuration with the cluster configuration checker script.

  • use the cluster-config-checker.cgi to indentify the problem and corrective action.

Part of the output: sysstat –f:

  • FCP
  • CIFS
  • NFS

 

 

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *