S3 object Storage
Dat Nutanix market leider is in Hyper Converged Infrastructure (HCI) weten de meeste van ons wel. Maar dat je de Nutanix storage ook kunt ontsluiten via iSCSI aan (bare metal) servers , via files shares zoals NFS of SMB of zelfs via S3 voor object storage is nog niet bij iedereen zo bekend.
Vandaar deze serie blogs over Nutanix storage mogelijkheden. In de eerste van deze reeks een blik op Nutanix Object Storage, bekend onder de productnaam Nutanix Objects.
Voor het hele overzicht zie ook:
- Deel 2: Architectuur Nutanix Objects
- Deel 3: Hoe Nutanix Objects te installeren
- Deel 4: Splunk SmartStore en Nutanix Objects
Maar allereerst naar het begin, wat is Object Storage eigenlijk?
Object Storage is zoals de naam eigenlijk al zegt het opslaan van data als gehele objecten binnen een enkele opslagstuctuur (bucket). Object Storage kent geen bestandsstructuur. Om Object storage beter te begrijpen moet je ook begrijpen wat File Storage en Block Storage is.
Met File Storage sla je een geheel bestand (een file) op in een folder die weer in een directory zit. Dit is een hiërarchische opslag methode. Als je data wilt ophalen moet je alleen tegen de computer vertellen wat het pad er naar toe is. Makkelijk is hier het sleutelwoord.
Block storage breekt de files in kleine gelijke blokken en slaat deze blokken als aparte stukken data in het systeem op. Dit gebeurt dan zonder een file of folder structuur. Elk block heeft zijn eigen unieke adres. Hierdoor is het mogelijk om de data (blokken) netjes ergens neer te zetten waar het op dat moment het meest efficiënt is. Het storage system houdt met een eigen “index” bij waar alle blokken zich bevinden, en kan zodoende de blokken weer bij elkaar zetten als het bestand opgevraagd wordt. Dit is efficiënt en snel.
Bij Object Storage wordt een bestand verrijkt met meta-data (data wat iets over het bestand verteld) en dit wordt samen weggeschreven in 1 platte bak (een storage container of bucket) als object. Hier is dus geen sprake van enige hiërarchie, of file structuur op opslag niveau. Elk object (bestand plus meta-data) krijgt een unieke ID. Alleen met dit ID is het object weer terug te vinden. Vergelijk het maar met een valet parking methode. Je geeft je auto, met alles erop en eraan, aan het parkeer bedrijf die de auto voor je weg zet. Jij krijgt een bewijs dat de auto is meegenomen (een uniek ID). Hoe en waar ze de auto wegzetten is niet belangrijk, belangrijk is wel dat het veilig is. Bij terugkomst geef jij je unieke ID aan het parkeer bedrijf en die haalt je auto (met alles erop en eraan) weer op.
Omdat het dus niet uitmaakt waar de auto is geparkeerd, maakt dat het een uiterst flexibele en schaalbare oplossing is. De ene keer is er plek op parkeerterrein 1 en de andere keer beter op parkeerterrein 2. Dat is met Object Storage ook zo. Zeer flexibel en zeer schaalbaar.
Een ander voordeel is dat een object bestaat uit zowel bestand als meta-data. Die meta-data kan door de gebruiker zelf aangevuld worden met allerlei nuttige extra informatie over het bestand of bestanden. Een object hoeft niet uit één bestand te bestaan namelijk. Neem bijvoorbeeld een video (bestand), daarvan staat in de meta-data naast de locatie ook iets over de grote van het bestand, maar ook welk video type het is, bijvoorbeeld MP4. Dit kan dan eventueel uitgebreid worden met informatie van de user, bijvoorbeeld waar die video is opgenomen en wie erop staat. Door nu de meta-data doorzoekbaar te maken is Object Storage dus ook erg geschikt voor onder andere data analyse software in zogenaamde “data-lakes”.
Omdat Object Storage zeer geschikt is om data in grote hoeveelheden weg te schrijven en het dus zeer flexibel is in waar je dit neer zet, is het zeer geschikt voor een Hybride Cloud omgeving. Amazon zag dit ook en ontwikkelde een toegang protocol. Dit gaven zij de naam Simple Storage Services, drie S’en dus of te wel S3. Door nu gebruik te maken van een REST API kun je dus heel simpel je object wegschrijven met HTTP opdrachten naar alle omgevingen die S3 ondersteunen, zoals Nutanix Objects Storage. Voor software ontwikkelaars die al gewend zijn met REST API’s te werken is dit dus uiterst geschikt.
Nu ondersteunt Object Storage meestal ook versie control, dit zorgt ervoor dat een object nooit zomaar overschreven wordt. Er wordt voor dezelfde object naam altijd een nieuw object weggeschreven. Zo worden oude versies altijd automatisch bewaard. Met beleid regels kun je dan aangeven hoelang deze bewaard moeten worden. Ook dit is voor software ontwikkelaars een handige feature. De ontwikkelaars hoeven dus niet na te denken waar de data staat, en met versie beheer is er gelukkig nog de vorige versie beschikbaar om naar terug te wijzen als er per ongeluk een fout wordt gemaakt.
Als laatste mogelijke use case die we in dit blog behandelen is het gebruik van Object Storage als data archief. Ook hier is sprake van grote hoeveelheden data. Nutanix ondersteund het Write Once Read Many (WORM) mechanisme. Een bucket kan aangemerkt worden als WORM. Hierop kan een eind datum gegeven worden. Bijvoorbeeld dat een Object na 7 jaar, verwijderd mag worden. Als eenmaal de WORM functie is aangezet op de bucket kan dit, uiteraard niet meer verwijderd worden.
Concluderend kunnen we stellen dat Object Storage een data opslag methode is zonder hiërarchie, wat het uiterst flexibel maakt. Elke object bestaat uit een of meerdere bestanden met daarbij meta-data. Deze combinatie krijgt elk een uniek ID. Toegang tot Object Storage is mogelijk via het S3 protocol. Het S3 protocol is benaderbaar door REST API calls wat aansturing middels het HTTP protocol mogelijk maakt en Object Storage zeer geschikt maakt als een (Hybride) Cloud storage oplossing. Handige kenmerken als versie beheer en WORM technologie maakt de techniek zeer geschikt voor software ontwikkelaars en als data archief.
Nutanix Object Storage ondersteund al deze functionaliteiten, en biedt dus een volwaardige on-premise en hybride Object Storage oplossing
Zelf proberen?
Alle benodigde componenten zijn standaard aanwezig op elke Nutanix cluster, het hoeft alleen maar aangezet te worden. Licentie voor Nutanix Object Storage gaat per uitgegeven hoeveelheid object storage. De eerste 2 TiB zijn gratis. In de volgende blog zal ik uitleggen hoe simpel Object Storage kan worden geconfigureeerd.
Contact is welkom via: linkedin.com/in/ricardovanvelzen
2 Pingbacks