Terabajty bez příkazové řádky: Onedata propojí úložiště s výpočetními kapacitami

Data dnes vznikají na specializovaných přístrojích, ukládají se na centrální úložiště a odtud putují k výpočetním kapacitám, které mohou být v jiném městě nebo instituci. Do jednoho projektu se často zapojuje několik týmů a soubory průběžně přibývají, mění se a vracejí k dalšímu zpracování. Každé úložiště přitom může využívat jinou technologii a vyžadovat odlišný způsob přístupu. Uživatel proto musí vědět, jaký nástroj zvolit a jak velký dataset optimálně přenést. 

„Typickým příkladem je tým, který v Brně pořizuje data z kryoelektronové mikroskopie a zpracovává je na superpočítači v Ostravě. Soubory mají stovky gigabajtů, nová data přibývají průběžně, kolegové k nim potřebují přístup a někdy se s nimi pracuje na obou místech. Jednorázové kopírování tu nestačí,“ popisuje Tomáš Svoboda z Ústavu výpočetní techniky Masarykovy univerzity, který novou službu designuje. „Uživatelé často řeší, jak dostat data z datového úložiště do MetaCentra k výpočtům. Technicky to možné je, dosavadní postupy ale mohou představovat překážku,“ dodává. 

Jeden prostor pro celý tým

Onedata umožňuje vytvořit pro výzkumný tým společný prostor, takzvaný space. Ten lze napojit na více fyzických úložišť, přestože se nacházejí v různých lokalitách nebo využívají odlišné uložné technologie. Tým vidí data v jednotném prostředí, nastavuje přístupová oprávnění a podle potřeby určuje, kam se mají soubory přenést nebo replikovat. „Data mohou zůstat na místě, kde vznikla, nebo se přesouvat tam, kde jsou potřeba pro další zpracování. Uživatel k nim přitom stále přistupuje prostřednictvím stejného rozhraní,“ vysvětluje IT administrátor z Masarykovy univerzity Josef Smrčka, který se na zavádění služby rovněž podílí. 

Zkušenější uživatelé mohou sáhnout po specializovaných klientech a programových rozhraních, pro základní práci ale stačí web, který ukazuje data jako běžné soubory a složky, i když jsou fyzicky uložená například na objektovém úložišti S3. Výzkumník nemusí pracovat v příkazové řádce ani instalovat a nastavovat další nástroje. Pokud jsou uložiště u přístroje i u výpočetních kapacit zapojená do stejného prostoru, může data prostřednictvím Onedata replikovat tam, kde se budou zpracovávat, aniž by je nejprve stahoval k sobě a následně znovu nahrával na druhé místo. 

Onedata usnadňují také dlouhodobou spolupráci týmů, které data shromažďují a zpracovávají průběžně. Nově přidané soubory jsou ve společném prostoru dostupné všem oprávněným uživatelům, aniž by je bylo nutné pokaždé samostatně sdílet nebo přeposílat. Služba přitom není omezena na konkrétní vědní obor, její využití závisí především na objemu dat a způsobu, jakým s nimi výzkumníci pracují. Pro tabulky, kancelářské dokumenty nebo stovky megabajtů obvykle postačí běžné cloudové služby. Přínos systému Onedata se projeví ve chvíli, kdy se objem datasetu pohybuje ve stovkách gigabajtů či terabajtech a data je potřeba pravidelně sdílet nebo přesouvat mezi úložišti, pracovišti a výpočetními kapacitami. „Software má sloužit především pro živá data, která během výzkumu průběžně vznikají, mění se a sdílejí. Repozitáře určené k dlouhodobému uchování dokončených datasetů proto nenahrazují. V rámci projektu Národní repozitářové platformy se ale počítá s jejich propojením, aby bylo možné hotový dataset z Onedata jednoduše předat do příslušného repozitáře,“ doplňuje Svoboda.  

Tato služba rozšíří portfolio existujících možností pro práci s úložišti e-INFRA CZ o nástroj pro živá a velká data, určená ke zpracování a sdílení.  

Jak na to? 

Onedata mohou využívat uživatelé e-INFRA CZ, kteří si systém mají možnost nejprve vyzkoušet v testovacím prostoru. Kdo jej chce nasadit ve vlastním projektu, obrátí se na podporu a upřesní s ní své požadavky. Tým následně založí samostatný space a připojí k němu některé z dostupných úložišť, e-INFRA CZ se navíc nepodílí pouze na provozu služby, ale také na dalším vývoji systému. Společně s autory Onedata připravuje aplikaci Onedata Drive, která zpřístupní data také uživatelům Windows.