Observatorio de I+D+i UPM

Memorias de investigación
Ponencias en congresos:
TyrFS: Increasing Small Files Access Performance with Dynamic Metadata Replication
Año:2018
Áreas de investigación
  • Ciencias de la computación y tecnología informática
Datos
Descripción
Small ?les are known to pose major performance challenges for ?le systems. Yet, such workloads are increasingly common in a number of Big Data Analytics work?ows or large- scale HPC simulations. These challenges are mainly caused by the common architecture of most state-of-the-art ?le systems needing one or multiple metadata requests before being able to read from a ?le. Small input ?le size causes the overhead of this metadata management to gain relative importance as the size of each ?le decreases. In this paper we propose a set of techniques leveraging consistent hashing and dynamic metadata replication to signi?cantly reduce this metadata overhead. We implement such techniques inside a new ?le system named T¿ yrFS, built as a thin layer above the T¿ yr object store. We prove that T¿ yrFS increases small ?le access performance up to one order of magnitude compared to other state-of-the-art ?le systems, while only causing a minimal impact on ?le write throughput.
Internacional
Si
Nombre congreso
18th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing, CCGrid 2018
Tipo de participación
960
Lugar del congreso
Washington, Estados Unidos de América
Revisores
Si
ISBN o ISSN
0-7695-6410-0
DOI
10.1109/CCGRID.2018.00072
Fecha inicio congreso
01/05/2018
Fecha fin congreso
04/05/2018
Desde la página
452
Hasta la página
461
Título de las actas
CCGrid 2018, Proceedings of the 18th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing, CCGrid 2018.
Esta actividad pertenece a memorias de investigación
Participantes
  • Autor: Pierre Matri (UPM)
  • Autor: Maria de los Santos Perez Hernandez (UPM)
Grupos de investigación, Departamentos, Centros e Institutos de I+D+i relacionados
  • Creador: Grupo de Investigación: Ontology Engineering Group
S2i 2021 Observatorio de investigación @ UPM con la colaboración del Consejo Social UPM
Cofinanciación del MINECO en el marco del Programa INNCIDE 2011 (OTR-2011-0236)
Cofinanciación del MINECO en el marco del Programa INNPACTO (IPT-020000-2010-22)