Sistemas de Ficheiros Linux

Embed Size (px)

DESCRIPTION

Sistemas de Ficheiros Linux, Deep Dive:Passado, presente e futuro

Citation preview

  • 1. Sistemas de Ficheiros Miguel Mascarenhas Filipe, Junho de 2009, SAPO.PT Mergulho Profundo

2. Mapa

  • Ideias e Conceitos

3. Sistemas de Ficheiros Actuais

  • Caractersticas diferenciadoras

4. Problemas Desenvolvimentos Actuais

  • Reiser4

5. Ext4 6. ZFS 7. BtrFS 8. Algumas Ideias, Conceitos

  • Block based

9. Journaling 10. Log based 11. Hashtables 12. Fragmentao

  • Extent based

13. Copy on Write 14. Btrees, Htrees 15. Bitmaps, Listas 16. Solid State Disks 17. Mais Ideias e Conceitos

  • Fiabilidade perante erros:
  • Dos dados

18. Dos meta-dados Como ?

  • Redundncia interna

19. Cdigos de correco de erros 20. Canrios 21. RAID (?)

  • Integrar noFS :
  • Gesto de volumes

22. Gesto de discos 23. Backups 24. Snapshots 25. Compresso 26. Cifra ( encriptao ) 27. Datadedup 28. Sistemas de Ficheiros actuais

  • Ext2 e Ext3

29. XFS 30. ReiserFS 31. ... outros ... 32. Ext3

  • Evoluo do Ext2

33. JournalingFS 34. Muito rpido em operaes com metadata 35. Performancemuito equilibrada numa grande variedade deworkloads 36. Muito fivel e muito robusto a crashes 37. Desenhosimples e bem dominado (quando comparado com os competidores) 38. Um ficheiro em Ext3 39. Ext3- Limitaes

  • Directorias:
  • Com mais de 32k sub-directorias(limite de contador)

40. Com mais de ~32k ficheiros(degradao de performance)

  • Recentemente usa Htree's,tive problemas nos ~1M

Data intensive workloads 41. N mximo de ficheiros determinado na criao 42. No lida muito bem com:

  • Ficheiros de grande dimenses (>1Gb)

43. Sistemas de ficheiros de grandes dimenses Tolera mal corrupo de dados no hardware/disco 44. XFS

  • Optimizado para data intensive workloads

45. Muito bom a lidar com:

  • Ficheiros de grandes dimenses

46. Sistemas de ficheiros de grandes dimenses 47. Streaming de dados a baixas latncias 48. Streaming de dados velocidade dos disco ( platter speed ) 49. Arrays de discos de alta capacidade Muito bom a tirar partido de multi-processador 50. XFS limitaes

  • Mais difcil de manter, poucas pessoas com conhecimento para o manter/desenvolver

51. Cdigo muito complexo, umport /evoluo do XFS presente no IRIX nos anos 90 52. Menos bom em operaes com metadata 53. Pordesigno sistema de journaling mais sensvel que o Ext3 54. Tolera mal corrupo de dados no hardware/disco 55. ReiserFS

  • Muito bom com ficheiros de dimenso reduzida (1 EB):
    • Volumes e Ficheiros (2^48/48bits)

    Retro compatvel 91. Resoluo de tempo ao nanosegundo 92. Fsck() bastante mais rpido 93. Journal opcional 94. ZFS Grande pioneiro de novos avanos e desenvolvimento em sistemas de ficheiros. The last word on File Systems The Zettabyte File System 1 ZB (10^21) = 1024 EB; 1 EB (10^18) = 1024 PB; 1 PB (10^15) = 1024 TB 95. ZFS

    • Suporte multi-volume/storage pool
    • Capacidade de gerir/usar vrios discos.

    96. Nveis de RAID: 0, 1, z, 2z...

    • RAIDz e RAIDz2 so melhorias do raid5 e 6

    Unifica gesto de volumes, discos, mount-points. Copy-On-Write:

    • Snapshotting/backups

    97. Desfragmentao automtica 98. Algumas capacidades transaccionais. Data e Metadata checksumming 99. ZFS

    • Self-Healing
    • Sistema integrado raid/checksumming permite detectar faltas silenciosas no hardware/disco

    100. Corrige automticamente, notifica administrador Dimenses gigantes (2^128/128bit)

    • Volumes

    101. N de ficheiros 102. N de directorias ou ficheiros por directoria 103. Tamanho de ficheiros 104. N de sub-volumes esnapshots 105. ZFS

    • Licena incompatvel com a GPL

    106. No integraria bem com osinternalsdo Linux 107. Linuxport :ZFS-FUSE

    • Vrias ineficincias de performance

    108. Problemas de fiabilidade, corrupo de dados 109. Desenvolvimento estagnou ZFS tem vrios problemas

    • Mas so pouco conhecidos, porque...
    • Base de utilizadores efectiva muito pequena

    110. BtrFS

    • Novo FS, comeou em 2007, integrado no Linux-2.6.29 (experimental). Criado por Chris Mason, kernel hacker da Oracle

    111. Bem recebido pela comunidade de hackers do Linux kernel. 112. Pretenses de ser o sucessor do Ext4 113. Desenvolvido em parceria pela comunidade Linux, com investimento explcito de:

    • Oracle, HP, IBM, RedHat, SuSE, outros

    114. BtrFS

    • Extent Based, Copy on Write, Delayed Allocation

    115. Dimenses gigantes (2^64/64bit)

    • n ficheiros, tamanho de ficheiros, volumes, snapshots ...

    Multi-Disco e Multi-Volume 116. Writable Snapshots 117. Data e Metadatachecksumming 118. Compresso, cifra e data dedup 119. BtrFS

    • Online fsck e desfragmentao

    120. Offline fsck muito rpido 121. B-Tree para tudo:

    • Sub-Volumes, Snapshots

    122. dados (extents), Direntries, inodes Multi-threaded, multi-processador friendly 123. Design contempla Solid State Disks 124. Grande foco em minimizar o n de seeks 125. Redundncia distinta para meta-dados e dados 126. BtrFS

    • Desenho modular, podemos desligar/ligar:
    • Checksumming de dados

    127. Checksumming de meta-dados 128. Copy-on-Write ( mau para BDs) 129. modoSSDou modo normal Forte integrao com outros componentes do kernel

    • Multi-disk: md layer: raid5, raid6 e outros (planeado)

    130. Bio, thread-pool, locking, rcu, buffer cache, etc 131. BtrFS

    • O nome BtrFS vem de:
    • Baseado em B-Tree

    132. BetterFS Possvel migrar um volume ext3 ou ext4 para btrfs usando o espao livre da partio. 133. Em forte desenvolvimento,patches are welcome 134. http://btrfs.wiki.kernel.org 135. http://en.wikipedia.org/wiki/Btrfs 136. Outros

    • Tux3 - http://tux3.org/

    137. LogFS - http://logfs.org/ 138. NILFS - http://www.nilfs.org/ 139. ?