tail -f | sysadmin » filesystem

Kernel 2.6.28

elbarto — Sat, 03 Jan 2009 14:41:05 +0000

Una de las noticias importantes del mes pasado, que la que no le habíamos dedicado espacio en este blog aún, fue la publicación del Kernel de Linux 2.6.28 para la noche buena del 2008 (2008-12-24 23:45 UTC, que para Linus, si estaba en Helsinki, debían ser la 01:45 del 25).

GNU/Linux

Lo interesante de esta nueva versión es que incluye soporte para el sistema de archivos Ext4, que hasta el momento estaba marcado como en estado “experimental”. Según Linux Hispano, el paso entre Ext3 y Ext4 es más significativo que el experimentado entre Ext2 y Ext3. En aquel último pasaje, la característica fundamental que se incorporó fue el journaling o transacciones, capaces de restaurar la información en caso de que ocurra un error durante una de ellas. Ext4, en cambio, implica una modificación importante en la estructura de datos orientada a mejorar la performance y la estabilidad del filesystem. Además, Ext3 soportaba un tamaño máximo del sistema de archivos de 16 TB (Terabytes) con un tamaño máximo por archivo de 2 TB. Ext4 eleva esos límites a 1 EB (Exabyte) para todo el filesystem y 16 TB para los archivos. También, la cantidad de subdirectorios dentro de cada uno es ahora ilimitada (antes era de 32.000 con Ext3).

Para mayor información sobre Ext4, hay otro artículo interesante en Linux Hispano: Ext4. Y, por supuesto, su versión original en inglés en Kernelnewbies.org

Personalmente, aunque me parecen muy interesantes estas características, aún tengo ganas de probar ZFS.

Estándar de jerarquía del sistema de archivos en Unix (FHS)

elbarto — Thu, 01 Jan 2009 05:08:03 +0000

GNU/Linux

Para cualquiera de nosotros que empezamos a aprender computación cuando Microsoft ya dominaba el mercado y que conocimos las maravillas de Unix de grandes, la jerarquía del sistema de archivos puede resultar bastante confusa al principio. Además, los usuarios de Linux sabemos que, por lo general, cada distribución (o por lo menos cada familia de distribuciones), mete las cosas donde más le gusta.

Es interesante darle una mirada al FHS (Filesystem Hierarchy Standard), un estándar desarrollado por iniciativa de Linux, el cual otros SOs Unix suelen ignorar, pero que intenta una definición de los distintos directorios principales de un filesystem. Dejo el siguiente cuadro tomado de la versión en español del mismo artículo.

Directorio	Descripción Simple
/	Jerarquía primaria, la raíz o root, y directorio raíz del sistema de jerarquía completo.
/bin/	Comandos y programas binarios esenciales necesarios para que estén disponibles para una sesión de usuario único, o para todos los usuarios (multiusuario), por ejemplo, cat, ls, cp, rm, mk, etc.).
/boot/	Archivos cargadores de arranque (por ejemplo, los núcleos, el initrd). A menudo en una partición separada.
/dev/	Contiene los Dispositivos esenciales (por ejemplo, /dev/null), incluso los que no se les ha asignado (montado) un directorio. Contiene también dispositivos que no sirven de almacenamiento (p.e. terminales de sonido y vídeo, micrófonos, impresoras, etc).
/etc/	Contiene archivos de configuración del sistema específicos del Host de todo el sistema. El nombre proviene de “etcétera”).
/etc/opt/	Archivos de configuración para los programas alojados dentro del directorio `/opt`.
/etc/X11/	Archivos de configuración para el X Window System, versión 11.
/etc/sgml/	Archivos de configuración para SGML.
/etc/xml/	Archivos de configuración para XML.
/home/	Contiene los directorios de los usuarios, home de los usuarios, excepto del superusuario administrador (root); contiene archivos guardados, ajustes personales, etc. Ofrece. A menudo en una partición separada.Si existe más de un usuario de un computador/ordenador o servidor, por ejemplo los usuarios usuario1 y usuario2, estos poseerían los directorios `/home/usuario1` y `/home/usuario2`, respectivamente.
/lib/	Contiene todas las bibliotecas (mal traducidas como librerías) esenciales compartidas de los programas alojados, es decir, para los binarios en `/bin/` y `/sbin/`. Contiene también las bibliotecas para el núcleo.
/media/	Contiene los puntos de montaje de los medio removibles de almacenamiento, tales como lectores de CD-ROM (aparecido en la versión 2.3 de FHS), Pendrives (memoria USB), e incluso sirve para montar otras particiones del mismo disco duro, por ejemplo alguna partición desde otro sistema operativo.
/mnt/	Sistema de archivos montados temporalmente. Es una directorio semejante a `/media`, pero es usada mayormente por los usuarios. Sirve para montar discos duros y particiones de forma temporal en el sistema.
/opt/	Contiene Paquetes de programas opcionales de aplicaciones estáticas, es decir, que pueden ser compartidas por los usuarios. Estas aplicaciones, utilizan el directorio de usuario para guardas sus configuraciones, y de esta forma, cada usuario puede tener una configuración diferente, de la misma aplicación.
/proc/	Contiene principalmente archivos de texto, sistema de archivos virtuales que documentan al núcleo y el estado de los procesos como archivos de texto (por ejemplo, `uptime, network`).
/root/	Directorio raíz del usuario root.
/sbin/	Sistema de binarios esencial, comandos y programas exclusivos del superusuario (root), por ejemplo, init, route, ifup).
/srv/	Lugar específico de datos, los cuales son servidos por el sistema.
/tmp/	Archivos temporales (véase también /var/tmp).
/usr/	jerarquía secundaria de los datos de usuario; contiene la mayoría de las utilidades y aplicaciones multiusuario. En otras palabras, contiene los archivos compartidos de solo lectura. Este directorio puede incluso se compartido con otras computadoras.
/usr/bin/	Comandos binarios no esenciales (no necesarios en el modo de usuario único); para todos los usuarios.
/usr/include/	Archivos de cabecera (Header files o Include files), es decir, archivos de inclusión estándar
/usr/lib/	bibliotecas compartidas de los binarios en `/usr/bin/` y `/usr/sbin/`.
/usr/sbin/	Sistema de binarios no esencial (por ejemplo demonios para varios servicios de red.
/usr/share/	Arquitectura independiende, compartida de datos. En otras palabras, contiene los datos compartidos que no dependen de la arquitectura del sistema. Esto puede incluir imágenes, sonidos, etc., para la disponibilidad en el sistema.
/usr/src/	Códigos fuente, por ejemplo, el código fuente (es decir, programas y bibliotecas sin compilar) del núcleo con sus archivos de cabecera, (Header files o Include files).
/usr/X11R6/	Sistema X Window System, Versión 11, Release 6.
/usr/local/	Jerarquía terciaria para los datos locales, específicos a este host. Usualmente tiene subdirectorios, por ejemplo `bin/`, `lib/`, `share/`, de datos compartidos de sólo lectura específicos del ordenador o servidor que los comparte.
/var/	Archivos variables, tales como logs, archivos spool, bases de datos, archivos de e-mail temporales, y archivos temporales en general.
/var/cache/	Cache de las aplicaciones.
/var/crash/	Se depositan datos e información, referentes a las caídas o errores del sistema operativo.
/var/games/	Datos variables de los juegos del sistema. Este directorio no es imprescindible.
/var/lock/	Archivos Lock. Archivos que hacen el seguimiento de los recursos que se utilizan actualmente.
/var/log/	Archivos de registro, Log. Varios registros, logs.
/var/mail/	Buzón correos o mensajes de los usuarios.
/var/opt/	Posee los datos variables de /opt.
/var/run/	Información acerca del funcionamiento del sistema desde el último arranque. Por ejemplo, los usuarios actualmente registrados o logueados, que han ingresado; y los demonios que están corriendo.
/var/spool/	Bobinas o carretes (Spool), de tareas a la espera de ser procesados (por ejemplo, colas de impresión y correo no leído).
/var/spool/mail/	Ubicación de los correos de usuario desaprobados.
/var/tmp/	Archivos temporales que, a diferencia de /tmp, no se borran entre sesiones o reinicios del sistema.

Introducción a ZFS

elbarto — Mon, 08 Dec 2008 01:34:41 +0000

Hace un tiempo, publiqué un artículo sobre Nexenta, que aprovecha el ZFS de OpenSolaris para poder hacer un dist-upgrade y retornar a una versión anterior si algo sale mal. Hoy estaba viendo la entrada que escribió Marvin sobre Time Slider, el TimeMachine de OpenSolaris. A partir de esto me dieron ganas de averiguar un poco más sobre ZFS, me puse a buscar un poco en Internet y escribí esta pequeña introducción a ZFS que dejo a continuación.

Sun Solaris 10

Introducción

ZFS es un filesystem desarrollado por Sun Microsystems (por un equipo coordinado por Jeff Bonwick), implementado en Solaris y OpenSolaris desde 2005. Un filesystem (o sistema de archivos) es la parte del sistema operativo que se ocupa de administrar el almacenamiento de información en distintos tipos de unidades (generalmente discos rígidos). En primer lugar, todos los filesystems ofrecen métodos para crear, borrar, mover, copiar y renombrar archivos y directorios. A eso se agregan otras características muy importantes como la gestión de permisos, enlaces (hard links y symbolic links), mecanismos para evitar la fragmentación, mecanismos para asegurar la integridad de los datos (como el journaling, utilizado por ext3, ext4, NTFS, ReiserFS, entre otros), y métodos de gestión de RAIDs entre otras cosas.

Como indica la gente de Sun, ZFS es una nueva aproximación a la organización de la información, orientada a evitar conceptos obsoletos y reducir la complejidad de código, produciendo un sistema de archivos sencillo de administrar, con énfasis en la integridad de los datos y la escalabilidad.

Storage pools

Una de las características novedosas de ZFS es que, a diferencia de los filesystems tradicionales, que se ubican en un único dispositivo y, por lo tanto, requieren de un administrador de volúmenes cuando se quiere trabajar con más de un dispositivo, éste sistema se apoya en virtual storage pools (espacios de almacenamiento virtual) llamados “zpools”. Éstos están formados por virtual devices (dispositivos virtuales), “vdevs”, que a su vez se componen de block devices (dispositivos de bloques): archivos, particiones o discos enteros. De esta forma, se pueden configurar RAIDs de distinto tipo. Además de los tradicionales RAID-0 (dividido o data stripping) y RAID-1 (espejo o data mirroring), ZFS ofrece una variante del RAID-5 (dividido con paridad distribuida) llamada RAID-Z que evita un problema conocido llamado “agujero de escritura” (corrupción de las divisiones por perdida de energía entre la actualización de la información y las partes).

Capacidad y escalabilidad

En cuanto a la capacidad de almacenamiento y su escalabilidad, ZFS fue diseñado para tener límites que nunca fueran alcanzados (el tipo de proposición que sabemos que a la ciencia le encanta hacer para poder romper algunos años más tarde). Algunos límites teóricos de ZFS (tomados de Wikipedia) son:

2⁴⁸ — Número de snapshots en cualquier sistema de ficheros (2 × 10¹⁴)
2⁴⁸ — Número de ficheros en un sistema de ficheros (2 × 10¹⁴)
16 exabytes — Tamaño máximo de un sistema de ficheros
16 exabytes — Tamaño máximo de un fichero
16 exabytes — Tamaño máximo de cualquier atributo
3 × 10²³ petabytes — Tamaño máximo de un zpool
2⁵⁶ — Número de atributos de un fichero (realmente limitado a 2⁴⁸ que es el número de ficheros que puede contener un sistema de ficheros ZFS)
2⁵⁶ — Número de ficheros en un directorio (realmente limitado a 2⁴⁸ que es el número de ficheros que puede contener un sistema de ficheros ZFS)
2⁶⁴ — Número de dispositivos en cualquier zpool
2⁶⁴ — Número de zpools en un sistema
2⁶⁴ — Número de sistemas de ficheros en un zpool

Copy-on-write

OpenSolaris

Otra característica muy interesante que agrega ZFS es un modelo transaccional llamado copy-on-write (algo así como “copia al escribir”). Este modelo, que se aplica a todas las transacciones, implica que todos los punteros de bloque tienen un checksum de 256 bits que se verifica cada vez que se accede a él. Además, cada los bloques que contienen información activa no son nunca sobreescritos, sino que la información modificada se ubica en otros bloques nuevos, y estos últimos son agrupados en grupos transaccionales para reducir el overhead que esto podría producir. Esto permite una preservación casi perfecta de la información, que hace que no sea necesario ejecutar fsck sobre filesystems ZFS. Además, en configuraciones de discos donde la información es replicada (mirroring), la información es self-healing (es decir que los bloques corruptos se reparan automáticamente en función de la información previamente almacenada).

Snapshots

Al utilizar el modelo de copy-on-write, se preservan los bloques con información antigua, con lo cual es posible crear snapshots (imágenes o “instantáneas”) de la información, las cuales se crean rápidamente y en una forma que es eficiente desde el punto de vista del espacio. Éstas permiten restaurar el sistema con los datos existentes en determinada fecha (lo que hace Time Slider). También se pueden crear snapshots escribibles llamadas clones, lo cual resulta en un par de sistemas de archivos independientes que comparten algunos bloques.

Administración de cache

ZFS utiliza ARC (Adaptive Replacement Cache), un algoritmo que resulta más eficiente que el tradicional sistema de memoria virtual page cache que implementaba Solaris.

Gestión de I/O

ZFS implementa un motor de I/O (Input/Output o Entrada/Salida) segmentado (en inglés es un pipelined I/O engine, basado en el concepto de las CPU pipelines). Esto le brinda una serie de características (scoreboarding, priorities, deadline scheduling, out-of-order issue y I/O aggregation), que hacen que ZFS soporte tranquilamente cargas de entrada y salida que otros filesystems no pueden manejar.

Limitaciones

Existen una serie de limitaciones que están mejor explicadas en la entrada en inglés de la wikipedia. Reproduzco algunas aquí.

ZFS no soporta la definición de quotas por grupo o por usuario. En cambio, como los filesystems ZFS son muy livianos, uno crea filesystems para cada usuario con sus propias limitaciones de espacio. Sin embargo, no hay una solución para cuando un mismo filesystem debe ser compartido por varios usuarios con quotas distintas.
Por el momento, no es posible reducir la cantidad de vdevs en un zpool, ni reducir la capacidad de un zpool.
No se puede agregar un disco a un vdev de un RAID-Z o de un RAID-Z2, pero sí se puede agregar otro vdev al mismo zpool.
No se pueden mezclar vdevs de distintos tipos en un mismo pool.
ZFS no es un sistema nativo de cluster, distribuido, ni un sistema paralelo de archivos y no puede proveer acceso concurrente para múltiples hosts porque ZFS es un filesystem local.

Palabras finales

Sin dudas, ZFS es un filesystem muy interesante, con características muy innovadoras. Personalmente tengo cierta reticencia a aceptar las contribuciones de software de las grandes empresas. Lejos de mí está casarme con Sun, que pone sus manos en muchos proyectos muy distintos y no en todos con buenos resultados. Sin embargo, hay algunas cosas que debo reconocerle. Así como me pareció muy interesante la implementación de SMF, este aporte de ZFS, al partir de una reconsideración integral de la estructura de un sistema de archivos (from the scratch), creo que es un avance muy interesante. No como el fin de un camino, sino justamente como un camino alternativo que pueda contribuir al desarrollo general de los sistemas operativos (unix).

¿Ustedes qué opinan?

Fuentes: