|
Presentación del Director del CESGA
Estimado/a investigador/a,
Permítame darle la bienvenida a este nuevo servicio para los usuarios de HPC del CESGA. Se trata de un boletín informativo que nace con el fin de comunicar los aspectos técnicos de especial relevancia para el mejor aprovechamiento de los sistemas de cálculo y almacenamiento disponibles en el Centro de Supercomputación de Galicia.
Con este boletín de periodicidad mensual, queremos reducir las distancias entre el servicio técnico del CESGA y los usuarios, proporcionando un repositorio de información desde donde se pueda acceder a toda la documentación disponible, información sobre nuevos servicios, las herramientas de cálculo y las nuevas aplicaciones instaladas.
También queremos desde aquí dar respuesta a muchas de las consultas que frecuentemente se nos formulan, y cuya respuesta es de utilidad para toda la comunidad de usuarios. Contenido
Cómo averiguar los recursos que va a necesitar un trabajo. 
En todos los sistemas de cálculo del CESGA, el modo de enviar trabajos es el mismo: especificando los recursos máximos estimados que va a consumir el trabajo. Esto permite priorizar aquellos trabajos con menor tiempo de ejecución y utilizar eficientemente los principales recursos de memoria, disco y número de procesadores, evitando situaciones en las que la memoria del sistema no sea suficiente para todos los trabajos en ejecución.
Lógicamente, la parte más complicada para los usuarios es conocer con precisión cuáles son los recursos máximos que va a consumir su trabajo. Para facilitar esta tarea, la utilización del comando qacct puede ser muy útil, ya que nos permitirá conocer cuáles han sido los recursos consumidos por alguno de los trabajos ya enviados y terminados. La sintaxis de este comando, disponible en todos los servidores de cálculo, es la siguiente:
qacct –j JOBID
Por supuesto, JOBID es el número que identifica un trabajo ya finalizado del usuario. De los valores proporcionados por este comando, los más interesantes son:
maxvmem: La cantidad máxima de memoria utilizada por el trabajo.
ru_wallclock: Tiempo de ejecución utilizado por el trabajo en segundos.
Conociendo estos valores, si los siguientes trabajos que se van a ejecutar se estima que serán similares en cuanto a tiempo de ejecución y memoria, se pueden utilizar directamente el valor de maxvmem para indicar s_vmem, y el valor ru_wallclock para indicar s_rt, en los recursos que se piden al sistema de colas. Como medida de seguridad, recomendamos incrementar estos valores entre una 10% y un 20% para evitar que nuestro trabajo sea cancelado por el sistema de colas en caso de sobrepasar estos límites.
Incluso si para el trabajo que se va a enviar se estima que el tiempo de ejecución va a ser distinto, los valores obtenidos para otro trabajo siempre podrán servir de base para calcular el tiempo y con la práctica y el envío de distintos trabajos, la obtención de este valor debería ser cada vez más fiable.
Por último, debemos tener en cuenta que siempre es preferible sobredimensionar los recursos (especialmente tiempo de ejecución) para evitar que nuestros trabajos sean cancelados por haberlos agotado. También es importante recordar que una vez que el trabajo está en ejecución, estos valores no pueden ser modificados, ni siquiera por el administrador del sistema.
Guía de utilización de X-windows en PCs con S.O. Microsoft.
Hasta hace poco tiempo, para poder representar gráficamente las aplicaciones de los servidores de cálculo que utilizaban ventanas (como Matlab, por ejemplo) desde un PC con sistema operativo Microsoft, era necesario tener instalado en el PC un programa comercial como X-win32.
Una alternativa gratuita consiste en la utilización del emulador Cygwin. Este emulador de Linux que se ejecuta como una aplicación sobre los sistemas operativos de Microsoft, permite abrir terminales X-windows en las conexiones con los servidores de cálculo del CESGA.
Hemos elaborado una guía que facilite la instalación y configuración de este software para ser usado con los servidores de cálculo y que se encuentra disponible en nuestra página web a través del siguiente enlace.
Actualizaciones y ampliaciones en el SVG.
Los nodos del SVG han sido actualizados a Rocks v.4.0. Este sistema está basado en RedHat Enterprise Linux 4.0 y utiliza el kernel 2.6. Los nodos del Beowulf (cluster con red Myrinet) ya habían sido actualizados en el mes de Octubre desde RedHat 7.1, pero para asegurar la compatibilidad del software y aplicaciones, la actualización definitiva del cluster no se ha realizado hasta Noviembre. Además, esta actualización se hizo de forma escalonada de modo que en ningún momento se ha visto afectado el servicio. En el mes de Enero está previsto realizar una parada del cluster para actualizar el nodo de conexión de los usuarios, así como para ampliar la capacidad de almacenamiento mediante la incorporación de un array de discos con capacidad para 1 Terabyte.
Cambios en el sistema de prioridades en el Superdome.
Con el fin de aprovechar las características de paralelización del servidor de cálculo Superdome, a partir del mes de Enero procederemos a aumentar la prioridad de los trabajos que requieran de mayor número de procesadores, en detrimento de los trabajos secuenciales (se denominan trabajos secuenciales aquellos que sólo aprovechan 1 procesador). Hasta este momento los trabajos que requerían de más de 4 procesadores presentaban unos tiempos de espera que hacían inviable su ejecución en este servidor. Con este cambio pretendemos que los usuarios se aprovechen de las características de paralelización del Superdome, y que los trabajos que puedan ser realizados en los sistemas HPC320 (hasta 8 GB por trabajo) y SVG (hasta 1 GB por trabajo) se envíen a estos servidores de cálculo.
Nuevas aplicaciones instaladas y actualizaciones.
Instalado el compilador UPC en el SVG.
Instalado el editor gráfico XEmacs en los servidores Superdome, HPC320 y SVG.
Instalado ARB en el servidor HPC320.
Instalado MrBayes en el servidor Superdome.
Instalado R8S en los servidores Superdome y SVG.
Instalado EMAM en el servidor SVG.
Instalado NAMD en el servidor HPC320.
Instalado CVS en el servidor Superdome.
Instalado FFTW en los servidores Superdome, HPC320 y SVG.
Instalado GRADS en el servidor SVG.
Instalado LAMMPS en el servidor Superdome.
Instalado NCARG en los servidores Superdome y SVG.
Instalado NETCDF en el servidor Superdome.
Más información acerca de las aplicaciones instaladas en este enlace.
Pautas en un uso eficiente de Gaussian03: g03mem.
Mandar trabajos de Gaussian03 a cola de ejecución en los servidores de cálculo del CESGA supone realizar una estimación más o menos precisa de los recursos que ese trabajo va a consumir. Con este fin en la siguiente tabla se intenta resumir los puntos más importantes a considerar:
|
Memoria:
- Usar siempre %Mem
- Mínima: M + 2 * N**2 en words
M : 6Mw para bases con funciones f, 10Mw con funciones g, 28Mw con funciones h, 38Mw con funciones i. M depende del tipo de cálculo.
Normalmente más memoria es necesaria para problemas grandes y para cálculos post-SCF.
Uso de disco (scratch) :
-Utiliza la palabra clave MaxDisk para trabajos grandes (post-SCF)
Nota: En el SVGD el máximo espacio de scratch son 15Gb
|
Method
|
CPU
|
Memory
|
Disk
|
|
SCF
|
|
|
|
|
Conv.
|
N**3.5
|
N**2
|
N**3.5
|
|
Direct
|
N**2.7
|
N**2
|
N**2
|
|
InCore
|
N**2.5
|
N**4
|
---
|
|
MP2
|
|
|
|
|
Conv.
|
FN**4
|
N**2
|
N**4
|
|
SemiDir
|
FFN**3
|
N**2
|
VN**2
|
|
Direct
|
FFN**3
|
FVN
|
N**2
|
|
InCore
|
|
N**4
|
---
|
|
Post-MP2
|
FFFV**4
|
N**2
|
N**4
|
Tabla 1:Recursos en función método/algoritmo
N, F, V: nº funciones de base, orbitales ocupados, orbitales virtuales
Siguiendo estas indicaciones se ha programado un script g03mem que da una estimación aproximada de la memoria requerida por un trabajo de Gaussian 03 en concreto. La sintaxis de este comando es:
Este script calcula el número de bases y da una estimación de CPU/memoria/disco requeridos para la ejecución con diferentes algoritmos. Adicionalmente cuando encuentra la palabra clave freq dentro de la ruta del trabajo ejecuta la utilidad freqmem adecuadamente.
Ejemplo:
g03mem /opt/cesga/g03/tests/com/test135.com
Este script está en fase experimental y existen casos aún no soportados (oniom, force ...). Adicionalmente no es descartable la presencia de bugs por lo que si se encuentra algún comportamiento erróneo así como para cualquier sugerencia al respecto, por favor comuníquenoslo a 
Seminario: Presentación de GRID Superescalar
Día: 18 de enero a las 12:00
Lugar: CESGA y Salas Access Grid que lo soliciten
GRID superscalar es un entorno de programación que permite desarrollar facilmente aplicaciones en la Grid. El objetivo es que la Grid sea transparente al programador, es decir, que la aplicación de usuario de parezca lo maximo posible a un codigo secuencial que se ejecuta en un ordernador personal. Por otro lado, GRID superscalar intenta aprovechar al maximo los recursos disponibles en la Grid, paralelizando de anera
automática la ejecución de las tareas de la aplicacion alli donde sea posible. Tambien se hace cargo de todas las transferencias de ficheros necesarias, seleccion de recursos en los que ejecutar cada tareas, etc.
En la charla se describira el funcionamiento de GRID superscalar, haciendo especial hincapie en la visión de usuario.
Resumen personal:
Rosa M. Badia es es Licenciada en Informática (1989) y Doctora en Informática (1994) por la Universidad Politécnica de Cataluña (UPC). Desde 1989 es profesora de estructura y arquitectura de computadores y de Diseño VLSI. Actualmente, y desde 1997, es profesora titular de universidad en el departamento de Arquitectura de Computadores de la UPC. En la actualidad desarrolla trabajos de investigacion en los temas de middleware para sistemas GRID, predicción de comportamiento y modelización de aplicaciones paralelas y codiseño HW/SW en arquitecturas reconfigurables. Es investigadora en la red de excelencia europea CoreGRID. En la actualidad es la lider del grupo de investigación en Grid computing y Clusters del Barcelona Supercomputing Center - Centro Nacional de Supercomputacion (BSC-CNS).
Enlaces esenciales.
Documentación y manuales de los sistemas de cálculo, almacenamiento y aplicaciones:
http://doc.cesga.es
Uso del sistema de colas en el CESGA:
http://www.cesga.es/content/view/431/53/lang,es/
Guía básica de Unix:
http://iie.fing.edu.uy/~vagonbar/unixbas/
FAQs de computación:
http://www.cesga.es/component/option,com_simplefaq/Itemid,16/lang,es/
Monitorización en tiempo real (máximo 30 minutos de retardo) del estado de los servidores y las colas:
Estado sistemas
Cómo solicitar ayuda:
 : para cualquier aspecto relacionado con los servidores de cálculo, sistemas de colas, almacenamiento, etc…
: en caso de consultas relacionadas con el uso de aplicaciones, peticiones de nuevas aplicaciones, etc…
Para darse de baja en este servicio, es suficiente con enviar un mail a con el asunto: baja en el boletin informativo.
|
cesga.es
:: Telf.: +34 981 569810 - Fax: 981 594616 ::
Avda. de Vigo s/n 15705, Santiago de Compostela.