• Conectando
• Uso Interactivo
• Sistemas de colas
• Sistemas de arquivos
• Entornos de Compilación
• Utilizando MPI
• Utilizando Matlab
• Soporte

Unha vez obtida unha conta de usuario (aqueles usuarios que xa teñen unha conta activa nos servidores Superdome e HPC320 posúen a mesma conta neste sistema), cos datos de login e password, poderase conectar ao sistema SVG. O nome do servidor é svgd.cesga.es e o modo de conexión é mediante o un cliente ssh. Un cliente para Windows (Putty) pode atoparse neste enlace, no caso de utilizar Linux dispón do comando ssh. Pódense transferir ficheiros cara a e desde o SVG utilizando un cliente Windows coma WinSCP ou o comando scp de Linux. Debe terse en conta que o SVG conta cun firewall que restrinxe as conexións dende/a servidores externos.

Para visualizar a saída gráfica de programas que dispoñan desta posibilidade consulte a sección de FAQ.

USO INTERACTIVO

O sistema operativo do SVG é Linux (baseado en Red Hat Enterprise 4.0). Unha vez dentro do sistema, abrirase unha sesión interactiva a través dun shell que por defecto será bash. Este shell ten impostos uns límites de tempo de CPU, memoria e disco que se poden consultar mediante o comando ulimit -a (actualmente 0,5 horas de cpu e 512MB de memoria). Recoméndase o uso do sistema de colas para a execución de traballos así como o uso dos entornos de compilación para compilar aplicacións ou para executar traballos interactivos.

SISTEMA DE COLAS

Para traballos que requiran máis recursos (tempo de cálculo, memoria ou espazo en disco) que os limitados polo shell interactivo, deberase utilizar o sistema de colas ou os entornos de compilación. Este sistema é o Sun Grid Engine. O modo de enviar traballos implica coñecer de antemán os valores máximos de cantidade de tempo, número de procesadores, arquitectura, memoria e espazo en disco que vai requirir o cálculo. Esto permite ademais un mellor aproveitamento dos recursos do sistema por parte de tódolos usuarios.

O comando para enviar traballos ao sistema de colas no SVG é qsub, seguido por unha lista dos recursos que necesita o traballo. Por exemplo, supoñamos que queremos enviar un traballo Gaussian que non precisa máis de 500 megabytes de memoria e 10 Gigabytes de scratch, e estimamos un tempo de execución aproximado non superior a 24 horas, utilizando 1 procesador. Se o ficheiro de entrada para Gaussian chamase script.com e se atopa no directorio "pruebas", a forma de enviar este traballo a cola sería:

qsub -l num_proc=1,s_rt=24:00:00,s_vmem=512M,h_fsize=10G,arch=32
cd $HOME/pruebas
g98 < script.com
control+D

Se non se produce ningún erro, obteremos unha mensaxe deste tipo:

Your job 492 ("STDIN") has been submitted

O número 492 é o que se chama identificador de traballo ou JOBID e permítenos identificar o noso traballo dentro do sistema de colas (por exemplo, para utilizar co comando qstat e saber se se está a executar, encolado, etc.). Tamén é importante indicar este número ao facer consultas telefónicas ou por correo electrónico (véxase o apartado Soporte).

A forma de especificar recursos é coa opció -l, seguida dos recursos que se solicitan separados cunha ",". É imprescindible deixar un espazo en branco entre a opción "-l" e a lista de recursos. Os recursos deben ser:

Se se precisa utilizar valores superiores aos límites destes recursos ou se precisa dunha priorización dos seus traballos consulte a páxina de Recursos Especiais, alí indicanse os pasos a seguir.

TEMPO: especifica o período de tempo máximo durante o que se pode utilizar un recurso. O formato é o seguinte: [[horas:]minutos:]segundos, por exemplo:

30:00 son 30 minutos
100:00:00 son 100 horas
1200 son 1200 segundos (20 minutos)

TAMAÑO: especifica o tamaño máximo en Megabytes. Exprésase na forma enteiro[sufixo]. O sufixo actúa como un multiplicador definido na seguinte táboa:

K    Kilo (1024) bytes
M   Mega (1,048,576) bytes
G   Giga (1,073,741,824) bytes

Os nodos dispoñibles actualmente no SVG corresponden ós seguintes tipos de máquina:

Todos os nodos anteriores dispoñen de rede gigabit e permiten o envío de traballos paralelos utilizando a citada rede. Tamén están dispoñibles nodos PIII con rede Myrynet pero estes quedan reservados para a realización de cálculos paralelos que teñan como obxectivo a realización de probas ou a optimización de algoritmos paralelos.

Debemos ter en conta que:

É moi importante deixar un espazo en branco entre a opción "-l" e o seguinte recurso, mentres que despois non deberá haber ningún outro espazo en branco separando os recursos.

Estes valores son máximos, polo que non se poderán superar. Esto quere dicir que se cremos que o noso traballo durará unhas 23 horas, debemos poñer como s_rt=24:00:00 para asegurarnos de deixarlle unha marxe. Despois de 24 horas o sistema finalizará o traballo automaticamente, aínda que este non rematase.

Canto máis axustados sexan estes valores aos recursos que realmente consume o traballo, maior prioridade para entrar en execución terá este.

Se estes recursos non son suficientes para o traballo, este abortará por falla de recursos e será necesario indicar os valores adecuados. En xeral, recomendamos solicitar recursos o máis próximos, por riba, aos valores que se estimen necesarios. O motivo é que cantos menos recursos se soliciten, con maior prioridade entrará o traballo en execución.

Resumindo, imos poñer uns exemplos para distintos traballos:

Para un traballo que require pouco consumo de memoria e tempo de execución:

qsub -l num_proc=1,s_rt=10:00,s_vmem=200M,h_fsize=100M,arch=32 traballo.sh

Traballo que require moito tempo de execución (80 horas) e pouca memoria (é suficiente con 256mb):

qsub -l num_proc=1,s_rt=80:00:00,s_vmem=256M,h_fsize=10M,arch=32 traballo.sh

Un traballo con grandes requirimentos de memoria (1 Gigabyte) pero pouco tempo de execución:

qsub -l num_proc=1,s_rt=30:00,s_vmem=1G,h_fsize=10M,arch=32 traballo.sh

Un traballo que xera un ficheiro grande (ata 20 Gigabytes) de resultados:

qsub -l num_proc=1,s_rt=30:00:00,s_vmem=500M,h_fsize=20G,arch=32 traballo.sh

Un traballo que consume 100 horas de CPU, 1 Gigabyte de memoria e xera un ficheiro de 5 Gigabytes:

qsub -l num_proc=1,s_rt=100:00:00,s_vmem=1G,h_fsize=5G,arch=32 traballo.sh

Se precisa utilizar valores superiores aos límites destes recursos debe realizar unha solicitude tal e como se explica na correspondente FAQ.

Unha vez que executamos o comando qsub, e obtemos o identificador para o traballo, este pasa a unha cola apropiada para a súa execución. O traballo esperará a súa vez o momento en que estean dispoñibles os recursos solicitados, para pasar á execución, e finalmente o traballo rematará e desaparecerá da cola.

Chequeando o estado dos traballos

Para comprobar o estado en que se atopan os traballos, pódese utilizar o comando qstat. Obteremos unha saída como a seguinte:

O significado dos campos é o seguinte:

Job-ID: 489 é o valor do JOB-ID que lle asignou o sistema de colas SGE. O JobID é un identificador único para cada traballo e permite realizar o seguimento do mesmo.

Prior: Indica a prioridade coa que se está a executar o traballo

Name: STDIN é o nome do traballo que se enviou á cola. Se se enviou un traballo desde a entrada estándar (é dicir, escribindo os comandos ao enviar o traballo), aparecerá STDIN. No caso de ser un script, aparecerá o nome do script.

User: carlosf é o login do usuario que enviou o traballo á cola

State: "r" é o estado no que se atopa o traballo e indica que está en execución (running). Os outros posibles estados dun traballo son:

Queue: normal@compute-1-27.local é o nome da cola á que se enviou o traballo. A primeira parte do nome indica o nome da cola do cluster (normal) e a segunda parte o nodo no que está correndo o traballo (compute-1-27.local). A cola destino dependerá dos recursos que se solicitaran.

slots: indica o número de nodos nos que se está executando o traballo. Habitualmente, este número é 1 para traballos secuenciais e maior de 1 para traballos paralelos. No caso de traballos paralelos pódese usar o comando qstat -t para ver o resto dos nodos nos que se está executando o traballo.

Trátase dun espazo de información común para tódolos nodos do clúster e a sua utilización e recomendable en traballos que requiran procesamento masivo de información (data-mining, etc...). Para facer uso deste sistema de ficheros paralelo, deberá seguir os pasos mencionados na guía de servicios de almacenamento.

Trátase dun espazo de almacenamento que é visible dende tódolos servidores do CESGA. A súa utilización é recomendable para compartir datos entre distintos servidores ou para cálculos que requiran de información compartida. Para facer uso deste espazo de almacenamento, deberá seguir os pasos mencionados na guía de servicios de almacenamento.

Moitos dos nosos usuarios utilizan o frontal do SVG para compilar os seus programas antes de os enviar a cola. Isto pode ser un problema tanto pola conseguinte saturación do frontal como para o usuario, xa que por defecto vai compilar nunha maquina de 64bits e ao enviar o programa a cola é posible que se execute nun nodo de 32bits.

Para axudar a solucionar este problema e que o usuario non se encontre coa situación de que tras compilar unha aplicación esta non corre ben nos nodos, ou que mesmo mostra resultados erróneos, están a disposición dos usuarios os entornos de compilación que permiten xerar un entorno adecuado ás súas necesidades de compilación.

Para iniciar unha sesión de compilación é necesario utilizar o seguinte comando:

Debe terse en conta que cada sesión de compilación está limitada a 30 minutos.

De calquera forma se ten algunha dúbida sobre a compilación ou o uso deste script pode pórse en contacto connosco en 

Os compiladores GNU estan dispoñibles para compilar en 32 ou 64bits: gcc, g++, g77, gcc4, g++4, gfortran (dependendo do entorno de compilación seleccionado usaránse as versións de 32 ou 64 bits)

Ademais dos compiladores de GNU, están dispoñibles os compiladores de Portland Group, que incluen soporte para as instrucións SSE:

Para contorno de 32 bits: versión 6.1-3: só Fortran (pgf77, pgf90, pgf95 e pghpf)

Para contorno de 64 bits: versión 7.1-2: só Fortran (pgf77, pgf90, pgf95 e pghpf)Está dispoñible un compilador específico para Opteron (pathscale), para a súa utilización é necesario contactar con .

No caso dos compiladores de Portland de 32 bits débese ter en conta que por defecto úsanse os compiladores de Fortran da versión 6.1-3 (pgf77, pgf90, pgf95 e pghpf) pero tamén está dispoñible a versión 6.1-1.

A opción de optimización recomendada para os compiladores de Portland é -fast, que selecciona un conxunto de opcións dirixidas a optimizar o código. Como calquera outra opción de optimización, deberase prestar atención aos resultados obtidos co código e comprobar que son correctos antes de utilizala en cálculos definitivos.

Os manuais dos compiladores de Portland poden consultarse na páxina web de Portland.

A maior parte dos nodos do cluster SVG dispón de rede gigabit e permiten o envío de traballos paralelos utilizando a citada rede. Tamén están dispoñibles nodos PIII con rede Myrynet pero estes quedan reservados para a realización de cálculos paralelos que teñan como obxectivo a realización de probas ou a optimización de algoritmos paralelos.

Guía de uso segundo necesidades

Existen distintas versións dispoñibles de mpi:

Mpi V1 sobre rede Gigabit

Mpi V1 sobre rede Myrinet

OpenMpi sobre Gigabit

A continuacion explícase como utilizar cada unha.

MPICH GIGABIT

Enviar os traballos a cola con opcións similares ás seguintes:

OPENMPI GIGABIT

Enviar os traballos a cola con opcións similares ás seguintes:

MPICH MYRINET

Enviar os traballos a cola con opcións similares ás seguientes:

Para os códigos Fortran, é necesario incluír a seguinte directiva no código fonte de calquera código que utilice MPI:

Para os códigos en C, é necesario utilizar a seguinte directiva:

e compilar cun comando similar ao seguinte:

Para compilar usando Pgf90:

Téñase en contan que só é posible utilizar pgf90 a través do entorno de compilación de 32 bits:

No caso de exixtir algunha duda consultese a guía de utilización do sistema de colas.

Matlab execútase dende as colas normalmente, pero para evitar que os traballos que empreguen Matlab fallen ó entrar en execución por falla de licencias, implementamos un novo recurso para o comando qsub: "matlab"

A forma de uso será engadir a liña habitual do qsub ",matlab=1" ó final.

De esta forma estamos pedindo unha licencia libre para executar o noso traballo.

No caso de que a licencia non estea dispoñible nese momento, o traballo non entrará en execución ate que algunha se libere.

Cómo solicitar axuda:

 : para calquera aspecto relacionado cos servidores de cálculo, sistemas de colas, almacenamento, etc…

: en caso de consultas relacionadas co uso de aplicacións, peticións de novas aplicacións, solicitude de axuda na compilación de aplicacións, etc…

Para máis información cosulte o boletín de marzo