Presentación do Director do CESGA
Estimado/a investigador/a,
Permítame darlle a benvida a este novo servizo para os usuarios de HPC do CESGA. Trátase dun boletín informativo que nace co fin de comunicar os aspectos técnicos de especial relevancia para o mellor aproveitamento dos sistemas de cálculo e almacenamento dispoñibles no Centro de Supercomputación de Galicia.
Con este boletín de periodicidade mensual, queremos reducir as distancias entre o servizo técnico do CESGA e os usuarios, proporcionando un repositorio de información dende onde se poida acceder a toda a documentación dispoñible, información sobre os novos servizos, as ferramentas de cálculo e as novas aplicacións instaladas.
Tamén queremos dende aquí dar resposta a moitas das consultas que frecuentemente se nos formulan, e que teñen unha resposta que é de utilidade para toda a comunidade de usuarios.
Contido
Como investigar os recursos que vai precisar un traballo. 
En todos os sistemas de cálculo do CESGA, o modo de enviar traballos é o mesmo: especificando os recursos máximos estimados que vai consumir o traballo. Isto permite priorizar aqueles traballos con menor tempo de execución e utilizar eficientemente os principais recursos de memoria, disco e número de procesadores, evitando situacións nas que a memoria do sistema non sexa suficiente para todos os traballos en execución.
Loxicamente, a parte máis complicada para os usuarios é coñecer con precisión cales son os recursos máximos que vai consumir o seu traballo. Para facilitar esta tarefa, a utilización do comando qacct pode ser moi útil, xa que nos permitirá coñecer cales foron os recursos consumidos por algún dos traballos xa enviados e rematados. A sintaxe deste comando, dispoñible en todos os servidores de cálculo, é a seguinte:
qacct –j JOBID
Por suposto, JOBID é o número que identifica un traballo xa finalizado do usuario. Dos valores proporcionados por este comando, os máis interesantes son:
maxvmem: A cantidade máxima de memoria utilizada polo traballo.
ru_wallclock: Tempo de execución utilizado polo traballo en segundos.
Coñecendo estes valores, se os seguintes traballos que se van executar se estima que serán similares en canto a tempo de execución e memoria, pódese empregar directamente o valor de maxvmem para indicar s_vmem, e o valor ru_wallclock para indicar s_rt, nos recursos que se piden ao sistema de colas. Como medida de seguridade, recomendamos incrementar estes valores entre una 10% e un 20% para evitar que o noso traballo sexa cancelado polo sistema de colas en caso de sobrepasar estes límites.
Incluso se para o traballo que se vai enviar se estima que o tempo de execución vai ser distinto, os valores obtidos para outro traballo sempre poderán servir de base para calcular o tempo e coa práctica e o envío de distintos traballos, a obtención deste valor debería ser cada vez máis fiable.
Por último, debemos ter en conta que sempre é prefirible sobredimensionar os recursos (especialmente tempo de execución) para evitar que os nosos traballos sexan cancelados por habelos esgotado. Tamén é importante recordar que unha vez que o traballo está en execución, estes valores non poden ser modificados, nin sequera polo administrador do sistema.
Guía de utilización de X-windows en PCs con S.O. Microsoft.
Ata fai pouco tempo, para poder representar graficamente as aplicacións dos servidores de cálculo que utilizaban fiestras (como Matlab, por exemplo) dende un PC con sistema operativo Microsoft, era necesario ter instalado no PC un programa comercial como X-win32.
Unha alternativa gratuita consiste na utilización do emulador Cygwin. Este emulador de Linux que se executa como unha aplicación sobre os sistemas operativos de Microsoft, permite abrir terminais X-windows nas conexións cos servidores de cálculo do CESGA.
Elaboramos unha guía que facilite a instalación e configuración deste software para ser usado cos servidores de cálculo e que se atopa dispoñible na nosa páxina web a través da seguinte ligazón.
Actualizacións e ampliacións no SVG.
Os nodos do SVG foron actualizados a Rocks v.4.0. Este sistema está baseado en RedHat Enterprise Linux 4.0 e utiliza o kernel 2.6. Os nodos do Beowulf (cluster con red Myrinet) xa foran actualizados no mes de outubro dende RedHat 7.1, pero para asegurar a compatibilidade do software e das aplicacións, a actualización definitiva do cluster non se realizou ata novembro. Ademáis, esta actualización fíxose de xeito escalonado de modo que en ningún momento se viu afectado o servizo. No mes de xaneiro está previsto realizar unha parada do cluster para actualizar o nodo de conexión dos usuarios, así como para ampliar a capacidade de almacenamento mediante a incorporación dun array de discos con capacidade para 1 Terabyte.
Cambios no sistema de prioridades no Superdome.
Co fin de aproveitar as características de paralelización do servidor de cálculo Superdome, a partir do mes de xaneiro procederemos a aumentar a prioridade dos traballos que requiran de maior número de procesadores, en detrimento dos traballos secuenciais (denomínanse traballos secuenciais aqueles que só aproveitan 1 procesador). Ata este momento os traballos que requerían de máis de 4 procesadores presentaban uns tempos de espera que facían inviable a súa execución neste servidor. Con este cambio pretendemos que os usuarios se aproveiten das características de paralelización do Superdome, e que os traballos que poidan ser realizados nos sistemas HPC320 (ata 8 GB por traballo) e SVG (ata 1 GB por traballo) se envíen a estes servidores de cálculo.
Novas aplicacións instaladas e actualizacións.
Instalado o compilador UPC no SVG.
Instalado o editor gráfico XEmacs nos servidores Superdome, HPC320 y SVG.
Instalado ARB no servidor HPC320.
Instalado MrBayes no servidor Superdome.
Instalado R8S nos servidores Superdome e SVG.
Instalado EMAM no servidor SVG.
Instalado NAMD no servidor HPC320.
Instalado CVS no servidor Superdome.
Instalado FFTW nos servidores Superdome, HPC320 y SVG.
Instalado GRADS no servidor SVG.
Instalado LAMMPS no servidor Superdome.
Instalado NCARG nos servidores Superdome e SVG.
Instalado NETCDF no servidor Superdome.
Máis información acerca das aplicacións instaladas nesta ligazón.
Pautas nun uso eficiente de Gaussian03: g03mem.
Mandar traballos de Gaussian03 a cola de execución nos servidores de cálculo do CESGA supón realizar unha estimación máis ou menos precisa dos recursos que se van consumir. Con este fin na seguinte táboa inténtase resumir os puntos máis importantes a considerar:
|
Memoria:
- Usar sempre %Mem
- Mínima: M + 2 * N**2 en words
M : 6Mw para bases con funcións f, 10Mw con funcións g, 28Mw con funcións h, 38Mw con funcións i. M depende do tipo de cálculo.
Normalmente máis memoria é necesaria para problemas grandes e para cálculos post-SCF.
Uso de disco (scratch) :
-Utiliza a palabra clave MaxDisk para traballos grandes (post-SCF)
Nota: No SVGD o máximo espazo de scratch son 15Gb
|
Method
|
CPU
|
Memory
|
Disk
|
|
SCF
|
|
|
|
|
Conv.
|
N**3.5
|
N**2
|
N**3.5
|
|
Direct
|
N**2.7
|
N**2
|
N**2
|
|
InCore
|
N**2.5
|
N**4
|
---
|
|
MP2
|
|
|
|
|
Conv.
|
FN**4
|
N**2
|
N**4
|
|
SemiDir
|
FFN**3
|
N**2
|
VN**2
|
|
Direct
|
FFN**3
|
FVN
|
N**2
|
|
InCore
|
|
N**4
|
---
|
|
Post-MP2
|
FFFV**4
|
N**2
|
N**4
|
Táboa 1:Recursos en función método/algoritmo
N, F, V: nº funcións de base, orbitais ocupados, orbitais virtuais
Seguindo estas indicacións programouse un script g03mem que dá unha estimación aproximada da memoria requirida por un traballo de Gaussian 03 en concreto. A sintaxe deste comando é:
Este script calcula o número de bases e dá unha estimación de CPU/memoria/disco requiridos para a execución con diferentes algoritmos. Adicionalmente cando atopa a palabra clave freq dentro da ruta do traballo executa a utilidade freqmem adecuadamente.
Exemplo:
g03mem /opt/cesga/g03/tests/com/test135.com
Este script está en fase experimental e existen casos aínda non soportados (oniom, force ...). Adicionalmente non é descartable a presenza de bugs polo que se se atopa algún comportamento erróneo, así como para calquera suxerencia ao respecto, por favor comuníquenolo a 
Seminario: Presentación de GRID Superescalar
Día: 18 de enero a las 12:00
Lugar: CESGA e Salas Access Grid que o soliciten
GRID superescalar é un contorno de programación que permite desenvolver doadamente aplicacións na GRID. O obxectivo é que a Grid sexa transparente ao programador, é dicir, que a aplicación do usuario se pareza o máximo posible a un código secuencial que se executa nun ordenador persoal. Por outro lado, GRID superscalar intenta aproveitar ao máximo os recursos dispoñibles na GRID, paralelizando de maneira automática a execución das tarefas da aplicación alí onde sexa posible. Tamén se fai cargo de todas as transferencias de ficheiros necesarias, selección de recursos nos que executar cada tarefa. etc.
Na charla describirase o funcionamento de GRID superscalar, facendo especial fincapé na visión do usuario.
Resumo persoal:
Rosa M. Badia é Licenciada en Informática (1989) e Doutora en Informática (1994) pola Universidade Politécnica de Cataluña (UPC). Dende 1989 é profesora de estrutura e arquitectura de computadores e de Deseño VLSI. Actualmente, e dende 1997, é profesora titular de universidade no departamento de Arquitectura de Computadores da UPC. Na actualidade desenvolve traballos de investigacion nos temas de middleware para sistemas GRID, predición de comportamento e modelización de aplicacións paralelas e codeseño HW/SW en arquiteturas reconfigurables. É investigadora na rede de excelencia europea CoreGRID. Na actualidade é a lider do grupo de investigación en Grid computing e Clusters do Barcelona Supercomputing Center - Centro Nacional de Supercomputacion (BSC-CNS)
Enlaces esenciais.
Documentación e manuais dos sistemas de cálculo, almacenamento e aplicacións:
http://doc.cesga.es
Uso do sistema de colas no CESGA:
http://www.cesga.es/content/view/431/53/lang,gl/
Guía básica de Unix:
http://iie.fing.edu.uy/~vagonbar/unixbas/
FAQs de computación:
http://www.cesga.es/component/option,com_simplefaq/Itemid,16/lang,gl/
Monitorización en tempo real (máximo 30 minutos de retardo) do estado dos servidores e as colas:
Estado sistemas
Como solicitar axuda:
 : para calquera aspecto relacionado cos servidores de cálculo, sistemas de colas, almacenamento, etc…
: en caso de consultas relacionadas co uso de aplicacións, peticións de novas aplicacións, etc…
Para darse de baixa neste servizo, é suficiente con enviar un mail a co asunto: baixa no boletin informativo.
|
cesga.es
:: Telf.: +34 981 569810 - Fax: 981 594616 ::
Avda. de Vigo s/n 15705, Santiago de Compostela.