CESGA-Centro de Supercomputación de Galicia

Este paquete de programas permite o cálculo de propiedades (enerxías, frecuencias de vibración, xeometría óptima, etc.) de moléculas e intermedios de reacción, fundamentalmente mediante métodos ab initio aínda que tamén incorpora métodos semiempíricos.

Por requirimentos da licenza os usuarios que utilicen este paquete teñen que pertencer ó grupo gaussian. Xa que logo, un novo usuario deste software debe contactar co CESGA para que lle sexa habilitado o seu uso (teléfono: 981 56981 e-mail:

). O paquete ten requirimentos de CPU, memoria e disco considerables en cálculos ab initio, que son os utilizados habitualmente. Ademais, dependendo de complexidade/exactitude do método utilizado, os requirimentos de CPU e disco aumentan. Os métodos máis exactos (maior correlación electrónica, p.ej., MP4) manexan arquivos temporais superiores ós 2 GB na maioría dos casos.

Usuarios habituais: Químicos teóricos e físicos que traballan en determinación de propiedades de moléculas ou en cálculo de intermedios de reacción que permitan a determinación do camiño de reacción correcto. Tamén químicos orgánicos, cando traballan con moléculas orgánicas pequenas, o utilizan con propósitos análogos. Estes investigadores pertencen tanto ás universidades galegas como ó CSIC.

Usuarios potenciais: Ademais dos organismos públicos de investigación, os sectores químico e farmacéutico.

A execución de Gaussian (tanto na súa versión 03 como 98) nos servidores do CESGA, representa preto dun 70% do consumo de horas de computación no período 1 de xaneiro de 2004 a 30 de setembro de 2004, principalmente desde a súa instalación no novo HP Superdome. A incorporación de Gaussian 03 (http://www.gaussian.com),con novas funcionalidades, máis adaptada ás arquitecturas existentes no CESGA, representa un cambio tecnolóxico importante na aplicación. Nesta nova versión cámbiase o sistema de paralelización, pasando á utilización de fíos ( threads en inglés) a través do estándar OpenMP (http://www.openmp.org). Isto significa, por exemplo, que xa non utiliza memoria compartida, xa que todos os fíos poden acceder á memoria reservada polo programa directamente. Mantense a posibilidade de execución de multiproceso a través de LINDA (http://www.lindaspaces.com/products/linda.html), pero esta funcionalidade non está dispoñible en ningún servidor do CESGA.

Gaussian 03 está instalado nos 3 servidores de cálculo presentes actualmente no CESGA:

Definir no seu contorno o directorio onde se encontran os executables utilizando a instrución:

Para KSH ou BASH: export PATH=/opt/cesga/g03:$PATH
Para CSH: setenv PATH /opt/cesga/g03:$PATH

Para executar as utilidades, engada ademais:

En KSH: export LD_LIBRARY_PATH=/opt/cesga/g03:$LD_LIBRARY_PATH
En CSH: setenv LD_LIBRARY_PATH /opt/cesga/g03:$LD_LIBRARY_PATH

Para cambiar de versión os ficheiros de checkpoint de Gaussian 98 a Gaussian 03, use a utilidade c8603. Unha referencia detallada do uso desta utilidade encóntrase en: http://www.gaussian.com/g_ur/u_c8603.htm. No caso de que teña problemas para executar esta utilidade por falta de memoria, pode incrementar a memoria a usar polo programa (dentro dos límites que ten asignados o sistema) utilizando a variable GAUSS_MEMDEF, dándolle l valor requirido en palabras (words). NON está soportada a utilidade chkmove. Utilice para cambiar de sistema as utilidades formchk/unfchk

O programa le o ficheiro ficheiro.com e escribe a saída a ficheiro.log. Cando non é especificado un nome de ficheiro o programa le da entrada estándar e escribe na saída estándar, e estas poden ser redirigidas ou utilizadas en canalizacións na forma habitual en UNIX:

_%g03 <input>output

A documentación desta nova versión está dispoñible en liña en http://www.gaussian.com/g_ur/g03mantop.htm.Ao haber cambios importantes, aconséllase que comproben a documentación en caso de dúbida.

Como calquera outro programa, a execución en cola de traballos de Gaussian 03 debe seguir as instrucións habituais do CESGA a este respecto:

http://www.cesga.es/ga/CalcIntensivo/Colas.html

Porén no caso especial do SVG , os traballos de Gaussian 03 presentan limitacións adicionais que a continuación se relatan:

Traballos en paralelo : No SVG non se poden executar traballos en paralelo de Gaussian 03 debido a que este servidor esta formado por nodos monoprocesadores.

Scratch : Calquera ficheiro de scratch de Gaussian 03 (rwf, int ...) non debe superar 16Gb de tamaño total independentemente de que coas directivas %rwf, %int ou %d2e do link0 se fraccionase. Isto é debido á limitación inherente ós enteiros de 32bits (2^31 words). En caso de que exista dúbida de canto espazo de disco vai ser necesario para o cálculo se recomenda limitar coa directiva %rwf e a palabra clave MaxDisk o espazo dispoñible por debaixo de 16Gb. Por ex:

Se é necesario utilizar as directivas %rwf, %int ou %d2e é conveniente asegurarse que estes ficheiros se almacenen en $TMPDIR (espazo de scratch reservado poll sistema de colas). Unha directiva "%RWF=rwf1,2Gb,rwf2,2Gb,rwf3,2Gb" no noso ficheiro de input fará que os ficheiros rwf1.rwf, rwf2.rwf y rwf3.rwf se almacenen no directorio dende onde se lanzou o qsub.

Para evitar isto pódese lanzar o traballo utilizando un script similar a este:

boto "%RWF=$TMPDIR/rwf1,2Gb,$TMPDIR/rwf2,2Gb,$TMPDIR/rwf3,2Gb"> t.com
cat job.com >> t.com
/opt/cesga/g03/g03 < t.com

A primeira liña e segunda liña forman o ficheiro de input definitivo (t.com) que se vai executar cunha correcta liña %RWF (3 ficheiros rwf con nomes rwf1.rwf, rwf2.rwf e rwf3.rwf e de 2Gb cada un). O sistema de colas fixará a variable $TMPDIR ó correcto directorio de scratch e a liña do "boto" gardará correctamente a liña %RWF en t.com. A segunda liña simplemente engadirá a t.com o input que nos interesa (job.com).

A selección de memoria virtual a utilizar na execución dun problema fíxase a través da directiva %MEM. Esta ha de estar situada antes de cada link que se inclúa no ficheiro. En caso de que non se fixe, Gaussian reservará por defecto 6 MegaWords (6 millóns de palabras, onde cada palabra corresponde a 8 Bytes). A sintaxe deste comando é

%mem=<numero><unidade>

onde número é a cantidade de memoria a utilizar (no exemplo 6) e unidade pode ser KB, MB, GB (cando a cantidade se expresa en bytes) ou KW, MW, GW (cando se expresa en palabras. Unha palabra equivale a 8 bytes no SVG, HPC320 e SUPERDOME). Por exemplo:

% mem=6mw
#P HP/STO-3G FORCE

En función do tipo de problema e da memoria seleccionada, Gaussian escolle o modo de funcionamento de forma automática que considera máis adecuado, a menos que se lle especifique o contrario. Os modos de funcionamento poden ser:

Directo. Todas as integrais necesarias para a resolución son calculadas cando se necesitan. É o modo por defecto.
Convencional. As integrais calcúlasse unha vez e acumúlanse en disco. Este sistema é máis lento que o directo, polo cal está desaconsellado
InCore. As integrais necesarias acumúlanse en memoria (coidado, se se selecciona este método de cálculo, se non hai suficiente memoria o cálculo non se executará).
Semi-directo. Fundamentalmente utilizado en cálculos MP. É unha combinación do modo directo co convencional.

Para facer unha estimación da memoria mínima necesaria para un cálculo, hase de utilizar a fórmula.

M + 2 N b 2

Que dará a cantidade de memoria en palabras. N b é o número de bases do problema, mentres que M é unha cantidade dependente do mesmo que se ha de seleccionar da táboa dada no manual ( http://www.gaussian.com/g_ur/m_eff.htm):

Job Type	Highest Angular Momentum Basis Function
Job Type	f functions	g functions	h functions	i functions	j functions
SCF Energies	4 MW	4 MW	9 MW	23 MW	~60 MW
SCF Gradients	4 MW	5 MW	16 MW	38 MW
SCF Frequencies	4 MW	9 MW	27 MW
MP2 Energies	4 MW	5 MW	10 MW	28 MW	~70 MW
MP2 Gradients	4 MW	6 MW	16 MW	38 MW
MP2 Frequencies	6 MW	10 MW	28 MW

Fig.2 . Tempos de cálculo versus a memoria dispoñible para 188 bases.

Porén, existe unha forte dependencia da velocidade do cálculo co tipo de método que depende fundamentalmente da memoria dispoñible. Por exemplo, pódese apreciar na fig. 2 que para un cálculo DFT ou HF, incrementar a reserva de memoria por encima do mínimo necesario non axuda a mellorar a velocidade do mesmo (de feito en Gaussian 98, a eficiencia do mesmo diminúe de forma apreciable), polo que se estarían a desperdiciar recursos innecesariamente. Porén, esta situación cambia cando a cantidade reservada é suficiente para acumular as integrais en memoria; cando Gaussian cambia o método de resolución a InCore. A mellora no rendemento é substancial neste caso (próximo ó 100%).

Para poder calcular a memoria necesaria en Gaussian 03 para realizar o problema utilizando o método InCore, pódense utilizar as fórmulas:

N b 4 /8 + 500.000 para o caso de Close-Shell
N b 4 /4 + 500.000 para o caso de UHF ou ROHF

Que tamén se poden aplicar para os métodos GVB e MCSCI.

Na figura 3 pódese ver o consumo de memoria para un problema DFT en relación ás dúas fórmulas. Apréciase que a primeira fórmula é un límite máximo para todos os casos. Para se asegurar de que se utiliza o cálculo en forma Incore, pódense utilizar os comandos SCF=Incore para o caso DFT ou HF, mentres que para outros é necesario especificalo directamente (véxase o manual para cada caso). Por exemplo, para MP2 o cálculo realizaríase InCore co comando MP2=Incore.

Matrices Sparse

Cando o problema é demasiado grande para acumular as integrais completas en memoria, é posible utilizar o método de matrices sparse, a conta de eliminar do cálculo as interaccións cun valor inferior a un dado (10 -10 por defecto). Neste caso, só os valores por encima do de corte se manteñen en memoria. Gaussian recomenda utilizar só este método cando o problema ten máis de 400 átomos (200 para cálculos semiempíricos como o AM1). Porén, dado que o consumo de memoria depende das interaccións calculadas, non é posible a priori calcular a memoria que será necesaria. En caso de que se queira utilizar este método, é necesario indicalo na descrición do problema coa clave sparse (http://www.gaussian.com/g_ur/k_sparse.htm) .

Cálculo de frecuencias

O cálculo de frecuencias pode mellorar sensiblemente coa memoria. Para este caso existe ademais a utilidade freqmem que calcula unha estimación da cantidade de memoria necesaria para o calculo eficiente das derivadas segundas en traballos SCF. O uso deste comando é:

freqmem natoms nbasis r|u c|d functions

onde natoms é o nº de átomos; nbasis o nº de funcións de base; r ou u indica unha función de onda rhf ou uhf; c ou d indica un cálculo convencional (en disco) ou directo; e functions é unha lista dos tipos de momentos angulares presentes nas funcións de base, por ex. spdf.

Tamén para estimar a memoria necesaria pódese utilizar a fórmula seguinte para calcular o número de palabras

3N_AN_b² + 500.000

onde N A é o número de átomos e N b o número de bases.

Se o problema admite a execución incore , é posible pasar o resultado deste cálculo ó módulo de frecuencias a través do comando SFC=(InCore, pass), a conta de consumir máis espazo en disco (da orde de N b 4 /8).

Script g03mem

Mandar traballos de Gaussian03 a cola de execución nos servidores de cálculo do CESGA supón realizar unha estimación máis ou menos precisa dos recursos que ese traballo vai consumir. Con esta fin na seguinte táboa téntase resumir os puntos máis importantes a considerar:

Memoria: - Usar sempre %Mem - Mínima: M + 2 * N2 en words M : 6Mw para bases con funcións f, 10Mw con funcións g, 28Mw con funcións h, 38Mw con funcións i. M depende do tipo de cálculo. Normalmente máis memoria é necesaria para problemas grandes e para cálculos post-SCF. Uso de disco (scratch) : -Utiliza a palabra clave MaxDisk para traballos grandes (post-SCF) Nota: No SVGD o máximo espazo de scratch son 15Gb**	Method	CPU	Memory	Disk
	SCF
	Conv.	N**3.5	N**2	N**3.5
	Direct	N**2.7	N**2	N**2
	InCore	N**2.5	N**4	---
	MP2
	Conv.	FN**4	N**2	N**4
	SemiDir	FFN**3	N**2	VN**2
	Direct	FFN**3	FVN	N**2
	InCore		N**4	---
	Post-MP2	FFFV**4	N**2	N**4

Táboa 1:Recursos en función método/algoritmo
N, F, V: nº funcións de base, orbitais ocupados, orbitais virtuais

Seguindo estas indicacións programouse un script g03mem que dá unha estimación aproximada da memoria requirida por un traballo de Gaussian 03 en concreto. A sintaxe deste comando é:

Este script calcula o número de bases e dá unha estimación de CPU/memoria/disco requiridos para a execución con diferentes algoritmos. Adicionalmente cando encontra a palabra clave freq dentro da ruta do traballo executa a utilidade freqmem adecuadamente.
Exemplo:

g03mem/opt/cesga/g03/tests/com/test135.com

Este script está en fase experimental e existen casos aínda non soportados (oniom, force ...). Adicionalmente non é descartable a presenza de bugs polo que se se encontra algún comportamento erróneo así como para calquera suxestión en relación, por favor nos o comunique a

Como xa se dixo anteriormente, Gaussian 03 utiliza a tecnoloxía OpenMP (única posibilidade existente no CESGA) ou memoria distribuída (é dicir, varios procesos que non comparten memoria, a través de LINDA, non dispoñible no CESGA). Na versión actual, entre os enlaces (links) paralelizados están:

En xeral, tendo en conta isto, todos os cálculos de enerxía, gradientes e frecuencia a través de SCF (isto é, HF, DFT e CIS) xunto con TD-DFT están paralelizados. Outros métodos, como Möller-Plesset, non melloran suficientemente cando se executa con máis dun procesador utilizando fíos, polo que se desaconsella o seu uso neses casos.

É importante notar que para que isto sexa eficiente e que cada fío se poida executar de forma independente nun procesador dedicado, é necesario solicitalo tamén na petición do traballo a través da directiva num_proc do comando qsub e que estes procesadores/fíos coincidan no mesmo nodo do servidor de cálculo. Se non se fixese así, Gaussian crearía igualmente 4 fíos, competindo eles mesmos polo uso do procesador e polo tanto degradando o rendemento. Por este motivo, dependendo das limitacións do servidor de cálculo utilizado o número de procesadores/fíos máximo está limitado segundo esta táboa:

2.Cando o cálculo se pode facer InCore , a memoria adicional necesaria é insignificante, aínda que é necesario aumentala un pouco en relación á prevista para o cálculo.

Fig. 4: Tempos de cálculo para un problema DFT e HF directo e incore. O escalado defínese como a razón entre o tempo consumido para 1 procesador dividido entre o tempo para n procesadores. A eficiencia é o escalado dividido polo número de procesadores.

Tamén dadas a limitacións de tempo de execución existentes, é posible que algún cálculo non acabe adecuadamente por esa limitación. Para reiniciarlo desde o último link que se executou é necesario facer varias accións. A primeira é que se ha de solicitar ó final do traballo a copia dos ficheiros ó directorio local. Por defecto, estes créanse no directorio temporal (e por cuestións de eficiencia, procure non cambiar os ficheiros rwf fose desta localización). Para iso, ó enviar o traballo ó sistema de colas inclúa a opción ó comando qsub:

Deste modo, a copia dos ficheiros do directorio temporal realizarase ó finalizar o traballo de forma inesperada. Por exemplo, supoñamos que se envía o traballo seguinte:

#p rhf/6-311g* opt freq test geom=modela scf=direct
water with restart

0,1

o h h

coas seguintes opcións de qsub

qsub -l num_proc=1,s_rt=00:00:03

,s_vmem=500M,h_fsize=1G -cwd -v COPIA=$PWD -o 1.log -e 1.er

Unha vez pasados tres segundos de execución (tempo límite marcado na petición), o traballo abortaría no link onde estase a executar de forma abrupta. Ó ter solicitado a copia dos ficheiros xerados no scratch, terase no directorio de envío os seguintes ficheiros:

total 38658

drwxr-xr-x 2 agomez cesga 1024 Oct 6 13:39 .

drwxr-xr-x 32 agomez cesga 2048 Sep 29 11:45 .

-rw-r--r-- 1 agomez cesga 107 Oct 6 13:38 1.com

-rw-r--r-- 1 agomez cesga 0 Oct 6 13:39 1.err

-rw-r--r-- 1 agomez cesga 27571 Oct 6 13:39 1.log

-rw------- 1 agomez cesga 111 Oct 6 13:38 Gau-7855.inp

-rw------- 1 agomez cesga 532480 Oct 6 13:38 Gau-7860.chk

-rw------- 1 agomez cesga 0 Oct 6 13:38 Gau-7860.d2e

-rw------- 1 agomez cesga 0 Oct 6 13:38 Gau-7860.int

-rw------- 1 agomez cesga 18653184 Oct 6 13:38 Gau-7860.rwf

-rw------- 1 agomez cesga 532480 Oct 6 13:38 Gau-7860.scr

Para rearrancar o traballo , hai que indicar a Gaussian que utilizamos o ficheiro RWF correspondente, para o cal se definirá o seguinte ficheiro de comandos de Gaussian:

%rwf=Gau-7860
#p restart

Impulsando o traballo con esta opción, Gaussian continuará a partir do último link que se executase completamente antes da interrupción. Por exemplo, no caso de exemplo, o último link executado no primeiro envío era o l301.exe, estando en execución o l302. Ó rearrancar, Gaussian reinicia no link l302 que non acabara.

No caso de por calquera motivo non se dispoña do ficheiro rwf e si o ficheiro de checkpoint é posible reiniciar os traballos de forma bastante simple. Por exemplo se o traballo é o seguinte:

%Chk=h2ou2
%mem=12mw
#P HF/6-31g OPT
hooh hf optimization
0 1
...

Na táboa seguinte recóllense distintos formas de reinicio dispondo do ficheiro de checkpoint segundo o tipo de cálculo:

1. Para cálculos HF, DFT, TD-DFT e CIS, se a memoria necesaria para facer o cálculo utilizando o método InCore é inferior ou igual a 16GB (aínda que G03 poida utilizar máis, xa que non existe a limitación que había en G98), tente utilizar este método. Se ademais é posible paralelizar o cálculo, calcule o número de procesadores como a razón entre a memoria necesaria en GB dividida por 4, cun límite de 4 CPUs para Incore. Teña en conta que cantos máis procesadores solicite, o tempo de espera para executar o traballo se incrementa, xa que é necesario que estean dispoñibles ó mesmo tempo.

2. Non utilice varios procesadores para métodos combinados como G3 ou para cálculos Möller-Plesset, xa que a ganancia é insignificante (se necesita facer cálculos MP en paralelo, avalíe a posibilidade de utilizar outros programas, como NWCHEM, que si teñen paralelizada esta opción).

3. Ó enviar o traballo a cola, asegúrese de seleccionar os parámetros adecuados. Na opción s_vmem do comando qsub , inclúa a memoria que calculase máis 200MB (para o código do programa).

4. Se o seu problema necesita máis de 16GB para calcular utilizando o método Incore, comprobe se é paralelizable e utilice preferintemente esta opción cun cálculo directo.

5. Tente enviar sempre a execución coa opción de copia de ficheiros. En caso de que o traballo funcione correctamente non obterá ningunha saída adicional, xa que Gaussian elimina os ficheiros temporais cando acaba correctamente mentres que se acaba de forma incorrecta, poderá reiniciar o traballo desde o último link executado correctamente.

En calquera caso, se ten calquera dúbida ou suxestión, non dubide en contactar connosco a través de