Gaussian 03

Este paquete de programas permite el cálculo de propiedades (energías, frecuencias de vibración, geometría óptima, etc.) de moléculas e intermedios de reacción, fundamentalmente mediante métodos ab initio aunque también incorpora métodos semiempíricos.

Por requerimientos de la licencia los usuarios que utilicen este paquete tienen que pertenecer al grupo gaussian. Ya que luego, un nuevo usuario deste software debe contactar con el CESGA para que le sea habilitado su uso (teléfono: 981 56981 e-mail: ). El paquete tiene requerimientos de CPU, memoria y disco considerables en cálculos ab initio, que son los utilizados habitualmente. Además, dependiendo de complejidad/exactitud del método utilizado, los requerimientos de CPU y disco aumentan. Los métodos más exactos (mayor correlación electrónica, p.ej., MP4) manejan archivos temporales superiores a los 2 GB en la mayoría de los casos.

Esta nueva versión presenta nuevas funcionalidades (que se poden consultar en http://www.gaussian.com/g_brochures/g03_new.htm) así como cambia el ámbito de ejecución en paralelo, pasando a utilizar el estándar OPENMP (http://www.openmp.org/

Usuarios habituales: Químicos teóricos e físicos que trabajan en determinación de propiedades de moléculas o en cálculo de intermedios de reacción que permitan la determinación del camino de reacción correcto. También químicos orgánicos, cuando trabajan con moléculas orgánicas pequeñas, lo utilizan con propósitos análogos. Estos investigadores pertenecen tanto a las universidades gallegas como al CSIC. 

Usuarios potenciales: Además de los organismos públicos de investigación, los sectores químico e farmacéutico. 

La ejecución de Gaussian (tanto en su versión 03 como 98) en los servidores del CESGA, representa cerca de un 70% del consumo de horas de computación en el periodo 1 de enero de 2004 a 30 de septiembre de 2004, principalmente desde su instalación en el nuevo HP Superdome. La incorporación de Gaussian 03 (http://www.gaussian.com), con nuevas funcionalidades, más adaptada a las arquitecturas existentes en el CESGA, representa un cambio tecnológico importante en la aplicación. En esta nueva versión se cambia el sistema de paralelización, pasando a la utilización de hilos (threads en inglés) a través del estándar OpenMP (http://www.openmp.org). Esto significa, por ejemplo, que ya no utiliza memoria compartida, ya que todos los hilos pueden acceder a la memoria reservada por el programa directamente. Se mantiene la posibilidad de ejecución de multiproceso a través de LINDA (http://www.lindaspaces.com/products/linda.html), pero esta funcionalidad no está disponible en ningún servidor del CESGA. 

• Configuración y acceso a Gaussian 03
  • Migración de ficheros
• Ejecución de Gaussian 03
  • Ejecución en cola
• Ficheros y Uso de disco 
  •  Ficheros temporales, localización y renombrado
• Memoria
  • Matrices Sparse
  • Cálculo de frecuencias
  • Script g03mem
• Ejecución en paralelo
• Reinicio del trabajo
• Recomendaciones
• Citación
• Asistencia

Configuración y acceso a Gaussian 03

Gaussian 03 está instalado en los 3 servidores de cálculo presentes actualmente en el CESGA:

Por requerimientos de la licencia los usuarios que utilicen este paquete tienen que pertenecer al grupo gaussian. Por tanto, un nuevo usuario de este software debe contactar con el CESGA para que le sea habilitado su uso (teléfono: 981 56981 e-mail: )

Para ejecutar esta nueva versión tienen que hacerse los siguientes cambios:

Definir en su entorno el directorio donde se encuentran los ejecutables utilizando la instrucción:

Para KSH o BASH: export PATH=/opt/cesga/g03:$PATH
Para CSH: setenv PATH /opt/cesga/g03:$PATH

Para ejecutar las utilidades, añada además:

En KSH: export LD_LIBRARY_PATH=/opt/cesga/g03:$LD_LIBRARY_PATH
En CSH: setenv LD_LIBRARY_PATH /opt/cesga/g03:$LD_LIBRARY_PATH

Migración de ficheros

Para cambiar de versión los ficheros de checkpoint de Gaussian 98 a Gaussian 03, use la utilidad c8603. Una referencia detallada del uso de esta utilidad se encuentra en: http://www.gaussian.com/g_ur/u_c8603.htm . En el caso de que tenga problemas para ejecutar esta utilidad por falta de memoria, puede incrementar la memoria a usar por el programa (dentro de los límites que tiene asignados el sistema) utilizando la variable GAUSS_MEMDEF, dándole l valor requerido en palabras (words). NO está soportada la utilidad chkmove. Utilice para cambiar de sistema las utilidades formchk/unfchk.

Para lanzar el programa ejecute:

%g03 fichero

El programa lee el fichero fichero.com y escribe la salida a fichero.log

Cuando no es especificado un nombre de fichero el programa lee de la entrada estándar y escribe en la salida estándar, y estas pueden ser redirigidas o utilizadas en tuberías en la forma habitual en UNIX:

_%g03 <input>output

La documentación de esta nueva versión está disponible en línea en http://www.gaussian.com/g_ur/g03mantop.htm. Al haber cambios importantes, se aconseja que comprueben la documentación en caso de duda.

Ejecución en cola

Como cualquier otro programa, la ejecución en cola de trabajos de Gaussian 03 debe seguir las instrucciones habituales del CESGA a este respecto:

http://www.cesga.es/ga/CalcIntensivo/Colas.html

Sin embargo en el caso especial del SVG, los trabajos de Gaussian 03 presentan limitaciones adicionales que a continuación se relatan:

Trabajos en paralelo: En el SVG no se pueden ejecutar trabajos en paralelo de Gaussian 03 debido a que este servidor esta formado por nodos monoprocesadores.

Scratch: Cualquier fichero de scratch de Gaussian 03 (rwf, int ...) no debe superar 16Gb de tamaño total independientemente de que con las directivas %rwf, %int o %d2e del link0 se haya fraccionado. Esto es debido a la limitación inherente a los enteros de 32bits (2^31 words). En caso de que exista duda de cuanto espacio de disco va a ser necesario para el cálculo se recomienda limitar con la directiva %rwf y la palabra clave MaxDisk el espacio disponible por debajo de 16Gb. Por ej:

%rwf=rwf,15GB
MaxDisk=15GB

Si es necesario utilizar las directivas %rwf, %int o %d2e es conveniente asegurarse que estos ficheros se almacenen en $TMPDIR (espacio de scratch reservado por el sistema de colas). Una directiva "%RWF=rwf1,2Gb,rwf2,2Gb,rwf3,2Gb" en nuestro fichero de input hará que los ficheros rwf1.rwf, rwf2.rwf y rwf3.rwf se almacenen en el directorio desde donde se ha lanzado el qsub. 

Para evitar esto se puede lanzar el trabajo utilizando un script similar a este:

boto "%RWF=$TMPDIR/rwf1,2Gb,$TMPDIR/rwf2,2Gb,$TMPDIR/rwf3,2Gb"> t.com
cat job.com >> t.com
/opt/cesga/g03/g03 < t.com

La primera línea y segunda línea forman el fichero de input definitivo (t.com) que se va a ejecutar con una correcta línea %RWF (3 ficheros rwf con nombres rwf1.rwf, rwf2.rwf y rwf3.rwf y de 2Gb cada uno). El sistema de colas fijará la variable $TMPDIR al correcto directorio de scratch y la línea del "echo" guardará correctamente la línea %RWF en t.com. La segunda línea simplemente añadirá a t.com el input que nos interesa (job.com)  

Ficheros y uso de disco

%mem=<numero><unidade>

donde número es la cantidad de memoria a utilizar (en el ejemplo 6) y unidad puede ser KB, MB, GB (cuando la cantidad se expresa en bytes) ó KW, MW, GW (cuando se expresa en palabras. Una palabra equivale a 8 bytes en el SVG, HPC320 y SUPERDOME). Por ejemplo:

% mem=6mw
#P HP/STO-3G FORCE

En función del tipo de problema y de la memoria seleccionada, Gaussian elige el modo de funcionamiento de forma automática que considera más adecuado, a menos que se le especifique lo contrario. Los modos de funcionamiento pueden ser:

• Directo. Todas las integrales necesarias para la resolución son calculadas cuando se necesitan. Es el modo por defecto.
• Convencional. Las integrales se calculas una vez y se acumulan en disco. Este sistema es más lento que el directo, por lo cual está desaconsejado
• InCore. Las integrales necesarias se acumulan en memoria (cuidado, si se selecciona este método de cálculo, si no hay suficiente memoria el cálculo no se ejecutará).
• Semi-directo. Fundamentalmente utilizado en cálculos MP. Es una combinación del modo directo con el convencional.

Para hacer una estimación de la memoria mínima necesaria para un cálculo, se ha de utilizar la fórmula

M + 2 N b 2

Que dará la cantidad de memoria en palabras. Nb es el número de bases del problema, mientras que M es una cantidad dependiente del mismo que se ha de seleccionar de la tabla dada en el manual (http://www.gaussian.com/g_ur/m_eff.htm):

Fig.2 . Tiempos de cálculo versus la memoria disponible para 188 bases.

Sin embargo, existe una fuerte dependencia de la velocidad del cálculo con el tipo de método que depende fundamentalmente de la memoria disponible. Por ejemplo, se puede apreciar en la fig. 2 que para un cálculo DFT ó HF, incrementar la reserva de memoria por encima del mínimo necesario no ayuda a mejorar la velocidad del mismo (de hecho en Gaussian 98, la eficiencia del mismo disminuye de forma apreciable), por lo que se estarían desperdiciando recursos innecesariamente. Sin embargo, esta situación cambia cuando la cantidad reservada es suficiente para acumular las integrales en memoria; cuando Gaussian cambia el método de resolución a InCore. La mejora en el rendimiento es sustancial en este caso (cercano al 100%).

Para poder calcular la memoria necesaria en Gaussian 03 para realizar el problema utilizando el método InCore, se pueden utilizar las fórmulas: 

N b 4 /8 + 500.000 para o caso de Close-Shell
N b 4 /4 + 500.000 para o caso de UHF ou ROHF

Que también se pueden aplicar para los métodos GVB y MCSCI.

En la figura 3 se puede ver el consumo de memoria para un problema DFT con respecto a las dos fórmulas. Se aprecia que la primera fórmula es un límite máximo para todos los casos. Para asegurarse de que se utiliza el cálculo en forma Incore, se pueden utilizar los comandos SCF=Incore para el caso DFT ó HF, mientras que para otros es necesario especificarlo directamente (véase el manual para cada caso). Por ejemplo, para MP2 el cálculo se realizaría InCore con el comando MP2=Incore. 

Matrices Sparse

Cuando el problema es demasiado grande para acumular las integrales completas en memoria, es posible utilizar el método de matrices sparse, a costa de eliminar del cálculo las interacciones con un valor inferior a uno dado (10-10 por defecto). En este caso, solo los valores por encima del de corte se mantienen en memoria. Gaussian recomienda utilizar solo este método cuando el problema tiene más de 400 átomos (200 para cálculos semiempíricos como el AM1). Sin embargo, dado que el consumo de memoria depende de las interacciones calculadas, no es posible a priori calcular la memoria que será necesaria. En caso de que se quiera utilizar este método, es necesario indicarlo en la descripción del problema con la clave sparse (http://www.gaussian.com/g_ur/k_sparse.htm). 

Cálculo de frecuencias

El cálculo de frecuencias puede mejorar sensiblemente con la memoria. Para este caso existe además la utilidad freqmem que calcula una estimación de la cantidad de memoria necesaria para el calculo eficiente de las derivadas segundas en trabajos SCF. El uso de este comando es: 

freqmem natoms nbasis r|u c|d functions

donde natoms es el nº de átomos; nbasis el nº de funciones de base; r o u indica una función de onda rhf o uhf; c o d indica un cálculo convencional (en disco) o directo; y functions es una lista de los tipos de momentos angulares presentes en las funciones de base, por ej. spdf.

También para estimar la memoria necesaria se puede utilizar la fórmula siguiente para calcular el número de palabras

3N_AN_b² + 500.000

donde N A es el número de átomos y N b el número de bases.

Si el problema admite la ejecución incore, es posible pasar el resultado de este cálculo al módulo de frecuencias a través del comando SFC=(InCore, pass), a costa de consumir más espacio en disco (del orden de Nb4/8).

Script g03mem

Mandar trabajos de Gaussian03 a cola de ejecución en los servidores de cálculo del CESGA supone realizar una estimación más o menos precisa de los recursos que ese trabajo va a consumir. Con este fin en la siguiente tabla se intenta resumir los puntos más importantes a considerar:

g03mem ficheiro_de_input

Este script calcula el número de bases y da una estimación de CPU/memoria/disco requeridos para la ejecución con diferentes algoritmos. Adicionalmente cuando encuentra la palabra clave freq dentro de la ruta del trabajo ejecuta la utilidad freqmem adecuadamente:

g03mem/opt/cesga/g03/tests/com/test135.com

Este script está en fase experimental y existen casos aún no soportados (oniom, force ...). Adicionalmente no es descartable la presencia de bugs por lo que si se encuentra algún comportamiento erróneo así como para cualquier sugerencia al respecto, por favor comuníquenoslo a .

Ejecución en paralelo

Como ya se dijo anteriormente, Gaussian 03 utiliza la tecnología OpenMP (única posibilidad existente en el CESGA) o memoria distribuida (es decir, varios procesos que no comparten memoria, a través de LINDA, no disponible en el CESGA). En la versión actual, entre los enlaces (links) paralelizados están:

En general, teniendo en cuenta esto, todos los cálculos de energía, gradientes y frecuencia a través de SCF (esto es, HF, DFT y CIS) junto con TD-DFT están paralelizados. Otros métodos, como Möller-Plesset, no mejoran suficientemente cuando se ejecuta con más de un procesador utilizando hilos, por lo que se desaconseja su uso en esos casos.

Para ejecutar Gaussian en paralelo, se ha de utilizar la nueva clave

%NprocShared

Por ejemplo, para la ejecución con cuatro hilos, se utilizará

%NProcShared=4

Es importante notar que para que esto sea eficiente y que cada hilo se pueda ejecutar de forma independiente en un procesador dedicado, es necesario solicitarlo también en la petición del trabajo a través de la directiva num_proc del comando qsub y que estos procesadores/hilos coincidan en el mismo nodo del servidor de cálculo. Si no se hiciera así, Gaussian crearía igualmente 4 hilos, compitiendo ellos mismos por el uso del procesador y por lo tanto degradando el rendimiento. Por este motivo, dependiendo de las limitaciones del servidor de cálculo utilizado el número de procesadores/hilos máximo está limitado según esta tabla:

Fig. 4: Tiempos de cálculo para un problema DFT y HF directo e incore. El escalado se define como la razón entre el tiempo consumido para 1 procesador dividido entre el tiempo para n procesadores. La eficiencia es el escalado dividido por el número de procesadores.

 En la figura 4 se puede ver el comportamiento paralelo de dos métodos de uso habitual. Se puede observar que en ambos casos se reduce en tiempo de cálculo, mejorando sensiblemente en el caso directo, alcanzando para cuatro procesadores un rendimiento casi idéntico. Existe una dependencia entre la eficiencia de la paralelización con el número de bases (en realidad con el número de primitivas); a mayor número de bases, mejor eficiencia de la paralelización. Esto es debido a que el programa está más fracción del tiempo ejecutando zonas de código paralelizadas. 

-v COPIA=$HOME/destino

De este modo, la copia de los ficheros del directorio temporal se realizará al finalizar el trabajo de forma inesperada. Por ejemplo, supongamos que se envía el trabajo siguiente:

#p rhf/6-311g* opt freq test geom=modela scf=direct
water with restart

0,1

o h h

con las siguientes opciones de qsub

qsub -l num_proc=1,s_rt=00:00:03

,s_vmem=500M,h_fsize=1G -cwd -v COPIA=$PWD -o 1.log -e 1.er

Una vez pasados tres segundos de ejecución (tiempo límite marcado en la petición), el trabajo abortaría en el link en donde se está ejecutando de forma abrupta. Al haber solicitado la copia de los ficheros generados en el scratch, se tendrá en el directorio de envío los siguientes ficheros:

total 38658

drwxr-xr-x 2 agomez cesga 1024 Oct 6 13:39 .

drwxr-xr-x 32 agomez cesga 2048 Sep 29 11:45 .

-rw-r--r-- 1 agomez cesga 107 Oct 6 13:38 1.com

-rw-r--r-- 1 agomez cesga 0 Oct 6 13:39 1.err

-rw-r--r-- 1 agomez cesga 27571 Oct 6 13:39 1.log

-rw------- 1 agomez cesga 111 Oct 6 13:38 Gau-7855.inp

-rw------- 1 agomez cesga 532480 Oct 6 13:38 Gau-7860.chk

-rw------- 1 agomez cesga 0 Oct 6 13:38 Gau-7860.d2e

-rw------- 1 agomez cesga 0 Oct 6 13:38 Gau-7860.int

-rw------- 1 agomez cesga 18653184 Oct 6 13:38 Gau-7860.rwf

-rw------- 1 agomez cesga 532480 Oct 6 13:38 Gau-7860.scr

Para rearrancar el trabajo , hay que indicar a Gaussian que utilizamos el fichero RWF correspondiente, para el cual se definirá el siguiente fichero de comandos de Gaussian:

%rwf=Gau-7860
#p restart

Relanzando el trabajo con esta opción, Gaussian continuará a partir del último link que se haya ejecutado completamente antes de la interrupción. Por ejemplo, en el caso de ejemplo, el último link ejecutado en el primer envío era el l301.exe, estando en ejecución el l302. Al rearrancar, Gaussian reinicia en el link l302 que no había terminado.

En el caso de por cualquier motivo no se disponga del fichero rwf y sí el fichero de checkpoint es posible reiniciar los trabajos de forma bastante simple. Por ejemplo si el trabajo es el siguiente: 

%Chk=h2ou2
%mem=12mw
#P HF/6-31g OPT
hooh hf optimization
0 1
...

El trabajo de reinicio sería:

%Chk=h2ou2
%mem=12mw
#P HF/6-31g OPT

En la tabla siguiente se recogen distintas formas de reinicio disponiendo del fichero de checkpoint según el tipo de cálculo:

Recomendaciones

Con los resultados previos, se pueden obtener las siguientes conclusiones:

1. Para cálculos HF, DFT, TD-DFT y CIS, si la memoria necesaria para hacer el cálculo utilizando el método InCore es inferior o igual a 16GB (aunque G03 pueda utilizar más, ya que no existe la limitación que había en G98), intente utilizar este método. Si además es posible paralelizar el cálculo, calcule el número de procesadores como la razón entre la memoria necesaria en GB dividida por 4, con un límite de 4 CPUs para Incore. Tenga en cuenta que cuantos más procesadores solicite, el tiempo de espera para ejecutar el trabajo se incrementa, ya que es necesario que estén disponibles al mismo tiempo.

2. No utilice varios procesadores para métodos combinados como G3 o para cálculos Möller-Plesset, ya que la ganancia es insignificante (si necesita hacer cálculos MP en paralelo, evalúe la posibilidad de utilizar otros programas, como NWCHEM, que sí tienen paralelizada esta opción).

3. Al enviar el trabajo a cola, asegúrese de seleccionar los parámetros adecuados. En la opción s_vmem del comando qsub, incluya la memoria que haya calculado más 200MB (para el código del programa).

4. Si su problema necesita más de 16GB para calcular utilizando el método Incore, compruebe si es paralelizable y utilice preferentemente esta opción con un cálculo directo.

5. Intente enviar siempre la ejecución con la opción de copia de ficheros. En caso de que el trabajo funcione correctamente no obtendrá ninguna salida adicional, ya que Gaussian elimina los ficheros temporales cuando termina correctamente mientras que si termina de forma incorrecta, podrá reiniciar el trabajo desde el último link ejecutado correctamente. 

Citación

La versión actualizada de la cita para el programa puede ser consultada en:http://www.gaussian.com/citation.htm

Asistencia

En cualquier caso, si tiene cualquier duda o sugestión, no dude en contactar con nosotros a través de .

Referencias

• C.P. Eslamiada et.ó. "Gaussian Performance Using AIX Large Pages"
• C.P. Eslamiada et. ó. "Some Practical Suggestions for Performing Gaussian Benchmarks on a pSeries 690 System"
• C.P.Eslamiada et. ó. "Gaussian Tutoral: Estimating Resource Requirements"
• Notur Advance User Group: "Gaussian In-Depth Performance Analyse"