Руководство пользователя кластерной ВС Jet

1. Подключение к кластеру

Доступ к кластеру (управляющему узлу) осуществляется по протоколу SSH. Адрес управляющего узла: jet.cpct.sibsutis.ru, порт 22.

Для пользователей операционных систем семейства Microsoft Windows рекомендуется использовать программу PuTTY.
Пример подключения к кластеру из операционной системы GNU/Linux:
$ ssh username@jet.cpct.sibsutis.ru
Для копирования файлов с/на кластер используется протокол SCP.
Пример копирования файла на кластер:
$ scp ~/code/src.c username@jet.cpct.sibsutis.ru:~/dest
Пример копирования файла с кластера:
$ scp username@jet.cpct.sibsutis.ru:~/data/src.c ~/home/dest

Также для копирования файлов на кластер и с кластера можно использовать Midnight Commander. Для этого необходимо выбрать пункт Shell link в меню Left или Right, затем ввести username@jet.cpct.sibsutis.ru в диалоговом окне. После этого в одной из панелей появится домашний каталог пользователя username на кластере.

2. Управление учетной записью

2.1. Изменение пароля

Для изменения пароля используйте команду passwd. Выполните команду passwd и введите текущий пароль (current, при вводе пароль не отображается). Затем введите новый пароль (New password). Повторно введите новый пароль (Retype new password). 

$ passwd
Changing password for user ivanov.
Changing password for ivanov.
(current) UNIX password: 
New password: 
Retype new password: 
passwd: all authentication tokens updated successfully.

2.2. Дисковые квоты

Для просмотра дисковых квот используйте команду quota.

3. Компиляция и сборка последовательных программ

На кластере установлены компиляторы трех производителей: проекта GNU, компаний Intel.

Сборка C-программы: 

$ gcc –o prog ./prog.c

Сборка FORTRAN-программы: 

$ gfortran –o prog ./prog.f

4. Компиляция и сборка OpenMP-программ

Сборка C-программы: 

$ gcc –fopenmp –o prog ./prog.c

Сборка FROTRAN-программы: 

$ gfortran –fopenmp –o prog ./prog.f

5. Компиляция и сборка MPI-программ

Для компиляции и сборки MPI-программ служат команды mpicc, mpicxx, mpif77, mpif90.

Ниже приведен пример сборки C-программы. 

$ mpicc –o mpiprog ./mpiprog.c

Пример сборки C++-программы. 

$ mpicxx –o mpiprog ./mpiprog.cpp

Пример сборки Fortran-программы. 

$ mpif90 –o mpiprog ./mpiprog.f

6. Система пакетной обработки заданий

6.1. Общие сведения и основные команды

На кластере Jet установлена система пакетной обработки заданий TORQUE. Для запуска программы через систему пакетной обработки заданий необходимо подготовить паспорт задачи – файл, в котором указываются ресурсы, требуемые для выполнения программы.

Основные команды:
pbsnodes – выводит информацию о состоянии вычислительных узлов;
qsub – ставит задачу в очередь;
qstat – отображает состояние очереди и список задач в ней;
qdel – удаляет задачу из очереди;
qalter – позволяет модифицировать параметры задачи, поставленной в очередь;

Для запуска параллельных программ настроены две очереди задач: debug и release. Для каждой очереди заданы ограничения на время выполнения программ на ресурсах системы:
– очередь debug – 20 минут;
– очередь release – 10 суток.
Очередь по умолчанию – debug.

6.2. Запуск OpenMP-программ

Для запуска OpenMP-программы на кластере через систему очередей, необходимо подготовить паспорт задачи – файл, в котором указать ресурсы необходимые для ее выполнения программы (по умолчанию программа направляется в очередь debug). Для запуска программы необходимо подготовить файл с заданием. Ниже приведен пример такого файла с именем omp.job. 

 $ cat ./omp.job 
 #PBS -N myomptask
 #PBS -l nodes=1:ppn=8
 #PBS -j oe

 cd $PBS_O_WORKDIR
 export OMP_NUM_THREADS=6
 ./openmp_prog

Для постановки задания в очередь используется команда qsub. 

$ qsub ./omp.job

По завершению работы программы в текущем каталоге будет создан файл с сообщениями, выводимыми во время ее выполнения. Имя файла будет содержать название задания (например, myomptask.o234) и суффикс oN, где N –порядковый номер задания, выделенный ему системой очередей.

6.3. Запуск MPI-программ

Для запуска программы необходимо подготовить файл с заданием. Ниже приведен пример запуск 16 процессов MPI-программы (по 8 процессов на каждом узле). 

 $ cat ./mpiprog.job
 #PBS -N mpiprog
 #PBS -l nodes=2:ppn=8
 #PBS -j oe

 cd $PBS_O_WORKDIR
 mpiexec ./mpiprog

Для постановки задания в очередь используется команда qsub. 

$ qsub ./mpiprog.job

По завершению работы программы в текущем каталоге будет создан файл с сообщениями, выводимыми во время ее выполнения. Имя файла будет содержать название задания (например, mpiprog.o434) и суффикс oN, где N –порядковый номер задания, выделенный ему системой очередей. Для просмотра очереди задач служит команда qstat. Пример задания для запуска двух ветвей MPI-программ - на узлах cn1 и cn2. 

 $ cat ./mpiprog-serv.job
 #PBS -N mpiprog-test
 #PBS -l nodes=cn1:ppn=1+cn2:ppn=1
 #PBS -j oe

 cd $PBS_O_WORKDIR
 mpiexec ./mpiprog

6.4. Постановка задач в очередь release

Для постановки задачи в очередь release, необходимо в файле задания указать опцию: #PBS –q release Ниже приведен пример запуск 64 процессов MPI-программы (по 8 процессов на каждом узле). 

 $ cat ./mpiprog.job
 #PBS -N mpiprog
 #PBS –q release
 #PBS -l nodes=8:ppn=8
 #PBS -j oe

 cd $PBS_O_WORKDIR
 mpiexec ./mpiprog

7. Инструкции по использованию языка параллельного программирования Cray Chapel

8. Инструкции по использованию языка параллельного программирования IBM X10

9. Инструкции по доступу к вычислительному узлу с GPU NVIDIA GTX 680 (Kepler)

Ссылки

1. Dual-Core Intel® Xeon® Processor 5100 Series // http://ark.intel.com/ru/products/series/23692/Intel-Xeon-Processor-5100-Series#@All
2. Message Passing Interface Forum // http://www.mpi-forum.org/
3. OpenMP // http://www.openmp.org
4. PuTTY // http://www.chiark.greenend.org.uk/~sgtatham/putty/
5. WinSCP // http://winscp.net/eng/docs/lang:ru
6. Midnight Commander // https://www.midnight-commander.org
7. TORQUE Resource Manager // http://www.adaptivecomputing.com/products/open-source/torque/

Последнее изменение: October 17, 2015, at 12:39 PM editor