曙光作业管理-调度系统安装配置手册

  • 格式:doc
  • 大小:112.64 KB
  • 文档页数:9

下载文档原格式

  / 23
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

Torque + Maui配置手册之抛砖引玉篇

本文将以应用于实际案例(南航理学院、复旦大学物理系、宁波气象局)中的作业调度系统为例,简单介绍一下免费开源又好用的Torque+Maui如何在曙光服务器上进行安装和配置,以及针对用户特定需求的常用调度策略的设定情况,以便可以起到抛砖引玉的作用,使更多的人关注MAUI这个功能强大的集群调度器(后期将推出SGE+MAUI版本)。本文中的涉及的软件版本Torque 版本:2.1.7 maui版本:3.2.6p17。

1. 集群资源管理器Torque

1.1.从源代码安装Torque

其中pbs_server安装在node33上,TORQUE有两个主要的可执行文件,一个是主节点上的pbs_server,一个是计算节点上的pbs_mom,机群中每一个计算节点(node1~node16)都有一个pbs_mom负责与pbs_server通信,告诉pbs_server该节点上的可用资源数以及作业的状态。机群的NFS共享存储位置为/home,所有用户目录都在该目录下。

1.1.1.解压源文件包

在共享目录下解压缩torque

# tar -zxf torque-2.1.17.tar.gz

假设解压的文件夹名字为: /home/dawning/torque-2.1.7

1.1.

2.编译设置

#./configure --enable-docs --with-scp --enable-syslog

其中,

默认情况下,TORQUE将可执行文件安装在/usr/local/bin和/usr/local/sbin下。其余的配置文件将安装在/var/spool/torque下

默认情况下,TORQUE不安装管理员手册,这里指定要安装。

默认情况下,TORQUE使用rcp来copy数据文件,官方强烈推荐使用scp,所以这里设定--with-scp.

默认情况下,TORQUE不允许使用syslog,我们这里使用syslog。

1.1.3.编译安装

# make

# make install

Server端安装设置:

在torque的安装源文件根目录中,执行

#./torque.setup root

以root作为torque的管理员账号创建作业队列。

计算节点(Client端)的安装:

由于计算节点节点系统相同,因而可以用如下SHELL script (脚本名字为torque.install.sh)在

其余计算节点上安装:

创建torque.install.sh脚本

#vi torque.install.sh

#!/bin/sh

cd /home/dawning/torque-2.1.7

make install

使用如下命令:npssh -on node1..32 sh /home/dawning/torque.install.sh 将在每个节点上安装TORQUE。

1.1.4.TORQUE配置

1.1.4.1 在计算节点上配置TORQUE:

在每个计算节点,必须配置MOM daemon信任pbs_server daemon,可以通过编辑/var/spool/torque/server_name来实现,把node33写入该文件即可。

#cat /var/spool/torque/server_name

node33

其余的配置参数写入/var/spool/torque/mom_priv/config 文件。

配置计算节点的数据管理,数据管理允许作业的数据在计算节点和PBS_Server之间传递。对于共享文件系统,如NFS,可以通过在mom_priv/config 中用$usecp参数来指定如何映射用户的根目录。

$usecp *:/home /home

这里集群的mom_priv/config内容如下:

# MOM server configuration file

# if more than one value, separate

## rule is defined by the name

## host allowed to connect to mom server on privileged port

# note: IP address of host running pbs_server it by comma.

$pbsserver 10.0.68.33

$clienthost node33

#ideal processor load and max processor load

$ideal_load 7

$max_load 8

## host allowed to connect to Mom server on unprivileged port

#Specifies hosts which can be trusted to access mom services as non-root.

#By default, no hosts are trusted to access mom services as non-root.

$restricted *.node33

## Log event :

# 0x1ff : log all events + debug events

# 0x0ff : just all events

$logevent 0x0ff