跳到主要内容

4.8 使用集群计算

在数据量较大的时候，单机计算往往会重建失败或者重建效率很低，这时候可以通过建立集群来将计算任务分摊到多个计算设备上并行处理，来提高大数据量的重建效率。

搭建集群环境​

硬件部分：

  • N（N > 1）个计算节点，位于同一局域网内，相互之间可访问，每个计算节点的要求与软件要求相同
  • 网络带宽大于1000Mbps，建议使用10Gbps及以上网络
  • 统一的存储空间，可以被N个计算节点访问，推荐使用固态硬盘组成存储阵列，存储空间大小可根据任务需要确定 软件部分：
  • MipMap Desktop软件，安装在集群主节点上，负责任务的创建、管理、分发、进度查看、成果查看等。
  • MipMap Cluster软件，集群软件，安装在集群主节点上，一般与MipMap Desktop软件在同一个节点，负责集群任务的调度和节点管理。
  • MipMap Node软件，节点软件，安装在集群的子节点上，负责处理集群分发过来的任务。

集群License绑定​

集群功能使用集群版License绑定，在主节点的MipMap Desktop软件上输入集群License绑定，绑定成功后按如下操作： （1）在主节点打开Virbox用户工具，点击【服务设置】，在服务模式选择【客户端/服务器模式】

（2）在服务器设置列表，添加服务器信息，ip地址填写本机ip，端口为10334。然后点击【保存&重启】】

（3）添加成功后，即可在【云/软锁】-【本地软锁】出现本地的计算机名。
（4）在子节点打开virbox用户工具，点击【服务设置】，在服务模式处设置【客户端模式】，刷新服务器可以看到主节点的服务器信息，点击保存&重启。【一般默认即是客户端模式，此步骤可不用做】

启动集群服务​

打开MipMap Cluster【主节点】和MipMap Node【子节点】软件，服务会自动启动，启动以后如下图所示，如果服务未正常启动，请关闭软件后重新打开。 子节点：

主节点：

工作目录设置​

  • 设置任务的工作目录 软件的工作目录是存放工程成果的地方，需要确保该目录所在的磁盘空间足够，并且该目录的路径可以被所有节点访问，任务的工作目录可以是一个映射的网络驱动器或者一个网络路径，建议使用网络存储服务器（NAS）。 照片所在的目录跟工作目录一样需要使用网络驱动器或者网络路径，使用网络驱动器时需要确保所有节点上的盘符与主节点保持一致。 windows电脑配置方式可参考 8.2 集群工作目录配置方法
  • 设置节点的工作目录 点击右上角的设置按钮，打开参数设置面板，可以在该面板设置集群的工作目录。集群的工作目录主要存放该节点的任务中间成果文件以及日志信息。

创建集群任务​

  • 在MipMap Cluster软件中添加子节点 点击面板"添加节点"按钮，在弹出的对话框中输入子节点服务的名称和IP地址，点击确定。

  • 创建集群任务 通过MipMap软件创建任务，设置好重建参数，并在"计算模式"设置面板选择"集群计算"，并点击开始重建。

注意：选择任务照片时，照片的路径跟工作目录一样需要被所有节点访问，可以选择一个挂载的网络驱动器或者网络路径上的照片。