基因组学和蛋白质组学数据挖掘杂志

抽象的

面向节点的工作流 (NOW)：用于高通量数据分析管道的命令模板工作流管理工具

 Eric B. Lipsky、Brian R. King、Gerard Tromp

下一代测序（NGS）系统会产生大量数据，需要大量 计算资源用于典型的分析任务。此外，不同 NGS 系统生成的数据并不均匀。此外，有太多工具可用于执行典型任务。管理 NGS 工作流程涉及编写自定义脚本，这些脚本的复杂性迅速增加，通常会导致笨拙的工作流程，无法充分利用典型的高性能计算资源，并增加管理这些工作流程的工作人员的需求。我们提出了面向节点的工作流程 (NOW)，这是一种用于高性能分布式计算 (HPC) 系统的动态命令模板工作流程引擎。我们的系统提供了一个易于使用的基于浏览器的前端，用于设计和管理复杂的工作流程。工作流程使用简单的浏览器界面进行配置，并由集成作业引擎管理，该引擎初始化节点、监视节点状态并处理 HPC 配置中跨节点的各个作业的结果。我们减少了跨节点的过多消息传递 通过将负担放在节点上，在满足依赖关系时启动工作流中的任务，即面向节点的工作流，来实现节点的自动化。我们的系统专为临床研究环境中的 NGS 处理而设计，强调用户简单性、工具可扩展性、最小化工作流中的冗余，同时最大化 HPC 环境中的吞吐量。此外，NOW 不仅限于 NGS 管道管理，还可用于管理任何计算管道。