Indexado em
  • Banco de Dados de Periódicos Acadêmicos
  • Abra o Portão J
  • Genamics JournalSeek
  • JournalTOCs
  • Bíblia de pesquisa
  • Diretório de Periódicos de Ulrich
  • Biblioteca de periódicos eletrônicos
  • RefSeek
  • Universidade de Hamdard
  • EBSCO AZ
  • OCLC- WorldCat
  • Scholarsteer
  • Catálogo online SWB
  • Biblioteca Virtual de Biologia (vifabio)
  • publons
  • MIAR
  • Fundação de Genebra para Educação e Pesquisa Médica
  • Euro Pub
  • Google Scholar
Compartilhe esta página
Folheto de jornal
Flyer image

Abstrato

Fluxo de trabalho orientado para nós (NOW): uma ferramenta de gestão de fluxo de trabalho de modelo de comando para pipelines de análise de dados de alto rendimento

 Eric B. Lipsky, Brian R. King, Gerard Tromp

Os sistemas de sequenciação de nova geração (NGS) produzem grandes quantidades de dados que requerem substanciais recursos computacionais para tarefas típicas de análise. Além disso, os dados gerados por diferentes sistemas NGS não são homogéneos. Além disso, existe um número esmagador de ferramentas disponíveis para a execução de tarefas típicas. A gestão de fluxos de trabalho NGS envolve a escrita de scripts personalizados que crescem rapidamente em complexidade, resultando muitas vezes em fluxos de trabalho pesados ​​que subutilizam os recursos típicos de computação de alto desempenho e aumentam as exigências da equipa que gere esses fluxos de trabalho. Apresentamos o Node-Oriented Workflow (NOW), um motor de workflow de modelo de comando dinâmico para sistemas de computação distribuída (HPC) de alto desempenho. O nosso sistema fornece um front-end baseado num browser simples de utilizar para conceber e gerir fluxos de trabalho complexos. Os fluxos de trabalho são configurados utilizando uma interface de browser simples e geridos pelo motor de trabalho integrado, que inicializa os nós, monitoriza o estado dos nós e processa os resultados de trabalhos individuais entre nós numa configuração HPC. Reduzimos o excesso de mensagens em nós, colocando a responsabilidade sobre os nós para iniciar tarefas num fluxo de trabalho quando as dependências são atendidas, ou seja, fluxo de trabalho orientado para nós. O nosso sistema foi concebido para o processamento NGS no ambiente de investigação clínica, enfatizando a simplicidade do utilizador, a escalabilidade da ferramenta, a minimização da redundância nos fluxos de trabalho e, ao mesmo tempo, maximizando o rendimento num ambiente HPC. Além disso, o NOW não está restrito à gestão de pipeline NGS, mas pode ser utilizado para gerir qualquer pipeline computacional.

Isenção de responsabilidade: Este resumo foi traduzido usando ferramentas de inteligência artificial e ainda não foi revisado ou verificado