Manual de utilização do ambiente de processamento paralelo do LAD

O presente documento tem como objetivo orientar e instruir os usuários do Laboratório de Alto Desempenho da PUCRS, do PUCRS Ideia, sobre a utilização do laboratório.
Em caso de dúvidas, pode entrar em contato via e-mail: contato.lad@pucrs.br ou suporte.lad@pucrs.br.

5.3. Uso e Instalação do Miniconda

O Conda é uma ferramenta poderosa para gerenciar ambientes e pacotes em Python, facilitando a instalação e a gestão de bibliotecas e dependências. Ele é especialmente útil em ambientes de computação de alto desempenho, como clusters, onde diferentes projetos podem requerer diferentes versões de bibliotecas Python e suas dependências.

Relação com o Python

Embora o Conda possa gerenciar pacotes para qualquer linguagem de programação, ele é frequentemente utilizado com Python devido à sua extensa biblioteca de pacotes científicos e de dados. Com o Conda, é possível criar ambientes isolados que contêm versões específicas do Python e de outras bibliotecas, garantindo que um projeto funcione consistentemente, independentemente das configurações globais do sistema.

Instalando o Miniconda

Documentação: https://docs.anaconda.com/free/miniconda/

Este comando cria um diretório chamado “miniconda3” dentro do diretório home (~) do usuário. O argumento -p faz com que o comando crie também quaisquer diretórios intermediários que ainda não existam.

$ mkdir -p ~/miniconda3


Este comando baixa o instalador do Miniconda e o salva como miniconda.sh no diretório ~/miniconda3. O argumento -O especifica o nome do arquivo de saída.

$ wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh


Este comando executa o script de instalação do Miniconda (miniconda.sh) usando o bash. Os argumentos -b, -u e -p são opções para o script de instalação, onde:

  • -b indica a instalação sem interação do usuário.
  • -u atualiza o Miniconda caso uma versão mais recente já esteja instalada.
  • -p ~/miniconda3 especifica o diretório de instalação do Miniconda como ~/miniconda3.
$ bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3


Este comando remove o arquivo miniconda.sh do diretório ~/miniconda3. O argumento -rf força a remoção recursiva do arquivo, sem solicitar confirmação do usuário.

$ rm -rf ~/miniconda3/miniconda.sh


Por fim, inicializa o conda. Talvez seja necessário reiniciar a sessão.

$ ~/miniconda3/bin/conda init bash


Caso se depare com erro em alguma alocação, como se o Slurm não encontrasse o Miniconda:

  • Vamos criar um script.sh para organizar as variáveis de ambiente do Miniconda dentro do nó de alocação (semelhante ao que o conda init bash executa no .bashrc)

Crie um script.sh:

$ nano script.sh


Edite o script.sh, substituindo <username> pelo seu nome de usuário no LAD:

#!/bin/bash

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/home/<username>/miniconda3/bin/conda' 'shell.bash' 'hoo' 'hook' 2> /dev/null)"

if [ $? -eq 0 ]; then
  eval "$__conda_setup"
else
  if [ -f "/home/<username>/miniconda3/etc/profile.d/conda.sh" ]; then
    . "/home/<username>/miniconda3/etc/profile.d/conda.sh"
  else
    export PATH="/home/<username>/miniconda3/bin:$PATH"
  fi
fi

unset __conda_setup
# <<< conda initialize <<<


Toda vez que executarmos uma aplicação em uma sessão interativa ou em um arquivo sbatch vamos organizar as variáveis do Miniconda nos nós da seguinte forma:

$ source /home/<username>/script.sh


Como usar o Conda

O Conda possui uma série de comandos úteis para gerenciar ambientes e pacotes. Aqui estão alguns dos comandos básicos mais comuns:

Criar um novo ambiente:

$ conda create --name meuambiente


Ativar um ambiente:

$ conda activate meuambiente


Desativar um ambiente:

$ conda deactivate


Instalar um pacote:

$ conda install numpy


Atualizar um pacote:

$ conda update numpy


Listar pacotes instalados:

$ conda list
 |