Atividades de Planejamento

• Planejamento estratégico
• Cronograma de entregas e eventos 2024
• Elaboração de material introdutório e atividades de Onboarding do time de bolsistas CNPq — reuniões de planejamento e sessões online de atividades hands-on 
• Organização dos projetos e subprojetos de software no Github Projects
• Elaboração de modelos de documentos de planejamento de projetos de software e de design e requisitos para produtos de software 
• Início do preenchimento de documentos de design e requisitos a partir de entrevistas com stakeholders 
• Organização de reuniões semanais de acompanhamento dos projetos com o time de bolsistas  

Atividades de operação e gerenciamento de infraestrutura computacional.

• Implementado dashboard para monitoramento do servidor de aplicação da aplicação SolarSystem.
• Ajustes foram realizados no dashboard usuários LIneA no Grafana.
• Foram criadas contas e configurados os acessos dos bolsistas do INCT. 

Descrição de serviços Melhorias nas plataformas científicas:

CANVAS

• Início Setup Backend e configurações básicas do repositório.

Photo-z Server

• Correção de bug na library pz-server – atualização de dependências
• Correção de link na página de tutoriais. 
• Ocultação da barra de rolagem 
• Adicionado menu de navegação com caminho completo das páginas
• Disponibilização de QA notebooks de exemplo na documentação da biblioteca pzserver 

Orchestration

• Iniciado o desenvolvimento da orchestration.

Photo-z Compute

• Testes com algoritmo TPZ em amostras reduzidas 
• Testes iniciais de execução de notebooks no ambiente HPC usando a platatorma OnDemand 

Portal SSO

• Preparação do portal para release público 
• Diversas correções de bugs
• Refactoring do ambiente de dev/produção para facilitar o deploy
• Refactoring no frontend da página pública. 
• Implementação de interfaces compatíveis com dispositivos móveis. 
• Melhorias no Formulário de filtro. 
• Funções para calcular parâmetros adicionais no pipeline de predição
• Criação de Documentação de usuário. 
• Criação de Documentação da API. 
• Controle de proveniência das predições de ocultações
• Design das telas do futuro serviço de subscrição 
• Implementação de endpoints para serviço de subscrição

Science Server

• Userquery/Daiquiri Autenticação com Shibboleth/Login federado foi finalizada.
• Remoção das páginas antigas de sign up
• Implementação de devcontainer no repositório do daiquiri 

Comunicação, Divulgação e Educação:

• Notícias:
  • Aniversário da Associação LIneA
  • Resumo da chamada pública para as bolsas do INCT do e-Unvierso
  • Boas-vindas aos novos bolsistas
  • Lançamento do vídeo IDAC
• Bolsas INCT
  • Slides de onboarding
  • Boas-vindas aos novos bolsistas (1/03)
  • Mapeamento das inscrições para notícias
• Projeto FINEP
  • Informações dos pesquisadores
  • Informações das instituições
  • Informações equipe técnica
• Organização das informações dos membros INCT e BPG
• Solicitação de teses e dissertações aos pesquisadores do BPG
• Planilhas: membros INCT e BPG para o site
• Declaração Gustavo
• Vídeo INCT: colaboração no desenvolvimento do roteiro
• LSST LATAM: informe de pré inscrição 
• Bolsistas CDE
  • Retorno dos e-mails com dúvidas
  • Encontros semanais de até 1h para alinhamento das atividades
  • Elaboração dos planos de trabalho por área

Divulgação Científica:

• Especial mês das mulheres (uma postagem por semana homenageando astrônomas relevantes para a área)
• Equinócio de outono (20/03)
• Eclipse da Lua (25/03)

Relações Públicas:

• Mapeamento das notícias envolvendo o LSST (jornais)
• Mapeamento das universidades dos PIs BPG
• Notícia sobre o dia mundial da astronomia (gancho para abordar o lsst, bpg e o linea) para enviar aos jornais
• Textos:
  • LSST América Latina
  • vídeo IDAC
  • site institucional

Minicurso: 

• Desenvolvimento do minicurso “Fundamentos de programação para python”
  • Slides, exercícios e gabarito
• Validação do curso (25/03)
• Cronograma para aplicação do minicurso

Site:

• Revisão do site -dev
• Issues no github
• Handover técnico (ajustes pedidos, planilha automatizadas e publicação)
• Solicitação da criação da pág “publicações”
• Teses e dissertações planilhadas e atualizadas no site atual
• Planilhar publicações de 2022 e ajustar erros no site
• Planilhar e atualizar publicações de 2023 e 2024

Atividades de Planejamento

• Continuação do processo de avaliação das candidaturas dos bolsistas técnicos para atuar nos projetos de desenvolvimento de software, infraestrutura, divulgação científica e educação. 

Atividades de operação e gerenciamento de infraestrutura computacional.

• Foi realizada visita ao datacenter (LNCC) para manutenção corretiva da solução de armazenamento HPC Lustre. Foram realizados diversos testes de performance com o apoio do suporte Dell a fim de identificar o problema de performance.
• Foi iniciada a avaliação da aplicação Apache-Nifi incluindo a implementação de infraestrutura virtual para o desenvolvimento de um protótipo de pipeline básico com o objetivo de automatizar a transferência de dados na rede interna do IDAC/BR;
• Foram realizados avanços no projeto de reestruturação do COManage com diversos problemas corrigidos entre eles a captura de atributos e a atualização da versão da aplicação. Ainda em andamento.
• Foi registrado na plataforma de importação do CNPq o pedido de importação via FOB do novo roteador de borda que foi negociado com a Binário/Juniper.
• Realizada aplicações de patches de segurança em diversos servidores para corrigir problemas de vulnerabilidades;
• Foi realizada a atualização completa da plataforma wordpress que hospeda o website.

Descrição de serviços Melhorias nas plataformas científicas:

TNO

• Finalizada a integração do pipeline Predict occultation em ambiente docker/cluster;

• Criado script para deploy o pipeline Predict occultation;
• Atualização da lista de asteroides utilizando dados do MPC de forma automatizada.
• Refactoring da página pública, para compatibilidade em diversos tamanhos de tela.
• Pipeline foi atualizado para que a etapa de cálculo do path coeff seja executada em paralelo. 
• Novos atributos científicos foram calculados/adicionados aos resultados do pipeline.
• Melhorias no processo de deploy/instalação do portal e pipeline.
• Todos os campos das tabelas asteroide e predição foram revisados.
• Adicionado página de documentação utilizando documentos Markdown.
• Pipeline teve suas dependências atualizadas saindo de python 2.x para python 3.x.
•  Programa de geração de datas para as ephemerides passou a ser executado uma única vez por job ao invés de ser executado para cada asteroide.
• O devcontainer foi revisado e o processo de onboard no projeto foi facilitado.
• Foi implementado pipelines de CI para validação e formatação dos scripts python. 
• Está sendo implementado pipeline CI para validação e formatação do frontend Javascript. 

Photo-z Server

• Criado pipeline de exemplo usando LSDB;
• Realizado estudo de como utilizar o SLURM em conjunto com Dask/Ray;

Photo-z Compute

• Finalizada a apresentação e entrega do relatório de testes de escalabilidade no cluster Apollo e validação da instalação do Slurm com atualização das previsões de duração das rodadas com os dados do LSST DR1, após upgrade na infraestrutura.     

Comunicação, Divulgação e Educação:

Notícias:

• Dia internacional das meninas e mulheres na ciência
• Workshop ESO
• Press release BAO-DES

Bolsas INCT do e-Universo:

• Entrevistas
• Organização dos selecionados
• Elaboração dos e-mail de devolutiva (aceitos, em espera, não selecionados)
• Desenvolvimento do plano de trabalho para cada área de atuação

Site:

• Migração para o github LIneA
• Handover

Lembrete das reuniões: 1) BPG situação política; 2) AGO presencial

Reunião presencial: AGO, hack session de software, handover site

Desenvolvimento do projeto para FINEP

Atividades de Planejamento

• Organização e execução de processo para avaliação das candidaturas dos bolsistas técnicos para atuar nos projetos de desenvolvimento de software, infraestrutura, divulgação científica e educação. 

Atividades de operação e gerenciamento de infraestrutura computacional.

• Foi realizada visita ao datacenter (LNCC) para executar manutenção preventiva em diversos servidores e equipamentos, entre eles servidores de aplicação e de virtualização, além da conferência das etiquetas de patrimônio;
• Foi realizado o mapeamento e o planilhamento de todos os ativos de TI sob a gestão do LIneA/INCT; a planilha foi compartilhada com o gerente do suporte de TI do LNCC Gisele Zukowski;
• Foi implementado novo quadro de monitoramento na ferramenta grafana para comparação de uso do Cluster Apollo e o sistema de arquivos Lustre.  
• Foi realizada a contratação do Felipe Cardoso para implementar melhorias no sistema de registro tendo sido desenvolvido um plano de trabalho com foco na correção dos problemas e na atualização da solução COManage.
• Foi definida pela diretoria do LIneA com apoio da equipe de TI e do suporte à e-Ciência da RNP a compra do roteador Juniper ACX7024 junto à Binário/Juniper.
• Foi organizado e realizado processo seletivo para a contratação de um novo analista de infraestrutura para compor o time de operações de TI. 
• Contratação pela empresa Infax e integração do novo analista de infraestrutura de TI pelo time LIneA.

Descrição de serviços Melhorias nas plataformas científicas:

TNO

• Finalizada a integração do pipeline Predict occultation em ambiente docker/cluster;
• Criado script para deploy o pipeline Predict occultation;

Photo-z Server

• Criado pipeline de exemplo usando LSDB;
• Realizado estudo de como utilizar o SLURM em conjunto com Dask/Ray;

Photo-z Compute

• Finalizada a apresentação e entrega do relatório de testes de escalabilidade no cluster Apollo e validação da instalação do Slurm com atualização das previsões de duração das rodadas com os dados do LSST DR1, após upgrade na infraestrutura.     

Comunicação, Divulgação e Educação:

Notícias:

• Press release DES
• Resultado da chamada pública CNPq para o BPG
• Pesquisadores brasileiros ganham posições de destaque no LSST-DESC

Bolsas INCT do e-Universo:

• Oferta para os juniores do BPG;
• Implementação dos JAs-BPG
  • CHAMADA PÚBLICA PARA BOLSAS DO INCT
    • Texto para chamada pública
    • Desenvolvimento da arte 
    • Desenvolvimento do edital
    • Lançamento do edital (17/01)
    • Organização das candidaturas
    • Resposta aos e-mail de dúvidas
    • Organização das áreas para entrevista dos candidatos
    • Realização de entrevistas

Press release DES:

• Tradução da notícia
• Revisão por pares
• Criação do design
• postagem nas redes sociais 
• Envio para as principais agências (SAB, CNPq, FINEP, ABC, RNP, FAPERJ)

Site:

• Revisão dos textos das chamadas
• Pedido de previsão de entrega
• Revisão geral do site

Declaração: Comprovante de orientação – Gustavo Rossi

Criação do Linktree para o LIneA

Contato com o pós-doc Douglas: envio do relatório final de atividades como bolsista

Atividades de Planejamento

Atividades de operação e gerenciamento de infraestrutura computacional.

• Foi realizada uma verificação dos servidores NC’s durante a visita ao LNCC, identificando aqueles em uso, com problemas e disponíveis para utilização.
• Relatório anual do LSST
• alteração da configuração da rede local do cluster
• implementação do dashboard de uso do cluster
• investigação sobre o problema no lustre
• planilha de inventário de equipamentos
• testes de performance no cluster apolo

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

LIneA Science Platform

• Correção de bugs no acesso ao Science Server (endereços gov.br remanescentes) 

Cutout Service

• Adequação dos parametros da API de cutout para estar em conformidade com o protocolo VO SODA. 
• Criação de container com ambiente com todas as dependências e serviços necessários para o Cutout service.
• Implementação de uma primeira versão funcional da ferramenta de cutout no modo síncrono. 
• Atualização da versão do Aladin.  

TNO

• Transferência de uma cópia completa do banco de dados do Minor Planet Center da Universidade de Maryland.  
• Implementação da autenticação do dashboard. 
• Implementação parcial do UWS, Service e Policy para controle dos jobs.
• Execução do pipeline do portal na versão que usa Slurm para alimentar a página de predições aberta ao público com valores corrigidos. 

Photo-z Server

• Criação e upload no PZ Server de conjunto de dados espectroscópicos simulados para serem usados em testes.  
• Finalização do documento de design do pipeline Training Set Maker, incluindo plano de testes. 
• Implementação de tratamento de erros para todas as requisições da API. 
• Atualização do ambiente de testes com nova versão do código. 

Photo-z Compute

• Implementação de melhorias no script de pré-processamento do catálogo de objetos visando compatibilidade com o particionador de dados hipscat_import 
• Realização de testes para verificação e validação da instalação do Slurm e novos benchmarks para comparação de desempenho após o upgrade do cluster Apollo. 

Portal MaNGA

• Sem atividades neste período.
  

Hips Image

• Solução do problema de incompletude no footprint e nova execução para criação das imagens HIPS em todas as bandas, para toda a área do DES DR2

Comunicação, Divulgação e Educação:

• Notícias:
  • Manutenção repositório SDSS
  • Reunião de acompanhamento dos INCTs (Faperj)
  • Diretor do LIneA visita o Rubin
  • Recesso final de ano 
  • Highlights da reunião CdU
  • LIneA na revista da SAB
  • Conquista para comunidade astronômica brasileira 
  • Boas festas!
• Site:
  • Revisão do site
  • Revisão dos textos
  • Wireframe enviado para desenvolvimento
• LIneA na mídia:
  • Faperj
  • ABC
• Atualização da lista de e-mails PIs e JAs do BPG
• Elaboração da Política de renovação das bolsas INCT
• Webinar: Henry (7/12)
• Vídeos internos (CA e CTC) no youtube
• Revisão da Política da Informação (CGSI)
• LIneA News 4º trimestre
• Press release DES: tradução.
• E-mail para os PIs informando sobre as bolsas INCT

Atividades de Planejamento

• Encontro presencial para organização da reunião do Comitê de Usuários.

Atividades de operação e gerenciamento de infraestrutura computacional.

• Implementado monitoramento de uso, em tempo real do Cluster Apollo.
• Realizado download dos catálogos de single exposure do Y6A1 para o grupo de TNO.
• Foi feita a configuração no Zabbix para monitorar a validade do certificado SSL do Jupyterhub, e implementado o monitoramento dos certificados do kubernetes.

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

LIneA Science Platform

• O Userquery (daiquiri) foi separado do Science Server e um novo ambiente de validação foi instalado. 
• Foi implementado no Userquery parte das funcionalidades necessárias para autenticação federada com SAML. 
• Testes de comparação do TAP service oferecido pelo LIneA com outros fornecedores (Casjobs Johns Hopkins University, Noirlab, CADC, SIMBAD, CDS, Vizier)
• Documentação sobre a criação de PTIFFs 

Cutout Service

• Foi iniciado o desenvolvimento do serviço de cutout, instalação das dependências (Django, Django Rest, Celery, etc…) foi criado ambiente de desenvolvimento com devcontainer. 
• Foi configurado as bibliotecas de test automatizado
• Foi configurado as bibliotecas de documentação. 
• O protótipo fornecido pelo Adriano foi alterado para atender as necessidades do serviço, permitindo paralelismo. 
• Foi iniciado o desenvolvimento da API Rest seguindo o padrão SODA sugerido pelo VO. 
• Foi implementado endpoint para cutouts do DES de forma síncrona nos formatos Fits e PNG.
• Foi implementado documentação e geração de schemas com OpenAPI.

TNO

• Adaptação do pipeline do portal TNO para substituição do escalonador de jobs (Condor → Slurm).  
• Melhorias diversas nos filtros da página de predições de ocultações (detahes: #734) 
• Criação de layout para a exibição dos highlights da predição e reorganização dos cards.
• Update versão do Aladin. Foi necessário criar um novo componente para receber as coordenadas dos objetos. 

Photo-z Server

• Desenvolvimento da interface que permite a edição dos metadados de um produto e alteração dos arquivos auxiliares.
• Desenvolvimento da tela de menu de pipelines. 
• Implementação de botões de navegação pelas páginas do site. 

Photo-z Compute

• Upgrade de versões de bibliotecas e correções no código para manter compatibilidade com as versões novas. 
•  

Portal MaNGA

• 
  

Hips Image

• Execução do pipeline de criação de HIPS nas imagens do DES DR2
• Investigação sobre incompletude no footprint  

Comunicação, Divulgação e Educação:

• Notícias:
  • Manutenção Cluster
  • Oferta do Jupyter Hub para instituições (anúncio na SAB e ABC)
  • Aviso do upgrade do banco de dados
  • Heloisa na sessão “spotlight” do novo site LSST Discovery Alliance
• Reunião Comitê de Usuários.
  • corte no vídeo da reunião
  • contribuição no relatório
  • envio de todo material (apresentação + vídeo da reunião) para os participantes
• Certificados SNCT
• Pull Requests para o docs.linea
• LineA na mídia (link) 
• Vídeo IDAC:
  • revisão (10/11)
  • revisão (17/11)
  • finalizado em 24/11
• Seleção de imagens:
  • Entrevista Nicolaci (SAB)
  • Matéria BPG (SAB)
• Pedido de suplementação CNPq (revisão)
• Participação na conferência de lançamento do site LSST Discovery Alliance
• Organização do webinar Dr. Henry (7/12)
• Organização do CSTI especial Dr. Reinaldo Rosa (24/11)

Atividades de Planejamento

• AGE

Atividades de operação e gerenciamento de infraestrutura computacional.

• testes no slurm
• upgrade do postgresql (banco de catálogos)
• replicação do banco de dados do MPC
• configuração de VLANs na rede em preparação para  instalação do Open OnDemand
• reunião do CAT
• relatório anual LSST

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

• Adição do Slurm do LIneA na configuração do Parsl;

LIneA Science Platform

TNO

• Adaptação da submissão do pipeline predict occultation para Slurm (+Parsl);
• Adaptação do sistema de monitoramento p/ Parsl;
• Adaptação da função abort task;
• Implementação de funções para calcular e armazenar o coeff path previamente.
• Refactoring na criação dos mapas utilizando celery
• Melhorias no filtro por posição utilizando os parâmetros do coeff path
• Correção de bugs na interface de predição. 

Photo-z Server

• Escrita de relatório anual para o LSST. 
• Planejamento para ano fiscal estadunidense 2024 (outubro 2023 a setembro 2024). 
• Atualização da página de documentação no github: https://linea-it.github.io/pz-lsst-inkind-doc/   

Photo-z Compute

• Execução de testes de integração com o Slurm do LIneA;
• Planejamento de atividades para contratação de serviço terceirizado de engenheiro de software em novembro.

Portal MaNGA

• 
  

Hips Image

• Criação de scripts de submissão slurm para o Hips Image; 

Comunicação, Divulgação e Educação:

• Vídeos institucionais:
  • Ajustes finais (imagens, textos e locução).
  • Envio para o videografista.
• Site:

• Alinhamento geral
• Resposta às pendências solicitadas pela empresa Colativo 
• Notícias:
  • Lançamento do vídeo institucional
  • Novo endereço do LIneA
  • 20ª SNCT 
  • Participação no PGDay
  • Atualização dos Apollos
  • Update IDAC Brasil
  • Highlights reunião IDAC
  • Importação do banco de dados
  • Participação do LIneA na 20ª SNCT

• Enquetes: organização de todas as enquetes em uma planilha para o site
• 20ª SNCT:
  • layout para divulgação
  • LIneA News para avisos
  • Anúncio na SAB
  • Formulário para certificado de presença
  • Suporte nas apresentações
• Assembleia Geral presencial (10/10)
• Novos JAs: envio do kit de boas-vindas
• Tradução do texto IDAC para o site
• Vídeo tutorial: portal MaNGA
• Revisão de textos “Projetos Científicos”

Atividades de Planejamento

• Continuação da preparação de relatórios trimestral (FY23 Q4) e anual (FY23) e os planos para o FY24 para as contribuições in-kind do LIneA  para o Rubin Observatory;

Atividades de operação e gerenciamento de infraestrutura computacional.

• Implementado quadro de monitoramento em tempo real com informações gerenciais sobre os perfis de usuários e suas instituições;
• Instalado e configurado no cluster apollo o gerenciador de filas de trabalho Slurm pela empresa VersatusHPC; foram configuradas diferentes filas e perfis para uso dos recursos computacionais;
• Adquirido junto à Laniaq, via CNPq, para o IDAC Brasil o primeiro servidor de banco de dados da Super Micro, com processador duplo e memória randômica de 512 gigabytes e capacidade de armazenamento bruto de 184 terabytes;
• Realizada pesquisa de preço junto à fabricante Cisco para o roteador e os switches visando a substituição dos atuais equipamentos da rede local;
• Contratada a Timbira, firma especializada em bancos de dados PostgreSQL, para realizar a atualização da atual versão do banco de dados de catálogos e implementar a replicação do banco de dados do  serviço Minor Planet Center (MPC) da Universidade de Maryland;
• Realizadas novas reuniões de alinhamento com o time de suporte de e-ciência da RNP e com a firma Laniaq para o refinamento da configuração do novo sistema de armazenamento de dados NAS para o IDAC com a capacidade inicial de 1.3 petabytes;
• Iniciada a preparação do relatório trimestral e anual do projeto IDAC Brasil para o Rubin Observatory (FY23 Q4);

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

• Foi adaptado o código para a avaliação de value added catalogs (VACs) para catálogos do DES produzidos para uso com o software Gawa;
• Iniciados testes de uso do código Gawa na novo gerenciador de filas de trabalhos Slurm no cluster de computadores;
• Implementadas melhorias nos códigos de avaliação de qualidade;

LIneA Science Platform

• Estudo/Análise da documentação IVOA para o serviço de cutouts.

TNO

• Avaliação dos resultados gerados pelo pipeline de predição.
• Atualização no pipeline de predição para ficar compatível com nova versão da API do JPL. 

Photo-z Server

• Integração com formato VOTable, já é possível importar um arquivo VOtable mas ainda falta tratar o mapeamento das colunas. 
• Realização de testes da ferramenta hipscat_import para particionamento dos dados com arquivos do DES DR2, LSST DP0.1 e DP0.2
• Preparação de notebook de caracterização e instruções de acesso a amostra de redshifts espectroscópicos. 
• Desenvolvimento da orchestration que fará a administração dos processos disparados por usuários e enviados ao cluster Apollo, em andamento. 
• Implementação da exibição do notebook de descrição dos dados de forma automática na página do data product, quando disponível, junto ao preview das primeiras linhas da tabela.  
• Correção de bugs e aplicação de regras de permissão diferentes para usuários comuns e administradores, em andamento. 
• Participação em reuniões semanais do LINCC   

Photo-z Compute

• Testes para validação da instalação do Slurm após expansão do cluster Apollo, em andamento.  

Portal MaNGA

• Update de dependências backend, para melhorar a segurança e estabilidade. 
• Refactoring da interface galaxies, melhora de performance no carregamento, correção de bugs e implementação de mudanças solicitadas após o lançamento da aplicação.
• Update da biblioteca de componentes material UI. 
• Troca do componente Datagrid para o Material UI datagrid.  
• Melhorias na landing page.
• Implementado algumas ferramentas de qualidade de código como pre-commit, commitzen para permitir um melhor controle do versionamento. 

Comunicação, Divulgação e Educação:

• Vídeos institucionais:
  • Alterações no storyboard (IDAC)
  • Sugestão de novas imagens (IDAC)
• Site:

• Revisão do material enviado pelo Colativo.
• Reunião de alinhamento.
• Revisão do material após alinhamento.
• Notícias:
  • Instalações Apollo (atualização)
  • Participação no WorCAP – INPE
  • DES meeting (NCSA)
  • Banco de dados
  • Divulgação do “Encontro Acadêmico e Modelagem Computacional”

• Educação
  • Convite para palestrantes (20ª SNCT)
  • Workshop INPE:
    • Apresentação de palestra sobre serviços prestados à comunidade
    • Oferecimento de minicurso de aplicações do Jupyter Notebook na astronomia 
  • Apresentação de palestra no evento PG Day RJ na Universidade São José  
• Enquetes
  • Preparação de enquetes sobre necessidades de utilização de dados com base no modelo de dados do LSST DP0.2 a ser enviada ao BPG-LSST. 

Atividades de Planejamento

• Preparação de relatórios trimestral (FY23 Q4) e anual (FY240 para o Rubin Observatory
• Planejamento e definição de requisitos para os projetos de software a serem desenvolvidos para o LSST
• Estudos  visando definição de orçamento para o próximo triênio
• Planejamento e definição de tarefas de colaboração com o LSST Interdisciplinary Network of Collaboration and Computing (LINCC)

Atividades de operação e gerenciamento de infraestrutura computacional.

• Iniciado o levantamento e a documentação de todos os ativos de TI para futuro registro na plataforma GLPI (Programa de Gerenciamento de Ativos de TI )
• Patches de segurança foram aplicadas  nos servidores de autenticação e de acesso ao ambiente e nos servidores web do LIneA;
• Realizada visita técnica ao datacenter no LNCC para ajustes no cabeamento das conexões da  rede infiniband;
• Realizada reunião de alinhamento técnico entre a equipe de TI do LIneA e de HPC da HPE para a implementação da parte lógica do novo ambiente de HPC;
• Realizada a integração lógica da rede infiniband do novo cluster apollo e do cluster Lustre;
• Realizada visita técnica ao datacenter no LNCC para troca de módulo de memória em um dos novos nodes;
• Realizada reunião de alinhamento sobre o projeto de atualização da rede local com a equipe de suporte a e-ciência da RNP para definir os pontos de rede e a configuração dos equipamentos a serem adquiridos;
• Foram realizadas reuniões de alinhamento com o time de suporte de e-ciência da RNP e com a firma Laniaq para ajustes na configuração do novo sistema de armazenamento de dados NAS para o IDAC;
• Participação no PCW 2023 da colaboração Rubin em Tucson, Arizona;
• Realizada visita ao centro de dados NOIRLab e uma reunião para troca de conhecimento e experiências entre o time de TI do LIneA e do NOIRLab;
• Realizada primeira reunião de alinhamento com os responsáveis pelos IDACs da Austrália, Canadá, Coréia do Sul, Espanha, Estados Unidos e Japão;
• Realizada reunião com o time de HPC da HPE para passagem de conhecimento sobre o novo ambiente de HPC com as máquinas apollo;
• Finalizado registro de credenciamento do LIneA junto ao CNPq para a importação de equipamentos de pesquisa para o IDAC;
• Realizado  pagamento para a HPE referente ao serviço de instalação e reestruturação do ambiente de HPC;
• Realizado o pagamento da segunda parcela do serviço de manutenção dos servidores apollo (primeira versão) que serão utilizados nos serviços providos pelo IDAC;

Descrição de serviços Melhorias nas plataformas científicas:

GAWA

• Foram implementadas melhorias no algoritmo de inserção de nova distribuição baseada em dados reais para objetos simulados.

LIneA Science Platform

• Hipsimage: criação de repositório com scripts para geração de imagens hips; 
• Levantamento de requisitos, para cutout service, avaliação dos protocolos IVOA  (SIA, SODA) para serviços de cutout. 
• Início do desenvolvimento do serviço de cutout. 

Photo-z Server

• Hipscat
  • Estudo sobre como fazer a importação para hipscat;
  • Realizada a importação do Y6 GOLD no tier 0 do Lustre; 
• Integração em fase inicial do protótipo de orquestração de pipelines ao projeto;
• Finalização do documento de design incluindo o desenho do front-end para as telas dos pipelines;
• Implementação da página de pipelines provisória e card que redireciona para esta página na tela inicial. 
• Implementação de campo para preenchimento dos nomes das colunas de arquivos em upload pelos usuários; 
• Correção de bugs na página de data products; 
• Preparação e validação de dataset compilado com amostras de redshifts espectroscópicos reais da literatura.  
• Início da implementação de VO Tables. 

Photo-z Compute

• Apresentação dos resultados dos testes de escalabilidade em evento do LSST.

Portal MaNGA

• Update de dependências, para melhorar a segurança e estabilidade. 
• Refactoring da interface explorer, melhora de performance no carregamento, correção de bugs e implementação de mudanças solicitadas após o lançamento da aplicação..  
• Melhorias na landing page.

Comunicação, Divulgação e Educação:

• Vídeos institucionais:
  • aceite do vídeo para o LIneA
  • colaboração no desenvolvimento do texto para o vídeo do IDAC e INCT
  • seleção de imagens para composição dos vídeos IDAC e INCT
  • Recebimento da primeira versão do storyboard (IDAC)
  • Revisão da primeira versão e envio para modificações
• Site:

• Organização das planilhas
• Logotipos diversos
• Revisão geral do site
• Notícias:
  • Artigo sobre o MaNGA + layout e postagem nas redes sociais
  • Participação do time do PCW 2023
  • Aviso de manutenção do site
  • CSTI especial (Manuela Ferreira) + layout e postagem nas redes sociais
• Educação
  • Classroom:
    • Criação do tópico “Tutoriais” + organização do material
    • Criação do tópico “Bootcamp” + organização do material
  • Workshop INPE:
    • Alinhamento para participação no Workshop 
    • Envio do resumo para a palestra
    • Envio do resumo do minicurso

Atividades de Planejamento

• Conclusão da definição dos equipamentos a serem adquiridos para o IDAC e cronograma das compras.
• Preparação de material para credenciamento do LIneA visando a  importação de equipamentos
• Preparação e avaliação de material de divulgação para o lançamento do IDAC incluindo   novo desenho para o site e conteúdo para vídeo de divulgação
• Negociações sobre os memorandos de entendimento entre o MCTI, LIneA e o Rubin Observatory

Atividades de operação e gerenciamento de infraestrutura computacional.

• Foi realizada visita técnica ao datacenter no LNCC em preparação para a instalação dos novos servidores apollo;
• Foi realizada reunião de alinhamento técnico entre a equipe de TI do LIneA e de HPC da HPE em preparação para a instalação das máquinas apollo e a reestruturação do ambiente de HPC;
• Foi realizada a cotação e a aquisição de tomadas de 63A para adequar a instalação elétrica às PDUs do novo rack HPE;
• Foi realizada a avaliação da proposta de serviço da firma VersatusHPC para a instalação dos gerenciador de trabalhos Slurm e do sistema de gerenciamento Open On Demand;
• Foi realizada reunião de alinhamento sobre o projeto de atualização da rede local com a equipe de suporte a e-ciência da RNP para definir a estratégia de,implementação;
• Foi realizado alinhamento com o Knut Olsen, responsável pelas contribuições in-kind do IDAC no Rubin Observatory, para a visitação e troca de conhecimentos entre o time LIneA e a equipe do NOIRLab durante o Rubin PCW 2023 que será realizado em agosto;
• Realizado atualização de patch segurança nos servidores login, webback3, webback5 e idp01.
• Realizado o aumento de quota dos usuários internos do LIneA.
• Feito  a configuração de envio de notificações de incidentes do servidor sdssb3.
• Realizado ajustes nos plugins do twitter e no  plugin do LDAP no site do LInea.
• Adicionado no monitoramento de url, novas urls (scienceportal).

Projetos de Software:

MaNGA portal

• Implementado uma série de mudanças nos arquivos megacube, sendo necessário reprocessar esses arquivos no cluster Condor e alterar o portal para lidar com o novo formato dos arquivos. 
• Implementado um script para extrair dos megacubos as informações usadas pelo portal.
• Alterada a lista de objetos do portal, um novo conjunto de ~75 atributos estão disponíveis podendo ser usados como filtro para seleção dos objetos.
• Implementado download de arquivos que possuem a Broad Component. Alguns megacubos oferecem 2 opções de download.

LSP

• Participação em reuniões de planejamento.
• Implementado o acesso às imagens Ptifs a partir do ambiente do LIneA, disponível só no ambiente de dev por enquanto.
• Está sendo implementado o acesso às imagens Hips a partir do ambiente do LIneA.

PZ Server

• Desenvolvimento de camada de orquestração de processos remotos.
• Iniciando integração da camada de orquestração de processos com o backend do pz-server API.
• Estudo da biblioteca hipscat import
• Melhorias no front-end: botão “share” para compartilhar produtos com usuários, modo de tela escura, opção de entrar com texto para informar os nomes das colunas de tabelas na tela de upload de arquivos. 

TNO:

• Foi corrigido bug na integração celery/rabbitmq necessário para execução das tarefas assíncronas como geração de mapas por exemplo.
• Apoio ao time da 11Tech. 

Canvas:

• Criação de documento de requisitos para a aplicação Canvas. 
• Criação de protótipo no Figma  com as principais interfaces do sistema para auxiliar na fase de levantamento de requisitos. 

Photo z Compute

• Script para preparação de processos com controle de proveniência.
• Implementação de limpeza dos dados na etapa de pré-processamento.  
• Script para calcular tempo de duração de processos em paralelo.
• Realização de testes de escalabilidade em diferentes condições, por ex., variando o volume de dados, o formato dos dados, a infraestrutura de armazenamento utilizada, as configurações dos códigos de photo-z adotados.   

GAWA:

• Criação de novo repositório para avaliação das detecções em com dados reais (qa_gawa_real);
• Atualização de tabelas com objetos reais detectados;
• Criação de filtro baseado em isócronas para detecção de objetos;
• Melhorias nas simulações de forma a simular objetos com mais de uma idade e metalicidade;
• Rodadas de detecções no levantamento DES e gráficos característicos;
• Melhorias nos plots de objetos não detectados.

WaZP:

• Preparação de artigo para a publicação do catálogo de aglomerados de galaxias compilado usando o WaZP aos dados dos seis anos de observação do Dark Energy Survey.
• Análise dos resultados obtidos a partir das simulações do LSST em andamento.  

Comunicação, Divulgação e Educação:

• Notícias:
  • 3ª edição do minicurso Jupyter Notebook
  • Instabilidade no servidor do Science Server
  • Simpósio do LSST
  • Implantação do IDAC
  • Paralisação das máquinas
• Planilha de membros do INCT
  • Atualização da planilha com os novos membros
  • e-mail de todos os membros
  • contato para atualização de cadastro 
• 65º LIneA News (2º trimestre)
• Layout para assinatura dos e-mails
• Vídeo institucional: revisão e ajustes finais

Minicurso: 

• Emissão dos certificados
• Aviso sobre o “plantão tira dúvidas”
• Convite do INPE para aplicação do minicurso no WORCAP23

Divulgação:

• Revisão geral do site (versões enviadas dias 28/06 e 13/07)
• Organização das planilhas que irão alimentar o site
• Reunião com o Colativo
• Atualização das publicações no site antigo

Atividades de operação e gerenciamento de infraestrutura computacional.

• Foi implementado um novo dashboard que fornece visibilidade global da disponibilidade de todos os servidores físicos e virtuais;
• Foi finalizada a migração do serviço de e-mail Zimbra para o Gmail, e o de listas de e-mail Mailman para o Google Groups, ambos no Google Workspace, utilizando a licença de 5 anos cedida pelo Google ao LIneA (2021-2025 licence for non-profit organizations);
• Foi solicitado o pedido de credenciamento e integração do provedor de identidades do LIneA para uso do sistema de redes Eduroam;
• Projeto Curadoria de Dados:
  • Foi iniciada a organização dos dados legados no projeto de Curadoria de Dados, começando pelo levantamento dos dados dos catálogos DES DR2 e Y6A1 com a identificação da localização, volume e tipos de arquivos disponíveis na infraestrutura do LIneA;
  • Foi criado o rascunho do documento de definição de tipos de produtos do LIneA/IDAC;
  • Foi iniciada a criação da primeira versão da Norma de Gestão de Dados;
• Foi realizada reunião de alinhamento com equipe de engenharia de HPC da HPE para definir a data de início da instalação dos novos equipamentos;
• Foram realizadas reuniões de alinhamento com o time de suporte de e-ciência da RNP e a com a firma Laniaq para a definição da configuração do novo sistema de armazenamento de dados NAS para o IDAC;
• Foram realizadas reuniões de alinhamento sobre o projeto de atualização da rede local tendo sido definida a nova arquitetura da rede do LIneA/IDAC;
• Foi realizada reunião de alinhamento com a firma VersatusHPC para fechar o escopo do projeto de instalação do software Slurm;
• Foi realizado o pedido de registro junto ao CNPq através da submissão de formulário e do envio de uma série de documentos para credenciar o LIneA para a importação de equipamentos de pesquisa para o IDAC;
• Foi realizado o pagamento da primeira parcela do serviço de manutenção dos servidores apollo (primeira versão) que serão utilizados nos serviços providos pelo IDAC;
• Enviado à colaboração Rubin LSST o relatório referente às atividades do projeto IDAC Brasil no terceiro trimestre do ano fiscal de 2023 (FY23 Q3).

Descrição de serviços Melhorias nas plataformas científicas:

TNO:

• Alteração no pipeline de predição para gerar e armazenar informações que permitam o acompanhamento do progresso. 
• Alteração no pipeline de predição separando as duas etapas em processos de sistema diferentes, para permitir monitoramento do processo.
• Alteração no pipeline para corrigir bug que causava estouro de quota em disco.
• Correção de Bug nos pipelines para asteroides da classe comet que possuem uma / no nome o que causou problemas na criação dos diretórios.
• Implementação de tabelas para acompanhar o status dos jobs de predição e orbit trace: #664  #663
• Correção de bug no build da imagem frontend problema com estouro de memória e time out. 
• Instalação do container SORA no ambiente de desenvolvimento. (ainda não foi completa é necessário algumas mudanças no container por parte da 11Tech.)
• Instalação do Celery/Rabbitmq no portal. #651
• Participação em reuniões de planejamento e acompanhamento do projeto. 
• Deploys frequentes no ambiente de dev para validação das entregas do time 11Tech
• Validação de PRs e testes no ambiente. 
• Reuniões para levantamento de requisitos e avaliação das entregas.
• Organização do Projeto e planejamento.

LSP

• Implementação e instalação (deployment) da instância de desenvolvimento utilizando containers;
• Alteração para permitir URLs diferentes por ambiente na landing page. #14;
• Definição do escopo das funcionalidades de Cross-Matching e Datasets a landing page.  #11;
• Configuração do ambiente de desenvolvimento para permitir queries assíncronas no TAP Service;
• Correção de bug na ferramenta de download dos resultados após habilitar as tarefas assíncronas;
• Participação semanal em reuniões de planejamento;
• Organização e planejamento do projeto.

PZ Server

• OnBoard e treinamento do jandson.
• Acompanhamento do Jandson e apoio nas tarefas.
• Elaboração do documento de design do Training Set Maker.
• Desenvolvimento de protótipo de camada de orquestração de processos remotos.
• Início de desenvolvimento de pipeline de crossmatching.

CANVAS

• Reuniões de Levantamento de Requisitos.
• Planejamento e documentação dos requisitos.
• Desenvolvimento de protótipos das interfaces (em andamento).
• Reunião Jamyr e Evandro para tirar dúvidas sobre o projeto.

Science Server

• Alteração dos containers para executar sem root, necessário para mudanças no ambiente. 
• Correção do ambiente da colaboração / público após mudanças feitas na infra do NCSA. (em andamento)

Comunicação, Divulgação e Educação:

• Orientações para bolsista (Douglas)
• Organização dos textos para o site
• Revisão do vídeo institucional
• Preparação para o minicurso (slides com informações importantes, forms para emissão de certificados)
• Notificações sobre duplicatas nos registros
• Organização dos membros INCT
• Notícias:
  • Visita do diretor ao INPE
  • Visita ao DiRAC
  • Virtual summer school DP0
  • Chegada das máquinas 
  • Heloisa PCW
• Textos:
  • Estatística das inscrições no minicurso

Minicurso: 

• Envio de e-mail com confirmação de participação no minicurso
• Orientações iniciais aos participantes (link zoom, acesso ao slack)
• Aplicação do minicurso (7/06)
• Informações gerais para os participantes (vídeos da aula, material)
• Orientações para o pagamento dos palestrantes

Site:

• Envio do cronograma para próximas etapas do site novo
• Apresentações adicionadas ao site atual
• Conversa com Leandro e Jandson (problema de atualização do twitter no site)

1. Atividades de operação e gerenciamento de infraestrutura computacional
   1. Atualizações e correções na plataforma JupyterHub
   2. Foi realizado o Infra Day #10 que consistiu na atualização de diversos sistemas e aplicações com o objetivo de corrigir as vulnerabilidades detectadas e também para adicionar novas funcionalidades. Em destaque foram atualizadas as plataformas JupyterHub e Jupyter Notebook, bem como implementadas melhorias no upload de arquivos nesta última.
   3. Foram implementados novos servidores de banco de dados postgresql primário e secundário, com replicação automática, e que serão utilizados para armazenar os bancos administrativos (metadados) das aplicações em produção;
   4. Foi iniciado o projeto de Curadoria de Dados com o objetivo de implementar uma estrutura física e lógica bem como o uso sistemático de metadados visando o projeto do IDAC;
   5. Foram recebidos e armazenados no datacenter do LNCC, em Petrópolis, os novos servidores de processamento e o rack que foram adquiridos junto à HPE em 2022;
   6. Foi assinado o contrato com a HPE para a execução dos serviços de suporte e garantia dos equipamentos recém entregues, bem como a execução do projeto de reestruturação do ambiente de HPC;
   7. Foi assinado o contrato com a HPE para a execução de serviços de manutenção dos antigos servidores apollo com validade de 1 ano;
   8. Foi realizada a cotação e a contratação da empresa A3 Tech para a movimentação de equipamentos ativos e inativos nos racks;

2. Comunicação, Divulgação e Educação
   1. Notícias:
      1. Participação da Mariana Penna-Lima no Sfair UNESP
      2. PCW 2023
      3. Evento Photo-Z
      4. Bootcamp LSST
   2. Minicurso Jupyter Notebook
      1. Planejamento das entregas (material + dry run)
      2. Acompanhamento do andamento
      3. Elaboração do layout para anúncio
      4. Elaboração do formulário de inscrição
      5. Anúncio via e-mail, site, redes sociais, mailchimp, SAB
      6. Elaboração do texto para confirmação da participação
   3. Vídeo institucional
      1. Revisão do storyboard
      2. Seleção de imagens, logotipos e material necessário
      3. Alinhamento final para produção do vídeo
   4. Conversando sobre TI – entregas de serviços/trabalhos
      1. Daniel Oliveira (GAWA)
      2. Henrique Dante (Photo-Z)
      3. Rocío Coz
   5. Criação de links para documentos diversos.

3. Site
   1. Reunião com a Colativo
   2. Ajustes finais na organização dos conteúdos
   3. Organização de todos os textos para revisão/desenvolvimento

4. Dashboard para as planilhas
   1. todo
   2. todo

5. Workflows
   1. GAWA
      1. todo
      2. todo
   2. Photo-z Server
      1. Atualização da versão no da biblioteca pzserver no pip com melhorias e correções
      2. Finalização do notebook de tutorial 
      3. Adequação ao template do LINCC para repositórios de projetos em Python 
      4. Apresentação do status do projeto e entregas parciais para Melissa Graham (pessoa no LSST responsável pela avaliação das entregas deste projeto) 
   3. Photo-z Compute
      1. Finalização do projeto de benchmark do RAIL com eng. de software, entregas finais dos scripts de paralelização para os clusters Apollo e Santos Dumont, revisão de pull requests, redação de relatório e apresentação para o time.   
   4. LIneA Science Platform
      1. todo
      2. todo
   5. Portal SSO
      1. todo
      2. todo
   6. Portal MaNGA
      1. todo
      2. todo

1. Atividades de operação e gerenciamento de infraestrutura computacional
   1. Foi realizada a atualização completa do ambiente do website do LIneA incluindo o sistema operacional e a plataforma wordpress para corrigir vulnerabilidades de segurança;
   2. Foi criada e disponibilizada documentação em docs.linea.org.br para orientar os usuários sobre a geração de chaves criptográfica e de uso do SSH; 
   3. Foram realizados ajustes e correções no monitoramento das áreas globais de armazenamento de forma a melhorar as notificações em caso de incidentes;
   4. Foi dado continuidade na migração do serviço de email Zimbra para o Google Workspace tendo sido migradas as listas de email para o Google Groups. Também foi integrada a autenticação do Google ao IDP do LIneA e foram criados vídeos instrutivos e documentação de uso aos usuários;
   5. Iniciada pesquisa para entender o funcionamento da ferramenta de monitoramento Prometheus com o objetivo de aperfeiçoar o monitoramento das aplicações no kubernetes e em containers
   6. Desenhado novo processo para registro e concessão de acesso ao SuperComputador Santos Dumont no projeto EUBD;
   7. Foi realizado o Infra Day #9 que consistiu na atualização de diversos sistemas e aplicações com o objetivo de corrigir as vulnerabilidades detectadas;
   8. Foi definido e criado documento de desenho de projeto para validar se a ferramenta Keycloak poderá ser utilizada como solução de registro e autenticação de contas para o IDAC;
   9. Foi iniciado o processo de descomissionamento de alguns equipamentos com o objetivo de liberar espaço na infraestrutura para a instalação dos novos que serão dedicados ao IDAC;
   10. Realizadas reuniões de alinhamento com a firma Laniaq Inc para fechar a compra do novo servidor de banco de dados para o IDAC Brasil;
   11. Foi solicitada à firma BigBlue cotação para contrato de manutenção corretiva dos equipamentos Dell que estão sem garantia;
   12. Foi realizada reunião de alinhamento junto à firma VersatusHPC para a cotação de serviço de instalação e configuração do sistema gerenciador de filas Slurm;
   13. Foi finalizada a cotação do serviço de reestruturação do ambiente de HPC junto à firma HPE e de fornecimento de novos servidores para substituir os atuais servidores de firewall ;
   14. Foi solicitada cotação de um sistema de armazenamento de dados à firma Laniaq com a capacidade de 1PB bruto;

2. Comunicação, Divulgação e Educação
   1. Notícias:
      1. Comitê de relações internacionais – Rogério Rosenfeld
      2. Posição de co-coordenador do DES – Felipe Oliveira
      3. Workshop IDAC
      4. Visita do Mario Juric 
      5. Aviso de serviços indisponíveis (falta de luz no LNCC)
      6. Diretor LIneA visita o Vera Rubin
   2. Org. dos webinares no site (vídeo yt + apresentação)
   3. Comunicado: site fora do ar (3/04)
   4. Série Webinar:
      1. Mariano – IDAC Argentina (convite)
      2. Stephen – IDAC Canadá (apresentado)
      3. George – IDAC UK (convite)
   5. Proposta de minicurso Jupyter Notebook (Andressa e Gabriel) – em desenvolvimento
   6. Vídeo institucional: revisão do storyboard; reunião de alinhamento; seleção de imagens para composição do vídeo.
   7. Post de Páscoa.
   8. Atividade para o bolsista PDJ Douglas: atualização das publicações no site.
   9. Refazer certificado de IC – Maisa.
   10. Revisão do texto convite para o evento “Futuro dos centros de e-ciência”.
   11. Convite para CSTI: Daniel (UFF) e Fábio (LNCC).
   12. Contato com equipe da Biofísica UFRJ – webinar.
   13. Inclusão de novo JA BPG – Hyago (Thaísa).
   14. Criação da mailing list: idacs@linea.org.br 
   15. Planilha com representantes dos IDAC – org. por países

3. Site
   1. Alinhamento interno sobre o site.
   2. Reunião com o Colativo (12/04 e 14/04) 

4. Dashboard das planilhas financeiras
   1. Conferência de contas a pagar 
   2. Conciliação bancária
   3. Análise do Budget Real x Previsto
   4. análise financeira

5. Workflows
   1. GAWA
      1. Simulações e rodadas de detecção de forma a servir de base para conclusões constantes no relatório final submetido à Fundação Heising-Simons.
      2. Alterações no código para produzir gráficos de acordo com o solicitado pelo grupo
   2. Photo-z Server
      1. Mudanças na landing page. 
      2. Foi adicionado suporte a catálogos com extensão .txt
      3. Foi implementado o Table Preview.
      4. Conclusão do refactoring da biblioteca, agora renomeada para apenas pzserver, atualização do notebook de introdução para o usuário 
   3. Photo-z Compute
      1. Scripts utilizando o ceci como gerenciador de wotrkflows
      2. Pipeline de pré-processamento dos dados para criação de “skinny tables” (inputs formatados para o RAIL) 
      3. Comparação de performance
   4. LIneA Science Platform
      1. Reuniões de levantamento de requisitos sobre o Tap Service.
      2. Foi configurado no daiquiri o serviço de tap para queries síncronas.
   5. Portal SSO
      1. Foi implementado a integração do pipeline orbit trace com o portal, este pipeline já está operacional para um pequeno conjunto de objetos. 
      2. Iniciado a integração do pipeline Predict Occultation ao portal.
      3. Reuniões de acompanhamento com o time da 11Tech. 
      4. Implementado novo plot com as observações do DES para um asteroid.
   6. Portal MaNGA
      1. Foi implementada uma nova função para atualizar os headers dos megacubos.
      2. Foi feito um refactoring na estrutura do portal, melhorias no containers e serviços. 
      3. Estão sendo implementadas novas funções relacionadas ao espectro, para atender a demanda do paper.

1. Atividades de operação e gerenciamento de infraestrutura computacional
   1. Implementadas customizações e melhorias no sistema de monitoramento Zabbix de modo a detectar problemas físicos nos servidores fabricados pela SuperMicro e pela HPE;
   2. Realizada a atualização da plataforma wordpress para a última versão disponível tanto no ambiente de desenvolvimento quanto de produção com o objetivo de corrigir vulnerabilidades de segurança;
   3. Implementação de ferramenta de varredura de vulnerabilidades para os servidores web e de email (zimbra);
   4. Iniciada migração das contas de email do servidor zimbra para o google workspace;
   5. Iniciada pesquisa para identificar o sistema operacional Linux mais adequado a substituir o CentOS-7, cujo suporte a atualizações será encerrado no ano de 2024;
   6. Realizada a manutenção do servidor de banco de dados do SDSS. Tendo sido necessário trocar a placa-mãe, um dos processadores e um dos discos rígidos;
   7. Implementadas otimizações na configuração do sistema de arquivos NFS com o objetivo de melhorar o desempenho de escrita e leitura dos diretórios compartilhados na rede;
   8. Participação na organização do workshop Supporting Computational Science With Rubin LSST contribuindo com a apresentação para a área de infraestrutura de software e de hardware tendo como base as atividades do IDAC no Brasil; Também tivemos participação ativa nas discussões sobre o uso adequado dos recursos que serão disponibilizados pelos IDACs à comunidade Rubin LSST;
   9. Finalizada a definição da configuração do servidor de banco de dados para o IDAC, em parceria com a consultoria Timbira;
   10. Definido a plano para a realização da análise de riscos para as instalações do IDAC Brasil em parceria com o CAIS/RNP e a área de segurança da informação do LNCC;
   11. Iniciadas as discussões em torno do plano de reestruturação do ambiente de computação de alta performance em parceria com o time de engenharia de HPC da HPE;
   12. Iniciada a criação de política de uso e de armazenamento de dados no contexto do IDAC;
   13. Enviado à colaboração Rubin LSST o relatório referente às atividades do projeto IDAC Brasil no segundo trimestre do ano fiscal de 2023 (FY23 Q2). 

2. Comunicação, Divulgação e Educação
   1. Office hours:
      1. Nicoly e Andreia (problemas com o registro na CAFe).
      2. Rogerio Riffel (Portal Manga)
   2. Envio do forms de aceite a posição de PI para o Dr. Clécio Bom.
   3. Convite para o especial do mês das mulheres no LIneA “As pesquisadoras do BPG” – Mariana Penna-Lima, Maria Luiza Falci, Thaisa Bergmann e Ana Chies.
      1. Entrevista individual;
      2. Elaboração do design para o vídeo;
      3. Texto de apresentação;
      4. Postagem nas redes sociais e LIneA News.
   4. Contato com candidatos à bolsa IC-INCT.
   5. Informe da finalização do processo seletivo para as bolsas INCT.
   6. Texto para anúncio dos novos bolsistas INCT.
   7. Reunião para “Destaques LIneA e INCT”
   8. Conferência dos membros BPG que estão registrados no COmanage.
   9. Envio do forms para os casos científicos do IDAC.
   10. Atualização dos e-mails – listagens BPG.
   11. Webinar especial: Mario Juric (agenda, site, LIneA News, postagens nas redes sociais).
   12. Texto sobre a visita do Mario Juric ao LIneA.
   13. Texto sobre a visita do diretor LIneA ao DAC UK.
   14. GT report + Acordo LIneA em google doc.
   15. Texto sobre a avaliação positiva do Rubin Observatory para as atividades realizadas pelo LIneA.
   16. Texto para a contratação de novos colaboradores para apoiar as atividades do IDAC.
   17. Post sobre as cartas de apoio ao LIneA encaminhadas ao MCTI.
   18. Reunião com equipe da Flávia da Matta – vídeo institucional.
   19. Revisão do roteiro para o vídeo + seleção de imagens
   20. Envio do 64ª LIneA News.
   21. E-mail sobre o ticket #13990 (Vitor)
   22. Recorte no vídeo do Mario Juric.

3. Site
   1. Reunião com a consultoria COLATIVO para alinhar sobre a nova versão do website do LIneA;
   2. Realizada avaliação da apresentação do wireframe para o novo site.

4. Dashboard para as planilhas
   1. Reunião com o IN10 
   2. Organização das planilhas para análise dos Dashboards
   3. Conferência de contas a pagar 
   4. Conciliação bancária
   5. Análise do Budget Real x Previsto
   6. Proposta de nova planilha para controle dos Bolsistas
   7. Análise dos recursos financeiros INCT do e-Universo

5. Workflows
   1. GAWA
      1. Alterações no Jupyter Notebook de quality assurement (simulações e detecções).
      2. Melhorias nos gráficos de completeza e pureza.
      3. Preparação do relatório para o Heising-Simons.
      4. Rodadas do código de detecção.
      5. Simulação para testes nas máquinas do Cluster LIneA.
   2. Photo-z Compute
      1. Onboarding novo colaboador (eng. de software).  
      2. Criação de script pra automatização do pipeline RAIL com paralelização no cluster Apollo e no supercomputador Santos Dumont.
      3. Testes comparativos preliminares para identificação de gargalos e fontes de lentidão nos dois ambientes. 
      4. Preparação de conjuntos de treinamento para algoritmos de aprendizado de máquina utilizados pelo pipeline RAIL com dados do LSST Data Preview Zero (DP0). 

6. Plataformas Científicas
   1. Photo-z Server
      1. Melhorias nos filtros da API:
         1. Implementada a possibilidade de checagem de filtros antes da requisição
         2. Tratamento de erros em casos de filtros inválidos
      2. Tratamento de erro na autenticação caso o token seja inválido;
      3. Implementação do dev-container;
      4. Melhorias na interface do upload;
      5. Deploy do ambiente de teste usando o servidor de database (desdb4);
      6. Criação de endpoint com meta informações dos schemas;
      7. Melhorias no sistema de download do arquivo principal; 
      8. Melhorias na pz-server-lib
      9. Implementação de novo formato de arquivo mais flexível no upload.
      10. Preparação e (upload no ambiente de testes) de data products variados para servirem de exemplo em tutoriais e para serem utilizados em futuros testes da API.   
   2. LIneA Science Platform
      1. Participação em reunião para levantamento de requisitos e planejamento do serviço de cutouts.
   3. Portal SSO
      1. Participação de reuniões técnicas com o time da 11tech. 
      2. Preparação do ambiente de dev para primeira reunião de checkpoint com 11tech.
      3. Atualização e correção de bugs nos pipelines orbit trace e predict occultation.
      4. Início da integração Portal/Pipelines
      5. Início do review de código das novas implementações.
   4. Portal MaNGA
      1. Onboard na aplicação Manga
      2. Melhorias no ambiente de dev, alteração da imagem docker para não utilizar root.
      3. Atualização dos arquivos megacubo.
      4. Atualização da aplicação para os novos megacubos
      5. Melhoria no código que extrai dados dos megacubos
      6. Melhorias na interface para operações lentas.
      7. Manga início da integração com IFscube

1. Atividades de operação e gerenciamento de infraestrutura computacional
   1. Configuração do ambiente de testes do Comanage
   2. Feita  configuração nos servidores desdb4 e desdb6 para enviar e-mail de alertas, caso haja algum incidente com o servidor.
   3. Feito a exportação dos usuários das listas de email do mailman, para poder ser importados no Google Workspace listas (grupos).
   4. Realizado correção do erro no sistema de arquivo do Lustre
   5. Realizado a transferência de dados devhome para o homedir do /lustre/t1/ms04/

2. Comunicação, Divulgação e Educação
   1. Desenvolvimento de post para o press release TNO (Telescópio Espacial James Webb usa técnica de ocultação para estudar os anéis de Chariklo).
   2. Criação do formulário de produção acadêmica para afiliados.
   3. Office hours: Rogério Riffel
   4. Bolsas INCT
      1. resultado por parte do comitê gestor
      2. desenvolvimento do formulário para aceite da bolsa
      3. elaboração do texto para informar a seleção do candidato
      4. contato com os selecionados: Flávia Rommel e Douglas Rodrigues
   5. Onboarding: Tatianna (financeiro)
   6. Texto para o recebimento das máquinas para o IDAC
   7. Entrevista com Bruno Morgado sobre o novo artigo para revista Nature
      1. produção do vídeo para divulgação do artigo
      2. postagem nas redes sociais
   8. Revisão do roteiro para o vídeo institucional LIneA
   9. Revisão do texto FNDCT
   10. Informações para o texto “Carta de apoio ao LIneA”
   11. Certificado de extensão – Heloisa
   12. Postagem comemorativa sobre o dia internacional das meninas e mulheres na ciência 
   13. Formulário modelo de perguntas sobre casos científicos para o IDAC
   14. Infográficos para o LIneA em números
   15. Revisão do Jupyter Notebook
   16. Participação do prof. Marcelo Leite no conversando sobre TI

3. Site
   1. Reunião com equipe do COLATIVO para alinhamento 
   2. Orçamento da segunda parte fechado e modo de pagamento combinado.

4. Dashboard para as planilhas
   1. xxxx
   2. xxxx

5. Workflows
   1. GAWA
   2. Photo-z Server
      1. Migração do projeto de desenvolvimento do Jira para o GitHub projects  
      2. Implementação de melhorias no front-end sugeridas por membros do LSST
      3. Continuação desenvolvimento API pz-server-lib e notebook de tutorial para usuários.
   3. Photo-z Compute
      1. Revisão do planejamento e cronograma de atividades para 2023
      2. Contratação e onboarding de novo colaborador 
   4. LIneA Science Platform
      1. Foi instalado um ambiente de testes do daiquiri. está em andamento a integração do daiquiri com a autenticação do linea usando Shibboleth.
   5. Portal SSO
   6. POrtal MaNGA

1. Atividades de operação e gerenciamento de infraestrutura computacional
   1. Realizado configuração de monitoramento para o tráfego de rede IN/OUT nos servidores GWICX e LOGINICX.
   2. Feito a instalação e configuração de um novo Zabbix proxy para realizar o monitoramento dos host do cluster. 
   3. Iniciado teste de migração do sistema operacional CentOS -7 para uma distribuição Linux 8 (ainda não decidido  qual distribuição será usado Oracle Linux 8, AlmaLinux8 ou Rocky Linux 8), ainda sendo verificado.
   4. Realizado visita no LNCC para troca do disco do Storage ME4084
   5. Realizado a visita no LNCC para troca da fonte do Servidor R740
   6. Realizado a visita no LNCC para manutenção corretiva do Storage ME4084, que não estava reconhecendo os discos.
   7. Realizada a visita no LNCC em conjunto com a Big Blue para a troca da Placa Mãe e de outros componentes no servidor SDSSB3.
   8. Correção do certificado HTTPS do site manga.linea.org.br

2. Comunicação, Divulgação e Educação
   1. Bolsas INCT
      1. organização das inscrições recebidas;
      2. planilha com as informações de cada candidatos; 
      3. solicitação de mentor;
      4. respostas aos e-mails de dúvidas.
   2. Reunião para desenvolvimento do vídeo institucional LIneA/INCT d e-Universo 
   3. Plots para gráficos diversos.
   4. Office hours: Bruno Morgado e Jaderson (BPG). 
   5. Organização dos novos membros do INCT. 
   6. Anúncios: Retorno dos webinares; Oportunidade para pós-docs (CBPF); 
   7. Envio dos certificados para os ICs. 
   8. Envio de certificado para participante do Workshop 2021.
   9. Revisão paper para Nature (Bruno Morgado)
   10. Revisão press release TNO
   11. Diagramação para documento enviado à Ministra.
   12. Postagem nas redes sociais: entrevista dos membros BPG para o jornal Zero Hora.
   13. CSTI: convite para o Marcelo Leite

3. Site
   1. Atualização de links – história LIneA
   2. Reunião com a empresa IN10 – organização das planilhas/data studio
   3. Colativo: Apresentação da proposta de organização do conteúdo do site 

4. Planilha Financeira
   1. xxxx
   2. xxxx

5. LSST
   1. GAWA
   2. Photo-z Server
      1. Reunião com membros do LSST Data Management para apresentação de resultados. Conversão de pedidos e sugestões em issues nos respectivos repositórios. 
      2. Continuação desenvolvimento API pz-server-lib e notebook de tutorial para usuários.
   3. Photo-z Compute
      1. Abertura de contas no Santos Dumont
      2. Continuação testes com RAIL 
   4. LIneA Science Platform
      1. Retomada do desenvolvimento do serviço User Query baseado no software Daiquiri (desenvolvimento pausado em março de 2022)
      2. Levantamento de requisitos para a integração entre os diferentes serviços do LSP (JupyterHub, Science Server, User Query)

1. Atividades de operação e gerenciamento de infraestrutura computacional

1. Foi criado um tutorial básico de registro via COManage e postado no site Documentação para Usuários.
2. Foi realizada a criação do mapa (Zabbix) da topologia de rede do LIneA.
3. Foi realizado as instalações do agente zabbix nos equipamentos do node antigos (centOS-6) para serem monitorados caso aconteça algum incidente.
4. Realizamos também a configuração para o monitoramento via Zabbix, monitoramento de checagem simples via ping nos hosts antigos (CentOS5), para poder ser verificado se estão online.
5. Foram removidas todas as listas de email com o domínio antigo (gov) do maillist, devido não estar mais ativo.
6. Foi detectado links quebrados no site do LIneA com o antigo domínio (gov) os mesmo já foram atualizados para o novo domínio (org).
7. Tentamos fazer a ativação das notificações de incidente nos nodes ICEX, mas não funcionou nas máquinas de modelos SGI e as demais do modemo iLO5 (HPE) não tem licença de uso desse serviço de envio de notificações. A solução vai ser a instalação de um Zabbix-Proxy para poder fazer todo o monitoramento dos nodes ICEX via Zabbix-Server.
8. Simplificação do cadastro no CoManage, para facilitar o processo de criação de usuários do projeto LSST.
9. Correção  da sincronização dos horários nos servidores DBMaster e DBSlave através do Update no serviço NTP.
10. Acionamento a Dell para envio de novo disco para substituição no Storage ME4084.
11. Substituição do certificado do Servidor srvlupa de .gov para .org
12. Ajuste no script utilizado para automatização do reset de senha
13. Ajuste no site de reset de senha 

2. Comunicação, Divulgação e Educação

1. Finalização da versão inicial da página de documentação para os usuários (https://docs.linea.org.br)
2. Elaboração gráfica do convite para o onboarding
3. Anúncios: onboarding; resultado eleições BPG; bolsas INCT; reunião CAT; participação do Rogerio Rosenfeld em mesa redonda (Argentina); apresentação Adriano (Heising Simons); reunião dos conselhos; bolsas INCT; atualização do anúncio para participação do INCT; DES meeting
4. Resultado das eleições BPG (postagem nas redes sociais e informe nº4)
5. Preparação de apresentação para o onboarding.
6. Contato com a Dell (press release) e Serrapilheira. 
7. Elaboração gráfica da agenda para reunião dos conselhos.
8. Resposta aos e-mails com dúvidas (bolsas INCT).
9. Resposta ticket – dúvida sobre registro.
10. Organização dos participantes presentes no onboarding.
11. Certificados estudantes de IC LIneA.
12. Revisão do texto “Minuta CTC e CA” + adição dos tópicos apresentados.
13. Edição do vídeo da reunião dos conselhos LIneA
14. Textos: Onboarding; Reunião dos conselhos LIneA; Finalização das atividades dos bolsistas LSST Corporation. 
15. LIneA News – quarto trimestre.
16. Post de final de ano para redes sociais – Boas festas! 
17. Post de final de ano interno para colaboradores – Boas festas!

3. Site
   1. Contrato fechado com a empresa COLATIVO
   2. Início do sprint para organização do conteúdo (7/12 e 14/12)

4. Planilha Financeira 

5. LSST

1. GAWA
   1. todo
2. Photo-z Server
   1. Foram implementados Unit Tests para o backend/API do pzserver. 
   2. Desenvolvimento de funções do novo serviço Training Set Maker 
3. Photo-z Compute
   1. Estudo da documentação do framework RAIL
   2. Testes de execução do RAIL no Santos Dumont
4. LIneA Science Platform
   1. Atualização dos tutoriais para novos usuários

1. Atividades de operação e gerenciamento de infraestrutura computacional

1. Foram implementadas melhorias no sistema de monitoramento da infraestrutura visando dar transparência aos usuários do BPG LSST e facilitar o acompanhamento da infraestrutura computacional do LIneA, para isso foram desenhados e implementados quadros de monitoramento em tempo real para: todos os sistemas de armazenamento globais; primeira camada de equipamentos de rede (wan). aplicações web e urls importantes para a operação. Além disso foi implementado mapa central de monitoramento com todos os equipamentos de rede disponíveis no ambiente;
2. Foram realizadas mudanças pontuais no website: substituição das urls internas das redes sociais no site do LIneA, disponibilização de acesso pelo site ao Google Classroom
3. Foram implementadas melhorias na documentação com a criação de tutorial básico de registro via COManage e realizada proposta de otimização do registro de usuários no COManage;
4. Foram realizadas diversas atualizações para correção de vulnerabilidades de segurança nos servidores SDSSF1 e SDSSF2 da aplicação web Skyserver;
5. Foi finalizado documento com as etapas do projeto de banco de dados para o IDAC Brasil incluindo suas especificações de configuração de hardware.
6. Foi realizada cotação junto aos fornecedores e avaliação de novas propostas para o novo modelo de roteador para o IDAC (Juniper ACX7024) sob recomendações da RNP;
7. Foi realizada reunião com o Comitê de Assessoramento Técnico para apresentar os resultados alcançados pelos projetos de infraestrutura no último ano e também solicitar aconselhamento com relação aos objetivos de compras e as propostas recebidas para o IDAC Brasil.

2. Comunicação, Divulgação e Educação

1. Chamada BPG-LSST:
   1. Encerramento do processo de escolha dos mentores pelos JAs.
   2. Envio do formulário de aceite para os JAs avulsos.
   3. Encerramento da chamada (16/11)
2. Organização do onboarding.
   1. Elaboração do convite para os membros do BPG
   2. Elaboração da apresentação
3. Elaboração do slide deck para apresentação dos PIs no onboarding.
4. Planejamento 2023 – presencial – (26/10)
5. Documentação: desenvolvimento do texto para os “primeiros passos”
6. Notícias:
   1. Participação do estudante de IC Gabriel na live dos Astrotubers.
   2. Pesquisadora LIneA/INCT do e-Universo recebe fellowship para Oxford.
   3. LIneA cria programa de mentoria para os JAs.
   4. Membros do LIneA participam do XXXII ADASS. 
   5. Mais de 100 brasileiros têm a oportunidade de participar do maior projeto da astronomia 
7. Criação do “Informe BPG”
   1. Informe 1: Onboarding
   2. Informe 2: Boas-vindas aos pesquisadores juniores
   3. Informe 3: Eleições
8. Levantamento das mailing lists do BPG
9. Formulário:
   1. Necessidades computacionais – BPG
   2. Eleições BPG
10. Elaboração dos certificados para os estudantes de IC.
11. Chamada para novos membros do INCT do e-Universo.

3. Site
   1. Definida agência para manutenção do site

4. Planilha Financeira 

1. todo
2. todo

5. LSST

1. GAWA
   1. todo
   2. todo
2. Photo-z Server
   1. Finalização do desenvolvimento da versão BETA (front-end, back-end e API)
   2. Finalização da documentação para o usuário e do tutorial em formato Jupyter Notebook
   3. Criação de formulários de feedback
   4. Criação de formulários para inscrição de usuários com login via GitHub
   5. Apresentação em telecon internacional para membros do LSST
   6. Início da fase de testes com usuários convidados
3. Photo-z Compute
   1. Continuação dos testes do pipeline RAIL com dados do release LSST DP0 e comparação com dados reais do DES SV.
4. LIneA Science Platform
   1. Atualização do tutorial para novos usuários do serviço JupyterHub, divisão do material de apoio em três Jupyter notebooks.
   2. Documentação para o usuário no hub central de documentação do LIneA 
   3. Correção de bugs no back-end relacionados ao autosave e logout (em andamento)

1. Atividades de operação e gerenciamento de infraestrutura computacional

1. Foram implementadas melhorias no sistema de monitoramento da infraestrutura visando dar transparência aos usuários do BPG LSST e facilitar o acompanhamento da infraestrutura computacional do LIneA, para isso foram executadas as seguintes atividades:
   1. Iniciado o desenho de quadro de monitoramento incluindo a criação de scripts para coleta de dados de todos os sistemas de armazenamento globais;
   2. Configuração e a integração de protocolo de monitoramento na storage MIS 5600i com o Zabbix, incluindo a ativação do envio de alertas de incidentes críticos por email
   3. Configuração do sistema CloudIQ de monitoramento ativo da Dell nos servidores e nas storages do sistema de arquivos lustre.
2. Reconfiguração e recuperação do site do BPG LSST com a correção das urls internas que apontavam para o antigo domínio do LIneA;
3. Com o objetivo de reduzir a possibilidade de erros e agilizar o registro de contas foi feito o desenho do processo de registro de usuários e implementada automação de tarefas manuais utilizando a ferramenta Ansible; 
4. Foi implementado site docs.linea.org.br com a ferramenta Mkdocs e implementado processo de integração e entrega contínua para a renderização do site com a integração do repositório na plataforma Github.com. Este site conterá a documentação base para os usuários do BPG LSST e parte do ambiente do IDAC Brasil.
5. Foi realizada a revisão de contas de usuários conforme definido na Política de Segurança da Informação do LIneA com o objetivo de manter a segurança do ambiente em geral;
6. Foi realizado em conjunto com a engenharia de HPC da HPE o mapeamento da infraestrutura do cluster de processamento Icex-Apollo com o objetivo de identificar problemas e levantar informações para a integração com os novos nós de processamento Apollo 2000 que estão próximos de serem entregues.
7. Foi realizada visita ao datacenter em conjunto com a empresa A3 Soluções Tecnológicas para a avaliação dos cabos de rede do cluster Icex-Apollo que apresentam deterioração devido ao calor intenso na parte traseira dos equipamentos.
8. Foi realizada com a Unitech e a engenharia da Dell reunião de alinhamento para discutir sobre a proposta de expansão do atual sistema de arquivos Lustre, visando a aquisição de equipamentos de armazenamento de dados para o IDAC Brasil.
9. Foram realizadas reuniões com o time da Timbira para a definição do modelo de arquitetura do sistema de banco de dados para o IDAC Brasil, tendo sido definido que será adotado um modelo misto de servidor e storage que seja resiliente, seguro e que permita a instalação futura de servidor secundário a fim de oferecer redundância ao banco de dados.
10. Foi provisionado ambiente com a primeira versão do LIneA Science Platform no endereço lsp.linea.org.br;

2. Comunicação, Divulgação e Educação

1. Chamada BPG-LSST:
   1. Anúncio da continuidade do processo para os JAs inscritos via formulário.
   2. Anúncio da reunião de boas-vindas para os PIs.
   3. Resposta aos e-mails de dúvidas.
   4. Organização dos JAs com os mentores.
   5. Reunião de “boas-vindas ao BPG-LSST” (27/09)
2. Problema com mailchimp — resolvido
3. Blog sobre a reunião de boas-vindas e post nas redes sociais
4. Revisão do “Manual de boas-vindas” — atualização de links e textos.
5. LIneA News 3º trimestre.
6. Anúncios Ideas Workshop e Oportunidade LSSTC.
7. Atualização de informações do LIneA no site do LSSTC Catalyst Fellowship. 
8. Proposta de participação do estudante de IC Gabriel de Oliveira em live dos Astrotubers — programada para 26/10
9. Revisão do Planejamento Estratégico (Jul/Dez de 22)
10. Blog sobre o resultado geral da chamada do BPG-LSST.
11. Revisão press release DELL
12. Reunião interna BPG: Definição do processo de eleições.
13. Encontro presencial para alinhamento do Planejamento Estratégico (13/10)
14. Aviso de prorrogação do prazo para escolha do mentor no BPG (JAs inscritos via forms).
15. Oportunidade de bolsa FAPERGS (bolg, post nas redes sociais e mailchimp).
16. Office hours: forms para solicitação e atualização da planilha
17. Atualização de todos os formulários do site — link para redes sociais e notificação de preenchimento.
18. Contato com responsável pela área de divulgação científica da Serrapilheira — pendente.
19. Envio de e-mail para os JAs com o profile de cada PI do BPG 
20. Contato com agências de manutenção para o site.

3. Site
   1. Levantamento de erros ou bugs.
   2. Busca de agência para manutenção — em andamento.

4. Planilha Financeira 

1. Foi realizada a correção da fórmula de cálculo de empenhos incluindo a correção no quadro de apresentações da ferramenta datastudio (dashboard)

5. LSST

1. GAWA
   1. Continuação de testes no ambiente Santos Dumont com dados de entrada em torno de 8 mil graus quadrados;
   2. Implementação de melhorias na configuração de recursos computacionais com Parsl.
2. Photo-z Server
   1. Implementação de melhorias no front-end – textos explicativos, correção de bugs na ferramenta de upload, expansão da lista de formatos de arquivos permitidos e simplificação da tela de produtos. 
   2. API – continuação do desenvolvimento da biblioteca pz-server-lib com funções para consulta de dados e metadados de forma programática,  documentação para o usuário e Jupyter Notebook tutorial.
   3. Criação de produtos científicos “falsos” simulando os futuros data products que serão utilizados no PZ Server para testar as ferramentas de download, upload e as funções da API. 
3. Photo-z Compute
   1. Criação de conta no Santos Dumont para novo desenvolvedor.
   2. Continuação do estudo do software RAIL e do gerenciador de workflows ceci, desenvolvidos pelo LSST. Testes preliminares com dados do release LSST DP0.  
4. LIneA Science Platform
   1. Disponibilização de URL para ambiente de produção.
   2. Alimentação das páginas de conteúdo (about, tuorials, contact)

Atividades de operação e gerenciamento de infraestrutura computacional:

• Foram realizadas reuniões de alinhamento com fornecedores para entendimento e ajustes nas propostas para o servidor de banco de dados e o roteador para o IDAC;
• Foram realizados ajustes no projeto de banco de dados para o IDAC em parceria com a Timbira consultoria, sendo o projeto alterado de banco distribuído para servidor único devido às recomendações do Rubin Observatory (LSST);
• Foi preenchido e enviado o relatório anual referente à contribuição in-kind para o projeto IDAC Brasil do Rubin Observatory (LSST);
• Em parceria com a RNP foi iniciada a transferência de dados do DR2 (imagens fits e ptifs) para o ambiente do LIneA;
• Criação e disponibilização de quadro de monitoramento em tempo real das máquinas de processamento apollo, também foram disponibilizados links públicos no web site para essas interfaces;
• Correção de problemas de segurança com a atualizações dos diversos servidores web disponíveis na infraestrutura (nginx e apache) incluindo o servidor de acesso à infraestrutura (sistema de login);
• Implementação de sistema de monitoramento e de alertas para transferências de dados não usuais na infraestrutura;
• Realização de visita técnica ao centro de dados em Petrópolis para efetuar troca de discos e resolver problemas na infraestrutura do cluster Lustre
• Implementação de melhorias na configuração do servidor de cópias de segurança (Bacula) para automatizar e evitar intervenções humanas.

Comunicação, Divulgação e Educação:

• Chamada BPG:
  • Contato com a comissão para retomada da escolha dos JAs; 
  • finalização das informações dos PIs e JAs por áreas; 
  • envio das informações para os PIs e JAs
  • Contato com PI (adicionou um PI como JA)
  • reunião interna com membros do BPG para definição da reunião de “boas-vindas”; 
  • doodle para escolha da data da reunião
  • texto e elaboração do convite para “boas-vindas”;
  • preparação da apresentação de “boas-vindas”
• Flávia da Matta: logotipo IDAC Brasil e roteiro para vídeo institucional.
• Chamada para interessados na 19ª SNCT 
• Relatórios de IC Heising Simons (João Victor e Maisa)
• Publicação nas redes sociais: TON
• Declaração de encerramento Gabriel de Sousa Oliveira (LSSTC)
• Projeto para Serrapilheira: revisão do texto e adição dos logotipos + rodapé

LSST:

• GAWA workflow
  • Implementadas melhorias no código de simulações dos campos estelares a serem analisados pelo código Gawa: as simulações agora podem ser feitas sobre um campo com qualquer ângulo sólido. Além disso foram feitas rodadas de teste no cluster do Linea de forma a analisar o tempo computacional das rodadas. Foram também produzidas simulações com grandes áreas (cobrindo 5000 graus quadrados);
  • Correção de bugs ao retirar candidatos duplicados. Rodadas utilizando esquemas de paralelização Parsl e Dask no supercomputador Santos Dumont de forma a determinar qual a melhor abordagem.
• PZ in-kind
  • PZ Compute pipeline
    • Estudo do pipeline RAIL, preparação para testes no Santos Dumont 
  • PZ Server plataform
    • Iniciado o desenvolvimento da API de acesso a dados hospedados na plataforma via código Python e preparação de Jupyter Notebook de tutorial para apoio a usuários. 
    • Implementada a autenticação via Github para usuários de um determinado time dentro de organização do Github

• LIneA Science Platform
  • Criação e disponibilização de URL para de ambiente de testes
  • Implementação da versão inicial da landing page no ambiente de testes

Atividades de operação e gerenciamento de infraestrutura computacional:

• Continuação da execução do plano de migração do domínio linea.gov.br para linea.org.br, o qual incluiu as seguintes atividades:
  • Correção de links internos na plataforma wordpress que abriga o site de desenvolvimento e de produção
  • Migração das ferramentas de automação de infraestrutura jenkins, rundeck e o sistema de status e histórico de incidentes
  • Alteração dos emails de notificação nas interfaces de administração iLO e iDRAC dos servidores
  • Migração do sistema de identificação e autorização IdP e SATOSA, incluindo a adição de atributos para a eduGain no IdP;
  • Identificação nos arquivos do site entradas hardcoded para linea.gov.br
  • Alteração dos endereços dos servidores e dispositivos de infraestrutura no Zabbix
• Foram implementadas melhorias no sistema de monitoramento com as seguintes atividades:
  • Integração do sistema de monitoramento Zabbix com o Grafana
  • Instalado e configurado o servidor de monitoramento do kubernetes (metrics-server)
  • Implementados quadros de monitoramento para o ambientes do kubernetes e do servidor JupyterHub para os usuários;
• Realizada a expansão do cluster kubernetes com a instalação e configuração dos nós de trabalho kworker06, 07 e 08;
• Foi realizada a atualização do servidor IdP da versão 3.x para a 4.x. Também foi necessário reconfigurar a relação de confiança entre as aplicações e o novo servidor incluindo nova homologação junto à Comunidade Acadêmica Federada – CAFe;
• Foram organizadas reuniões de alinhamento com a empresa especializada em consultoria de banco de dados para ajustes na proposta do IDAC;
• Realizada visita ao datacenter para troca de discos e manutenção corretiva em sistemas;

Comunicação, Divulgação e Educação:

• Chamada BPG: Blog com panorama geral das candidaturas recebidas; atualização e envio do formulário PIs e JAs; planilha com informações dos PIs e JAs por áreas; 
• Troca dos e-mails das redes sociais (gov para org).
• Elaboração da chamada de bolsa para pós-docs e ICs.
• Blog sobre a participação dos membros LIneA no PCW 2022
• Anúncios: Webinar ICs HS; Novos PIs do BPG; Banco de dados fora do ar; Participação de membros do LIneA no PCW 2022. 
• Termo de Compromisso – voluntário Adriano
• Declaração de encerramento de bolsa – Andressa Wille
• Site: adição de link com nomes dos colaboradores LSST 

LSST:

GAWA workflow:

• Introdução do GAWA ao cluster SDumont;
• Início de testes com diferentes configurações e elaboração de relatório comparativo; 
• Implementação de documentação no GAWA com Github Pages; 

PZ in-kind:

• PZ Compute pipeline:
  • Continuação de testes utilizando novas configurações;
• PZ Server plataform:
  • Implementação de autenticação com Satosa/Github;
  • Reestruturação do mecanismo de upload de produtos;
  • Início da Implementação de biblioteca de acesso a Pz Server API;
  • Início da Implementação de tratamento da autenticação via Satosa, por obtenção de token interno;
  • Criação de mecanismo que viabiliza acesso a API via token por aplicação/usuário.

Atividades de operação e gerenciamento de infraestrutura computacional:

• Definição e execução do plano de migração do domínio linea.gov.br para linea.org.br, o qual incluiu as seguintes atividades:
  • Avaliação e diagramação do serviço de resolução de nomes (DNS);
  • Criação e configuração de novas zonas nos servidores de resolução de nomes, com redirecionamento automático da antiga para a nova zona;
  • Configuração de novo domínio nos servidores de email e de listas de emails, incluindo a manutenção de contas de email;
  • Configuração de apontamentos para redirecionar mensagens eletrônicas do antigo domínio para o novo;
  • Reconfiguração dos servidores web com a implementação de páginas de encaminhamento automático para os novos endereços;
  • Reconfiguração das diversas instâncias da plataforma wordpress;
  • Reconfiguração e recriação de certificados SSL para os aplicativos e serviços web;
  • Reconfiguração de servidores e equipamentos de rede;
• Avaliação das propostas de serviços de banco de dados e de computação de alta performance para o IDAC;
• Definição de atividades estratégicas para o Planejamento Estratégico 2022-2023;

Comunicação, Divulgação e Educação:

• Chamada BPG-LSST: Apoio logístico; Preparação de material com informações dos JAs e PIs; Elaboração do formulário de aceite PIs e JAs; Comunicado aos PIs aptos e em lista de espera.
• Reorganização da planilha de novos usuários. 
• Blogs: Office Hours para o Jupyter Hub; Aula colaborativa entre PACE e LIneA; Migração de domínio (gov.br para org.br)
• LIneA News segundo trimestre.
• Anúncios: Migração de domínio; PCW; Enabling Science.
• Reuniões: Modificações no logotipo do IDAC Brasil; Publicidade da PSI LIneA (CAIS).
• Desenvolvimento de roteiro para video institucional
• Planejamento para o 2º semestre
• Organização do Webinar apresentado pelos ICs LIneA.
• Entrevista com o Diretor LIneA liderada pela DELL.
• Atualização do username das redes sociais (linea_org).

Treinamento: 

• Piloto: Read the docs and MK doc (aplicado para os ICs)

LSST:

WAZP workflow:

• Definição de estrutura organizacional de compartilhamento de resultados e inputs na loginicx
• Criação de repositório no github.

GAWA workflow:

• Integração do Parsl no gerenciamento de jobs paralelos
• Definição de estrutura organizacional de compartilhamento de resultados e inputs na loginicx
• Melhorias na performance do GAWA: definição de particionamento por tiles e adoção do Lustre (inputs e outputs)
• Introdução do Dask ao cluster ICEX

PZ in-kind:

• PZ Compute pipeline:
  • Integração ao ambiente SDumont
  • Transferência do DP0  para o SDumont e outputs para o LIneA, e medição taxa de transferência
  • Execução do PZ Compute no SDumont com o DP0 Full
  • Execução do PZ Compute no cluster ICEX com os recursos similares ao da rodada no SDumont e comparação dos resultados.
• PZ Server plataform:
  • Melhorias no layout e correção de pequenos bugs.
  • Iniciada integração com Satosa.
  • Iniciada reestruturação da interface de upload.
  • Reunião de alinhamento com representante do LSST.

Atividades de operação e gerenciamento de infraestrutura computacional:

• Implementada aplicação para tratamento de logs no proxy SATOSA e adicionadas regras personalizadas no sistema de detecção de intrusão OSSEC para captura de eventuais informações de uso do proxy de autenticação SATOSA;
• Instalação e configuração da ferramenta de escaneamento de vulnerabilidades em rede Openvas com apoio do Centro de Atendimento a Incidentes de Segurança da RNP (CAIS/RNP);
• Implementado processo educacional interno em cybersegurança que visa o envio de alertas e avisos aos usuários do ambiente do LIneA;
• Finalizada a adoção do framework SIRTFI (Estrutura Confiável de Resposta a Incidentes de Segurança para Identidade Federada) com a implementação de diversos processos, procedimentos e ferramentas de cybersegurança;
• Iniciada a avaliação das diversas propostas de equipamentos e serviços enviadas pelos fornecedores para a implementação do IDAC Brasil;
• Implementado o monitoramento via Zabbix dos endereços das diversas aplicações mantidas pelo time de TI do LIneA incluindo a notificação do estado de cada uma delas;
• Preenchimento e envio de relatório técnico com as entregas do segundo trimestre de 2022 para o projeto BRA-LIN-S1 referente a instalação do Independente Data Access Center (IDAC) conforme acordo com a colaboração internacional LSST.
• Implementadas melhorias na plataforma JupyterHub visando a disponibilidade e adequação de recursos computacionais conforme perfis dos usuários.

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Adaptação dos componentes subsets_separation, photoz_train, photoz_valid e dnf para rodar com os dados do LSST DP0 que possuem colunas faltantes.  
• Implementação de classificação estrela/galáxia no pipeline VAC Cluster Simulation baseada na classificação disponível no release LSST DP0. 

Comunicação, Divulgação e Educação:

• Entrevistas BPG: contato com candidatos e apoio logístico nas entrevistas.
• Anúncios: bolsa LSST Corporation; evento IAC DES; andamento da chamada BPG; evento DESCam 10 anos; evento Workshop DESI; lançamento Jupyter Hub; webinário CNPq e vídeo INCT.
• Forms para feedback dos usuários Jupyter Hub
• LIneA News: Nova sede LIneA e Lançamento Jupyter Hub
• Texto de liberação do SIRTFI

Minicurso: 

• Planejamento do curso Read the docs e MK docs.

Site:

• Atualização da página de artigos

LSST:

LSST Portal:

• Reunião de brainstorm e planejamento para o desenho da landing page do LInea Science Platform. 

PZ in-kind:

• Pz Compute:
  • Início preparatório para execução no SDumont;
• PZ Server:
  • Adicionada autenticação por token com base no usuário e senha do database;
  • Finalizada a integração entre front-end e back-end;
  • Finalizada primeira versão da aplicação, disponível em: https://pz-server-dev.linea.gov.br/
  • Relatório trimestral da in-kind contribution;
  • Reunião de alinhamento com representante do LSST.

Atividades de operação e gerenciamento de infraestrutura computacional:

• Atualização e reorganização do plano de trabalho para a instalação do Independent Data Access Center (IDAC) para o LSST com o objetivo de melhorar a visibilidade no acompanhamento das tarefas e também adequar melhor os prazos acordados;
• Realizado o levantamento e a diagramação das conexões de rede para o plano de atualização da rede local e sua integração ao IDAC Brasil;
• Definição do roteiro de desenvolvimento e entrega do LIneA Science Platform para o IDAC Brasil;;
• Foram realizados e documentados novos testes de performance no ambiente Lustre FS com a ferramenta FlexibleIO;
• Foram realizadas novas reuniões de alinhamento de requisitos com diversos potenciais fornecedores para a instalação do IDAC Brasil;
• Realizada a atualização dos ambientes de produção e desenvolvimento do website do LIneA bem como da plataforma wordpress e de todo o conjunto de módulos.
• Realizada a instalação e configuração de servidor dedicado ao armazenamento temporário de vídeos das reuniões administrativas do laboratório, incluindo a automação das transferências de vídeos da nuvem do aplicativo Zoom para a rede local;
• Foi realizada a instalação e configuração do novo servidor de aplicações bem como a migração de todas as aplicações do antigo servidor para este novo;

Comunicação, Divulgação e Educação:

• Termo de Outorga (novo bolsista)
• Termo de advertência (bolsista)
• Programação mensal do webinar 
• Vídeo INCT do e-Universo para a CNPq
• Anúncios: Esclarecimento sobre o funcionamento LIneA; Reunião IDAC UK; Problema com o Google maps; InfraDay; Evento Cosmo 22; Evento DES. 
• Formulário para feedback dos voluntário LIneA Jupyter Hub
• Formulário de interesse em novos cursos LIneA. 
• Reunião do CA (data marcada).

LSST:

GAWA workflow:

• Integração da nova estrutura de diretórios e melhorias no código.

PZ in-kind:

• Pz Compute:
  • Inclusão de pequeno conjunto de dados para teste no repositório;
  • Adicionada nova forma de registrar os logs dos jobs paralelos;
• PZ Server:
  • Deploy da aplicação em ambiente de teste;
  • Início da integração entre front-end e back-end;
  • Início da implementação da autenticação via Github
  • Implementação da interface “Data Products”

Atividades de operação e gerenciamento de infraestrutura computacional:

• Foi realizada a atualização do JupyterHub para correção de brechas de segurança (v1.4.2 > v1.5.0). Foram implementadas melhorias no código do sistema de autorização e de configuração de recursos computacionais com base no perfil do usuário, e implementada nova interface de apresentação que permite ao usuário ter a visão do seu perfil no ambiente. Também foi alterada a versão da imagem do servidor Jupyter Notebook.
• Foram organizadas reuniões subsequentes de alinhamento com diversos fornecedores de equipamentos e de serviços com o objetivo de apresentar mais detalhes acerca dos requisitos para o Centro de Dados Independente para o LSST (IDAC).
• Foi realizada a atualização de todos os servidores web existentes no ambiente com o objetivo de corrigir brechas de segurança e proporcionar maior estabilidade aos sistemas web e também a migração do sistema operacional do servidor de aplicações (EUPS) da versão obsoleta CentOS6 para a CentOS7.
• Foi realizado assessoramento técnico com a elaboração de relatório de justificativa técnica para a aquisição de equipamentos para expansão do cluster de processamento (HPE Apollo) que será disponibilizado para uso exclusivo do IDAC Brasil.
• Foi implementada melhoria no sistema de monitoramento dos servidores físicos com a configuração de envio de alertas de problemas de hardware por e-mail.

Descrição de serviços Melhorias nas plataformas científicas:

• TNO
  • Foi corrigido um bug com Astropy no pipeline Orbit Trace. 
  • Foi corrigido um bug no registro dos resultados gerados pelo Orbit Trace. 
• Science Server
  • Foi realizada uma alteração na página de instruções de login e cadastro nos serviços do DESaccess.

Comunicação, Divulgação e Educação:

• Postagens sobre a chamada pública do BPG-LSST
• LIneA News trimestral 
• Organização do material educativo LIneA no Google Classroom
• Blogs diversos
• Anúncios diversos
• Chamada para o BPG-LSST: finalização das inscrições; organização do material recebido; blog com estatísticas.
• 2ª Reunião da comissão de admissão BPG-LSST
• Revisão do material para a colaboração LIneA e PACE
• Termo de custeio para viagem dos bolsistas LSST Corporation

LSST:

GAWA workflow:

• Correção de bug ao usar o Parsl com o mr_filter em paralelo. O Parsl foi removido temporariamente pois o workflow tem que ser reformulado;
• Reunião com colaboradores e o time de TI  para definir mudanças estruturais e documentação do código;

PZ in-kind:

• Estudo de como utilizar autenticação oauth com Github + Django no Pz Server;
• Reestruturação do código do Pz Server para facilitar a integração do frontend com o backend;
• Criação de documentação inicial de como instalar o Pz Server no ambiente de teste e produção;
• Criação do pipeline de Contínuos Integrations do repositório.

Atividades de operação e gerenciamento de infraestrutura computacional.

• Instalação e configuração de ambiente JupyterHub em produção. Com a implementação de mudanças visuais e estruturais na interface de seleção de imagens. Também foi corrigido o sistema de identificação quando o usuário efetua o registro e o acesso por login de rede social (Google).
• Realizados testes de validação da instalação do novo sistema Skyserver e CASJobs do projeto Sloan Digital Sky Survey (SDSS) incluindo a verificação dos dados ingeridos. Instalação de cliente de monitoramento Zabbix nos servidores deste ambiente.
• Levantamento de requisitos técnicos em conjunto com o fornecedor de equipamentos de HPC para a aquisição de novos equipamentos que visam a expansão do cluster ICEx-Apolo e criação de relatório técnico 
• Migração das instâncias do ScienceServer de produção e desenvolvimento ora instaladas em servidor virtual para uma máquina física utilizando a tecnologia de containers docker.
• Realizado upgrade do servidor web Nginx que serve de porta de acesso para as aplicações e portais web.
• Preenchimento e envio de relatório técnico com as entregas do primeiro trimestre de 2022 para o projeto BRA-LIN-S1 referente a instalação do Independente Data Access Center (IDAC) conforme acordo com a colaboração internacional LSST.
• Organização e apresentação da reunião com fornecedores visando a aquisição de equipamentos para o IDAC (LSST).

Descrição de serviços Melhorias nas plataformas científicas:

JupyterHub:

• Entrega da versão inicial da biblioteca dblinea (oferece leitura dos dados do banco via comandos Python de dentro do JupyterHub) no github (disponível para instalação via pip ou conda).
• Registros de listas de targets no science server a partir da biblioteca dblinea.
• Jupyter notebook de tutorial para novos usuários 
• Implantação da versão baseada em kubernetes no ambiente de produção (URL padrão), desativação do ambiente de testes.  

 Science Server:

• Foi implementado autenticação via Token API, para permitir o acesso pela biblioteca dblinea. Foi criada uma interface que permite ao usuário gerenciar seu Token.
• Sobre a ferramenta Daiquiri, foi feito handover do Matheus para Glauber e Cristiano. Foi corrigido um problema de dependência, foi feito uma pequena documentação sobre o estado atual da ferramenta e sua instalação em ambiente de desenvolvimento. 

DES Portal:

• Disponibilização dos dados do LSST, release DP0.1 no portal (join de dados espalhados em diferentes arquivos, ingestão no banco e cópia no Lustre, registro como novo release/dataset) 

Comunicação, Divulgação e Educação:

• Reunião Comissão de admissão BPG. 
• Elaboração da carta convite para fornecedores e convidados especiais – IDAC Brazil.
• Atualização do Manual de Boas-vindas
• Chamada pública BPG: organização de Q&A, cartas de recomendação, planilha com candidaturas, posts especiais para a chamada.  
• Apresentações: Resultado parcial das candidaturas para o BPG; Tutorial de Registro nos perfis públicos.
• Anúncios diversos.
• Lançamento e tutorial do Jupyter Hub (beta). 
• Revisão da mensagem para cadastro de novos usuários.
• Alinhamento da parceria LIneA + PACE.

LSST

PZ in-kind:

• Protótipo de front-end concluído: landing page e upload page  (implementação local, na máquina do desenvolvedor, código disponível no github). 
• Protótipo de back-end concluído: API, banco de dados administrativo e ferramenta de upload (implementação local, na máquina do desenvolvedor, código disponível no github). 

GAWA workflow:

• Criação de repositório do GAWA no github;

• Adaptação do código original para funcionar em qualquer ambiente com um conjunto pequeno de dados;
• Adicionada paralelização ao código usando Parsl;

Atividades de operação e gerenciamento de infraestrutura computacional.

• Criação de playbooks ansible para automatizar a montagem e desmontagem de diretórios remotos NFS e Lustre, e a instalação dos agentes zabbix e sssd nas máquinas clientes.
• Revisão do processo de registro de usuários através da ferramenta COManage registry e da documentação de entrada de novos usuários
• Iniciados testes para validação final da instalação do novo sistema de arquivos lustre
• Atualização do inventário de equipamentos de uso dos colaboradores e dos servidores e equipamentos de rede do LIneA
• Realizada instalação de ambiente de desenvolvimento da plataforma JupyterHub sobre o Kubernetes.
• Realizada transferência dos dados do SDSS-IV DR17 para a rede interna e foram disponibilizados servidores para instalação dos sistemas SkyServer e CasJobs em servidor Windows.
• Realizada a migração do novo site do ambiente de desenvolvimento para o de produção. Tendo sido mantido o antigo site no ar porém em endereço diferente.

Descrição de serviços Melhorias nas plataformas científicas:

JupyterHub:

• Atualização da instalação do JupyterHub no Kubernetes para fazer o spawn a partir de uma imagem docker única
• Melhorias na página inicial (front-end)
• Criação de biblioteca para acesso a dados públicos (DES DR2) e conexão com o Science Server
• Preparação de tutorial para usuários iniciantes na plataforma

DES Portal:

• Atividades regulares (testes, produção de catálogos, etc)
• Correção de bugs no pipeline do DethMap Y6 com arquivos healpix.
• Investigação de problema de estouro de memória com o pipeline WAZP quando usado em simulações do LSST.

Comunicação, Divulgação e Educação:

• Elaboração de documento com “Perguntas e Respostas” para as dúvidas do BPG.
• Lançamento do LIneA Office Hours (Tecnologistas + cientistas do BPG).
• Anúncios diversos
• Planejamento de reuniões: Comissão BPG, Comitê Organizador, Fornecedores (IDAC Brazil). 
• Alinhamento da parceria LIneA + PACE.
• Informe de adiamento do tutorial e lançamento do Jupyter Hub.
• Postagem para o “dia internacional das meninas e mulheres na ciência”

Site:

• Organização dos afiliados.
• Organização dos colaboradores LIneA.
• Revisão do cadastro de colaboradores

LSST

PZ in-kind:

• Design document (continuação)
• Documentação no formato mkdocs no github
• Cronograma de entregas para 2022
• Implementação de versão inicial de teste do banco de dados administrativo da plataforma PZ Server (em desenvolvimento)

Atividades de operação e gerenciamento de infraestrutura computacional.

• instalação e configuração de ambiente para implementação de nova versão do website principal do LIneA, incluindo a migração da antiga versão do website para a nova versão;
• Implementadas melhorias e correções no servidor JupyterHub de testes instalado no Kubernetes: alteração na interface de apresentação de imagens docker, integração a autenticação via federação CAFe; migração da url jupyter-dev para jupyter;
• Início do descomissionamento do servidor JupyterHub single.
• Iniciada a criação de ambiente de desenvolvimento para as ferramentas e aplicações de Identificação e Autorização;
• Migração dos backends do proxy Satosa da federação de identificação e autorização CAFe expresso para CAFe;
• Instalação e configuração do agente zabbix em todas as máquinas do cluster apolo e nas virtualizadoras;

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Disponibilização do conjunto de dados DES Y6 Gold particionado em HEALPix no novo Lustre
• Disponibilização do conjunto de dados LSST DC2 particionado em arquivos balanceados e em HEALPIx no novo Lustre
• Alteração do scratch do portal para o novo Lustre
• Correção de bugs no pipeline Photo-z Training causados pela ​reestruturação da LDAP do LIneA

LIneA JupyterHub:

• Iniciada a escrita da documentação de apoio ao usuário
• Notebook tutorial LineA JupyterHub Primeiros Passos
• Início do desenvolvimento da biblioteca de acesso a dados (linea_db) 

TNO:

• O pipeline de Orbit Trace, está sendo integrado ao pipeline de Predict Occultation na intenção de aproveitar o gerenciamento de processos que será implementado para a predição .

Comunicação, Divulgação e Educação:

• Press release (APOGEE e MaNGA)
• Formulário para inscrições do BPG-LSST
• Plano de Governança BPG-LSST
• Elaboração do documento com orientações estudantes de iniciação científica
• Anúncios: chamada BPG, novo site, novos estudantes de IC
• Contato com voluntários para acesso ao Jupyter Hub LIneA
• LIneA News especial
• Blogs diversos

Site:

• Revisão dos conteúdos para as páginas
• Atualização da página ciência (LSST)

Planilha Financeira 

• Pequenas correções
• Lançamento de despesas

Atividades de operação e gerenciamento de infraestrutura computacional.

• Finalização e submissão do plano de trabalho do IDAC 2022-2038 cobrindo todos os aspectos para a instalação e manutenção do Centro de Dados para o LSST;
• Reinstalação do servidor JupyterHub de testes no cluster kubernetes;
• Instalação do servidor Zabbix proxy com o objetivo de organizar melhor o sistema de monitoramento facilitando a captura local de métricas e dados no datacenter;
• Cópia e disponibilização das imagens HiPS (6TB) no novo ambiente Lustre para uso das aplicações de análises científicas (science server);
• Revisão e submissão do documento ao DAGSer/RNP para a análise da proposta de instalação e disponibilização do serviço de autenticação e autorização do LIneA (Stack IdP) na Comunidade Acadêmica Federada (CAFe);
• Disponibilização do novo site para o workshop lsst-brazil2021;
• Revisão e disponibilização de documentação para inicialização e desligamento dos equipamentos no datacenter;

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Inclusão de novos usuários “tasters”, treinamento e realização de testes nos pipelines E2E.  

Science Server:

TNO:

LSST

LSST Portal:

• Reformulação do workflow PZ Parsl com o código de Photo-z CMNN para viabilizar a comparação entre resultados do LSST DP0 e DES Y6.
  • Utilização do conjunto de treinamento default do próprio código
  • Adaptação para falta da banda-u no DES Y6 (código originalmente hardwired para 6 bandas).

Comunicação, Divulgação e Educação:

• Aplicação do curso de github (avançado)
• Notícias/blogs diversos
• Planejamento para chamada do BPG
• Organização e realização do evento LSST Brazil
• Organização para seleção de bolsistas Heising Simons Foundation
• LIneA News 4º trimestre 
• Live com youtubers (Astrotubers)
• Post sobre a entrada do LSST no Guinness Book 

Site:

• Atualização do site LSST Brazil (vídeos, apresentações, Q&A)
• Ajustes no novo site LIneA

Atividades de operação e gerenciamento de infraestrutura computacional.

• Implementada solução para integração e sincronização das instâncias de desenvolvimento e produção do website oficial do LIneA;
• Criado e apresentado em reunião de alinhamento com representante do LSST o rascunho do plano de trabalho do IDAC 2022-2035;
• Realizada visita no datacenter para reparo de sistemas e de rede, e troca de discos nos servidores DESDB6, KWORKER02, MDS2, VIRT14 e VIRT16;
• Implementada integração entre diferentes bancos de dados com a criação de tabelas estrangeiras para a interface de consultas Daiquiri;

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Criação de arquivos balanceados do dataset Y6A2 Gold usando o cluster Spark.
• Inclusão de novos usuários no grupo Pipeline Tasters

Science Server:

• Implementado filtro aos objetos submetidos a cutout no DESaccess, para evitar que objetos fora do footprint do DES sejam processados. 

TNO:

• Finalizado a imagem docker responsável pela predição de ocultações estelares e o refinamento de órbita.
• Implementado o registro dos resultados das predições no banco de dados
• niciada avaliação dos resultados comparando com os obtidos usando o novo código SORA
• Iniciada a próxima etapa de transformar o pipeline em um serviço que possa funcionar com tarefas agendadas. 

LSST

LSST Portal:

• Início de desenvolvimento com Spark (AXS):
  • Criação de cluster Spark utilizando o HTCondor + Lustre
  • Definição de particionamento para o AXS
• Documentação PZ Server: criação de diagramas de casos de uso e entidade relacionamento.
• Conversão de formato fits para parquet do dataset Y6A2 Gold. 

Comunicação, Divulgação e Educação:

• Anúncios diversos
• Escrita de Blogs 
• Organização do evento LSST Brazil 2021
• Certificados do curso git básico
• Formulários para solicitações
• Contato com youtubers para colaboração no evento LSST Brazil

• Aplicação do curso git básico
• Organização e lançamento do curso git avançado

Site:

• Layout para página de colaboradores LIneA
• Desenvolvimento do site para o evento LSST Brazil 2021
• Desenvolvimento do site para o curso de git avançado

Atividades de operação e gerenciamento de infraestrutura computacional.

• Implementadas as regras de segurança para as senhas de usuários no novo LDAP, bem como foi iniciada a documentação técnica e também de usuários; foi instalado o servidor slave03 no PoP-RJ e integrado o servidor de emails Zimbra ao novo LDAP; Também foi realizada a atualização de sistema da máquinas IdP e implementadas melhorias na ferramenta web de troca de senhas;
• Foi realizada a atualização do sistema gerenciador de bancos de dados PostgreSQL para a versão 13.4 e em seguida efetuada a migração de todos os bancos de catálogos astronômicos para esta nova versão;
• Foram realizados os testes de transferência de dados (DP0) entre a DTN e o IN2P3 na França e foi finalizado seu relatório técnico;
• Foi apresentado ao LSST o rascunho do documento do plano de trabalho para o IDAC.

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

TNO:

• Foi criada uma imagem docker, contendo o NIMA e o PRAIA OCC programa responsável pela predição de ocultações estelares, agora temos as 2 etapas, refinamento e predição sendo executadas pela mesma imagem, o pipeline foi alterado para utilizar a nova imagem, estamos agora trabalhando no registro dos resultados da predição.  

Comunicação, Divulgação e Educação:

• Apresentação “Conheça o LIneA” para os candidatos à bolsa LSST Corporation
• Acompanhamento do processo seletivo dos bolsistas LSST Corporation
• Participação LIneA na 18ª Semana Nacional de Ciência e Tecnologia
• Anúncios diversos
• Escrita de Blogs 
• LIneA News especial 

Minicurso: 

• Organização do curso de Git básico
• Planejamento dos cursos: Github e Gitflow, Aplicações para a astronomia

Site:

• Layouts para páginas diversas

Planilha Financeira 

LSST

LSST Portal:

Atividades de operação e gerenciamento de infraestrutura computacional.

• Iniciada a execução do plano de implementação das tecnologias de identificação e autorização (stack IdP) no ambiente de produção visando atender aos requisitos do IDAC (LSST), que incluiu a instalação de novos servidores LDAP com Debian 11, habilitação de criptografia, instalação da ferramenta de administração LAM (LDAP Account Manager), a substituição do antigo cliente LDAP nscd para sssd e a migração das aplicações para o novo ambiente;
• Implementadas correções no item sanções e punições da Política de Segurança da Informação conforme orientações do CAIS/RNP;
• Instalação e disponibilização da versão de testes do Jupyter Hub no Kubernetes, incluindo o controle de recursos computacionais com base no perfil do usuário.
• Iniciados testes de transferência de dados (DP0) entre a DTN e o IN2P3 na França, com objetivo de obter métricas;
• Iniciado rascunho do documento de plano de trabalho para o IDAC.

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Reativação de alguns datasets na interface Dashboard

TNO:

• Finalizado o pipeline de Refinamento de órbita utilizando NIMA e toda a parte de aquisição de inputs a partir de serviços externos como MPC e AstDys. O pipeline foi implementado em uma imagem docker que está sendo executada no cluster Condor, para isso foi desenvolvido uma api para comunicação entre o Condor e o portal TNO. 
• Iniciamos o desenvolvimento do pipeline de Predição de Ocultação, no momento estamos na parte de aquisição dos inputs necessários, à próxima fase é a execução no cluster utilizando a mesma solução da etapa anterior.

Comunicação, Divulgação e Educação:

• Material para a divulgação da Semana Nacional de Ciência e Tecnologia.
• Divulgação de bolsa do LSST Corporation.
• Press Release Templeton Foundation
• Press Release LINCC
• Escrita e revisão de blogs
• Material de divulgação científica para redes sociais
• LIneA News nº 56

Minicurso: 

• Preparação do material para o minicurso de Git e GitHub.
• Certificados para os minicursos (LIneA Science Server e Jupyter Notebook) 

Site:

• Mudanças na infraestrutura e no processo de instalação e atualização do wordpress e de seus módulos adicionais (plugins).
• Atualização de plugins e do framework do site (wordpress).
• Implementação de perfil editor para usuários que manterão conteúdo sem o poder de administrador. 
• Mudança no conteúdo em diversas áreas do site novo.
• Mudanças na navegabilidade
• Atualização dos textos para as colaborações científicas. 
• Organização do conteúdo História e Associação LIneA. 

Planilha Financeira 

• Melhorias para atender novas demandas de visualização dos gastos.

LSST

LSST Portal:

• Início da integração do código CMNN ao pipeline Photoz-parsl.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Revisão da Política de Segurança com a equipe de governança de segurança da RNP (CAIS), sendo necessárias pequenas correções; iniciado também a implementação dos requisitos técnicos de conformidade com o framework SIRTIFI;
• Iniciado a plano de reorganização da infraestrutura de servidores e da rede;
• Realizados testes de performance nas duas áreas de armazenamento do novo lustre com o objetivo de homologar a instalação; também foi realizado o upgrade do sistema do switch Dell da solução. Além disso foi criada e disponibilizada a documentação técnica para administração do novo ambiente lustre;
• Expansão do cluster kubernetes com a adição de três nós ‘workers’;
• Implementado no Zabbix versão de testes de dashboard de monitoramento do cluster kubernetes;
• Iniciado plano de implementação do conjunto de tecnologias de identificação e autorização (stack IdP) no ambiente de produção visando adequação aos requisitos do IDAC (LSST);

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Manutenção de pipelines do Data Preparation. Identificação de problemas nos mapas de Foreground Objects e substituição pelo mapa corrigido.

TNO:

• Finalizado o desenvolvimento do pipeline de identificação de objetos TNOs a partir dos catálogos do DES utilizando Parsl para processamento no Cluster HtCondor. 
• Iniciamos o desenvolvimento do pipeline Refine Orbit, está sendo implementado as integrações com serviços do MPC para aquisição de parâmetros orbitais e observações.  

Comunicação, Divulgação e Educação:

• Desenvolvimento dos anúncios para primeira página do site.
• Escrita e revisão de blogs.
• Regulamento e Termo de Outorga para bolsas LIneA e LSST Corporation.
• Press Release Templeton Foundation.

Minicurso: 

• Organização e seleção dos inscritos.
• Instruções para os selecionados.
• Formulário de satisfação.
• Criação e edição de conteúdo para divulgação.
• Confecção de material didático e disponibilização no Github.
• Aulas e apoio online para os alunos.

Site:

• Revisão dos textos das colaborações científicas.
• Adição do Manual de boas vindas ao site.
• Criação de páginas e atualização de conteúdo no novo site do LIneA.
• Ajustes de navegação no menu lateral e menu superior.

Planilha Financeira 

• Revisão das planilhas do INCT, FINEP e Bolsa de Produtividade e Organização de documentação.
• Criação e ajustes de relatórios com dados da planilha feito no Data Studio.

LSST

LSST Portal:

• Criação de particionamento balanceado do DP0 com Apache Spark no cluster do LIneA.
• Início do design do novo pipeline Training Set Maker e Photo-z Sever. 
• Criação de método para iniciar cluster Spark standalone no HTCondor.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Transferência do catálogo DP0 (2.5TB) do LSST da França para o Brasil;
• Realização de mais testes com a ferramenta FIO para validação da solução Lustre operando a 100Gbps integrada ao cluster Apollo; criação da documentação de administração dos equipamentos incluindo seu cadastro na plataforma PNIPE do Ministério da Ciência e Tecnologia.
• Implementação da solução SATOSA integrado ao provedor de identidades do LIneA à CAFe;
• Definição e criação de política de segurança da informação e suas normas complementares visando a integração do provedor de identidades do LIneA ao CILogon (LSST);

Descrição de serviços Melhorias nas plataformas científicas:

DES Portal:

• Melhorias no pipeline Galaxy Properties para ler de arquivos balanceados e com consolidador paralelo. 
• Correção de erros nos dados que alimentam o pipeline Photo-z Compute e criação de produtos de photo-z com os dados do Y6.
• Melhorias e adaptações no componente query builder e nos pipelines de criação de VACs (GA, GE, Cluster) para entrar em conformidade com as mudanças presentes no catálogo Y6A2 Gold v2.0. 

LSST Portal:

• Iniciado o design da plataforma Photo-z Server
• Iniciado testes com Apache Spark no cluster do LIneA

TNO:

• Desenvolvimento do pipeline de identificação de objetos TNOs a partir dos catálogos do DES. A etapa de integração  do código científico ao portal está completa. 
• Finalizado testes com Parsl, estamo
• Testes de escalabilidade e performance sendo realizados. 

Comunicação, Divulgação e Educação:

• Preparação de enquetes de opinião para comunidade
• Desenvolvimento do manual de boas vindas para novos membros
• Escrita e revisão de blogs
• LIneA News trimestral
• Desenvolvimento do anúncio mensal e semanal do Webinar LIneA.
• Desenvolvimento dos anúncios para primeira página do site.

Minicurso: 

• Preparação das aulas e material didático para o Minicurso Jupyter Notebook
• Atualização do site dos Minicursos com registro de participantes
• Criação de imagem docker customizada com as bibliotecas Python que serão utilizadas nas aulas
• Disponibilização de um JupyterHub isolado para ser acessado pelos alunos, separado do ambiente de produção. 
• Preparação do conteúdo para o site do minicurso

Site:

• Organização do conteúdo de comunicação.
• Apresentação dos resultados das enquetes aplicadas até o momento. 
• Colaboração de diversas áreas na organização estrutural do novo site

Planilha Financeira 

• Revisão da planilhas do INCT, FINEP e da Bolsa de Produtividade

LSST

• Participação na apresentação sobre as propriedades do DP0 e do Rubin Science Platform

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Foi realizada a integração das 16 máquinas Apollo ao novo sistema de arquivos Lustre, tendo sido necessária a reconfiguração da rede infiniband, a instalação de novo driver da interface de rede e a criação e instalação de novas imagens de sistemas. O novo sistema de arquivos está acessível em /lustre/t0 e /lustre/t1.
• Foram realizados testes de performance a fim de identificar se o novo sistema de arquivos está de acordo com o especificado (100Gbps). Os resultados foram apresentados na reunião semanal de infraestrutura do LIneA.
• Foi instalado novo servidor de monitoramento Zabbix e habilitado monitoramento ativo nas máquinas do novo sistema de arquivos Lustre.
• Foi instalado e disponibilizado para testes o sistema de gerenciamento de conjunto de dados científicos chamado Dataverse.
• Foi realizado o download das imagens .ptiff do release DES DR2
• Foi realizado o registro de usuários “LIneA” no novo sistema de gerenciamento COManage

Descrição de serviços Melhorias nas plataformas científicas:

Science server

• Foi finalizada a instalação do Science Server no LIneA para atender a comunidade Brasileira.
• Instalação/Registro Catálogo Delve NGC55 no Science Server Público, foi necessário desenvolver mecanismos de permissão para que o catálogo e as imagens ficassem disponíveis apenas para usuários do grupo DELVE.
• Correção de Bugs no Science Server Público.
• Registro das imagens de mapas do release Y6A2 no Science Server da colaboração e do LIneA.

DES Portal:

• Foi finalizada a instalação do dataset Y6A2 GOLD.
• Foi realizada a adaptação do pipeline Star Galaxy Separation (novo pipeline) para trabalhar com o particionamento por arquivos balanceados.
• Foi realizada a limpeza de produtos obsoletos no database Postgres de catálogos. 
• Foram realizadas investigações/adaptações em pipelines e na infra-estrutura do DES Portal em virtude do novo dataset Y6A2 GOLD.
• Foi feita investigação de ferramentas para monitorar os produtos do database Postgres de catálogos. 

LSST Portal:

• nenhuma atividade

MaNGA:

• nenhuma atividade 

TNO:

• Continuamos no desenvolvimento do pipeline de identificação de objetos TNOs a partir dos catálogos do DES. Toda a etapa de preparação dos dados de entrada já está pronta. Estamos integrando o código científico ao portal e testando a ferramenta de paralelização Parsl que permitirá o processamento desses dados no cluster. 

Comunicação, Divulgação e Educação:

• Administração das redes sociais LIneA.
• Desenvolvimento do anúncio mensal e semanal do Webinar LIneA.
• Desenvolvimento dos anúncios para primeira página do site.
• Desenvolvimento do edital para a bolsa de iniciação científica para a LSST Corporation.
• Press Release das publicações referentes às análises realizadas com os dados do release DES-Y3
• Lançamento da Plataforma LIneA Science Server no Brasil. 
• Atualização de mala direta.
• Desenvolvimento de material para novos integrantes LIneA.

Minicurso: 

• Planejamento para aplicação dos módulos I e II. 

Site:

• Atualização do calendário de eventos.
• Desenvolvimento do novo layout para vídeos.
• Upload dos vídeos de reuniões gravadas pelo Zoom.
• Organização do conteúdo para webinars e vídeos de reuniões.

Planilha Financeira 

• Criação da planilha de Orçamento FINEP

Planejamento 

• Avaliação das atividades para os próximos seis meses.
• Avaliação da entrega parcial do planejamento estratégico. 

LSST

• Relatório BRA_LIN Profile explorer com detalhamento das atividades dos pipeline scientists. 

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Iniciada a instalação e adequação do ambiente JupyterHub na plataforma Kubernetes e sua integração ao sistema de autenticação federada.
• Implementadas mudanças na rede infiniband do cluster icex-apollo para a correta integração ao ambiente do novo sistema de arquivos lustre
• Foram levantados os requisitos necessários para criação e implementação de uma política de segurança da informação com o objetivo de atender às exigências da Comunidade Acadêmica Federada (CAFe) e do World Data System (WDS).
• Iniciado o levantamento e a documentação das faixas de rede do LIneA, também de suas rotas e seus endereçamentos IP associados aos hosts.

Descrição de serviços Melhorias nas plataformas científicas:

Science server

• Foi implementado melhorias na integração com o DESaccess para geração de cutouts e está sendo desenvolvido um sistema de permissões para as informações de Releases visando a instalação do science server no Brasil com dados públicos e privados.

DES Portal:

• Ingestão do dataset Y6A2 Gold v2.0 no database gavo.
• Criação de Jupyter Notebook para validar dados fotométricos (datasets).
• Remoção dos datasets Y3 Gold e Y3 Gold Medium.

LSST Portal:

• Criação de proposta de uso do cluster HTCondor através de  containers/Jupyter Notebooks.

MaNGA:

• Inserção do Google Analytics para monitoramento do tráfego na aplicação;
• Integral Field Unit (IFU) Viewer: exibição de não-valores ao redor da área hexagonal de dados;
• Notificação de lançamento do MaNGA em produção.

TNO:

• Foi iniciado o desenvolvimento do pipeline de identificação de objetos TNOs a partir dos catálogos do DES. 

Comunicação, Divulgação e Educação:

• Escrita e revisão de blogs.
• Administração das redes sociais LIneA.
• Desenvolvimento do anúncio mensal e semanal do Webinar LIneA.
• Desenvolvimento dos anúncios para primeira página do site
• Proposta de solicitação de bolsa de iniciação científica para a LSST Corporation..

Minicurso: 

• Módulo I: orientação para os inscritos, aplicação do módulo, formulário de avaliação do módulo, confecção dos certificados.
• Módulo II: avaliação do módulo, contato com a comissão para relatório.

Site:

• Atualização do calendário de eventos.
• Desenvolvimento do novo layout.
• Implementação do menu lateral.
• Implementação do card “anúncios”
• Upload dos vídeos de reuniões gravadas pelo Zoom.
• Organização do conteúdo.

Planilha Financeira 

• Criação da planilha de Orçamento FINEP

Planejamento 

• Avaliação da entrega final do planejamento de marca feito pela empresa Propósito.
• Avaliação da entrega parcial do planejamento estratégico.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Foram definidas normas e procedimentos de segurança para atender a requisitos de segurança necessários à integração do IdP LIneA à rede federada internacional;
• Iniciado planejamento para criação da documentação de política de segurança da informação;
• Foi realizada a atualização dos sistemas do serviço Skybot;
• Finalizado o download dos catálogos DR2 do Dark Energy Survey.

Descrição de serviços Melhorias nas plataformas científicas:

Science server

• Integração do Science server com autenticação federada, e alterações na aplicação para o ambiente do LIneA. 

DES Portal:

• Normalização dos nomes dos pipelines VACs no database.
• Início da exportação das imagens Aladin do dataset Y3A2 para o NCSA.
• Investigação de erros no pipeline VAC Cluster com o dataset Y3 Deep.
• Correção de erro na submissão de processos no ambiente de produção.
• Investigação de problemas com a ingestão do dataset DC2 Run DR3.-

Dashboard:

• Correção de um bug no qual não carregava todos os dados/processos de um pipeline
• Ajuste para melhor visualização dos resultados (aumento de tamanho e disposição dos dados na tela)

MaNGA:

• Criação de mail list para comunicação interna.

Comunicação, Divulgação e Educação:

• Escrita e revisão de blogs.
• Administração das redes sociais LIneA.
• Desenvolvimento do anúncio mensal e semanal do Webinar LIneA.
• Minicurso: 

• Organização do módulo I para apresentação ao público (data e hora)
• Estrutura do conteúdo para o site do minicurso destinado ao módulo I.
• Acompanhamento no desenvolvimento do encarte para o módulo I.
• Contato com a comissão avaliadora para o módulo II (escolha do dia e hora)
• Apresentação teste do módulo II
• Reuniões gerais sobre o curso.
• Imagem de apoio na divulgação do curso.

Workshop

• Reuniões para alinhamento final.
• Monitoramento via YouTube.
• Atualização das redes sociais LIneA durante e após o evento.

Site

• Adição do card em carrossel com imagens sobre a missão do LIneA.
• Organização dos ícones de serviços na página inicial.
• Reestruturação da apresentação para o card de produtos.
• Implantação do calendário na página principal apresentando os eventos diários internos e externos.
• Upload dos vídeos de reuniões gravadas pelo Zoom.
• Postagem de blogs com notícias LIneA.
• Implementação de uma imagem para divulgação do curso.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Realizada migração das listas de email para o novo ambiente.
• Disponibilizado ambiente de homologação do serviço de identificação e iniciada documentação de administração e uso do COManage.
• Iniciada a homologação do cluster kubernetes com a instalação e configuração de aplicações básicas.
• Realizado levantamento da carga de trabalho dos serviços críticos para possível migração nuvem (cloud computing).
• Realizada atualização completa do servidor principal que hospeda os sites do LIneA.
• Iniciada implementação da ferramenta de detecção de intrusão OSSEC no ambiente.

Descrição de serviços Melhorias nas plataformas científicas:

Science server

• Modificações na aplicação Target Viewer para integração com banco de dados do LIneA.
• Levantamento de requisitos e início da implementação do Explorer para cluster de estrelas. 

LSST Portal:

• Correções no site do bpg-LSST que apresentava avisos na tela de funções obsoletas gerando um impacto visual negativo no website.

DES Portal:

• Correção de bugs no novo dashboard.
• Mapeamento de tabelas antigas e obsoletas. Limpeza do banco de dados para liberação de espaço.
• Instalação de novos datasets: DES Y6A2 SOF, LSST simulação DC2

Comunicação, Divulgação e Educação:

– Acompanhamento do curso: Reunião e blog sobre a avaliação módulo I, planejamento para apresentação do módulo I ao público. Organização para avaliação interna e formação de comissão avaliadora externa para o módulo II.

– Escrita e revisão de blogs.

– Administração das redes sociais LIneA.

– Planejamento anual: Formação de Recursos Humanos.

– Acompanhamento da pesquisa de opinião: divulgação, reunião sobre resultados, workshop. 

– Desenvolvimento do anúncio mensal e semanal do Webinar LIneA.

Workshop: 

• Reuniões de alinhamento e validação de conteúdo para o site.
• Atualização do site com a programação e ampla divulgação nas redes sociais LIneA (Facebook, Twitter e Site).
• Elaboração de uma página informando a quantidade de inscrições por país (observação de dados).

Site:

• Criação do sidebar à direita (notícias) com os últimos blogs postados.
• Identificação das colaborações científicas apoiadas pelo LIneA.
• Identificação dos serviços realizados pelo LIneA na página principal.
• Desenvolvimento de uma página para novos membros terem acesso às ferramentas (SSO Portal, Science Server, MaNGA Portal) desenvolvidas pelo LIneA.
• Implantação do calendário na página principal apresentando os eventos diários internos e externos.
• Organização da pasta de vídeos.
• Upload dos vídeos de reuniões gravadas pelo Zoom.
• Separação da barra lateral em duas entradas (blogs e twittes). 
• Post de blogs com notícias diversas relacionadas ao LIneA.

Planilha Financeira 

• Diversas reuniões para levantamento de requisitos, entendimento de nomenclatura e associações de dados. 
• Criação de páginas com cálculos na planilha financeira para alimentar o Data Studio.
• Criação de 8 Páginas no Data Studio referente a dados e cálculos com base na planilha financeira do LIneA, levanto em consideração as agências, contas e rubricas.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Reinstalação e configuração de servidores físicos para o cluster Kubernetes
• Realizada a transferência de de parte do conjunto de imagens do NCSA/DES DR2 para o ambiente do LIneA, bem como sua disponibilização na versão local da aplicação Science Server. 
• Iniciada a migração do serviço de listas de email para uma nova versão e também foi reinstalado o cluster de armazenamento lustre (atual).
• Iniciada investigação para corrigir problemas de integração da rede infiniband entre o ambiente atual e o nova storage lustre que está em fase de instalação.
• Foram definidos e implementados em ambiente de testes os fluxos de registro da plataforma de gerenciamento de identidade e autorizações COManage.

Descrição de serviços Melhorias nas plataformas científicas:

Science server

• Integração do target viewer ao ambiente do LIneA para a versão pública dos dados do DES.

LSST Portal:

• Estudo da ferramenta AXS para integração dos resultados do LePhare com o dataset Y6 Gold Small
• Desenvolvimento parcial da componente de validação e avaliação da qualidade de redshifts fotométricos. Documentação completa e tutorial com Jupyter Notebook de demonstração. Reprodução de resultados publicados para o LSST Data Challenge I (Schmidt et al. 2020).

DES Portal:

• Implementação de solução no pipeline VAC para eliminar dependência de RA e Dec nos mapas.
• Implementação das bandas extras no componente Query Builder (u, J, H, Ks) e nas configurações do VAC GE e Cluster.
• Substituição do atributo ordering: de ring para nest no header do mapa de footprint criados no pipeline VAC.
• Ingestão, registro e adição de colunas no dataset Y6A2 SOF V2.
• Geração de catálogos científicos para os pipelines de Cluster e Galaxy Evolution utilizando dados do conjunto Y3 Deep, como desdobramento da atualização do banco de dados de redshift espectroscópicos. 

–

Comunicação, Divulgação e Educação:

– Workshop: revisão de textos, desenvolvimento da arte e divulgação (redes sociais e parceiros) e suporte/manutenção do site.

– Site: Alteração da identidade visual, modificação da estrutura para a introdução de novos conteúdos e suporte/manutenção. 

– Elaboração do planejamento 2021 (divulgação e engajamento com a comunidade).

– Administração das redes sociais LIneA (Twitter, Facebook, Blog).

– Pesquisa de opinião: revisão de textos, levantamento de instituições, divulgação.

– Acompanhamento do curso LIneA (comissão avaliadora, reuniões).

– Elaboração de material didático para o curso (apresentações e Jupyter Notebooks educacionais).

– Organização de reuniões.

– Estudo para definir as tarefas de melhoria na planilha financeira (transparência). 

Workshop: 

• Criação de arte para divulgação como banner no site do LIneA
• Inserção de conteúdo no site, dados dos palestrantes, títulos e descrições das palestras e modificação na forma de exibir o conteúdo.

Site:

• Criação de novo bloco na sidebar a direita para exibir eventos públicos do LIneA.
• Modificação do bloco para carrossel (ficar alterando os eventos de tempo em tempo).
• Substituição da logo antiga pela nova e ajustes de tamanho, proporção e coloração.
• Alteração de conteúdos diversos como afiliados, textos de páginas e redirecionamento para refletir algo real e fidedigno.

Planilha Financeira 

• Estudo sobre a planilha atual para gerar entendimento que será usado para promover alterações que irão facilitar e agrupar a visualização de dados.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Instalado e configurado sistema de virtualização Proxmox em cluster de alta-disponibilidade (migrado do oVirt devido a bugs identificados), também foram migradas todas as máquinas virtuais (VMs) para este ambiente e configurado backup automático.
• Integração e automação do gerenciador de registros COManage ao IdP do LIneA.

Descrição de serviços Melhorias nas plataformas científicas:

Science Server:

• Implementação da interface de entrada e do Google Analytics, criação e edição de vídeos-tutoriais.
• Transferidos e disponibilizados os dados do DES DR2 do NCSA para o LIneA, implementação de criptografia com certificados SSL em containers docker. 
• Entrega da nova versão do Science Server no NCSA.

Solar System Portal:

• Implementação da interface de entrada do SSO Portal e criação de wireframes (representações de interfaces).

DES Portal:

• Otimização no sistema de paralelização de código no componente DNF do pipeline científico de cálculo de redshifts (Photo-z);

LSST Portal:

• Migração de códigos científicos para o Github e reestruturação visando adequação à futura infraestrutura do Portal LSST. 
• Continuação do trabalho de otimização do pipeline que calcula o redshift.

Comunicação, Divulgação e Educação:

• Desenvolvimento do curso LIneA (remoto) voltado para comunidade.

• Organização dos documentos oficiais e planejamento de um novo bloco de notícias na página inicial do site.

• Organização de reuniões sobre o site e do conteúdo apresentado ao público (geral e cientistas) do futuro site. Atualização do site.

• Apoio na implementação do site workshop 2021 LIneA.

• Apoio na preparação, publicação e divulgação do lançamento DES-DR2, em parceria com outras instituições públicas.

Relatório detalhado

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Foi instalado e configurado o hypervisor de virtualização Proxmox (migrado do oVirt para o Proxmox devido a problemas identificados após a instalação deste), configurado em cluster de alta-disponibilidade
• Migradas todas as máquinas virtuais (VMs) do antigo ambiente de virtualização para o novo. Realizados benchmarks e configurado backup automático das VMs.
• Integração e automação do sistema de gerenciamento de registros COManage ao provedor de identidade do LIneA.

Descrição de serviços Melhorias nas plataformas científicas:

Science Server:

• Implementação da interface de entrada da plataforma com login e acesso rápido as interfaces, edição de vídeos tutoriais para o uso das aplicações e implementação do analytics para mapeamento do tráfego de usuários.
• Instalado e configurado sistema de renovação automática de certificados SSL Let ‘s Encrypt em containers docker e transferidos, ingeridos e disponibilizados os dados do Data Release 2 (DR2) do NCSA para o ambiente do LIneA.
• Entrega da nova versão do science server ao NCSA para disponibilizar a segunda versão dos dados públicos do DES (DR2).

Solar System Portal:

• Implementação da interface de entrada do SSO Portal e criação de wireframes (representações de interfaces) com o propósito de gerar debates sobre a nova interface a ser implementada.
• Reunião de planejamento para os próximos desenvolvimentos.

DES Portal:

• Otimização no sistema de paralelização de código no componente DNF do pipeline científico de cálculo de redshifts (Photoz);

LSST Portal:

• Migração de códigos de pipelines científicos para o Github e refactoring nos mesmos visando adequação à futura infraestrutura do Portal LSST no contexto do LIneA Science Platform. 
• Continuação do trabalho exploratório procurando otimizar o pipeline que calcula o redshift fotométrico  de maneira a permitir seu uso para o volume de dados esperado para o LSST.

Comunicação, Divulgação e Educação:

• Planejamento e desenvolvimento do Curso LIneA (remoto) voltado para comunidade, visando aplicações à astronomia e uso de novas ferramentas.
• Levantamento e organização dos documentos oficiais LIneA – disponível em local de fácil acesso para toda equipe. Planejamento para melhor disposição dos vídeos no site.
• Organização de reuniões sobre o site. Detalhamento dos principais tópicos e temas abordados pelo LIneA que serão apresentados ao público (geral e cientistas), buscando uma maior fluidez na navegação e entendimento do futuro site. Atualização do site atual (afiliados) e planejamento de futuras mudanças na páginas inicial (bloco de notícias, webinars)

• Implementação de uma interface com informações sobre o workshop 2021, na qual será possível ver todo o cronograma, registrar-se para participar do workshop promovido pelo LineA e ter acesso a informações complementares.

• Apoio na preparação, publicação e divulgação da informação que o DES, em parceria com o LIneA, tornaram público seis anos de dados com o DR2.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Instalação e configuração do Gerenciador Integrado de Administração do Lustre e do novo sistema de arquivos Lustre;
• Instalação e configuração em cluster do sistema gerenciador de virtualização oVirt e conclusão da instalação do novo ambiente de login e desenvolvimento do LIneA;
• Atualização do sistema gerenciador integrado de identidade COManage e iniciados testes de validação com módulo de integração ao LDAP do LIneA;

Descrição de serviços Melhorias nas plataformas científicas:

Science Server:

• Realizada a transferência e a disponibilização dos dados públicos do DES (DR2) a partir do NCSA nos EUA para o ambiente do LIneA em Petrópolis.
• Implementação de melhorias e criação de vídeos demonstrando o uso da plataforma. 

Solar System Portal:

• Foi iniciada a construção de um Dashboard para consolidar todas as informações administrativas do portal.
• Realizada reunião de avaliação do portal com apresentação da plataforma aos pesquisadores do grupo TON.

DES Portal:

• Implementação de jupyter notebook para a comparação dos mapas sistemáticos com releases anteriores;
• Implementação de jupyter notebook para a pipeline GAWA (em andamento);
• Adaptações dos pipelines para poder analisar os dados das regiões observadas com maior profundidade usando uma estratégia diferente do levantamento principal.

LSST Portal:

• Continuação do trabalho exploratório procurando otimizar  o pipeline que calcula o redshift fotométrico  de maneira a permitir seu uso para o volume de dados esperado para o LSST.

Comunicação, Divulgação e Educação

• Discussões sobre o desenho do novo site do projeto.
• Início da elaboração de cursos de treinamento para o uso das plataformas científicas

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Integração dos servidores apollo 2000 ao ambiente do novo sistema de arquivos Lustre, tendo sido instalado um novo switch infiniband de 100 Gbps e movidos os cabos de diversos servidores e equipamentos de rede.
• Implementada nova configuração lógica na rede do LIneA para integrar o atual ambiente com o novo do sistema de arquivos Lustre; Instalação e configuração de ambiente de testes com sistema de arquivos GlusterFS distribuído e replicado em conjunto com solução de virtualização de sistemas.

Descrição de serviços Melhorias nas plataformas científicas:

Science Server:

• Integração ao novo sistema DESaccess e à funcionalidade de cortes de imagens com nova versão do serviço de Cutout, ambos disponibilizados pelo NCSA, correção de bugs e falhas de segurança com a atualização do framework Django Python para a versão 2.2

Solar System Portal:

• Foi finalizada a versão 2.0, com mudanças conceituais e estruturais no portal e na etapa Descoberta com a adição de identificação de objetos conhecidos no sistema solar, também foi implementada a etapa Download que automatiza a transferência de dados de CCDs descobertos.

DES Portal:

• Melhorias na paralelização dos mapas sistemáticos e implementação do novo pipeline científico GAWA para descoberta de galáxias anãs.
• Execução de testes de performance do pipeline Photo-z Compute explorando o uso de compressão de dados, também foi modificada a API para vincular conjuntos de dados aos pipelines e iniciado o desenvolvimento da nova versão do pipeline Photo-z Compute tendo como base a biblioteca Parsl.
• Investigação e correção de falhas na ferramenta Export e implementação de melhorias na classificação de dados no pipeline Spectroscopic Sample.

Proposta de reorganização, otimização e redistribuição no uso de recursos computacionais para o LSST.

• Levantamento de ambiente de virtualização abrangendo servidores e rede física e lógica dos clusters de virtualização.
• Apresentação e discussão com os stakeholders do plano de reorganização, otimização e redistribuição no uso de recursos computacionais já existentes
• Atualização do sistema e a migração das aplicações e serviços para plataforma virtualizada a fim de liberar recursos físicos para o cluster kubernetes.

Descrição de serviços Melhorias nas plataformas científicas:

Science Server:

• Implantação de nova landing page
• Correção de consultas ao banco administrativo e bug na ferramenta de upload de dados, 
• instalação automática de certificados de criptografia via web em containers

Solar System Portal

• Desenho de interface para o sistema de refinamento e predição de órbita de objetos
• Implementadas melhorias para otimizar a leitura de imagens por meio de compressão de dados e corrigidos erros na visualização dos CCDs dos objetos.

DES Portal:

• Implementação de melhorias na aplicação que identifica e separa estrelas de galáxias 
• Iniciada a adaptação das aplicações Training Set Maker e Photo-z Training visando a compatibilidade com o próximo conjunto de dados do DES. 
• Ampliação da pipeline que faz os mapas sistemáticos de forma a incorporar conjuntos de dados com diferentes partições do céu (DEEP FIELDS)

Descrição do serviço Proposta de criação do Centro de Acesso a Dados para o Legacy Survey of Space and Time (LSST):

Foram realizados o levantamento de requisitos e o dimensionamento de infraestrutura de TI necessária para a criação de um Centro de Acesso a Dados para o projeto LSST.

Com o objetivo de adequar parte da infraestrutura do LIneA ao novo modelo computacional gerido via software, e adotado pelo LSST, foi dado andamento ao provisionamento de um cluster kubernetes em máquinas virtuais e iniciado o planejamento de sua expansão em máquinas físicas, considerando o uso de recursos já existentes. 

Também foram iniciados testes de implantação e integração da plataforma científica do LSST e do servidor Jupyter Hub no cluster kubernetes.

Descrição de serviços Melhorias no Portal Sistema Solar:

Foram iniciadas a implementação de: melhorias nas interfaces de apresentação com a criação de um novo visual, integração ao serviço de identificação e de autorização do LIneA, otimizações nas consultas em banco de dados e no algoritmo de calibração astrométrica da versão beta do Portal SSO, que é uma aplicação web sendo desenvolvida para realizar predições de ocultações estelares por pequenos corpos do Sistema Solar a partir de dados astronômicos produzidos por levantamentos astronômicos como o DES e o LSST.

---

JULIA

As atividades realizadas em Outubro/2020 por Julia Gschwend estão divididas em três frentes de trabalho: preparação para o LSST,  desenvolvimento de software (manutenção) para o DES e auxílio administrativo. Na primeira frente destacam-se: a participação no evento LSST Operations Bootcamp, organizado pelo projeto LSST, e das subsequentes reuniões de debriefing com o time de TI do LIneA para transferência de conhecimento; a leitura de documentação do LSST (ex.: LSST DM developer guide, LSST DESC Science Roadmap, LSST DESC Coding Guidelines, DESC Software Policies);  e a preparação de slides e participação em 3 edições do evento Conversando Sobre TI com convidados externos, discutindo temas relevantes para o desenvolvimento do futuro Portal Científico LSST do LIneA e a futura operação do Brazilian IDAC. Na segunda frente de trabalho, as atividades mais relevantes foram: a atualização e versionamento do pipeline Star/Galaxy Separation no DES Science Portal para a inclusão do método BDF_T, aplicável ao conjunto de dados Y3 Deep (DEEP FIELDS); e a adaptação dos pipelines Training Set Maker e Photo-z Training visando a compatibilidade com o conjunto de dados Y3 Deep. Na frente administrativa, destacam-se: a coordenação de reuniões com a equipe de TI para planejamento e acompanhamento das tarefas realizadas; e a contribuição para a escrita e/ou revisão de documentos diversos (ex.: ementa do curso de Introdução à Astronomia Moderna, Carta de Intenção para o MCTI, Termo de Referência, definição das atividades de educação e divulgação científica).

ADRIANO

As seguintes atividades foram desenvolvidas no LIneA em Outubro/2020 por Adriano Pieres, dando prosseguimento a atividades anteriores. Houve uma grande participação do membro do LIneA no evento LSST Operations Bootcamp e nas subsequentes reuniões de debriefing sobre o encontro, onde se pode comparar as últimas tecnologidas a serem utilizadas pelo novo levantamento no futuro e como adaptar as atuais utilizadas pelo LIneA. Houve também participação em reuniões semanais sobre planejamento e avaliação do andamento de atividades da equipe do LIneA. Foram também complementada a documentação, feitas atualizações no código e testes com a pipeline que produz mapas das condições de observação para a última liberação de dados do Dark Enery Survey (Y6A2) e para os campos profundos (DEEP FIELDS) do DES, sendo possivelmente extendidas ao LSST. Houve também interação e participação do membro do LIneA nas reuniões da colaboração do Dark Enery Survey, também interagindo com o grupo de TI na solução de problemas em ferramentas de visualização da colaboração. Por fim, como contribuição significativa, está em andamento o desenvolvimento/implementação de uma pipeline para descoberta de galáxias anãs/aglomerados estelares no portal científico do LIneA, com possível uso com dados do LSST.