Portaria CAPES 145 de 2021 sobre Qualis Periódicos: por onde (des)anda a avaliação de periódico

Tempo médio de leitura: 19 minutos

ATUALIZAÇÃO (18/dez./2021): Como esperado, a Portaria 145/2021 da CAPES foi revogada, no dia 15 de dezembro de 2021, pela Portaria 213/2021 da CAPES.

A versão inicial deste texto foi disponibilizada no endereço https://doi.org/10.5281/zenodo.5515461

Pre scriptum

1. Este texto foi escrito logo em seguida (entre os dias 14 e 17 de setembro) da publicação da Portaria 145/2021 da CAPES¹ e é possível que eu venha a reconsiderar algumas críticas no futuro.
2. Antes da publicação deste texto foi divulgada uma nota conjunta de alguns membros do CTC-ES, na noite de 14 de setembro, contra um conjunto de ações da Presidente da CAPES. Essa nota aborda, também, alguns itens da referida portaria e ajuda a entender algumas contradições presentes no documento².
3. A Presidente da CAPES, na Portaria 146 de 2021³, destituiu o CTC-ES e definiu a recomposição de seus membros, sendo que TODOS os atos do CTC-ES entre 23 de maio de 2018 até a nova recomposição deverão ser convalidados pelo novo CTC-ES que se formará, isso pode significar que todo ou quase todo o processo de avaliação do quadriênio 2017-2020 seja refeito.

A apresentação deste texto se dará do seguinte modo, pouco convencional:

• apresentação das conclusões e impactos da Portaria CAPES 145/2021;
• seguida da análise artigo a artigo do documento.

Deste modo, fica mais objetivo e claro para quem não se interessar pelos detalhes do impacto de cada artigo, mas está interessado na dimensão geral do novo documento.

Este texto não pretende abarcar toda a trajetória de discussão do novo Qualis que data de, pelo menos, 4 de junho de 2019⁴⁵.

O jardim das veredas que te levam de volta ao início…

De modo geral, a Portaria 145 de 2021 da CAPES sobre Qualis Periódicos é um desserviço às discussões sobre editoração científica em nível nacional. Ela apresenta vários equívocos e contradições conceituais básicas sobre a edição de periódicos e os indexadores bibliométricos que pretende utilizar na avaliação, apesar de trazer algumas importâncias pontuais (como a afirmação explícita de que o Qualis Periódicos visa exclusivamente a avaliação de programas de pós-graduação (PPG), o reconhecimento de que se avalia periódico e que o Qualis Periódicos não deve ser utilizado para outra finalidade, exceto avaliação PPG – apesar de até isso ser contraditório). Ela afeta, no mínimo, duas relevantes discussões que estão em curso sobre ciência aberta e o ecossistema de publicação editorial acadêmico, sendo um dos principais atores afetados a Rede SciELO, em especial sua iniciativa de preprints e as discussões de abertura de avaliações⁶; e, imagino, que nos próximos dias tenhamos manifestações públicas do SciELO e da ABEC.

Principais impactos e características:

• Foram desconsideradas grande parte das discussões realizadas no GT Qualis, aprovadas pelo CTC-ES e já consolidadas tanto nos formulários da avaliação quadrienal dos PPG (2017-2020) quanto na execução do processo de avaliação que está/estava em andamento pelas Coordenadorias de área da CAPES;
• Abandono da terminologia Qualis Referência (que já havia sido definida como o novo nome) e retorno da nomenclatura Qualis Periódicos;
• A própria existência da portaria é um avanço, apesar de todos os problemas que ela apresenta (a comunidade de pesquisadores passa a ter algo a partir do qual possa ser questionado – anteriormente os questionamentos eram contra os relatórios de avaliação o Qualis das áreas, o que tornavam as críticas difusas, por não terem um mesmo parâmetro, já que cada área avaliava os periódicos de uma maneira);
• Apontamento, inequívoco, de que o Qualis Periódicos se destina somente à avaliação dos PPG, tem característica retrospectiva e o reconhecimento de que os periódicos são avaliados (o modelo conceitual anterior do Qualis Periódicos era de que a avaliação incidia sobre os artigos vinculados ao PPG e não sobre os periódicos);
• É altamente questionável se o modelo do Qualis Periódicos avalia, somente os periódicos utilizados pelos PPG. Pois ele considera, na constituição dos estratos, os periódicos que não foram declarados no sistema de avaliação dos programas (Sucupira), tanto ao considerar os quartis/percentis dos sistemas bibliométricos já estabelecidos (QR1) quanto ao criar um modelo a partir de uma base expandida de periódicos (QR2) – no entanto reconheço que o resultado divulgado é/será só dos periódicos utilizados. Ou seja, a base de avaliação extrapola os periódicos utilizados pelos PPG, mas a estratificação divulgada será somente dos utilizados;
• Os modelos propostos pelo GT Qualis, QR1 e QR2, por mais que tenham elementos que possam ser questionados, foram definidos com base em amplas discussões realizadas pela comunidade de pesquisadores envolvidos na avaliação e com a realização de testes de impacto no ecossistema de publicação/avaliação. Ao mutilar conceitualmente a proposta (numa espécie de modelo avaliativo freestyle) ela passa a deixar de ter sustentação conceitual (exemplo, não existe índice h10 do Goole Scholar Metrics, existe sim índice h10 gerado a partir da base de dados do Google Scholar através do software Publish or Perish, ferramenta de análise de citação((Informações detalhadas sobre a proposta do modelo Qualis Referência podem ser acessadas em http://www2.ufac.br/ppge/normas-e-regimento/Crite_riosgeraiseprinci_piosdomodelodeQualis1.pdf – ver também minha explicação sobre o assunto em Índice h, Google Scholar, Índice h5, Publish or Perish e Índice h10.)), o uso da denominação ‘fatores de impacto’ tende a gerar confusão com o índice específico da JIF/JCR da Clarivate e, provavelmente, teria sido uma escolha mais adequado o uso da terminologia ‘índices bibliométricos’);
• Não está claro o número de estratos que o Qualis Periódicos utilizará, apenas menciona que será de A1 a B4, mas não quantos níveis teremos;
• Há um risco dos novos periódicos demorarem mais tempo para receber estratificação, já que a presença em indexadores bibliométricos demora de 2-3 anos, pelo menos, para ser registrada de forma automatizada (como o Google Scholar Metrics);
• Inclusão de uma lista de ‘boas práticas’ para periódicos que não necessariamente contribui para as discussões sobre editoração científica em nível global. Como por exemplo, obrigatoriedade de avaliação duplo cego (que impede o uso de preprints e adoção da abertura de avaliação – dois itens caros à Rede SciELO Brasil, sendo destacado entre as três principais dimensões induzidas por eles, a partir de maio de 2020);
• Foi aberta a possibilidade do periódico possuir uma classificação por Colégio da CAPES ou uma única classificação. No entanto, não está claro quando e como será definida cada uma das possibilidades;
• Para quem estava acompanhando a discussão sobre ‘área mãe’ e ‘área irmãs’, houve uma mudança: saem ‘área mãe’ e ‘áreas irmãs’ e entram ‘área preponderante’, ‘área majoritária’ e ‘área minoritária’, com funcionamento relativamente igual;
• A portaria abre a possibilidade de gerar uma grande insegurança ao considerar a possibilidade de alguns periódicos poderem manter as classificações antigas (2013-2016) e não apresentar uma relação de equivalência entre dos dois esquemas de estratificação;
• A portaria permite às coordenadorias de área a possibilidade dela simplesmente não ser utilizada, sem, no entanto, definir como seria realizada a avaliação dos periódicos neste caso.

É cada vez mais caro a mim que se as comunidades pesquisadores nacionais, assim como seus sistemas de avaliação e/ou financiamento, pretendem utilizar métricas de impacto (independente do tipo de impacto almejado), mostra-se necessário um esforço conjunto no levantamento e disponibilização desses dados à comunidade. A princípio, acredito que essa iniciativa poderia partir/envolver as sociedades e associações científicas, talvez encabeçada pela SBPC.

Um segundo item que talvez mereça um tratamento específico seria a possibilidade da avaliação dos periódicos não ser conduzida pela coordenação de área envolvida na avaliação dos PPG. A percepção que tenho é que são mobilizados um conjunto de esforços tremendos que provavelmente poderiam ser melhor aproveitados no processo específico da avaliação direta dos PPG. Talvez uma comissão específica na condução do processo evitariam equívocos e contradições como os explicitados aqui.

***

Art. 1º Esta Portaria consolida as disposições sobre o Qualis Periódicos, seus objetivos e finalidade.

Do que eu tenho conhecimento este é o primeiro documento desta natureza emitido pela CAPES (impressão que é reforçada pelo fato das ‘disposições transitórias’ não terem revogado nenhuma portaria anterior). Pensando o processo de organização do que é o Qualis Periódicos isso é um grande e importante avanço, apesar da execução ter sido inadequada. Outro ponto a ser destacado aqui é o retorno no nome Qualis Periódicos em detrimento de Qualis Referência, que já havia sido aprovado pelo CTC-ES. Isso se explica na medida em que a Portaria 145/2021 parece ter ‘atropelado’ as discussões do CTC-ES (posição reforçada pela destituição do mesmo na Portaria CAPES 146/2021), revogando e/ou reiniciando várias discussões já consolidadas pelas áreas.

CAPÍTULO I

DEFINIÇÃO, OBJETIVOS E FINALIDADE

Art. 2º O Qualis Periódicos é o conjunto de procedimentos de classificação de periódicos a partir de fatores de impacto relacionados à produção intelectual dos programas de pós-graduação stricto sensu no Brasil, com a finalidade exclusiva de fornecer subsídios para sua avaliação.

Art. 3º São princípios que regem o Qualis Periódicos:

I – exclusividade de utilização para a avaliação da pós-graduação stricto sensu no Brasil;

II – caráter retrospectivo da análise do impacto da produção intelectual publicada em cada periódico; e

III – observância de padrões deontológicos de produção científica e de publicação em periódicos, segundo os protocolos internacionais geralmente aceitos.

Aqui temos alguns pontos importantes! Primeiro que a definição do que é o Qualis Periódicos passa a contar com a inclusão de fatores de impacto (sem definir o que é isso).  Segundo, assumem, enfim, que avaliam os periódicos. Anteriormente a definição para o Qualis Periódicos era “É um sistema usado para classificar a produção científica dos programas de pós-graduação no que se refere aos artigos publicados em periódicos científicos.”. Importante destacar que ‘produção intelectual’ é MUITO diferente de ‘artigos publicados’, afinal, os periódicos (e os pesquisadores) publicam outros produtos acadêmicos além de artigos. Para se ter uma ideia da mudança, temos o seguinte tipo de questão: ‘resenhas’, ‘editoriais’, ‘entrevistas’, entre outros passarão a ser tratadas de modo equivalente a artigos (pontuar igual)? Afinal, também são produções intelectuais.

A declaração, formal, da CAPES do Qualis Periódicos destinando-se exclusivamente à avaliação da PPG e possuindo característica retrospectiva é importante, pois normalmente há uma grande confusão neste tópico. Com destaque para a posição de que os critérios de avaliação serão estabelecidos a posteriori e aplicados retrospectivamente, que é uma reclamação dos pesquisadores. No entanto, é importante ter em vista que existe hoje uma dinamicidade nos processos de editoração científica que tornaria TOTALMENTE inadequado avaliarmos os periódicos hoje ‘pela régua’ de quatro anos atrás.

Art. 4º A classificação de periódicos dar-se-á por meio do procedimento de estratificação, que consiste no posicionamento de cada periódico em uma escala hierarquizada de diferentes estratos, definidos nesta Portaria.

Um provável equívoco aqui (ou no artigo 10), pois a portaria não define os estratos! Somente menciona, no artigo 10, que os estratos são de A1 a B4, mas não confirma que é de A1 a A4 e B1 a B4 – como o modelo Qualis Referência pretendia, com 8 estratos mais C. Chamo atenção para isso, pois o modelo ainda vigente usa a denominação A1 – A2 e B1 – B5 (de A1 a B5, com 7 estratos mais C) e, na portaria, não há nada que indique o número de estratos totais (as informações que temos são de documentos anteriores do CTC-ES, mas não sabemos o que será ou não validado).

Art. 5º O Qualis Periódicos tem como objetivo estratificar apenas os periódicos nos quais tenha havido publicação de produção científica, devidamente informada à Capes pelos programas de pós-graduação stricto sensu no Brasil, não se prestando a utilizações diversas daquelas relacionadas à avaliação dos referidos programas.

Eu tenho neste artigo (5°) uma das minhas principais críticas ao novo modelo do Qualis (essa crítica é aplicável, também, à condução da avaliação, por algumas áreas, no quadriênio 2013-2016). Apesar da declaração explícita de que a estratificação será apenas dos periódicos que veicularam ‘produção científica’ de pesquisadores vinculados aos PPG, o detalhamento do processo de estratificação (na Seção III Indicadores), via fatores de impacto, considera TODOS os periódicos usados nas referidas bases de indexadores. Ou seja, o Qualis Periódicos avalia sim a TOTALIDADE de periódicos indexados, apesar de somente divulgar a lista dos utilizados pelos PPG. Isso será retomado na análise dos artigos 12, 13 e 14.

CAPÍTULO II

ESTRATIFICAÇÃO DO QUALIS PERIÓDICOS

Seção I

Delimitação do objeto

Art. 6º O universo de periódicos sujeitos aos procedimentos referidos nesta Portaria corresponderá ao conjunto de dados informados pelos programas de pós-graduação stricto sensu no Brasil na Plataforma Sucupira, relativos ao quadriênio da avaliação em curso.

Parágrafo único. Para fins de definição da área preponderante dos periódicos, utilizar-se-á, além do quadriênio referido no caput, o histórico de publicações relativas ao quadriênio anterior.

Aqui temos uma incoerência, no meu entendimento. Há um grupo de periódicos que apesar de não receber estratificação estão sendo mobilizar e submetidos em alguma medida aos procedimentos desta portaria (destaque para o fato da portaria não se referir à Seção V Procedimentos, mas mesmo neste caso a incoerência se manteria), para a definição dos critérios de enquadramento, inicial, na estratificação dos periódicos que veicularam ‘produção científica’ dos PPG. Isso será retomado na análise dos artigos 12, 13 e 14.

Seção II

Condições e requisitos mínimos e os estratos do Qualis Periódicos

Art. 7º São condições e requisitos mínimos para a estratificação, cumulativamente:

I – o periódico deve possuir cadastro ativo em algum dos indicadores referidos nesta Portaria; e

II – o periódico deve comprovar o cumprimento de todas as exigências de boas práticas editoriais, tendo como referencial os critérios disponíveis na COPE (publicationethics.org) ou nas bases de dados utilizadas pelo Qualis Periódicos, bem como dos critérios já consolidados pelas Áreas para referenciar boas práticas constantes do Relatório do Qualis Periódicos da respectiva Área.

Parágrafo único. O não atendimento de qualquer dos incisos deste artigo ou aos princípios referidos nesta Portaria dará ensejo à atribuição do estrato C ao periódico avaliado.

Interessante que nesta seção, que define os requisitos mínimos para receber estratificação, não é mencionada a necessidade ter sido utilizado como veículo da ‘produção científica’ de pelo menos um PPG. Afinal, somente após o atendimento a esse requisito mínimo é que o periódico seria elegível para avaliação.

Aqui temos um problema no que diz respeito aos indicadores apontados na portaria. O Google Scholar Metrics (o mais inclusivo) não gera índice de forma automatizada a menos que o periódico tenha publicado 100 documentos nos últimos 5 anos. Isso faz com que, na média, os novos periódicos demorem cerca de 2-3 anos para aparecerem((Foi considerado a média de artigos recomendados no documento de critérios do SciELO Brasil, seção 5.2.7, tabela 3 https://wp.scielo.org/wp-content/uploads/20200500-Criterios-SciELO-Brasil.pdf.)), já que não há menção, em nenhum lugar na portaria, com relação à obtenção das métricas através de algum software de análise de citação, como o Publish or Perish.

Ainda sobre o Google Scholar Metrics, não é possível mais solicitar a inclusão/indexação pela base de dados. O Google considera, agora, que, em algum momento, o periódico será incluído (na medida em que ele vai indexando informações na web).

Existe uma distinção, no meu entendimento, entre ‘comprovar o cumprimento’ (previsto na portaria) e ‘declarar o cumprimento’ ou ‘declarar seguir’. O comprometimento da revista com ‘boas práticas editoriais’ tem que ser um quesito tido como básico de aferição do processo ético, no entanto, comprovar isso (saindo do âmbito da declaração para a prática) provavelmente extrapolaria a capacidade da CAPES na realização do acompanhamento.

Art. 8º Os periódicos, independentemente do estrato que lhes for atribuído, devem manter as condições e requisitos para a estratificação, nos termos desta Portaria, atendidas todas as boas práticas acadêmicas nacionais e internacionais relacionadas ao tema.

O tipo de norma que acaba perdendo a utilidade, na medida em que não define quando, como e quem realizará essa conferência periódica da informação/prática. Só para se ter uma ideia, aquela lista, ‘vazada’ (que também chegou a ser chamada de Qualis Experimental), de 2019 possuía cerca de 22 mil títulos de periódicos((Ela ainda está acessível aqui http://www.ppc.uem.br/qualis-2019/qualis-2019.pdf/view.)).

Art. 9º Considera-se violação de boas práticas a adoção de qualquer das seguintes condutas, nos termos previstos no Relatório do Qualis Periódicos das respectivas Áreas:

I – não observância de requisitos mínimos de editoração, como a exigência de elementos pretextuais em inglês (abstract, key words e título traduzido);

II – não observância de critérios mínimos de exogenia de autores, do Conselho Editorial e do conselho de pareceristas;

III – não adoção do sistema de revisão cega por pares, devidamente auditável, ou a violação do correspondente sigilo;

IV – concentração da produção de determinado programa de pós-graduação em volume específico ou em uma série de volumes;

V – prática de publicação cruzada de produções oriundas de programas de pós-graduações específicos e identificados;

VI – publicação de artigos com citações cruzadas ou com autocitação em patamares que sejam considerados excessivos ou predatórios, bem como adoção de práticas que produzam aumento artificial de citações;

VII – publicação de artigos em nome de terceiros que não contribuíram para a pesquisa, especialmente de revisores do texto;

VIII – ausência de política de preservação digital;

• 1º A qualquer tempo, mesmo após a atribuição de estrato ao periódico, a identificação de qualquer dessas práticas, de modo isolado ou cumulativo, importará a requalificação do periódico ao estrato C, mediante ato fundamentado, por meio de procedimento prévio no qual sejam garantidos aos interessados a ampla defesa e o contraditório.

• 2º As hipóteses de violação às boas práticas, referidas neste artigo, não são taxativas e deverão ser consideradas em conjunto com as previstas no Relatório do Qualis Periódicos das respectivas Áreas.

Antes de tudo é importante deixar claro que ‘boas práticas’ editoriais é um item essencial para um processo de comunicação científica sólido e reconhecido pela comunidade de pesquisa. O problema é que a função do Qualis é avaliar PPG e não induzir uma política nacional de editoração científica no nível dos periódicos (apesar de que, indiretamente, ocorre algo assim). No entanto, se, pelo menos, a CAPES tivesse um diálogo transparente, não impositivo, reconhecendo as particularidades de cada área do conhecimento, em consonância com projetos indutores em nível nacional, regional e internacional (SciELO, Redalyc, COPE, Fórum de Editores das associações), talvez essa proposição de ‘boas práticas’ pudesse ser positivas (assim como, provavelmente, teriam outra configuração), mas não foi o que ocorreu.

Vamos a alguns problemas:

Não conheço nenhuma base de dados pública, funcional e auditável (isso é um item importante, pois o Google Scholar Metrics NÃO é auditável) que ofereça dados que permitam analisar concentração de autores vinculados a uma instituição, análise de citação cruzada (cartel de citação / citation cartel) e autocitação (esse último com 1 exceção para a área de Administração, o SPELL fornece isso, com dados até 2019). Além disso, por mais que seja importante rejeitar endogenia, a ausência de critérios (para além de expressões do tipo ‘critérios mínimo’, ‘concentração da produção’) não faz avançar em nada uma orientação objetiva aos autores e editores. Neste sentido, a simples determinação de adoção de parâmetros compatíveis com o COPE provavelmente teria sido mais eficiente, na medida em que o COPE possui canais abertos para a discussão destes termos – em consonância com a dinamicidade que a edição de periódicos tem demandado.

Mas, provavelmente, o maior problema neste artigo é o inciso III, sobre a avaliação duplo cega. Tornar obrigatória a avaliação duplo cego é descartar todas as discussões e iniciativas em nível nacional e internacional que envolvem preprints e abertura de avaliação (é impossível, ou ingenuidade, realizar avaliação cega de artigo que já está acessível em servidor preprints – item 5.2.10.2 do documento de critérios de admissão do SciELO – https://wp.scielo.org/wp-content/uploads/20200500-Criterios-SciELO-Brasil.pdf). Atualmente, pelo menos 16% (47) dos periódicos da Rede SciELO aceitam preprints – esse dado é de levantamento ainda inédito. E para caracterizar o problema, mesmo que de modo meio anedótico: a CAPES atribuirá estrato C para os periódicos (amplamente reconhecidos internacionalmente em suas áreas) BMJ, BMC, Nature Communications e PLOS ONE (todos A1 em pelo menos 1 área de avaliação) por oferecerem ‘avaliação aberta por pares’ (open peer review)?

Outro item que, no meu entendimento, foge bastante à função da CAPES é a determinação de existência de uma política de preservação. A definição de um política de preservação digital é extremamente importante e existem várias instituições aderindo a estas práticas, no caso brasileiro, à Rede Cariniana ou mesmo, no caso internacional, utilizando o CLOCKSS ou o Portico. No entanto, este quesito (ainda mais como mandatório) não é competência da CAPES.

Por fim, os dois parágrafos são parcialmente contraditórios, ao obrigar que todos os itens sejam seguidos, mas dispensando as áreas de seguirem, se forem previstos no Relatório do Qualis Periódicos da área. É o clássico ‘é obrigatório, mas não é’, elementos que retomarei no artigo 20.

Art. 10. Os periódicos que atenderem às condições mínimas de estratificação serão classificados nos estratos A1 até B4.

Paragrafo único: O conjunto de periódicos será distribuído por meio de percentis.

Os comentários já foram realizados no artigo 4.

Art. 11. A cada periódico atribuir-se-á um único estrato por Colégio ou para todas as áreas de avaliação da CAPES.

Este é o artigo que joga por terra o conceito que subjaz a antiga proposta do Qualis Referência: uma classificação por periódico. Aqui é aberta a possibilidade de um periódico ter um estrato por Colégio⁷ ou um estrato para todos. No entanto, não explica quando ocorrerá cada um dos casos. Quem escolhe: a área, o CTC-ES, o DAV ou a Presidência da CAPES?

Seção III

Indicadores

Art. 12. A estratificação far-se-á por meio de utilização de um dos seguintes agrupamentos de indicadores:

I – QR1: uso do CiteScore, obtido a partir da base de dados Scopus, e da base de dados Journal of Citation Report (JCR), ou, subsidiariamente, dos índices h5 ou h10 gerados por meio da ferramenta de busca Google Metrics;

II – QR2: uso exclusivo dos índices h5 ou h10 gerados por meio da ferramenta de busca Google Metrics;

• 1º Ficará a critério da Área de avaliação a definição do agrupamento que mais se ajuste a suas especificidades e que correspondam ao reconhecimento cientifico de sua comunidade acadêmica.

• 2º A Diretoria de Avaliação divulgará a lista consolidada dos agrupamentos aplicáveis a cada Área de avaliação.

Uma crítica que tenho com o modelo anterior (Qualis Referência) e que permanece com esta portaria é entregar a definição da valorização dos periódicos aos conglomerados tecnológicos, econômicos e editoriais internacionais. Além de, no caso do Google Scholar Metrics, gerar dados automatizados, entregando a condução e projeção das carreiras dos pesquisadores nacionais a um algoritmo não auditável. Mas reconheço que há uma ausência de outros dados públicos e auditáveis que poderiam ser utilizados e, acredito, que as sociedades científicas, provavelmente encabeçadas pela SPBC, deveriam propor, criar e mantém uma base de citações (altamente inclusiva e que possibilitasse a interoperabilidade com outras iniciativas internacionais, como a Open citation) a ser utilizada no caso nacional.

A proposta deste artigo tem como base o resultado do GT Qualis, apesar de algumas modificações pontuais. A definição de escolha dos agrupamentos havia sido realizada no final de 2020 pelas coordenadorias de avaliação de área. As únicas críticas aqui são com relação à ausência de menção ao software de análise de citação.

Art. 13. Na aplicação dos indicadores, utilizar-se-ão:

I – os valores de percentis gerados automaticamente pela Scopus ou pelo JCR, o que for maior, podendo-se usar em caráter subsidiário a base do Google Metrics, em que o percentil será calculado por meio de um modelo de regressão linear simples para estimar, a partir do valor de h5 ou H10, o valor correspondente do Citescore, permitindo-se imputar o valor do percentil e admitindo-se, ainda, limitação de estratos pela respectiva área de avaliação; ou

II – no caso do uso exclusivo da base do Google Metrics, os percentis serão calculados a partir da base ampliada de periódicos pertinentes à respectiva área de avaliação, que deve contar com os veículos registrados na base da Plataforma Sucupira no período definido pelo art. 6º, em bases indexadoras internacionais (Scopus, WoS, ERIH-PLUS, Redalyc, Spell e outras identificadas pela área) e em outros periódicos cuja temática seja identificada pela área de avaliação como pertinente.

Art. 14. Às Áreas de avaliação que adotarem o QR2 será facultada a subdivisão dos periódicos dentro de uma mesma área de avaliação, com base em:

I – subáreas de conhecimento (divisão temática); e/ou

II – idioma ou região de origem do periódico.

• 1º As subdivisões de que trata o caput deste artigo devem ser devidamente justificadas em documento próprio da área.

• 2º As áreas de avaliação que optarem pelas subdivisões em idioma ou região de origem devem escolher apenas um dos dois critérios e estabelecer para ele um máximo de 3 (três) subagrupamentos.

Aqui entra alguns tópicos já abordados anteriormente, mas que são importantes de serem retomados. Na medida em que a estratificação do Qualis Periódicos toma como base os quartis/percentis das bases bibliométricas (termo não usado na portaria) consideradas, indiretamente estes periódicos não estratificados compõem o processo de avaliação da CAPES. Isso fica ainda mais óbvio na proposta QR2 (caracterizada em artigo 13, inciso II e em artigo 12, inciso II), em que se usam os dados do Google Scholar Metrics, já que há uma construção de uma base ampliada de periódicos a partir da qual serão definidos os percentis.

Serão os elementos presentes neste artigo 14 que possibilitarão a quebra da estrutura piramidal que o Qualis Periódicos adotava até o resultado de 2013-2016. Isso significa que se uma área utilizar somente periódicos de excelência, presentes nos quartis/percentis superiores, ela poderá ter periódicos que fossem estratificados somente em A1 ou A2. A adoção dos quartis/percentis também possibilita um certo caráter preditivo, por parte dos pesquisadores, no processo de escolha de qual periódico utilizarão. Ou seja, mesmo um periódico não constando da lista de avaliados que estará disponível, a partir dos seus índices bibliométricos (termo não usado na portaria, que adota fatores de impacto) será possível estimar em qual estrato ele teria sido enquadrado.

A possibilidade de subdivisão dos periódicos, artigo 14, visa minimizar disparidades regionais/linguísticas/subáreas. Em linhas gerais, isso significa que no processo de enquadramento nos estratos, pode ser considerado a comparação somente entre periódicos do mesmo idioma ou de uma dada região geográfica ou uma subárea do conhecimento. Tal procedimento auxilia na redução de distorções decorrentes de comunidades de pesquisas que possuem práticas de citação diferentes – mais ou menos a ideia de que pesquisadores que publicam em periódicos anglo-americanos tendem a citar mais artigos do que os brasileiros, por exemplo.

Seção IV

Identificação da Área de conhecimento preponderante

Art. 15. Para cada periódico submetido ao procedimento de estratificação, definir-se-á a Área de conhecimento preponderante a partir da análise quantitativa das publicações relativas ao período definido pelo art. 6º e seu parágrafo único, nestes termos:

I – ter-se-á como preponderante a área do conhecimento à qual corresponder o percentual maior que 50% (cinquenta por cento) das publicações; ou

II – ter-se-á como majoritária a área do conhecimento que, não tendo atingido o percentual referido no inciso I deste artigo, contar com pelo menos uma publicação no atual ciclo avaliativo e, no cômputo total, com a maioria simples de publicações; ou

III – ter-se-á como minoritária a área do conhecimento à qual corresponder quantitativo de publicações inferior ao da área majoritária, não inferior a 10% (dez por cento), ou que não se tenham enquadrado no inciso II deste artigo.

• 1º Nos casos de empate entre duas ou mais áreas do conhecimento, a definição prevista neste artigo será atribuída àquela cujo número absoluto de publicações for mais representativo em relação ao número total de publicações avaliadas. Persistindo o empate, a decisão competirá ao Conselho Técnico Científico da Educação Superior, ouvidos os Colégios interessados.
• 2º Na hipótese do inciso III, serão identificadas no máximo 3 (três) áreas minoritárias, segundo a ordem decrescente do respectivo percentual de publicações.

Art. 16. A identificação do estrato de cada periódico, segundo a escala hierarquizada definida nesta Portaria, será proposta:

I – exclusivamente pela área preponderante, se houver; ou

II – pela área majoritária, em conjunto com as áreas minoritárias.

Parágrafo único. Na atuação conjunta definida pelo inciso II deste artigo, compete à área majoritária o voto de qualidade, nas hipóteses de empate.

Aqui temos uma mudança de nomenclatura frente ao que vinha sido discutido no CTC-ES. Saem ‘área mãe’ e ‘áreas irmãs’ e entram ‘área preponderante’, ‘área majoritária’ e ‘área minoritária’. A princípio o funcionamento seria equivalente ao proposto anteriormente, no entanto, uma coisa não está clara, que é a situação na qual há diferença de estratificação entre Colégios (no lugar de uma única estratificação – como previsto no artigo 11.

Art. 17. Compete às Áreas de avaliação da Capes, isoladamente ou em conjunto, sugerir a identificação da Área de conhecimento de cada periódico, na forma definida por esta Seção. Em qualquer hipótese, tal juízo de preponderância pode ser revisto, pelo Conselho Técnico Científico da Educação Superior, por provocação dos interessados ou de ofício, ouvidos os Colégios interessados.

Entendo que para a maioria dos periódicos essa discussão tende a não ocorrer, o que, a princípio, é bom. No entanto, considerando a possibilidade do universo de periódicos atingir 22 mil títulos e num estimativa arbitrária considerar que 10% ocorra divergência no enquadramento, teríamos 2 mil títulos para serem deliberados pelo CTC-ES; o que é meio surreal.

Seção V

Procedimento

Art. 18. O procedimento de estratificação desenvolver-se-á em duas fases:

I – Fase 1: estratificação referência a partir dos percentis definidos nos termos da Seção precedente; e

II – Fase 2: ajuste dos estratos, quando necessário.

Art. 19. Concluída a fase de estratificação de referência, admitir-se-ão, na fase de ajustes dos estratos (Fase 2) para que a classificação se mantenha representativa do reconhecimento reputacional dos periódicos classificáveis pela comunidade cientifica da área de conhecimento relacionada, as seguintes modificações:

I – um estrato para cima ou para baixo, até o limite de 30% (trinta por cento) do total de periódicos avaliados pela Área; e

II – dois estratos para cima ou para baixo, até o limite de 20% ( vinte por cento) do total de periódicos avaliados pela Área.

• 1º A fase de ajustes não admite modificações para periódicos aos quais tenha sido atribuído o estrato C, ressalvada a hipótese de erro material grosseiro devidamente comprovado.

• 2º As áreas quando demonstrarem que o percentual de ajuste ainda gera distorções relevantes junto a comunidade acadêmica brasileira ou internacional que utiliza o referido periódico como veiculo essencial de divulgação do conhecimento poderá pleitear a DAV a manutenção por mais um quadriênio (2021 a 2024) da classificação anteriormente reconhecidas pelos documentos oficiais da CAPES.

Retirando as porcentagens e o segundo parágrafo do artigo 19, conceitualmente foi utilizado o modelo proposto anteriormente no Qualis Referência. O problema está justamente nestes dois itens. Com relação às porcentagens, a carta de de membros do CTC-ES, antes da destituição, já apontava para isso, na medida em que essa etapa de ajuste já passou (pelo cronograma ela provavelmente ocorreu nos meses iniciais deste ano) e a portaria amplia os limites – o que pode levar algumas áreas a quererem refazer a estratificação, o que afetaria a avaliação em todo o sistema.

O segundo ponto é o problema de abrir o precedente de utilização da avaliação anterior. Questões que surgem a partir disso são: qual o limite quantitativo a que uma área pode pleitear essa exceção?; como estabelecer uma relação de equivalência entre os estratos da avaliação anterior e os do novo modelo de avaliação, que, no mínimo, não possui o estrato B5 (e não temos a certeza que quantos estratos ele utiliza)?

CAPÍTULO III

DISPOSIÇÕES FINAIS E TRANSITÓRIAS

Art. 20. Faculta-se, para fins da avaliação quadrienal 2017-2020, a utilização desta portaria para a estratificação a ser promovida pelas áreas de avaliação que optarem pela incidência imediata desta norma, mediante requerimento formal dirigido à DAV.

Provavelmente este é o pior artigo da portaria. Ela simplesmente inclui a possibilidade da área não utilizar a portaria no processo de estratificação, sem definir quais passarão a ser os critérios a serem utilizados! Basicamente é: esta é a norma, mas se você não quiser utilizar, não precisa, basta solicitar!

Art. 21. Para a avaliação quadrienal 2017-2020, a divulgação dos resultados do Qualis Periódicos só ocorrerá após a divulgação dos resultados dos julgamentos dos pedidos de reconsideração.

A possibilidade formal de recorrer, apesar de ser apontada como um problema na carta dos ex-membros do CTC-ES, é positiva – ainda mais nessa redefinição em que, agora, oficialmente as revistas estão sendo avaliadas.

Art. 22. Compete a Presidente da Capes dirimir quaisquer dúvidas e omissões relacionadas à aplicação desta Portaria.

Art. 23. Esta Portaria entrará em vigor na data de sua publicação.

CLAUDIA MANSANI QUEDA DE TOLEDO

1. A portaria data do dia 10 de setembro, mas foi publicada no diário oficial no dia 14 – ver https://www.in.gov.br/en/web/dou/-/portaria-n-145-de-10-de-setembro-de-2021-344468240. [↩]
2. Para acesso a nota, ver https://dataverse.harvard.edu/file.xhtml?fileId=5163731&version=3.0. [↩]
3. Com data do dia 15 de setembro, mas que saiu no Diário Oficial no dia 16 https://www.in.gov.br/en/web/dou/-/portaria-n-146-de-15-de-setembro-de-2021-345131191. [↩]
4. Para detalhes da cronologia veja SOUSA, Marcos Eduardo. Cronologia da discussão sobre a mudança no Qualis Periódico no quadriênio 2017-2020. Harvard Dataverse. V3. 2021. Disponível em: https://doi.org/10.7910/DVN/5UNJXH. Acesso em: 17 set. 2021. [↩]
5. Provavelmente uma revisão do presente texto deverá ser disponibilizada como publicação acadêmica, tradicional, no futuro. [↩]
6. Para quem está interessando em aprofundar essa discussão veja, em especial, os itens item 5.2.10, 5.2.10.2, 5.2.10.3 e 5.2.10.4 do documento de critérios de admissão do SciELO – https://wp.scielo.org/wp-content/uploads/20200500-Criterios-SciELO-Brasil.pdf. [↩]
7. Para o número de Colégios e quais são ver https://www.gov.br/capes/pt-br/acesso-a-informacao/acoes-e-programas/avaliacao/sobre-a-avaliacao/areas-avaliacao/sobre-as-areas-de-avaliacao. [↩]