segunda-feira, maio 21, 2007

Rankings unversitários – uma necessidade

Uma ideia comum entre os que mais criticam a reforma das universidades é que os “rankings” académicos são nocivos. Uma argumentaçao interessante nesta linha de pensamento foi elaborada pelo Prof. José Rodrigues dos Santos da Universidade de Évora. Na ocasião de um debate interno desta universidade tive oportunidade de desenvolver uma resposta a alguns dos seus pontos de vista. Porque o tema é actual e a formulação das críticas suficientemente genérica para interessar a vários leitores, divulgo aqui a minha resposta ao texto original de José Rodrigues dos Santos.

--
A Universidade de Évora têm sido palco de intervenções bastante estimulantes sobre o tema genérico de “vida académica”. Vislumbra-se, pela primeira vez, o que parece ser uma genuína vontade de estabelecer um debate franco e honesto sobre os problemas que atravessam a academia Portuguesa. É salutar que este debate surja, em grande parte, em virtude do reconhecimento de que existe um problema, ou melhor, uma série de problemas. Reconhecer a “doença” é o primeiro passo para procurar as curas ainda que, como é natural, a percepção sobre a medicação necessária seja diversa. Neste texto procurarei comentar alguns dos aspectos abordados por José Rodrigues dos Santos, na sua recente mensagem, concentrando-me, como é natural, nos aspectos em que estou menos de acordo [havendo outros em que naturalmente concordo]. Em particular procurarei discutir os fundamentos que subjazem a ideia de que a virtuosidade no funcionamento das instituições requer a criação de mecanismos de promoção do mérito. Que estes, no que diz respeito às universidades, podem ser promovidos através da adopção critérios objectivos e transparentes de progressão da carreira [vulgarizados como os “rankings”] e que na ausência deles se criam mecanismos alternativos que, em vez de criar ciclos virtuosos, cristalizam teias de poder onde a autoridade se substitui à razão e onde o bem estar individual é alcançado pela via da submissão a estruturas de poder representativas não dos interesses globais da instituição mas de interesses de particulares que praticam altruísmo entre si.

Sobre rankings, José Rodrigues dos Santos afirma que “(...) os rankings que têm sido citados e mobilizados em algumas trocas de mensagens, quando aplicados a uma realidade tão complexa e sobretudo tão diversa quanto o conjunto das instituições de ensino superior universitário do mundo inteiro, produzem artefactos (...) que se tornam não só inúteis como nocivos. Ao fornecer uma falsa representação da natureza dos problemas e da sua extensão, esses instrumentos afastam-nos da sua solução”.

Eu comento: É fácil adoptar uma postura critica em relação a “rankings”. Todos eles, sem excepção, produzem avaliações que, pelo seu carácter cartesiano, escondem realidades complexas. Todos eles recorrem a diagnósticos multivariados para depois retratar o objecto de avaliação num espaço unidimensional. Consequentemente, todos eles, sem excepção, perdem informação e são potenciais geradores de injustiça. No entanto, o problema não é se os “rankings” produzem injustiça – aqui estamos de acordo – mas se a sua ausência produz injustiças ainda mais gritantes. Não estou certo de que aqui estejamos todos de acordo.

Ora o argumento central das minhas intervenções, já lá vão alguns anos, é justamente este. A ausência de critérios explícitos e rigorosos de avaliação tem conduzido a academia ao empobrecimento intelectual e científico. Tenho tido a oportunidade frequentar os meios académicos de diversos Países designadamente o Reino Unido, França, Espanha, Finlândia, Dinamarca, Bélgica e Estados Unidos da América e a conclusão que retiro desta amostra, necessariamente incompleta, é que os Países que assentam a sua política científica na transparente, rigorosa e objectiva avaliação do mérito – independentemente da justeza ou não dos critérios utilizados – têm resultados melhores que os Países que não o fazem. Apesar de silogístico, o raciocínio leva-nos a concluir que não é de menos “rankings” que precisamos mas de mais “rankings”.

Podemos discutir o detalhe sobre qual o melhor procedimento para avaliar a actividade científica (ver, por exemplo, os inúmeros artigos que têm saído na revista “Nature” sobre este tema) mas não me parece particularmente construtivo iniciar o debate partindo de um posicionamento a montante que consiste em discutir a própria necessidade dos ”rankings” ou, em alternativa, não discutir a sua necessidade mas diminui-la recorrendo à constatação, inerente a qualquer processo de avaliação, de que os “rankings” produzem injustiças, logo não são parte central da solução para o problemas que nos afligem.

Mais adiante José Rodrigues dos Santos afirma: “No ano lectivo transacto (2004-2005) ficaram por preencher, nas universidades periféricas, em Portugal, entre 36 e 40% das vagas (cito de memória, a verificar). Designo por universidades "periféricas" (UP, termo relativo ao "centro"), as universidades do interior do continente e as das ilhas. Por comodidade de exposição, arredondarei os números para, globalmente, 40%.“

Eu comento: É minha convicção de que a distinção entre universidades do centro e da periferia é de utilidade discutível por não oferecer uma classificação que ajude a entender a diversidade de problemas que atravessam as universidades, designadamente a que decorre de políticas de gestão, interna, diferenciadas. Por outro lado seria bastante discutível agregar a Universidade de Évora à periferia, já que se encontra a pouco mais de uma hora de Lisboa. Um tempo menor do que é necessário para chegar ao centro da capital vindo de algumas das suas periferias em hora de ponta. Aliás, se existe problema em Évora, é o perigo da sua suburbanização em relação a Lisboa; facto reconhecido e discutido no PDM da cidade. Além destes considerandos, os factos não apoiam a tese do colega. Os dados de este ano (publicados no “Expresso” de dia 15 de Outubro de 2005) sugerem que as universidade ultra periféricas da Madeira e de Trás-os-Montes possuem taxas de preenchimento de vagas na ordem dos 85-87% que contrastam com os reduzidos 70% obtidos pela Universidade de Évora (na cauda do País). Para mim este facto seria suficiente para descartar uma qualquer relação determinista entre periferia e desvantagem. E se estes números não chegarem talvez valha então a pena avaliar de forma detalhada o que se passa noutros Países onde existem muitos e bons exemplos de universidades distantes do centro que apresentam excelentes performances quer do ponto de vista da produção científica quer do seu poder de atracção de alunos.

Relativamente à relação entre “rankings” e número de alunos, o colega Rodrigues dos Santos afirma: “Alguns colegas têm tido a tentação de estabelecer uma relação (que explícita ou implicitamente funciona como explicação) entre lugar nos famosos "rankings", produção científica, e procura dos cursos. O raciocínio causal que subtende esta aproximação é o seguinte: estamos mal classificados nos rankings porque produzimos pouco; e por estar mal classificados, temos pouca procura. a) A primeira via de solução do problema resulta evidente: produzir mais e melhor ciência = aumentar a procura. Para além do facto que o aumento de produção não é equivalente ao aumento de produtividade (...), resta que a produção científica está dependente de um sistema cuja reacção é lenta (uma acção no tempo t só produz efeitos num tempo t+n, sendo n vários anos). Pelo que agir agora para aumentar a produtividade científica produzirá porventura efeitos VISÌVEIS e detectados pelos sistemas de ordenação dentro de alguns anos (4 ou 5 é um mínimo), e estes sistemas só agirão no grande público (candidatos) após que tal "reputação tenha si largamente difundida e consolidada (mais 4 ou 5 anos?). Boa solução, pois, mas sem eficácia a médio e ainda menos a curto prazo.”

Eu comento: É verdade que as sementes lançadas hoje teriam resultados, ao nível de captação de alunos, num futuro não imediato. Mas será esse facto razão para descartar a necessidade de aposta urgente na produção científica? Ou na utilização de rankings para segregar universidades, departamentos, centros de investigação e docentes? Creio que tal posição não é defensável, em particular, devido ao facto de se avizinhar, num futuro não muito distante, de um aumento relativo do peso de alunos de segundo (mestrado) e terceiro (doutoramento) ciclos, estes sim mais sensíveis ao factor produção científica das universidades.

Discutindo uma segunda solução que seria implícita em algumas intervenções, Rodrigues dos Santos escreve: “b) A segunda via que tem vindo a lume é a via "cirúrgica", que consiste em propor que se identifiquem os "maus" sectores, os "maus" cursos, departamentos, etc., e finalmente, os colegas "incompetentes" ou improdutivos, etc., e se corte no vivo. Esta é a via que se apresenta como a da coragem ("tenhamos a coragem de denunciar e eliminar os incompetentes"), a coragem de assumir o "horror" do realismo: o interesse geral exige que, etc. É uma via muito mais espontânea e muito menos elaborada do que parece. Surge essa tentação, entre duas linhas, quando se alude à possível necessidade de eliminar os sectores (faculdades, departamentos, centros, etc.) das Ciências Sociais e mais ainda das Humanidades, porque estes, não publicando na Nature ou na Brain (são exemplos dados com algum humor, atenção, nada contra elas), fazem baixar a média de publis / etis. Mas esta via é sobretudo, não hesito em afirmá-lo (noutro espaço poderia justificar), a da Hybris fratricida. Numa situação extrema, os que deviam entreajudar-se, se a cooperação fosse possível, entredevoram-se (os exemplos dos fugitivos do Gulag ilustram esta realidade no sentido próprio e mais terrível da expressão)."

Eu comento: Parece-me que Rodrigues dos Santos usa a estratégia da caricatura, para descartar uma ideia que não é tão expontânea como alude. E dou um exemplo: No Reino Unido todos as Universidades e seus Departamentos são avaliados recorrendo-se a uma escala ordinal. O valor 5 (estrelas) é o máximo que se pode obter em tais “rankings” sendo que a repetição do valor de 5 em 3 avaliações consecutivas promove a universidade ou departamento à categoria de 6 estrelas. Como é sabido, a Universidade de Oxford disputa o primeiro lugar, no “ranking” nacional do Reino Unido, com Cambridge. A estabilidade desta posição deriva de uma estratégia que consiste numa leitura intransigente do valor destes “rankings”. Por exemplo, um departamento que obtenha a nota de 4, ou menos, tem 3 avaliações consecutivas, i.e., 9 anos, para alterar a situação e regressar ao nível 5. Se não conseguir o departamento é encerrado, os docentes e funcionários despedidos e o espaço entregue a outro departamento, ou centro de investigação, com mais “unhas”, i.e., com maior possibilidade de contribuir para a “excelência” científica da Universidade. A estratégia pode ser criticada recorrendo a argumentos de cariz ideológico mas o facto é que a estratégia funciona pois são raros –ainda que existam – os casos de departamentos encerrados nesta universidade por avaliações, medíocres, consecutivas. Nos últimos anos tive oportunidade de efectuar uma parte importante da minha investigação num dos departamentos (Geografia) que teve o infortúnio de ser avaliado com 4 sendo, desta forma, alertado para o risco de poder vir a ser desintegrado se volvidos 9 anos não alterasse a situação. O que posso garantir é que este “estimulo” é eficaz e que medidas sérias estão a ser tomadas para que a situação a numa próxima avaliação suba para o nível 5.

Antes de prosseguir e comentar a afirmação seguinte gostaria de esclarecer dois aspectos que, ressaltando da mensagem de Rodrigues dos Santos, que não parecem representar, com rigor, as opiniões que o colega pretende rebater:

1) Não me recordo de alguém sugerir o despedimento de colegas nesta universidade, nem sequer o encerramento de departamentos. O que foi referido, isso sim, é que os critérios de contratação, atribuição de nomeações definitivas e progressões na carreira deveriam obedecer a critérios objectivos (por exemplo métricas de produção científica) e de preferência explicitados à “anteriori” por forma a garantir a justiça, transparência e “accountability” (aquela palavra que, misteriosamente, não encontra paralelo na língua Portuguesa) dos processos.

2) Ao contrário do que é afirmado, a avaliação dos departamentos (pelo menos no caso do Reino Unido) não se faz comparando departamentos de ciências sociais com departamentos de ciências da computação ou Física. A comparação e o “ranking” é estabelecido por comparação com departamentos homólogos.

Confesso que o estimulo para comentar a mensagem de Rodrigues dos Santos proveio essencialmente da seguinte frase: (...) “cada um dos departamentos, cada um dos colegas, sabendo que alguém tem que ser eliminado, vai transformar-se no pior inimigo de todos os outros e reciprocamente. Os instrumentos "de radiografia" prévia à "cirurgia" transformam-se em armas de arremesso. Um efeito mais mediato é que a elaboração de um projecto comum (não receando debate e divergências, mas assente numa hipótese de cooperação) se torna de todo impossível. Ora, em instituições universitárias, frequentemente em crise, o que determina (mais uma afirmação não demonstrada, pelo que peço desculpa) a capacidade para saír da crise "por cima" é a capacidade para criar um processo de elaboração das soluções em comum, gerir os custos das soluções, repartir as tarefas em complementaridade de esforços (não estou a formular uma lição de moral, mas uma hipótese empírica)”.

Eu comento: Nem por um minuto se me ocorre pensar que o colega não acredita piamente no que escreveu. Mas a minha experiência, tanto em Évora, como noutras universidades e centros e investigação, em particular no departamento de Geografia da Universidade de Oxford, onde uma situação análoga à que descreve acontece, dá-me ensejo de transmitir um conjunto de impressões que contradizem o razoado de Rodrigues dos Santos. Em primeiro lugar devo dizer que nunca encontrei um ambiente académico tão estimulante como o que encontrei em Oxford. Este facto não se deve exclusivamente ao factor “concentração de excelência” que existe no que é, ainda hoje, uma das melhores Universidades do mundo, mas principalmente pelo espírito corporativo (no bom sentido) que encontrei. Ao contrário do que é referido pelo colega, o resultado do risco eminente de dissolução do departamento (por virtude de relativamente fraca posicionamento no “ranking”) deu origem a um sentimento genérico de “estamos todos no mesmo barco” e de procura de soluções comuns para problemas comuns. O que poderiam ser tendências naturais de competição entre colegas deu, também naturalmente, origem a estratégias de cooperação. Ou seja, onde se via competição interna, vê-se agora competição com equipas externas e reforço de cooperação interna. E onde se via um investigador fechado no seu gabinete a fazer a sua investigação “do costume”, vêm-se agora momentos, cada vez mais frequentes, de confraternização académica [nunca as horas do chá na sala comum – 11 a.m e 16 p.m – foram tão concorridas].

Será esta experiência extrapolável a Universidade de Évora? Penso que, salvaguardadas as inevitáveis diferenças – não creio que algum dia consigamos reunir, com frequência, colegas, na sala comum do Espírito Santo para tomar chá –, sim. E faço esta afirmação porque acredito que o comportamento humano não é tão idiossincrático como poderá parecer à primeira vista. Parto de três pressupostos que se podem inferir da teoria do “gene egoísta” (vulgarizada por Richard Dawkins) e demonstrado no quadro de simulações várias (que hoje corporizam a teoria de jogos):

Todo e qualquer indivíduo procura maximizar o seu bem estar (egoísmo).
Para alcançar este resultado recorre a estratégias de cooperação (altruísmo).
O sucesso na obtenção do bem estar implica estratégias mistas (e.g. 70% altruísmo + 30% egoísmo) já que nem o egoísta puro (segregado socialmente) nem o altruísta puro (“comido por parvo”) vingam num mundo dominado por constelações de pequenas entidades regidas por interesses individuais nem sempre convergentes.

Se estes pressupostos forem válidos é razoável prever que qualquer que seja a instituição – ou aglomerado de pessoas – se estabelecerão laços de cooperação concomitantes com relações [preferencialmente minoritárias] de competição. Se na instituição existir uma gestão virtuosa dos recursos humanos a competição será sujeita a NORMAS que garantam a igualdade de oportunidade e a justiça dos mecanismos de obtenção de bem estar [qualquer um destes factores sujeitos a normas de transparência e de “accountability”].

As normas, por seu turno, devem ser definidas de forma inteligente. Ou seja, devem garantir que as energias despendidas na procura de bem-estar individual (e.g. emprego fixo, progressão na carreira, etc) sejam canalizadas de forma a beneficiar a comunidade. Numa universidade, ou centro de investigação, essas normas devem ir ao encontro do objecto da instituição, ou seja, a produção científica e a qualidade do seu ensino. Traduzido por miúdos isto quer dizer que são necessários indicadores de performance, que estes reflictam os objectivos da instituição, e que estes sejam aplicados por forma a dirigir as estratégias individuais de procura de bem estar num caminho que favoreça o bem estar comum. Este é, resumidamente, o propósito dos “rankings” e dos sistemas de avaliação do mérito.

Quando estes sistemas não existem outros são criados, em seu lugar, por forma a permitir que as pessoas prossigam os seus objectivos de maximização de bem estar. Na ausência de regras explícitas de mérito propõem-se regras burocráticas e justas apenas na aparência [e.g. promoção em virtude de antiguidade]. Mas pior tendem a cristalizam-se teias de poder onde a autoridade se substitui à razão e onde o bem estar é alcançado pela via da submissão a estruturas de poder [que frequentemente detém o poder de interpretar as normas burocráticas] e que mais não representam que interesses corporativos que representam não os interesses da instituição mas os interesses de sub-grupos que praticam o altruísmo entre si.

8 comentários:

Anónimo disse...

É interessante os professores serem contra as avaliações quando grande parte do seu trabalho é avaliar estudantes. Será que não confiam nas avaliações que fazem ou que nao querem que se lhes aplique o mesmo remédio?

Manuela Soares disse...

Peço desculpa ao Miguel Araújo se o que lhe vou perguntar já foi referido neste blog, ou tem andado noticiado nos meios de comunicação (que eu não leio). Mas de facto não sei e esta parte para mim é fundamental.


1ª pergunta:

O ranking é apenas para o departamento ou hierarquizará também os professores?

2ª pergunta:

Quais são os critérios de avaliação de professores e/ou departamentos, que estão a ser propostos aqui em Portugal e quem é que vai julgar da sua adequação ao perfil-tipo de cada departamento nacional?

Julgo perceber que estão incluídos como critérios de avaliação as publicações em revistas científicas da especialidade. Parece-me que o grau de exigência das publicações existentes poderá não ser igual em todas as áreas científicas. Assim como o volume de investigação em certas áreas poderá ser menor por dificuldades que se prendem directamente com o objecto de estudo ou com contextos exteriores aos departamentos respectivos.

3ª pergunta:

Qual a “autoridade” que vai aplicar estes critérios? Quem vai determinar as notas a atribuir?


Já agora só mais uma pergunta: Há já algum documento que se possa consultar sobre este assunto?

Manuela Soares

Miguel B. Araujo disse...

Olá Manuela,

Não lhe poderei responder sobre o que o governo pretende fazer pois a informação que disponho é limitada. Mas posso responder-lhe sobre aquilo que defendo ser desejável. É possível que as minhas expectativas não andem muito longe das expectativas do governo pois são ambas consubstanciadas na análise do que se passa lá fora:

“1ª pergunta: O ranking é apenas para o departamento ou hierarquizará também os professores?”

O ranking público deverá ser feito por Departamento / Faculdade / Universidade mas as universidades devem também avaliar os seus docentes/investigadores com critérios quantitativos. Não para produzir um “ranking” público sobre a “performance” de cada docente mas para estabelecer padrões transparentes e justos de contratação e promoção profissional.

“2ª pergunta: Quais são os critérios de avaliação de professores e/ou departamentos, que estão a ser propostos aqui em Portugal e quem é que vai julgar da sua adequação ao perfil-tipo de cada departamento nacional?”

Desconheço os critérios específicos que se vão propor mas suponho que sigam os parâmetros de avaliação internacionais. Quem julgará será uma comissão independente criada para o efeito. O meu dedo mindinho diz-me que será um processo semelhante às avaliações das unidades de investigação científica da FCT. Quem conhece o processo sabe que é rigoroso e justo. Até à data não ouvi nenhuma queixa sobre este processo de avaliação ainda que seja de esperar que uma avaliação combinada da actividade docente e de investigação seja mais complexa que a última considerada por separado.

“Julgo perceber que estão incluídos como critérios de avaliação as publicações em revistas científicas da especialidade. Parece-me que o grau de exigência das publicações existentes poderá não ser igual em todas as áreas científicas. Assim como o volume de investigação em certas áreas poderá ser menor por dificuldades que se prendem directamente com o objecto de estudo ou com contextos exteriores aos departamentos respectivos.”

Com certeza. As avaliações internacionais fazem-se entre áreas semelhantes. Comparar-se-ão departamentos de Arquitectura com outros departamentos de Arquitectura e não com departamentos de Física. Uma das críticas frequentes aos “rankings” decorre do medo de se comparar “alhos com bugalhos”. Acontece que essa não é a prática corrente e mesmo quando se avaliam índices de citações em artigos científicos é costume usar critérios de valoração diferentes para cada área científica. Ver por exemplo:

http://www.in-cites.com/thresholds-citation.html

“3ª pergunta: Qual a “autoridade” que vai aplicar estes critérios? Quem vai determinar as notas a atribuir?”

Uma comissão criada especificamente para o efeito sob tutela do ministério da educação e ciência, como aliás ocorre noutros Países.

“Já agora só mais uma pergunta: Há já algum documento que se possa consultar sobre este assunto?”

A Internet está cheia de notícias vindas a lume nas últimas semanas. No “post” anterior sobre reforma universitária também está um link para a proposta de Lei. Vale a pena ler.

Cumprimentos,

Miguel

Manuela Soares disse...

Obrigado pelas informações, Miguel

Pessoalmente acho bem que a actividade docente também seja levada em conta, pois por vezes é muito absorvente também, além de que é útil.

No caso das Universidades, deviam ser avaliados também os conteúdos reais que são ministrados. Não me refiro aos programas escritos que muitas vezes seriam "brilhantes" caso os professores respectivos tivessem competência para os leccionar. Refiro-me ao que realmente se passa nas aulas, às avaliações e critérios de avaliação dos alunos. É aqui que se pode fazer muita fraude.

Além de que conheço Departamentos (de Dança) que estruturam a essência de algumas disciplinas sobre conteúdos que são ministrados no ensino básico (da Dança), sem qualquer desenvolvimento, aliás até menos desenvolvidos. Nunca compreendi como é que estas coisas podem passar. Se passam na Dança também passam noutros sítios. Embora a Dança consiga sempre "levar a melhor" nestas coisas porque quem avalia não percebe nada do assunto normalmente.

Saudações

Manuela

Miguel B. Araujo disse...

Vale a pena ver a forma desdramatizada como se vivem os "rankings" universitários no País Europeu onde se encontra o maior número de universidades de topo a nível mundial:

http://education.guardian.co.uk/universityguide2008/0,,207789,00.html

Anónimo disse...

Estou impressionada!

Afinal os rankings de universidades nada têm de ideológico! Toda a "ciência" é útil! Aliás, a religião é também muito útil e, já agora, os sacerdotes!

J. R. S. disse...

Caro Miguel B. Araújo,
Saúdo a sua iniciativa de prosseguir o debate sobre estes temas. Agradeço as críticas que faz das minhas posições, que provam o interesse que lhes atribui. O nosso debate cessou, na altura, por culpa minha, pois estive momentâneramente sem tempo para continuar de modo sério, mas não por ter mal avaliado o interesse da sua crítica.
Nas mensagens do forum de correio electrónico da Universidade de Évora a que se referia, eu aludia à necessidade de regressar ao tema dos rankings, que, como está recordado, eu abordava só em introdução, mas deixando-o em espera, pis o tema principal era a relação nº de vagas / nº de candidatos. E mesmo assim, as minhas mensagens já eram demasiado longas e de natureza a impacientar muitos Colegas.
Mas prometo-lhe que vou reler a sua argumentação e tentar regressar ao tema dos rankings.
Acho que esse debate pode ser útil. a dificuldade não é debater com serenidade e seriedade, o que me parece que tanto o MBA como alguns outros Colegas e eu próprio respeitamos muito naturalmente, mas sim em obter uma leitura e uma discussão técnicas e sem suscitar irritações de pessoas que preferem ter apenas as mensagens de carros para venda ou quartos para aluguer.
Ou vêm na própria questão um perigo imediato.
Aqui fica, portanto, a prmessa renovada.
Entretanto, por favor, continue.
(Embora, como sabe, estejamos em desacordo sobre certos pontos... :)
Cordialmente,
José Rodrigues dos Santos

sofia disse...

parabéns miguel. o seu post é um prazer de ler. obrigada por trazer um pouco de "mundo" a este portugal fechado e com medo. é de facto urgente que as universidades melhorem o seu nível. e se essa melhoria demorar anos, o melhor é começar ontem... já, já, já...
embora claro, discutindo-se o que se quer e para onde se quer ir..