sábado, dezembro 12, 2009

Sobre a impossibilidade de validar modelos em ciências ambientais

Todos os anos, após um episódio frio ou chuvoso, ouvem-se vozes irónicas sobre a teoria do aquecimento global e suas causas. Não costumo prestar atenção a estes comentários mas esta semana o argumento assumiu proporções diferentes. Em parte, porque foi o Prof. Delgado Domingos que aparentou proferir tal raciocínio e de outra parte porque o exemplo não se resumia a um particular episódio meteorológico mas sim a um registo climático de uma década:

Aliás, apesar de as emissões de CO2eq terem aumentado acima do cenário mais pessimista do Painel Intergovernamental para as Alterações Climáticas (IPCC) da ONU, desde 1998 que a temperatura global não aumenta.”

Na sequência da resposta do Prof. Delgado Domingos tornou-se claro que a frase teria sido proferida em  resposta ao discurso simplista de lado oposto (i.e., que um ano de calor valida a teoria do aquecimento global) mas é provável que alguns leitores tenham interpretado a frase como eu a interpretei, de forma incauta, quando a li: se as emissões de CO2eq continuam a aumentar e se os modelos existentes determinam que o aquecimento global se deve ao aumento de concentração de CO2eq, então a estabilidade climática da ultima década invalida os modelos existentes.

Ora, quando o debate sobre o futuro do clima do planeta chega a este ponto (e lendo alguns comentários a posts deste blogue vê-se que chega) vale a pena tecer algumas “doutas mas triviais considerações” (de carácter epistomológico). Para que nos entendamos, eu partilho da opinião Naomi Oreskes, Kristin Shrader-Frechette e Kenneth Belitz de que a completa validação de modelos em ciências ambientais não é possível. E porquê? Porque estes são sistemas abertos e como tal nenhum modelo representa a totalidade dos factores que afectam o sistema. Em teoria, apenas os modelos representando sistemas fechados, p.e., os que derivam de estruturas lógicas puramente formais (p.e., e matemática) podem ser formalmente validados. Abaixo segue um resumo da posição das autoras, num artigo da Science de 1994, com o qual concordo na íntegra:

Verification and validation of numerical models of natural systems is impossible. This is because natural systems are never closed and because model results are always nonunique. Models can be confirmed by the demonstration of agreement between observation and prediction, but confirmation is inherently partial. Complete confirmation is logically precluded by the fallacy of affirming the consequent and by incomplete access to natural phenomena. Models can only be evaluated in relative terms, and their predictive value is always open to question. The primary value of models is heuristic.”

Para que se entenda melhor o argumento imagine-se o seguinte exemplo (adaptado do referido artigo):

Eu afirmo que “se chover amanhã, ficarei em casa a preparar um artigo para o blogue”. Amanhã chove mas o leitor verificará que o artigo prometido não é publicado no blogue. A conclusão imediata é que a minha afirmação original era falsa. Acontece que, de facto, era minha intenção escrever o dito artigo para o blogue. Portanto a proposição era verdadeira. Mais tarde o leitor verificará que não escrevi o dito artigo porque morreu um familiar e tive de me ausentar para dar assistência à família. O leitor verificará que a minha proposição não era falsa mas incompleta. Ou seja, não tinha considerado a totalidade dos factores que podem afectar a minha disponibilidade para escrever artigos no blogue. Do mesmo modo, a conclusão que a minha proposição era falsa estava conceptualmente errada porque o sistema não era fechado.

Que isto dizer que os modelos representando sistemas abertos são inúteis? Ou que é impossível confirmar de algum modo a sua capacidade preditiva? A resposta é claramente, não. Imagine-se que a proposição acima referida é repetida 1000 vezes. É bem possível que o leitor seja gorado algumas vezes já que imponderáveis de vária ordem podem afastar-me do computador, impedindo-me de escrever artigos para o blogue em dias de chuva. Porém, se a chuva for uma variável importante para determinar a minha decisão de escrever artigos, é de esperar que a probabilidade de os escrever para o blogue aumente em dias chuvosos. Portando, repetindo a proposição 1000 vezes, obtém-se uma curva de probabilidades que indica um aumento de artigos publicados no blogue em dias chuvosos existindo, porém, casos em que dias de chuva não coincidem com a publicação de artigos.

A analogia é aplicável ao caso climático (ou qualquer caso em que se estabelecem modelos em sistemas abertos). Um século de concordância entre o aumento de CO2eq e aquecimento global não é invalidado por uma década de estabilidade pois a previsão de que existe uma relação entre uma variável e outra não exclui a possibilidade de que outros factores compliquem as dinâmicas climáticas.

A questão pode e deve também ser colocada de forma inversa: pode a proposta de um mecanismo, afectando um sistema aberto, ser validada por simples coincidência entre observação a previsão? A resposta é não, pois existe a possibilidade de que os mecanismos propostos sejam indirectos e estejam correlacionados com outros mecanismos directos não incluídos no modelo (“correlation does not imply causation”). Não obstante, as teorias ganham "pedigree" quando as previsões são confirmadas repetidas vezes e recorrendo a fontes de evidência independentes. Por exemplo, a selecção natural (sexual) interpretada como mecanismo de evolução das espécies foi documentada em milhares de ocasiões, recorrendo a uma panóplia de organismos, em níveis hierárquicos múltiplos, de modo que hoje existe um “body of evidence” suficientemente vasto para que seja razoável aceitar a robustez do poder preditivo desta teoria.

A teoria do aquecimento global contemporâneo é obviamente mais jovem e o sistema é mais complexo (no sentido de que nenhum mecanismo, considerado de forma isolada, tem poder preditivo). Por isso, se estivermos genuinamente interessados em entender os fenómenos em causa, é importante prestar atenção às múltiplas fontes de evidência e não só a uma em concreto. A discussão sobre métodos, eventuais erros e imprecisões em estudos concretos é fundamental mas a discussão pública sobre este tema não deve perder de vista a vastidão das evidências, a independência de muitas das suas fontes, e a congruência, apesar das incertezas e variabilidade, das observações com as previsões.

Se chover, darei em breve continuidade a este texto escrevendo sobre aspectos mais técnicos associados ao debate do “stick de hockey”

9 comentários:

José M. Sousa disse...

De facto, estas considerações epistemológicas são tão básicas que me espanta que determinadas pessoas digam o que dizem.

José M. Sousa disse...

Para quem tiver interesse,

Perguntas Frequentes (e respostas)[FAQ] sobre modelos climáticos (no RealClimate)

José Matias disse...

Muito bem.

Pedro Silva-Santos disse...

Como investigador na área da modelação matemática em ciências ambientais já fui várias confrontado com essa discussão. Considero que qualquer modelo matemático desenvolvido para sistemas abertos, sendo uma "simplificação" da complexidade do sistema em questão, nunca está terminado.
Concordo inteiramente com tudo o que foi referido no post e por isso afirmo com convicção que por muitos modelos matemáticos que desenvolva ao longo da minha vida profissional, sei que nunca morrerei de tédio porque muito mais haverá para investigar e "modelar" nas etapas seguintes...

Olympus Mons disse...

Caro Miguel,
O seu texto está bastante ponderado e parece-me revelar atenção ao assunto, contudo assumo que entende porque aqui estamos, neste ponto, no tempo e espaço, a discutir como alterar as sociedades pelo medo de uma catástrofe eminente, certo?

É que, desculpabilizar a incorrecção dos modelos, a sua incapacidade para prever o equilíbrio energético que ocorreu nos últimos +-10 anos no planeta, não pode ser desculpabilizado como faz, a não ser que saiba exactamente qual o peso dessas outras variáveis (variabilidade natural) do sistema climático “aberto”. Sabe?
Mas mais importante, a validação de um modelo é compará-lo com as observações. Se não de que serve? E neste caso, não, não , não – Não estamos a falar de coisas esotéricas:
Devido á realidade observável (93-03), especialmente nos oceanos, onde a acumulação em joules se vinha a verificar nas medições, chegou-se ao que está nos modelos todos. Que o planeta estaria a reter mais ou menos 0,80wm2, sendo observado a sua acumulação nos oceanos no valor de 0,60Wm2. Caso fechado! …
-
Excepto que no planeta real, este, dos 2009 ~6.86 * 10** 22 Joules, sim 6.86 (não é 0,6) que deveriam estar acumulados nos oceanos desde 2003 se tenha chegado a 2009 = 0 e o caro Miguel considere isso como flexibilidade do tal sistema aberto, ou como diz um dos amigos do Realclimate (penso que Tom wigley) num dos tais emails do tal de CLIMATEGATE … “é uma farsa que não saibamos onde está essa energia toda, ITS A TRAVESTY)” …. Faz-me olhar para si mais como um teólogo a justificar a existência de Deus com “os caminhos do senhor são misteriosos”, do que propriamente interessado no modo como o sistema climático reage.
É que se a variabilidade natural do clima consegue esconder os 6,86 dos primeiros 700m do oceano sem que o Miguel, o Gavin, o Wigley ou outro qualquer tenham a mínima explicação a não ser que os “caminhos do senhor são misteriosos”… temos um problema para a teoria da sensibilidade do sistema ao CO2, não temos?

Olympus Mons disse...

Caro Dr. Miguel Araujo ainda um ultimo ponto:
Quanto é que as observações se vão tornar “inconsistentes com a teoria” e com os outputs dos modelos?
Se não houver aumento de temperaturas durante os próximos 5 anos, chega? 10? 50?
Quando é que para si considera que a os outputs dos modelos estão falseados?

Vai considerar que e essa energia toda, está escondida algures no sistema climático ou vai considerar que o clima afinal não é particularmente sensível ao CO2?

Mcpts

Miguel B. Araujo disse...

Caro Mcpts,

"Quanto é que as observações se vão tornar “inconsistentes com a teoria” e com os outputs dos modelos? Se não houver aumento de temperaturas durante os próximos 5 anos, chega? 10? 50? Quando é que para si considera que a os outputs dos modelos estão falseados?"

É uma boa pergunta mas do ponto de vista conceptual não há resposta simples. O que lhe posso dizer é que no final do século XIX e principio do século XX, assim como no período entre 1950 e 1980, houve períodos de relativa estabilidade climática seguidos, em ambos os casos, por aumentos contundentes das temperaturas. Ou seja, parece ser claro que existe um "forcing" que tem conduzido a um aumento de temperaturas mas que existem processos geram padrões não lineares ("feedbacks") que contrariam a tendência em certos momentos. De resto os desvios entre observações e modelos são óbvios em muitos eventos climáticos. Como já referi neste blogue, nenhum modelo conseguiu prever os níveis de degelo do árctico observados em 2007 o que claramente indica que os modelos são incompletos e como tal incapazes de modelar com precisão alguns processos de "feed-back" que, obviamente, existem no sistema climático. Aliás estas incertezas e fragilidades dos modelos estão amplamente reconhecidas e discutidas no IV relatório do IPCC. A boa notícia é que cada erro, cada "mismatch" entre observação e previsão, é escrutinado com detalhe e conduz a melhorias na parametrização dos modelos. Como diz o artigo que citei no post este é um processo heurístico de aproximação do conhecimento. Se aceitarmos este facto, muitas das discussões aqui presentes tornam-se vazias de conteúdo.

Outra questão são as consequências políticas da incerteza, as melhores estratégias para gerir o risco, e a forma como a ciência climática é veiculada para o grande público. Sobre os dois primeiros temas escrevi um post depois deste. Convinha, a bem da clarividência não misturar demasiado os dois temas.

"Vai considerar que e essa energia toda, está escondida algures no sistema climático ou vai considerar que o clima afinal não é particularmente sensível ao CO2?"

Se queremos ser rigorosos é importante referir a incapacidade dos modelos de prever alguns anos ou episódios climáticos mas também é importante reconhecer que, de grosso modo, os modelos que incorporam CO2eq como "forcing" são muitos mais eficazes em prever a dinâmica climática do último século que os modelos que retiram este "forcing" dos parâmetros. Como disse no post isto não demonstra inequivocamente que os modelos estão correctos (pode ser que o CO2eq esteja correlacionado com outro factor não incorporado no modelo) mas é óbvio que a contestação do modelos implica a proposta de uma hipótese alternativa, formalizada num modelo alternativo, que tenha níveis de ajuste com a realidade maior que os modelos existentes. Sem que estas hipóteses e modelos alternativos existam, e sem que se demonstre que são superiores em explicar a realidade, tudo o que se possa dizer são, na realidade, palavras atiradas ao vento.

Olympus Mons disse...

Caro Dr Miguel Araújo. Desde já agradeço sua resposta que é de uma lisura intelectual refrescante.
Contudo, não entendo nunca uma posição em ciência em que não se sabe como e quando se falseia. Quer dizer, se o planeta denota um desequilíbrio radiativo está de acordo com teoria, se denota equilíbrio também. Ora bolas, isso é ciência? Em ciência “sabemos sempre quando a teoria se falseia. Na verdade nunca a provamos “verdadeira” unicamente conseguimos falsear ou não! – Como dizia o outro se aquece está e acordo com os modelos, se arrefece (que não é o caso ainda, mas claramente já parou de aquecer) também está de acordo com os modelos? Como se falseia isto? Com nevões em Lisboa? Parece tudo um bocado esotérico, um bocado como a existência de Deus ( ;-) – Se parece milagre ora aí está, se deixa sofrer são misteriosos os caminhos do senhor.

Compreendo que a nível académico faça todo o sentido este modelar de varáveis conhecidas com variáveis que não se consegue determinar o seu peso e medida em determinada sistema caótico e não linear, até porque na sua maior parte nem se consegue determinar valores iniciais. Agora, para qualquer outra finalidade que não seja o seus postular teórico terá o mesmo valor que andar a atirar moedas ao ar.

No entanto, lá estavam todos em Copenhaga como num filme do Emmerich.

Eu sou céptico… mas contrariado! – Estou á espera que aparece um hotspot na troposfera sob os trópicos, estou á espera que a Estratosfera arrefeça, estou á espera de ver os tais 0,80 (ou 0,60) wm2 retidos a acumular que nem uns doidos no sistema climático, estou á espera, á espera… por ora, tudo o que eu vejo (e sei os imponderáveis no que refiro) é que…

Se dos 3,9ppm anuais de CO2 que emitimos a natureza continuará a absorver 2,1 ppm ficando só mais 1,8 ppm na atmosfera, isto se fizermos nada no cenário “business as usual”, esta percentagem de aumento de CO2 na atmosfera que é um aumento de 1% ao ano (PIB WW a 3% ano) --- então chegamos ao ano de 2087 com 560 ppm.
Se acreditarmos que todo o aquecimento do século XX foi devido ao aumento de CO2 (que mesmo o IPCC diz que foi só metade) então chegamos ao final do século com um aumento de temperatura de …. 0,8C! a ser verdade que só metade é por CO2 (os cépticos acham que é menos de metade!) então chegamos ao final do século com um aumento de temperatura de mais ou menos… 0,5C. Wow. E agora?

Professor Lindzen, do MIT, chega ao mesmo número pelo balanço radiativo (feedbacks positivos e negativos sobre os 3,3Wm2/1C).



… Onde estou errado?

Miguel B. Araujo disse...

Caro Olypuns Mons:

Mantenho-me no registo epistemológico pois é disto que trata o post:

"Contudo, não entendo nunca uma posição em ciência em que não se sabe como e quando se falseia."

Creio que o seu problema é não reconhecer que em ciência existem pelo menos dois paradigmas: o processo dedutivo e o processo indutivo. Tomo a liberdade de fazer copiar-colar de um manuscrito que estou actualmente a escrever:

"Mainstream scientific research has long been based on the process of hypothesis testing. Hypothesis testing draws its principles from deductive reasoning, a logical framework developed by Greek philosophers of the Classical Period (600 to 300 B.C.), such as Aristotle and Pythagoras [10]. With deductive reasoning, an idea is phrased as a statement of fact so that it can be subjected to falsification or corroboration. (...)"

"More recently, and particularly so for observational data, model building, selection and averaging have been emphasized as a more appropriate framework of inductive reasoning [12], where data are used to infer that under similar circumstances the result will be repeated and that the finding, as applied to the modeled case, may be generalized to similar cases [10]. While hypotheses are subjected to falsification, models must be held up for internal validation (a measure of how well the model fits the training data, in terms of assumptions and predictive value), or, preferably, external validation (a measure of how successful a model predicts independent test data)."

"Quer dizer, se o planeta denota um desequilíbrio radiativo está de acordo com teoria, se denota equilíbrio também. Ora bolas, isso é ciência? Em ciência “sabemos sempre quando a teoria se falseia. Na verdade nunca a provamos “verdadeira” unicamente conseguimos falsear ou não! – Como dizia o outro se aquece está e acordo com os modelos, se arrefece (que não é o caso ainda, mas claramente já parou de aquecer) também está de acordo com os modelos? Como se falseia isto?

Não se falseia, da mesma forma como não se falseiam teorias em astrofísica ou macroecologia. Mas no caso vertente (a estabilidade dos últimos 10 anos), não há qualquer base para contestar o consenso estabelecido. Se observarmos a curva de aumento de temperatura no último século e meio o que vemos é um aumento em escada. Ou seja, temos períodos de aquecimento seguidos de períodos de estabilidade que duram 1 a 2 décadas e a que se seguem novos aumentos de temperatura. Se observarmos o gráfico com atenção veremos que estes períodos de estabilidade ocorrem em intervalos mais ou menos regulares e que o período actual coincide com o que se esperaria se esta regularidade se tivesse mantido inalterada. Se daqui a uma décadas o padrão se estabilidade se mantiver (ou se se verificar uma redução consistente das temperaturas globais) e não houver qualquer explicação para o fenómeno - i.e., os mecanismos não forem suficientemente conhecidos para serem formalizados em modelos com capacidade de reproduzir os padrões observados - então haveria razão para questionar toda a ciência climática que, como se sabe, se encontra formalizada nos modelos climáticos usados para explicar climas passados e projectar condições climáticas no futuro.

Em suma, é preciso reconhecer o funcionamento do progresso científico por indução para, com rigor, se poder criticar a ciência climática global.

Cumprimentos,