18 feb. 2010

SI, Jones och statistisk signifikans

På Stockholmsinitiativets förstasida kan man idag (18/2) läsa:
Jones medger: Ingen global uppvärmning sedan 1995! Den medeltida värmeperioden kan varit väl så varm som idag.
Rubriken länkar till en artikel i den Engelska tabloiden Daily Mail.

Detta låter ju sensationellt. Det handlar nämligen inte om vilken Jones som helst utan om professor Phil Jones från CRU.

Men går man till den BBC-intervju som det hela är taget från (och som ironiskt nog också SI länkar till), så kan man läsa vad Jones verkligen har sagt:
B - Do you agree that from 1995 to the present there has been no statistically-significant global warming

Yes, but only just. I also calculated the trend for the period 1995 to 2009. This trend (0.12C per decade ) is positive, but not significant at the 95% significance level. The positive trend is quite close to the significance level. Achieving statistical significance in scientific terms is much more likely for longer periods, and much less likely for shorter periods.
Lägg märket till orden “statistically-significant”, eller på svenska: statistiskt signifikant. Jones säger inte att det inte finns någon uppvärmning. Det vore konstigt om han hade sagt det, med tanke på att han i samma stycke säger att trenden för perioden är 0,12 grader/decennium. Han säger istället att det inte finns någon statistiskt signifikant uppvärmning den aktuella perioden. Och det är en väldig skillnad.

Så vad innebär statistisk signifikans? Jo, om vi observerar en positiv trend (av en viss storlek) så kan det bero på att det faktiskt blir varmare av någon orsak, t ex mer växthusgaser. Men det kan också bero på slumpen. Temperaturen varierar ju från år till på ett till synes slumpmässigt sätt. Statistisk signifikans handlar här om hur sannolikt det är att slumpmässiga variationer kan ge upphov till den observerade uppvärmningen. Jones talar om 95% signifikansnivå. Det betyder att om vi enbart har slumpmässiga temperaturvariationer så ska det vara 5% chans eller mindre att dessa ger upphov till en sådan observerad uppvärmning. Jones har tydligen kommit fram till den chansen är något större än 5%. Skälet är att det valda intervallet (på 15 år) inte är tillräckligt stort.

Med andra ord: temperaturen har gått upp de senaste 15 åren, men man kan inte helt och hållet utesluta att det är en tillfällighet. I alla fall om man enbart tittar på dessa 15 år och deras temperaturstatistik och inte tittar på bakomliggande fysikaliska processer osv. Jones sade verkligen inte att det inte finns någon global uppvärmning sedan 1995. Det är bara ett påhitt – eller möjligen ett missförstånd – av den ansvarige journalisten eller rubriksättaren.

Men man kunde ju hoppas att Stockholmsinitiativet kollade sina källor lite bättre. För de vet väl vad statistisk signifikans betyder?

I BBC-intervjun kan ni förresten också läsa vad Jones verkligen sade om den medeltida värmeperioden.



Uppdatering 100226: The Economist har en bra artikel om Phil Jones uttalande och innebörden av begreppet "statistisk signifikant"

Uppdatering 100302: Deep Climate frågar Lubos Motl om varför just 1995 och inte tex. 1994. Svaret är belysande:

Dear Deep Climate,

your point is somewhat shallow. In this thread, I discussed 1995 as opposed to 1994 because that’s the year that BBC asked Phil Jones about, and for a good reason. 1995 is the earliest year when the statistical significance of the trend from that year to 2009 safely fails. Since 1994, you could get a technically significant trend. It would still not be a robust result because a small change of the beginning year would destroy the statistical significance …

BBC asked a very good and highly relevant question in a technically accurate fashion and Jones had to answer it – the answer was clearly “Yes”. He was also allowed to add refinements. It’s just the religious bigots like most of the readers above who dislike the question and the answer – because the answer, “Yes, there’s been no statistically significant trend for 15 years”, shows that even if there’s anything such as “global warming”, it’s not really worth talking about. And you don’t like this fact for the same reason why an Islamic bigot doesn’t like the picture of Mohammed as just another obsessed warrior and/or terrorist: because it’s an inconvenient truth.

Cheers LM


Så frågan är konstruerad, av de "klimatskeptiker" som fick chansen att formulera BBCs frågor, så att Jones måste svara ja. Ett svar de sedan kan förvränga och sprida. Någon som fortfarande tror att dessa personer är intresserade av att söka en vetenskaplig sanning?

Uppdatering 21/1-11: Open Mind om uttalandet och vad som händer om man kompenserar för kända variationer: Temperaturökningen är statistiskt signifikant.

9 kommentarer:

  1. Det är även intressant att se vad Jones säger om MWP:

    Of course, if the MWP was shown to be global in extent and as warm or warmer than today (based on an equivalent coverage over the NH and SH) then obviously the late-20th century warmth would not be unprecedented. On the other hand, if the MWP was global, but was less warm that today, then current warmth would be unprecedented.

    Han säger egentligen inget annat än en tautologi, men genast börjar skeptikerbloggar misstolka...

    SvaraRadera
  2. Det verkar vara så lätt att fixera sig vid en siffra som egentligen bara har blivit tradition att använda utan att ha någon egentlig innebörd.. Fisher själv lär ha varit förvånad över hur hans nivå på signifikans har blivit så "fixerad" och lite ifrågasatt sedan en publikation på statistiska tabeller från 1925 av samme karl. Oftast är ju signifikansnivån i sig ointressant, snarare är det graden av signifikans, om det så ligger under eller över 5% - eller snarare, betydelsen av en viss trend, som spelar roll. I detta fall är väl den rätt klart att trenden är mer betydelsefull än en eventuell signifikans.

    SvaraRadera
  3. På sin blogg länkar Maggie till BBC:s intervju så de är väl medvetna om den. Det här handlar inte om bristande källkontroll utan om bristande hederlighet.

    SvaraRadera
  4. Jag kan tycka att det är lite olyckligt att ni riktar denna kritik mot Stockholmsinitiativet. Det är väl vad man kan förvänta från denna grupp, även om jag nog hade något högre tankar om Ingemar Nordin (se mina kommentarer #27, Nordins svar #33 och framåt) och kanske i synnerhet professorn i fysikalisk kemi, Peter Stilbs (missa inte hans kommentar #26) .

    Betydligt allvarligare är att denna groda upprepats på SR.se, enligt uppgift på TCS även i Ekots radiosändning. Jag har mailat kort till Tommy Fredriksson som skrivit artikeln, men inte fått något svar. Oklart om han fått sina uppgifter från Daily Mail eller dragit egna slutsatser.

    Mvh, Simon

    SvaraRadera
  5. Jag såg att Stilbs skrev i sitt senaste blogginlägg att Nature och Science har fått ett skamfilat rykte [på grund av att de publicerar artiklar med bevis för att människan ligger bakom en global uppvärmning]. Ändå var det Nature och Science som Maggie refererade till i Agenda när hon påstod att klimathoten var överdrivna. Vad menas egentligen? Att Nature och Science är skräp och saknar trovärdighet, men hoppsan, helt plötsligt är de "välansedda vetenskapliga tidskrifter" när det passar Stockholminitiativet?

    SvaraRadera
  6. Jag kollade lite på Monckton och råkade ramla över en intervju av honom på en radiostation (den finns på youtube). Där berättar Monckton att han rådde journalisten att formulera en fråga till Phil Jones:

    (Om jag minns precis rätt)

    Har det varit någon signifikant värmeökning de senaste 15 åren?

    Denna fråga är oerhört slug eftersom Monckton visste att en forskare måste svara utifrån den statistiska betydelsen av "signifikant" och det tvingade Jones att utifrån valet av tidsintervall så kunde ett sannfärdigt svar bara bli "nej" (eftersom signifikansen låg precis på gränsen, till vad som brukar accepteras).

    Frågan var fantastiskt slug eftersom "signifikant" för forskare har just en statistisk betydelse, medan den för allmänheten i england tolkas "betydelsefull".

    Alltså, det lät som Jones sa att det inte förekommit någon betydelsefull uppvärmning sedan 1995 medan han avsåg statistisk signifikans.

    (Jag måste säga att jag beundrar Monckton för denna ohyggligt sluga fälla, men så är han ju också journalist)

    På min blogg finns en länk till intervjun

    http://begrundatoplitat.blogspot.com/2010/02/monckton-phil-jones-och-significant.html

    SvaraRadera
  7. Det finns andra problem med Jones' uträkning. Den förutsätter, misstänker jag, att trenden är linjär (vliket den troligen inte är) och att tidsserien är okorrelerad (vilket den definitivt inte är).

    SvaraRadera
  8. Det räcker nu,ni på Newsmill och VOF, med ert förakt och elakheter mot Göran Ahlgren på SI. Ni tillhör uppenbarligen den mediala fårskocken som glatt springer med dessa eländiga konsensusjournalister, typ Karin Bojs i DN.
    Med måttligt vänlig hälsning
    HEMPA LI
    SI-medlem nr. 340

    SvaraRadera
  9. Hempa,
    Jag har aldrig skrivit något föraktfullt eller elakt om Göran Ahlgren. Det räcker gott med att läsa hans inlägg och konstatera att han arbetar med att desinformera om klimatvetenskapen och sprida pseudovetenskapliga uppfattningar.

    Läs gärna igenom din insändare här en gång till. Fundera på vilka ord du använt, och vilket intryck den ger.

    Med relativt vänlig hälsning,
    PMA

    SvaraRadera

Tips: Använd gärna signatur när du kommenterar. Det underlättar samtalet