The positivism strawman

I have been burning my summer leave by giving finishing touches to an essay on research methodology (because of an impending deadline). I had now the occasion to read, for the first time, the qualitative research classic Naturalistic Inquiry by Yvonna S. Lincoln and Egon G. Guba (SAGE 1985). It brought to my mind a puzzle I have been trying to solve for years: authors who defend qualitative research (or constructivist research, or critical theory, or whatever in each case it is) typically frame their discussion by defining a “positivist” way of doing research, arguing against it, and then bringing their own (post-positivist, or anti-positivist) alternative. Lincoln and Guba do that in many of their writings, but they are not alone in this.

Except! The positivism that they talk about does not exist, and never has.

Historically, there were two positivisms. The first was the political philosophy of Auguste Comte, which was not primarily a theory of research or of science. The second was the logical positivism of the early 20th Century, inspired by the young Wittgenstein and developed by the Vienna Circle. Logical positivists advocated a radical reassessment of philosophy and science: only propositions that can be proven mathematically or verified empirically are meaningful; everything else is literal nonsense (not just false but meaningless). It is widely held that logical positivism died in its own impossibility; certainly I know of no current philosopher of science who advocates verification as a criterion of meaning.

In their writings about positivism, Lincoln and Guba typically assert that positivism believes in objective reality, that there is a reality which is common to all accessible by the senses. But while Comte may have believed this, the logical positivists never did: for them, any claim about the nature of reality, including the claim of objective reality Lincoln and Guba ascribe to positivists, was unprovable and unverifiable and thus nonsense.

Further, I know of no practicing scientist who self-identifies as positivist. (Feel free to comment if you are one.)

I was also struck by how Lincoln and Guba never cite the primary sources. In their discussion of positivism, they do not engage with e.g. Comte, Ayer, or Carnap. To their credit, they do cite a lot of secondary sources (generally critical ones), but one wonders how much of a broken telephone effect there is in it.

What Lincoln and Guba are arguing against is not positivism but naïvete. The attitudes they ascribe to positivism are typical of scientists who have had methodological training and acquired research experience but have never studied philosophy in earnest.

For an interesting take on the misuse of the “positivist” label as a bogeyman, see Jim Mackenzie’s “Positivism and Constructivism, Truth and ‘Truth’”, Educational Philosophy and Theory 43(5), 534-546, 2011 (paywalled).

Lectio praecursoria

Arvoisa kustos,
kunnioitettu vastaväittäjä,
hyvät kuulijat:

lectio-slides-0

Jokaisella meistä on salasanoja, jotka suojaavat meidän omia tietojamme ja varmistavat, että kukaan ei pysty esiintymään meinä ilman lupaamme. Salasana voi kuitenkin turvata tietojamme ja identiteettiämme vain, jos ohjelma toimii oikein sen tarkastaessaan.

lectio-slides-1

Sattuipa muutama vuosi sitten niin, että eräs tietokoneohjelma tarkisti salasanan oikeellisuuden käyttämällä apurutiinia memcmp, joka raportoi vertailun tuloksen kokonaisluvulla: jos salasana oli oikea, tulos oli nolla; ja jos tulos ei ole nolla, salasana oli väärä. Koska tulos piti katkaista mahtumaan tietoalkioon, jonka tyyppi on my_bool, tulos jaettiin ilman eri käskyä luvulla 256 ja jakojäännöstä käytettiin tekemään päätös: jos jakojäännös oli nolla, salasanan katsottiin olleen oikein. Mutta miten käy, jos apurutiini palauttaakin luvun 512? Jakojäännös on nolla, vaikka salasana oli väärin. Tämän virheen ansiosta oli kenen tahansa käyttäjätunnusta mahdollista käyttää pienellä vaivalla tietämättä salasanaa. Vika on totta kai kauan sitten korjattu.


Kun menemme verkkopankkiin, luotamme, että kukaan asiaton ei pääse väliin nuuhkimaan, mitä teemme. Teknisesti tämä taataan niin, että pankin ja oman koneemme välinen liikenne salakirjoitetaan ja pankki lähettää koneellemme digitaalisen allekirjoituksen, jolla koneemme varmistaa, että vastapuoli todella on pankki eikä joku hyökkääjä. Tämä kuitenkin toimii vain, jos koneemme ohjelmisto tarkistaa digitaalisen allekirjoituksen asianmukaisesti.

lectio-slides-2

Eräs erittäin yleisesti käytetty ohjelmisto valmistautui verkkopankin lähettämän digitaalisen allekirjoituksen tarkistamiseen tekemällä useita valmistelutoimenpiteitä, joista mikä tahansa voi epäonnistua. Niinpä ohjelmisto aina valmistelutoimenpiteen lopuksi tarkisti, epäonnistuiko toimenpide, ja mikäli niin kävi, hyppäsi toisaalle ohjelmaan. Tämä on aivan normaalia. Jostain syystä erään tällaisen tarkistuksen jälkeen ohjelmassa oli vielä pari vuotta sitten ylimääräinen hyppykäsky. Ensimmäinen goto fail tuli suoritettavaksi, jos sitä edeltävä toimenpide epäonnistui. Toinen suoritettiin joka tapauksessa. Niinpä sen jälkeen tulevaa varsinaista tarkastusta ei koskaan tehty. Hyökkääjän oli mahdollista tekeytyä verkkopankiksi ilman, että kukaan huomaa mitään. Tämäkin vika on sittemmin korjattu.

Molempien vikojen taustalla on ohjelmointivirhe, jota pahentaa jokin käytetyn ohjelmointikielen erityispiirre.


Kaikki tietokoneohjelmat kirjoitetaan jollakin ohjelmointikielellä. Kuten luonnolliset kielet, esimerkiksi suomi tai englanti, ne koostuvat sanoista joista kootaan laajempia ilmaisuja. Toisin kuin luonnollisten kielten tapauksessa, ohjelmointikielen käyttäjä joutuu olemaan erityisen tarkka siitä, mitä hän kirjoittaa. Jos suomeksi sanon minä esiinnyt nyt teihin, se kuulostaa kummalliselta, mutta jokainen ymmärtänee, mitä halusin sanoa. Jos tietokoneelle kirjoittaa kaksi kertaa peräkkäin goto fail, tietokone ei pohdi, onko tämä järkevää, vaan tekee sen, mitä käsketään.

Kaikki ohjelmointikielet ovat keinotekoisia kieliä. Tietokone ei ymmärrä yhtäkään niistä itsestään, vaan jonkun tulee laatia tietokoneohjelma, joka tulkkaa tai kääntää kielellä kirjoitetun ohjelman tietokoneen ymmärtämään muotoon. Tätä kutsutaan kielen
toteuttamiseksi. Joko toteuttamisen yhteydessä tai sitä ennen pitää jonkun suunnitella kieli eli päättää, millaiset ilmaisut siinä ovat sallittuja ja mitä ne tarkoittavat. Myös jo olemassaolevia kieliä muokataan aika ajoin; muokkaukset suunnitellaan ja sitten (tai samaan aikaan) toteutetaan.


Ohjelmointikielten tutkimusta on tehty lähes niin kauan kuin tietokoneita on ollut olemassa, aivan 1950-luvulta lähtien. Valtaosa tutkimuksista selvittää, millaisia ohjelmointikieliä voisi olla olemassa, ja ratkoo ohjelmointikielten teknisiä ongelmia. Niiden tutkimusote on matemaattis-teoreettinen. Vasta 1970-luvulla alettiin tutkia, millaiset ohjelmointikielten suunnitteluratkaisut johtavat todellisten ihmisten käsissä parhaisiin lopputuloksiin. Tutkimusasetelma tässä on tyypillisesti empiirinen ja kokeellinen.

lectio-slides-3

Ensimmäisen tällaisen tutkimuksen julkaisivat Max Sime, Thomas Green ja D. J. Guest vuonna 1973. He antoivat koehenkilöiden laatia ruoanvalmistusohjeita ohjelmointikieltä muistuttavalla keinotekoisella kielellä. Osa koehenkilöistä käytti kielen versiota nimeltä JUMP, jossa käskyt seuraavat toisiaan ja tilannekohtainen valintapäätös johtaa hyppyyn yli osan käskyistä. Muiden koehenkilöiden käyttämässä kielen versiossa nimeltään NEST ohjelmalla oli hierarkinen rakenne. NEST-kieltä käyttäneet koehenkilöt pärjäsivät keskimäärin olennaisesti paremmin kuin JUMP-kieltä käyttäneet.

lectio-slides-4

Muutama vuosi myöhemmin he julkaisivat jatkotutkimuksen, jossa ehdon alle tuli voida laittaa useampi kuin yksi käsky. JUMP oli edelleen samanlainen kieli, mutta NEST oli jaettu kahdeksi vaihtoehdoksi. Ensimmäinen vaihtoehto, nimeltään NEST-BE, muistutti nykykieliä niin, että useiden käskyjen jonon ympärille kirjoitetaan BEGIN ja END. Toisessa vaihtoehdossa, NEST-INE, ehtorakenteen päättyminen ilmaistaan myös sanalla END, mutta ehto toistetaan kolmesti. Nyt NEST-INE hakkasi molemmat vaihtoehtoiset ratkaisut selvästi, mutta NEST-BE ja JUMP voittivat toisensa eri kategorioissa.

Aiemmin esittelin teille goto fail -virheen, jossa ohjelmoija oli vahingossa toistanut hyppykäskyn. Simen ja kumppanien jo 1970-luvulla julkaistujen tutkimusten terminologialla sanoen ohjelmoija oli käyttänyt C-kieltä JUMP-kielenä. Hän olisi voinut käyttää sitä myös NEST-BE-kielenä. Herää kysymys, olisiko C-kielen suunnittelussa pitänyt ottaa huomioon Simen ja kumppanien tutkimustulokset ja estää C-kielen käyttäminen JUMP-kielenä. Olisiko jopa pitänyt valita NEST-INE?


lectio-slides-5

Käsitykseni mukaan käytännön ohjelmointikielten suunnittelutyössä ei juurikaan oteta huomioon tämänkaltaisia tutkimustuloksia. Voi olla, että suunnittelijat eivät tunne tätä tutkimuskirjallisuutta tai eivät osaa tulkita sitä asianmukaisesti. Vastaavanlaisen ongelman ratkaisuksi lääketieteessä kehitettiin muutama vuosikymmen sitten lähestymistapa, jota vuonna 1992 alettiin kutsua nimellä evidence-based medicine}, suomeksi kaiketi näyttöön perustuva lääketiede. Siinä yksittäinen lääkäri voi, jos on epävarma potilaan asianmukaisesta hoidosta, selvittää asiaa tutkimuskirjallisuuden avulla. Ensiksi hän muotoilee kysymyksen, toiseksi hän etsii tutkimuskirjallisuudesta kysymykseen mahdollisesti vastaavia tutkimusraportteja, kolmanneksi hän arvioi löytyneiden tutkimusten luotettavuuden ja hyödyllisyyden, neljänneksi soveltaa löytynyttä vastausta käytäntöön ja viidenneksi arvioi omaa suoriutumistaan.

Nyt tarkastettavan väitöskirjani lähtökohtana on hypoteesi, että vastaavanlainen lähestymistapa saattaisi olla hyödyllinen myös ohjelmointikielten suunnittelussa. Välittömästi esiin nousee useita kysymyksiä:

lectio-slides-6

Ensiksi, mitä tämä evidence eli näyttö on, josta näyttöön perustuvassa toiminnassa on kyse?

Toiseksi, kuinka paljon tähän käyttöön soveltuvaa tutkimusta on julkaistu?

Kolmanneksi, millaiseksi näyttöön perustuva lääketiede pitäisi sovittaa, jotta se soveltuisi ohjelmointikielten kehitykseen?

Näihin kolmeen kysymykseen on vastattava, ennen kuin voidaan edes ryhtyä selvittämään, olisiko näyttöön perustuvasta ohjelmointikielten kehityksestä mitään todellista hyötyä. Näihin kysymyksiin vastaan väitöskirjassani.


Kysymys evidenssin eli näytön luonteesta osoittautui huomattavan hankalaksi. Lähdin alun perin siitä oletuksesta, että asia on tutkittu ja ratkaistu kirjallisuudessa, jota en tunne. Osallistuin keväällä 2011 näyttöön perustuvan ohjelmistotekniikan tutkimuskonferenssiin Evaluation and Assessment in Software Engineering Englannin Durhamissa. Sopivalla hetkellä kysyin eräältä senioritutkijalta vinkkejä. Tuli nopeasti selväksi, ettei hän otttanut kysymystä vakavasti. Kaivelin myös ohjelmistotekniikan alan kirjallisuutta, ja sieltä tuli vastaan sama hyvin pinnallinen näkemys: näyttö on niin itsestään selvä käsite ettei sitä tarvitse analysoida.

lectio-slides-7

Etsin seuraavaksi vastausta lääketieteen kirjallisuudesta. Pohjimmiltaan näyttöön perustuvassa lääketieteessä näytöllä tarkoitetaan julkaistua tutkimustulosta, ja sen luotettavuuden ajatellaan riippuvan lähes pelkästään käytetystä tutkimusasetelmasta: kontrolloitu koe on parempi kuin mikä tahansa muu, mukaan lukien teoreettinen pohdinta, ja satunnaistettu koe, eli koe, jossa koehenkilöt jaetaan ryhmiin arpomalla, on parempi kuin sellainen, jossa näin ei tehdä. Järjestelmälliset kirjallisuuskatsaukset ovat puolestaan parempia kuin alkuperäistutkimukset, ja niistä parhaimmistoa ovat ne, jotka jättävät kaiken muun kuin satunnaistetut kokeet huomiotta. Tällaista näyttöhierarkiaa käytetään ohjaamaan sekä kirjallisuushakuja että löydettyjen tutkimusten laadun arviointia: jos löytyy yksikin satunnaistettuja kokeita tarkasteleva järjestelmällinen katsaus, muita tutkimuksia ei edes etsitä.

Näyttöhierarkia vaikuttaa päällisin puolin aivan mainiolta idealta. Se on yksinkertainen sääntö, jolla yksittäisen lääkärin kirjallisuushaut saadaan pidettyä pieninä, ja se vähentää tarvetta oikeasti pohtia löydettyjen tutkimusraporttien sisäisen logiikan pitävyyttä. Mutta mihin perustuu väite, että näin toimimalla löydetään oikeasti lähimpänä totuutta olevat tutkimukset? Lääketieteen tutkimuskirjallisuudessa näyttöhierarkiaa onkin kritisoitu.

Pohjimmiltaan siinä, pitääkö joku näyttöhierarkiaa hyvänä vai huonona ideana, on kyse tieteenfilosofisista näkemyseroista.


lectio-slides-8

Akateemisessa tieteenfilosofiassa keskeinen kysymys 1700-luvulta alkaen on ollut induktion ongelma. Miksi siitä, että aurinko on noussut tähän mennessä joka päivä, voi päätellä, että se nousee huomennakin? Vai onko tällainen päätelmä ylipäätään sallittu? — Onneksi väitöstilaisuuteni pidetään Jyväskylässä, jossa tämä esimerkki vielä toimii; Utsjoellahan aurinko ei nouse huomenna!

Loogiset positivistit, joita sittemmin kutsuttiin loogisiksi empiristeiksi, pyrkivät luomaan induktiolle logiikan; tähän projektiin osallistuivat muiden muassa suomalaiset Jaakko Hintikka ja Georg Henrik von Wright sekä saksalaissyntyiset Peter Hempel ja Rudolf Carnap.

Samaan aikaan todennäköisyyslaskennan teoria kehittyi valtavasti, ja tilastotieteen teoria jakaantui useaan koulukuntaan. Jakolinjana oli suhtautuminen käänteisen todennäköisyyden periaatteeseen, jonka idea oli johtaa hypoteesin todennäköisyys suoraan tilastoista. Valtavirraksi kehittyi Ronald Fisherin, Jerzy Neymanin ja Egon Pearsonin ajatusten sekoitus, jossa käänteisen todennäköisyyden periaate ja siten hypoteesin todennäköisyyden käsite kiellettiin. Oppositioon jäivät muiden muassa Harold Jeffreys ja Leonard Savage, joiden teorian ytimen muodosti juurikin käänteinen todennäköisyys ja jota nykyään kutsutaan Bayesiläiseksi tilastotieteeksi.

Monet tieteenfilosofit kannattavat nykyään induktion teoriaa, jossa yhdistetään loogisten empiristien tavoite Bayesiläisen tilastotieteen perusideoihin. Väitöskirjassani otan tämän lähestymistavan pohjaksi. Induktiivisen argumentin vahvuus on kunkin kuuntelijan henkilökohtainen arvio siitä, kuinka hyvin se vakuuttaa hänet. Jotta tätä arviota voidaan pitää rationaalisena, sen tulee täyttää tietyt ristiriidattomuusvaatimukset. Osoittautuu, että nämä vaatimukset johtavat kohtuullisen selvästi siihen, että argumentin vahvuus on sen loppupäätelmän subjektiivinen todennäköisyys.

Tällaisen induktion teorian pohjalta näytölle tulee luonnollinen tulkinta: näyttöä on mikä vain, joka parantaa induktiivisen argumentin vahvuutta. Millainen tutkimus vain kelpaa näytöksi, mutta riippuu kovasti tutkimuksen yksityiskohdista, parantaako se argumenttia paljon vai vähän.

Kun arvioinnin pohjaksi otetaan tämä induktion teoria, näyttöhierarkian asema jää epävarmaksi. Kontrolloitu koe on usein paras vaihtoehto, ja satunnaistaminen voi parantaa kokeen luotettavuutta. Ongelmallisempaa on perustella, miksi osa saatavilla olevasta näytöstä pitäisi rajata pois. Jokainen voi itse toki tehdä tällaisen rajauksen omasta puolestaan.


lectio-slides-9

Toinen kysymykseni oli, kuinka paljon ohjelmointikielten suunnittelun ohjaukseen soveltuvaa tutkimusta on julkaistu. Tätä varten toteutin järjestelmällisen kirjallisuuskartoituksen. Aloitin sen vuonna 2010 ja sain sen valmiiksi viime vuonna; raportoin sen alun perin lisensiaattitutkimuksenani.

Kirjallisuuskartoituksella eli mapping studylla tarkoitan kirjallisuuteen perustuvaa tutkimusta, jossa pyritään kartoittamaan jonkin tutkimusalueen yleinen tila. Tässä tapauksessa halusin selvittää, mitä asioita on tutkittu ja miten.

Se, että kartoitukseni oli järjestelmällinen, tarkoittaa, että olin sen etukäteen yksityiskohtaisesti suunnitellut ja suunnitelman mukaisesti toteuttanut. Kirjasin ylös kaiken minkä tein. Aikaahan tähän meni useita vuosia.

lectio-slides-10

Kartoituksen tuloksista nostan esille pari havaintoa. Ensinnäkin empiirisiä tutkimuksia, joissa on vertailtu eri tapoja ratkaista jokin suunnitteluongelma, on julkaistu vuodesta 1973 asti. Monta kymmentä vuotta tutkimuksia julkaistiin varsin vähän, kunnes kymmenkunta vuotta sitten jotain tapahtui, ja julkaisujen määrä lähti huomattavaan kasvuun. Kartoitukseni aineisto päättyy vuoteen 2012, mutta näppituntumani mukaan julkaisujen määrä ei ole sen jälkeen ainakaan lähtenyt laskuun.

Vielä karummalta tilanne näyttää, jos rajoitutaan tarkastelemaan pelkästään satunnaistettuja kokeita. Vuodesta 1976 vuoteen 2012 julkaistiin keskimäärin yksi satunnaistettu koe joka toinen vuosi, eikä viimeisten aineistooni kuulvien vuosien nousukaan kovin huima ollut. Vertailun vuoksi: lääketieteessä satunnaistettuja kokeita julkaistaan tuhansia joka vuosi, ehkä jopa kymmeniä tuhansia joka vuosi.

lectio-slides-11

Eniten on tutkittu sitä, miten ehtolauseet tulisi suunnitella. Aiemmat esimerkkini kuuluivat tähän kategoriaan. Myös tyyppijärjestelmiä, jotka sulkevat pois eräitä helposti koneellisesti tunnistettavia virhelajeja, on tutkittu jonkin verran; jos C-kielessä olisi ollut parempi tyyppijärjestelmä, turhaa 256:lla jakamista ei olisi todennäköisesti tapahtunut ja salasanatarkistus olisi toiminut. Kaiken kaikkiaan vaikuttaa, että varsin vähäiseen määrään suunnitteluongelmia olisi kirjallisuudesta edes periaatteessa mahdollista löytää nykyisellään vastaus.


lectio-slides-12

Kolmannen kysymykseni — eli millaiseksi näyttöön perustuva lääketiede pitäisi sovittaa, jotta se soveltuisi ohjelmointikielten kehitykseen — vastauksen lähtökohtana on sama viiden askeleen menetelmä, jota näyttöön perustuvassa lääketieteessä sovelletaan. Olen väitöskirjassani hahmotellut tarkempia ohjeita kullekin viidelle askeleelle, joita näyttöön perustuvassa ohjelmointikielen kehityksessä tulisi noudattaa. En niitä tässä käy yksityiskohtaisesti läpi, sen sijaan otan esiin muutamia yleisiä huomioita.

Näyttöön perustuvan lääketieteen pääasiallinen toimija on yksittäinen lääkäri, jolla on todellinen ongelma todellisen potilaan hoidon kanssa, ja lopulliseen hoitopäätökseen vaikuttaa kirjallisuudesta löytyneen vastauksen lisäksi potilaan tilanne ja arvot. Vastaavasti näyttöön perustuvan ohjelmointikielten kehityksen pääasiallinen toimija on yksittäinen ohjelmointikielen suunnittelija tai suunnittelijaryhmä, jolla on todellinen ongelma suunnittelutyössään ja jonka työskentelyyn vaikuttavat työn tavoitteet ja tekijöiden henkilökohtaiset tai organisaation arvot. Niinpä olennainen osa väitöskirjassa esittämäänu menetelmää on suunnittelijan vapaa harkinta siitä, mikä on olennaista. Kaksi eri suunnittelijaa voivat päätyä samalla menetelmällä samasta suunnitteluongelmasta eri tulokseen, koska heillä voi olla erilaiset painotukset ja tavoitteet sekä erilaiset toimintaa ohjaavat arvot.

Näyttöön perustuva ohjelmointikielten suunnittelu ei ole kaikenkattava menetelmä, jota tulisi soveltaa aina ja yksinomaan. Jos suunnittelijalla on selvät sävelet siitä, mitä hän haluaa tehdä, ei sitä tarvitse erikseen hyväksyttää tutkimuskirjallisuudella. Samoin jos suunnittelija on itse tutkinut jotain asiaa, ei tutkimuksen julkaisua ole tarpeen odottaa vaan sen tuloksia voi totta kai soveltaa heti oman kielen suunnittelussa.


lectio-slides-13

Väitöskirjani pääotsikko on suomeksi Näyttöön perustuva ohjelmointikielten suunnittelu, mutta kirjani ei suinkaan edes yritä olla viimeinen sana aiheestaan. Alaotsikossa esiintyy sana exploration eli tutkimusmatka kuvaamassa väitöskirjan luonnetta — kirjassa matkataan pääotsikon ympärillä selvittämässä maastoa ja piirtämässä karttaa sen lähialueista. Tutkimusmatka on filosofinen, koska yksi tutkimusmatkan kohteista on pääotsikon alla oleva maa, tieteenfilosofia ja tietoteoria; se on filosofinen myös siksi, että yksi käyttämistäni tutkimusotteista on filosofinen analyysi. Tutkimusmatka on metodologinen eli menetelmäopillinen, koska kirjassa tarkastellaan myös tiettyjä sen tekemisessä tarvittuja menetelmiä tarkemmin ja osittain myös itsenäisinä tutkimusmatkan kohteina.

May I ask you, Mr. Professor, as the Opponent appointed by the faculty, to present the comments to my dissertation that you see justifiable?

Tämän jälkeen kehotan niitä arvoisia läsnäolijoita, joilla on jotakin muistuttamista väitöskirjani johdosta, pyytämään puheenvuoron kustokselta.

Väitöstilaisuus 4.12.2015 kesti 2 tuntia ja siihen osallistuneista yksi esitti tämän kehoituksen jälkeen kysymyksen. Hänestä tuli siten ns. ylimääräinen vastaväittäjä.

Väitöstilaisuus lähestyy, väitöskirja julkaistu

Puolustan väitöskirjaani “Evidence-Based Programming Language Design: A Philosophical and Methodological Exploration” perjantaina 4. joulukuuta 2015 kello 12 Jyväskylän yliopiston vanhassa juhlasalissa (Seminarium-rakennus, sali S212). Vastaväittäjänä on professori Lutz Prechelt (Freie Universität Berlin, Saksa) ja kustoksena professori Tommi Kärkkäinen (Jyväskylän yliopisto).

Väitöstilaisuus on julkinen ja sinne on vapaa pääsy. Yleisö voi pukeutua kuten mihin tahansa arkiseen aktiviteettiin yliopistossa (esimerkiksi luennolle), juhlapukeutuminen ei ole tarpeen. Facebook-tapahtuma on.

Väitöskirjan esitarkastajina toimivat professori Matthias Felleisen (Northeastern University, Yhdysvallat) ja professori Andreas Stefik (University of Nevada, Las Vegas, Yhdysvallat). Väitöskirja sisältää merkittävän osan lisensiaattityöstäni, jonka tarkastivat viime vuonna tohtori Stefan Hanenberg (Duisburg-Essenin yliopisto, Saksa) ja professori Stein Krogdahl (Oslon yliopisto, Norja).

Väitöskirja on nyt julkisesti saatavilla PDF:nä.

YHTEENVETO

Näyttöön perustuva ohjelmointikielten kehitys. Filosofinen ja menetelmäopillinen tutkimusmatka.

Väitöskirjassani pohdin, kuinka olemassa olevaa tutkimuskirjallisuutta voisi käyttää hyväksi ohjelmointikielten kehityksessä. Vastaavaan ongelmaan lääketieteessä kehitettiin 1970–1980-luvuilla lähestymistapa, jota 1990-luvun alusta on kutsuttu näyttöön perustuvaksi lääketieteeksi. Niinpä väitöskirjassani selvitän vastaavan näyttöön perustuvan ohjelmointikielten kehityksen mahdollista olemusta.

Väitöskirjan tutkimusmenetelmänä on toisaalta filosofinen käsiteanalyysi ja toisaalta systemaattinen kirjallisuuskartoitus. Käsiteanalyysillä selvensin näyttöön perustuvan lääketieteen olemusta ja sen siirtämistä soveltuvin osin ohjelmointikielten kehitykseen. Systemaattisella kirjallisuuskartoituksella, jonka aiemmin raportoin lisensiaattityönäni, selvitin, mitä empiiristä tutkimusnäyttöä on olemassa, jota voisi ohjelmointikielten näyttöön perustuvassa kehityksessä käyttää hyväksi. Lisäksi väitöskirja sisältää laajahkon tällaisten tutkimusten metodologiaa pohtivan osuuden.

Osana metodologian tarkastelua olen väitöskirjassani tarkentanut systemaattisten kirjallisuuskartoitusten ja -katsausten menetelmää kysyen, soveltuuko Cohenin kappa aineistokoodauksen luotettavuuden arviointiin. Matemaattisilla menetelmillä vastaukseksi selvisi ei. Sen asemesta suosittelen käyttämään Krippendorffin alfaa tai Fleissin kappaa.

Empiirisen tutkimusnäytön kirjallisuuskartoituksessa, jonka aineisto ulottuu vuoteen 2012 asti, havaitsin, että ohjelmointikielten suunnitteluratkaisujen hyödyllisyyttä on tutkittu jonkin verran: kaiken kaikkiaan tutkimuksia löytyi 141, ja näistä 65 tutkimusta, jotka ovat selkeimmin hyödyllisiä kielen kehittäjille, muodostavat tulosten ytimen. Eniten on tutkittu eri tapoja ilmaista suorituksen haarautumista (11 koetta ytimessä, joista 8 kontrolloituja, joista 3 satunnaistettuja; vanhin tutkimus julkaistu 1973), valintaa staattisen ja dynaamisen tyypityksen välillä (6 tutkimusta ytimessä, joista 5 kontrolloituja kokeita, joista 4 satunnaistettuja; vanhin tutkimus julkaistu 2009), sekä eri tapoja ilmaista silmukkarakenne (5 tutkimusta ytimessä, joista 4 kokeita, joista 3 kontrolloituja ja yksi satunnaistettu; vanhin tutkimus julkaistu 1978). Hyödyllisyyttä on tutkimuksissa tarkasteltu pääasiassa virhealttiuden, ohjelmien ymmärrettävyyden sekä ohjelmointityön työläyden kautta.

Tutkimusmenetelmistä suosituin ytimessä oli (määrällinen) koe, jota käytti 41 tutkimusta. Toiseksi suosituin 11 tutkimuksella oli tutkimusasetelma, jossa olemassa olevia ohjelmia muokattiin käyttämään uutta ohjelmointikielen suunnitteluratkaisua hyväkseen. Kolmanneksi suosituin 8 tutkimuksella oli ohjelmistokorpuksen analyysi. Ytimessä käytettiin lisäksi tapaustutkimusta (2), kyselyä (2) ja ohjelmaparien analysointia (1). Ytimen kokeellisissa tutkimuksissa yleisimmin koehenkilöinä käytettiin ohjelmoijia (35 koetta), jotka tavallisimmin olivat ohjelmoinnin opiskelijoita (29 koetta).

Kartoituksen tuloksista on pääteltävissä varsin masentava kuva tämän kartoituksen alueeseen kuuluvasta tutkimusaktiviteetista. Vaikuttaa siltä, että aina silloin tällöin joku tutkija tai tutkimusryhmä keksii, että tällaiset tutkimukset olisivat hieno juttu, ja tekee niitä sitten muutaman kunnes kyllästyy ja vaihtaa aihetta. Julkaistut tutkimukset eivät vaikuttaisi inspiroineen kovin paljoa jatkotutkimuksia, eikä paradigman perustavia esimerkkitutkimuksia näytä syntyneen. On myös mahdollista, että julkaisufoorumien toimittajat ja vertaisarvioijat pitävät empiiristä tutkimusta niin hyödyttömänä, ettei sellaisia tutkimuksia juuri niiden tekemisestä huolimatta julkaista. On toki mahdollista, että viimeisen viiden vuoden aikana lisääntynyt tutkimustoiminta tarkoittaa, että tilanne on muuttunut; mutta koska lukumäärät ovat edelleen pieniä, saattaa tilanne palata jokusen vuoden jälkeen takaisin matalan aktiviteetin tasolle. Valitettavasti kartoitukseni aineistosta ei ole mahdollista päätellä mitään viime vuosien tutkimustoiminnasta.

Väitöskirjan tuloksena syntynyt näyttöön perustuvan ohjelmointikielten kehityksen hahmotelma on seuraava. Jos kielen kehittäjälle on tosiasiassa epäselvää, miten jokin kehitysongelma tulisi ratkaista, hän voi alkaa soveltaa menetelmän viisiaskelista toimintaohjetta. Ensin hän täsmentää kysymyksensä, sitten hän tekee kysymyksen perusteella kirjallisuushaut, kolmanneksi hän arvioi löytyneiden lähteiden luotettavuuden, neljänneksi soveltaa kirjallisuuden antamaa ratkaisua ongelmaansa ja viidenneksi pohtii, kuinka menetelmän soveltaminen häneltä onnistui. Tämä toimintaohje on tällä yleistasolla hyvin samanlainen kuin näyttöön perustuvassa lääketieteessä; eroja tulee, kun askelille annetaan tarkemmat toteutusohjeet.

Kuten kaikilla tutkimuksilla, tällä väitöskirjalla on rajoitteita, jotka tulee tuloksia tulkittaessa ottaa huomioon. Käsiteanalyysin tärkein rajoite on, etteivät sillä tavalla syntyvät tulokset ole todistettavissa oikeiksi; paraskaan käsiteanalyysi ei välttämättä vakuuta kaikkia lukijoita. Väitöstyöni käsiteanalyysin tavoitteena on siten ollut, että eri mieltä oleva lukija kykenee vastaamaan argumentteihini järkevillä vasta-argumenteilla ja siten edistämään aihetta koskevaa tieteellistä keskustelua. Kirjallisuuskartoituksen keskeisin rajoite puolestaan on, että julkaisujen mukaan ottamisessa ja tutkimusten koodauksessa on voinut sattua virheitä, vaikka niitä on pyritty välttämään ja löytämään. On myös mahdollista, että joitakin asiaan liittyviä tutkimuksia ei ole löytynyt hauissa eikä siksi ole kartoituksessa huomioitu.

Väitöskirjan olennaisin tulos on näyttöön perustuvan ohjelmointikielten kehityksen hahmotelma, joka soveltuu jatkotutkimuksen pohjaksi. Sitä ei ole empiirisesti arvioitu, joten lopullisena vastauksena sitä ei voi pitää. Sen käytettävissä nykyisin oleva empiirinen tutkimusnäyttö on ohutta, mutta sitä on.

Ramblings inspired by Feyerabend’s Against Method, Part II: My preliminary take

Paul Feyerabend’s Against Method is a scandal. Most people who have heard of it know its tagline: “Anything goes”. As I mentioned in my previous post, my impression of the book from secondary sources was that Feyerabend was a madman and the book is sacrilege. Now, having read the book myself, I find myself impressed by the depth and clarity of his arguments and by his insight.

His key claim is that a successful (general) method of science is impossible and that trying to impose a (general) method is harmful.

In Feyerabend’s terminology, a method must “contain[] firm, unchanging, and absolutely binding principles for conducting the business of science” (p. 7 of the Fourth Edition, Verso 2010). To be counted as a success, such a method must “remain[] valid under all circumstances and [… be an] agency to which appeal can always be made” (p. 161).

I agree that all such general methods in the literature that I have been exposed to are failures, by Feyerabend’s standard. Neither of the theories I adopt in my doctoral dissertation (pending a public defense), the Bayesian approach to epistemology and Imre Lakatos’s theory of research programs, satisfy this test, and I freely admit this; both are very permissive and neither give objective and precise decision rules for considering the merit of a scientific hypothesis or theory, and thus do not count as methods under Feyerabend. And Feyerabend is quite correct (assuming his historical research is sound, which I am not qualified to judge) in his conclusion that no existing method (as the term is here defined) could have allowed certain key historic developments, and therefore none of them succeed.

For example, Popper’s falsificationism fails for two alternative reasons. If we suppose that it is a method (under Feyerabend’s definition of a method), then it must be followed literally in all cases, but in that case it fails the test case of Galileo, as discussed extensively in the book. But Popper can also be read metaphorically, or as general guidelines not to be taken as a literal method, in which case it can be understood to be consistent with the Galileo case; but then, it is (by assumption) not a method. In either case, it is not a successful method.

I also agree that it is probably impossible to come up with a successful method, by that standard. The history of philosophy is full of expounded theories, all of which seem to fail for some reason or other. It is very easy to move from this to a general scepticism: there can be no such successful method. It seems to me that it is also the correct (though defeasible) conclusion.

Further, if (as I have conceded) it is impossible to devise a successful method, then trying to impose a method is certainly harmful. I accept this.

The catch is here: this conclusion must be read with Feyerabend’s definitions firmly in mind. It is a misunderstanding of Feyerabend to further conclude that he denies the value of scientific methods. The singular in the title is a conscious choice, and very significant: Feyerabend does not oppose methods; he opposes a unified, one-size-fits-all method, singular.

Where Kuhn talks about paradigms and Lakatos about research programs, Feyerabend talks about traditions. Within a tradition, Feyerabend acknowledges there to be quite a bit of value in binding rules, and within a tradition there can be a successful method. Feyerabend’s “anything goes” is not a license to forget consistency requirements in a single piece of work or when working within a tradition:

Admitting velocities larger than the velocity of light into relativity and leaving everything else unchanged gives us some rather puzzling results such as imaginary masses and velocities. […] Admitting contradictions into a system of ideas allegedly connected by the laws of standard logic and leaving everything else unchanged makes us assert every statement. Obviously we shall have to make some further changes [… which] remove[] the problems and research can proceed as planned. (p. 246)

One of Feyerabend’s key conclusions is that traditions can only be evaluated from within a tradition, whether itself or some other one; an objective, meta-traditional evaluation is impossible. I will concede that his argument looks plausible (I will not review it here). Once this is accepted, it easily follows that no tradition is objectively better than all others. (I note that it is theoretically possible that some tradition appears superior to all other traditions viewed from any tradition; but certainly, no existing tradition has that rather remarkable property. Usually all other traditions appear weaker than the one being used as the vantage point.)

Feyerabend goes even further. He claims that traditions are incommensurable: a tradition involves a whole world-view, and there is no lossless conversion of ideas, thoughts and claims from a tradition to another. The only way to truly understand a tradition is to first become its adherent.

This conclusion seems rather absurd to anyone who has been educated in one tradition and has never made a leap from one tradition to another. However, the truth of this claim seems quite plausible from my own experience trying to read both quantitative and qualitative methodological literature: the former typically dismisses the latter as unscientific, and the latter typically dismisses the former as “positivistic” (that this label is a misnomer makes no difference). It is even more plausible to me having discussed methodology with both quantitative and qualitative researchers, and having observed discussions of methodology between quantitative and qualitative researchers. Usually, they talk past each other, each hearing nonsense from the other. It’s like they’re using different languages even though all are using ordinary scientific English.

Yet, I cannot accept incommensurability as a binding constraint. I hope to be able to transcend several traditions, to be able to work in them and hopefully function as a bridge of sorts. Maybe I am a lunatic in that hope; I do not know.

Finally, Feyerabend claims that because traditions are incommensurable and an objective comparison of them is impossible, there is no good reason why science should have priority in politics over any other set of traditions. Feyerabend died in 1994, before the evidence-based movement became the force it is today, but I suspect he would have loudly protested ideas like evidence-based policy (or more commonly nowadays, evidence-informed policy). He makes a forceful claim that basing policy on science is a form of slavery.

I can see his point but I am also in violent opposition. A lot of scientific activity is truly traditional, where things are done in a particular way just because they’ve always been done that way (though the “always” often can be as short a period as a couple of years), and when one goes to examine the history of that particular way, it turns out it was an accident, with no good rational reason for its adoption, and sometimes even was adopted despite good reason to abandon it. In these cases, adopting a scientific consensus position just because it is one is folly. And in general, where a decision one makes only affects oneself, it is better left to individual freedom and not impose any sort of an outside rule, whether scientific or otherwise. But there are quite many problems where a decision has to be made collectively, and I will vote for the decision to be evidence-informed; if I prevail, the only form of slavery involved is that of the tyranny of the majority.

In conclusion, it seems to me Feyerabend is more right than not, and that he has been mostly misunderstood (like he claims himself). I would recommend this book as a guide for anyone interested in multitradition (or mixed methods, as it is often called) work in the sciences. I would not recommend it as a methodology itself – and neither would Feyerabend:

‘anything goes’ is not a ‘principle’ I hold – I do not think that ‘principles’ can be used and fruitfully discussed outside the concrete research situation they are supposed to affect – but the terrified exclamation of a rationalist who takes a closer look at history. (p. xvii)

Let me repeat this: There is no Feyerabend method, and conducting research following Feyerabend is to misunderstand him. (At least to the extent one only considers Against Method; I have not read Feyerabend’s other work.) He preaches tolerance, but one should look for methodological guidance elsewhere.

Ramblings inspired by Feyerabend’s Against Method, Part I: My road to Feyerabend

About 15 years ago, I studied for an exam on the philosophy of science, a required (and very much anticipated) part of my minor in philosophy. I must have learned about Karl Popper and his falsificationism, which did not really appeal to me. There was one thing that hit me hard, one that remained stuck in my mind for more than a decade: the idea of paradigms, which consisted of a hard core (usually immutable) and a protective belt (easily changed to account for discovered anomalies), and of scientific revolutions which occasionally happen (usually by generational shift), replacing one hard core with another.

About a decade later, I started debating the methodology and foundations of science with my colleague Ville Isomöttönen. At some point I suggested we both read an introductory textbook on the topic to inform our discussions. I believe we read Peter Godfrey-Smith’s excellent Theory and Reality.

In this book, learned again about paradigms, and noticed that there were several philosophers I had conflated together. Thomas Kuhn talked about paradigms, but the idea of hard cores and protective belts comes from Imre Lakatos, who did not talk about paradigms but used his own term, that of a research programme. Then there was Paul Feyerabend, who was basically crazy. Or that’s how I remember my reaction of reading about him in Godfrey-Smith’s textbook.

This was around the time I started working on the research that became my licentiate thesis. Very early on, one of my advisors, Dr. Vesa Lappalainen, asked me to explain what evidence is. That turned out to be a very difficult question to answer; I continued reading and pondering about it until I submitted the thesis, and even beyond that point. I figured that the philosophy of science probably has an answer, but I cannot really base my discussion of it in a thesis solely on introductory courses and textbooks. I needed to go read the originals.

The first original book on the philosophy of science I read during this period was Thomas Kuhn’s The Structure of Scientific Revolutions. I also borrowed from the library a copy of Karl Popper’s The Logic of Scientific Discovery, of which I was able to finish only the first chapter at this time. Kuhn was very interesting, and I finally realized how thoroughly I had misunderstood him from the secondary sources; his arguments made quite a bit of sense, but his insistence of at most one paradigm in each discipline was obviously false. Popper’s falsificationism is obviously true, but also severely inadequate.

Very early on during the licentiate thesis study, as I was doing preliminary literature research on evidence-based medicine (EBM), I came across the blog Science-Based Medicine, and particularly their post series critiquing EBM (start from Homeopathy and Evidence-Based Medicine: Back to the Future Part V). From this and other sources, I learned of Bayesian epistemology, which I started reading about over the next couple of years. As I have written previously on this blog, it is my current preferred theory of epistemology.

This Spring, some months after the licentiate thesis was approved, I traveled to Essen, Germany, for a three-month research visit at the University of Duisburg-Essen. Two very significant things happened there: I wrote a substantial part of my doctoral dissertation (currently pending public defense) and I spent quite a bit of time discussing the philosophy and methodology of science with Dr. Stefan Hanenberg, who had been one of the examiners of the licentiate thesis. The topics of those discussions probably had something to do with that the chapters I was writing there dealt with philosophy and epistemology.

During that time, I finally read Imre Lakatos’s work on the philosophy of science (The Methodology of Scientific Research Programmes) and on the philosophy of mathematics (Proofs and Refutations), both of which were eye-opening. Lakatos spends a lot of time in the former construing and critiquing Popper, and that discussion allowed me to understand Popper the first time ever (though I recognize it’s from Lakatos’s version of Popper); I finally read Popper’s Logic of Scientific Discovery properly also at that point.

The discussions with Dr. Hanenberg frequently came back to Paul Feyerabend and his Against Method. I knew it well enough from secondary sources to know that I was not going to cite it in the dissertation, and so I did not read it at that point. The time to do that was once the dissertation was submitted.

My next post will discuss my actual reactions to the book, as I just finished it yesterday.

The social construction of chairs

No, I’m not writing about several people getting together in a wood shop to chat and make single-seat furniture.

Last July I started a series of blog posts about epistemology (that is, the philosophical theory of knowledge). In that opening post, I made the following claim:

How can I decide the (correspondence-theory) truth of the simple theory “there is a chair that I sit upon as I write this”, a statement I expect any competent theory of truth to evaluate as true? Under the correspondence theory of truth, my theory says (among other things) that there is some single thing having chair-ness and located directly under me. For simplicity, I will assume arguendo that there are eight pieces of wood: four roughly cylindrical pieces placed upright; three placed horizontally between some of the upright ones (physically connected to prevent movement); and one flat horizontal piece placed upon the upright ones, physically connected to them to prevent movement, and located directly below my bottom. I have to assume these things, and cannot take them as established facts, because this same argument I am making applies to them as well, recursively. Now, given the existence and mutual relationships of these eight pieces of wood, how can I tell that there is a real thing they make up that has the chair-ness property, instead of the eight pieces merely cooperating but not making a real whole?

Recall that the correspondence theory of truth says that a theory is true if every thing that it says exists does actually exist, every thing it says doesn’t exist actually doesn’t exist, the relationships it says exist between things actually exist, and the relationships that it says don’t exist actually don’t exist.

That argument almost screams for the following two rejoinders: the pieces of wood make up the chair, or, in other words, once you have the pieces wood in the correct configuration, the chair necessarily exists; and, it’s splitting hairs to wonder whether there is a chair that is distinguishable from the pieces of wood it consists of.

But both rejoinders fail. The first rejoinder says that eight pieces of wood automatically become a single thing when they are arranged in a chair-like configuration; but that is a claim about the reality, which itself needs to be evaluated under the correspondence theory of truth, and we are back where we started (albeit with a much more difficult question). The second rejoinder says that it doesn’t matter whether there is an existent called “chair” that is separate from its constituent pieces of wood; but that’s either a misunderstanding of the correspondence theory (it most assuredly does matter to it whether a thing exists) or an expression of frustration about the whole problem, effectively a surrender that masquerades as a victory.

As I mentioned in the original post, most scientists prefer to adopt a modeling appropach instead of the correspondence theory; the attitude is that we don’t care about whether a chair exists, because even if a chair does not exist, there still are the eight pieces of wood that carry my weight and we can pretend they make up a chair. Another way to say this is that a chair is a social construct.

The concept of social construction seems to have begun from a 1966 book, The Social Construction of Reality by Peter L. Berger and Thomas Luckmann. I must confess right now that I haven’t yet finished the book. However, if I understand their central claim correctly, it’s this: a social institution is always originally created as a convenient (or sometimes even accidental) set of customs by people who find it useful, but as its original creators leave (usually by dying) and stewardship passes to a new generation who did not participate in its creation (and as stewardship is passed many times over generations), the institution becomes an inevitable part of reality as people perceive it; in this sense, Berger and Luckmann (I think) hold that social reality is a social construct.

Ancient Egyptian woodworking via Wikipedia
Ancient Egyptian woodworking via Wikipedia

In the case of my chair, way back in the mist of prehistory, it presumably became a custom to arrange wood or other materials in configurations that supported a person’s weight. The generation that invented this practice probably just were glad to have places to sit. Their descendants, to the umpteenth generation, were each taught this skill; it became useful to refer to the skill not in terms of arranging materials but in terms of making things to sit on; further, some people never learned the skill but purchased the end result of another people’s skill; especially for these unskilled-in-wood-arrangement-for-sitting people, a chair was a real thing, and they often weren’t even aware that there were pieces of wood involved. I am one of those people: I had to specifically examine my chair in order to write the description in my quote.

In a 1999 book, The Social Construction of What?, philosopher Ian Hacking looked back at the pile of literature that had grown over the three decades since Berger and Luckmann’s book, and tried to make sense of the whole buzzword “social construction”. This is another book I haven’t finished yet, but I have found those parts I have read very enlightening. No-one who has read scholarly literature in the so-called soft sciences can have missed the tremendous impact social constructionism has had on it, and it’s hard not to be aware that there is a large gulf between many hard scientists and social constructionists evoking strong feelings on both sides. A big theme in Hacking’s book is the examination of whether (and if so, in what sense) there is an actual incompatibility between something being a social construct and an objectively real thing.

For me, however, it suffices to acknowledge that whether or not chairs exist in the objective world, they do indeed exist in the social world. Thus, once I have eight pieces of wood configured in a particular way, I indeed have a chair.

Hacking points out, however, that claiming an idea (call it X) to be a social construct is conventionally taken to mean several possible claims. First, that someone bothers to claim X a social construct implies that X is generally taken to be an inevitable idea. Second, claiming X a social construct is tantamount to claiming that X is not, in fact, inevitable. Third, many writers also mean that X is a bad thing, and that the world would be a better place if X were changed or eliminated. He classifies social constructionist claims in six “grades”: historical, ironic, reformist, unmasking, rebellious, and revolutionary. Of these, reformist and unmasking are parallel grades, while in other respects the list is in increasing order of radicality. Historical and ironic constructionism merely claim that X seems inevitable but actually is not; they differ in their attitude to X. Reformist and unmasking constructionism add the claim that X is a bad thing but neither actively seek change; they differ in how they regard the possibility of change. Rebellious and revolutionary constructionism additionally call for and attempt to effect change, respectively.

With respect to chairs, I am clearly an ironic social constructionist. I point out that we think chairs are inevitable but they, actually, are not; but I do not regard chairs as a bad thing. However, given current claims about the ill effects on health of sitting, I might eventually become even revolutionary.

Where do you stand?

Henkilökohtainen moraalisaarna

Joulukuun alussa minulle sattui tilanne, jota en olisi halunnut kokea ja jota toivottavasti en joudu kokemaan uudestaan. Toivon ettei sellaista tai vakavampaa kukaan muukaan joutuisi kokemaan, mutta se on toiveajattelua.

Kovin moni ihminen, jolle olen tapauksesta kertonut, on aluksi syyttänyt minua liiasta kiltteydestä. Tämä syytös on tullut myös ihmisiltä, joihin minulla on luottamuksellinen suhde, muun muassa työterveyden puolelta. Jokainen on, kun olen sitten oman kantani kertonut, todennut että olin toiminut oikein.

En ole kovin uskonnollinen ihminen, mutta seuraava lainaus Raamatusta (Matt. 25:31–46 vuoden 1938 suomennos) kuvaa hyvin omaa moraalikoodiani tähän tapaukseen liittyen:

31. Mutta kun Ihmisen Poika tulee kirkkaudessaan ja kaikki enkelit hänen kanssaan, silloin hän istuu kirkkautensa valtaistuimelle.
32. Ja hänen eteensä kootaan kaikki kansat, ja hän erottaa toiset toisista, niinkuin paimen erottaa lampaat vuohista.
33. Ja hän asettaa lampaat oikealle puolelleen, mutta vuohet vasemmalle.
34. Silloin Kuningas sanoo oikealla puolellaan oleville: ‘Tulkaa, minun Isäni siunatut, ja omistakaa se valtakunta, joka on ollut teille valmistettuna maailman perustamisesta asti.
35. Sillä minun oli nälkä, ja te annoitte minulle syödä; minun oli jano, ja te annoitte minulle juoda; minä olin outo, ja te otitte minut huoneeseenne;
36. minä olin alaston, ja te vaatetitte minut; minä sairastin, ja te kävitte minua katsomassa; minä olin vankeudessa, ja te tulitte minun tyköni.’
37. Silloin vanhurskaat vastaavat hänelle sanoen: ‘Herra, milloin me näimme sinut nälkäisenä ja ruokimme sinua, tai janoisena ja annoimme sinulle juoda?
38. Ja milloin me näimme sinut outona ja otimme sinut huoneeseemme, tai alastonna ja vaatetimme sinut?
39. Ja milloin me näimme sinun sairastavan tai olevan vankeudessa ja tulimme sinun tykösi?’
40. Niin Kuningas vastaa ja sanoo heille: ‘Totisesti minä sanon teille: kaikki, mitä olette tehneet yhdelle näistä minun vähimmistä veljistäni, sen te olette tehneet minulle’.
41. Sitten hän myös sanoo vasemmalla puolellaan oleville: ‘Menkää pois minun tyköäni, te kirotut, siihen iankaikkiseen tuleen, joka on valmistettu perkeleelle ja hänen enkeleillensä.
42. Sillä minun oli nälkä, ja te ette antaneet minulle syödä; minun oli jano, ja te ette antaneet minulle juoda;
43. minä olin outo, ja te ette ottaneet minua huoneeseenne; minä olin alaston, ja te ette vaatettaneet minua; sairaana ja vankeudessa, ja te ette käyneet minua katsomassa.’
44. Silloin hekin vastaavat sanoen: ‘Herra, milloin me näimme sinut nälkäisenä tai janoisena tai outona tai alastonna tai sairaana tai vankeudessa, emmekä sinua palvelleet?’
45. Silloin hän vastaa heille ja sanoo: ‘Totisesti minä sanon teille: kaiken, minkä olette jättäneet tekemättä yhdelle näistä vähimmistä, sen te olette jättäneet tekemättä minulle’.
46. Ja nämä menevät pois iankaikkiseen rangaistukseen, mutta vanhurskaat iankaikkiseen elämään.”

Oikeastiko minun olisi pitänyt antaa ihmisen, jota en silloin tiennyt väkivaltaiseksi valehtelijaksi, viettää yönsä ulkona pakkasessa? (Ehkä olisi joku muu yöpaikka ollut löydettävissä, mutta niitä ei tullut silloin mieleeni.)

Vastaavasti, kun ei-aivan-tuoreita mustelmia ja vammoja naamassaan kantanut nainen pysäytti minut kävelylenkilläni joskus aiemmin syksyllä, annoin hänelle sen bussirahan jota hän kovasti halusi jotta pääsisi pois Keltinmäestä. Annan bussirahaa usein myös laitapuolen kulkijoille, kun pyytävät.

Olen myös kaupan kassalla antanut kanssaihmiselle pienen määrän rahaa, jotta ostos saadaan maksettua. Kerran kaukoliikenteen bussissa täydensin erään kulkijan matkakassaa muistaakseni jollain vitosella, jotta hän pääsi kotiin (kun kertomansa mukaan sovittu kyytikaveri oli tehnyt oharit). Olen yleensä pyytänyt, että maksavat eteenpäin eli auttavat vastaavasti jotakuta muuta, kun apua tarvitaan.

Tiedän, että suurin osa avunpyytäjistä tekee sen vilpillisin mielin ilman todellista avun tarvetta. Mutta minä en usko omiin ihmisenlukukykyihini niin paljon, että uskaltaisin luvata tunnistavani todellisen avunpyytäjän hyvästä valehtelijasta. Siksi autan, jos kykenen ja tilanne ei haiskahda liikaa. En voi niiden kymmenien huijareiden takia jättää auttamatta sitä yhtä todellista avuntarvitsijaa.

Pitää toki mainita, että minullakin on rajani. En yleensä anna katukerjäläisille enkä osta lapun kanssa kerrostaloja kiertäviltä kaupustelijoilta. Ehkä se tekee minusta tekopyhän. Toisaalta, olen vain ihminen.

Philosophy matters

What we now know as physics and mathematics, and as many other disciplines of science, originated in philosophy and eventually split from it when the training of a physicist (or mathematician, or…) became sufficiently different from the training of a philosopher that they became essentially different traditions and skill sets. Thus, it may be said (correctly) that the legitimate domain of philosophy has shrunk considerably from the days of Socrates to the present day. Some people have claimed that it has shrunk so much as to make legitimate philosophy trivial or, at least, irrelevant. That is a gross misjudgment.

Consider science (as I have in my past couple of posts). Science generally delivers sound results, I (and a lot of other people) believe. Why does it? This is a question of philosophy; in fact, it is the central question of the philosophy of science. It is also a question that science itself cannot answer, for that would be impermissible circular reasoning (science works because science works). It is therefore a question of legitimate philosophy. It is not trivial, for once one gets past the knee-jerk reactions, which amount to “science works because it’s science”, there are no easy answers.

In fact, the whole of 20th Century philosophy of science is a big pile of failed attempts to explain science; not one explanation is fully satisfactory. Absent a common convincing philosophical grounding, there is room for the development of competing schools of thought even within a single discipline, and this, in fact, did happen (and still causes strong feelings). Fundamental disagreements about what can be known, what should be known, and how one goes about establishing knowledge are still unresolved.

Most scientists enjoy not pondering it, for it’s a bit like being a cartoon character: so long as you don’t look down, you can walk on air.

Creative Commons License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

Beware of unnecessary commitment

The most elementary and valuable statement in science, the beginning of wisdom is, “I do not know”.

It may seem strange for me to open a blog post on the philosophy of knowledge and science with a video clip and a quotation from a rather cheesy episode of Star Trek The Next Generation (Where Silence Has Lease), a science fiction show not celebrated for its scientific accuracy. However, that quotation hit me like a ton of bricks when I saw that episode the first time more than twenty years ago. It has the same kind of wisdom as the ancient pronouncement, attributed to the god in Delphi by Socrates:

Human beings, he among you is wisest who knows like Socrates that he is actually worthless with respect to wisdom.

(This quote is at 23b of Socrates’ Defense [traditionally translated under the misleading title “Apology”] by Plato, as translated by Cathal Woods and Ryan Pack.)

The great teaching of these two quotes is, in my view, that one must keep an open mind: it is folly to think, mistakenly, that one knows something, and one should always be very careful committing to a particular position.

Of course, not all commitments are of equal importance. Most commitments to a position are limited: one might commit to a position only briefly or tentatively, for the sake of the argument and for the purposes of testing that position (these recent blog posts of mine on philosophy are of just this kind), or one might commit to a position in an entrance exam, for the purpose of gaining entry to a school. Some commitments are permanent: for example, knowingly allowing surgery to remove one’s colon is a powerful and irreversible commitment, but then, so is the decision not to take the surgery if one has a diagnosed colorectal cancer (although that decision may be reversible for a while, but not indefinitely).

The key thing, in my view, is to make only necessary commitments. Remember my previous post, where I argued that life is a big gamble? A commitment is necessary, in my view, if it follows from making a real-life bet with real-life consequences. For example, if one acquiesces to the removal of one’s colon as a treatment for colorectal cancer, one is betting one’s life on that decision, and thus the implied commitment to its superiority as a treatment (compared to, say, just eating healthily) is necessary. Conversely, a commitment is unnecessary if it is not connected to any real-life decision with significant stakes.

One thing that bothers me about the current paradigm of science (in all disciplines I am familiar with) is a fetish for unnecessary commitment. A researcher is expected to commit to an answer to their research question in their report, even though, most times, all they manage to do is provide evidence that will slightly alter a person’s probability assignment regarding that question. In most cases, this commitment is unnecessary, in that the researcher does not bet anything on the result (though there are significant exceptions). This fetish has the unfortunate consequence that statistical methodology is routinely misused to produce convincing-sounding justifications for such commitments. Even more unfortunate is that most studies pronounce their judgments based only on their own data, however meager, and all but ignore all other studies on the same question (technically speaking, they fail to establish the prior). Many other methodological issues arise similarly from the fetish to unnecessary commitment.

Of course, necessary commitments based on science occur all the time. If I step on a bridge, I am committing myself to the soundness of brige building science, among other things. We, the humanity, have collectively already committed ourselves to the belief that global climate change is not such a big deal (otherwise, we would have been much more aggressive about dealing with it in the decades past). Every day, we commit ourself to the belief that Newtonian and Einsteinian physics are sound enough that they correctly predict that the sun rises tomorrow.

But it is unnecessary for me to commit to any particular theory as to why MH370 vanished without trace, since it is only, pardon the expression, of academic interest to me.

Life is a gamble

You might die today. You might suffer a stroke, for example. Or, if you venture to the streets, you might be hit by a car. Or if you happen to be outside, you might be hit by a lightning. Or a meteor might strike near enough to you. Or World War III might start with a megaton warhead exploding nearby.

You might, also, if you are single, find your true love today. Or you might be crowned the Supreme Ruler of the Known Universe. Or you might find an important person’s wallet and be able to collect a huge finder’s fee. Or you could find yourself the single winner of a jackpot in the national lottery.

One purpose of the long childhood and adolescence of humans is to allow time for one to be taught and otherwise acquire the necessary skills in the great gamble that we call life. One learns to pay attention to the important things: take care to look both ways before crossing a road, for example. One learns to avoid the really dangerous things, such as touching a hot stove burner with an unprotected hand, or poking inside a live electric socket with an iron nail. Most importantly, one learns to learn, to adapt to new situations.

One learns to emphasize taking into account dangers and opportunities that one regards as likely: for example, when crossing a road, one looks left and right, since those are the directions where one is likely to see approaching vehicles that pose a collision danger. One learns to ignore extremely unlikely dangers: when crossing a road, one does not look up to see if a helicopter is about to land on the road. One also learns to adjust these likelihood estimates based on observations: if there’s a loud noise above, looking up is warranted; there actually might be a helicopter approaching to land.

An aircraft being towed after forced landing on a highway.  Picture by Vermont Agency of Transportation via Flickr
An aircraft being towed after forced landing on a highway. Picture by Vermont Agency of Transportation via Flickr

Most people would not describe making the decision to cross a road as rolling dice, but that’s effectively what it is. Even if one is extremely careful, even if one has looked both left and right, and up for good measure, when one steps on the road and starts walking across it, one exposes oneself to risk. The risk is first that something out of the ordinary happens: a speeding motorcyclist traveling 200 km/h will not be noticed by a pedestrian in a routine safe-to-cross check, and the motorcyclist will not have time to take action to avoid a collision. The risk is also that one’s vigilance might be below par: a pedestrian who always crosses this road at this time of the day, not having encountered any conflicting traffic in the years and years they have taken this road, might not look as carefully as one should. There is also the risk of the extremely unlikely case of an airplane with a total engine failure making a silent forced landing on that road just as one is crossing it (bad news for both the plane and the pedestrian).

The gamble aspect is clearer (but sometimes misunderstood) when a doctor offers a patient the choice between an elective surgery and continuing with noninvasive treatment. Any surgical operation has the risk of death on the operating table; for most elective operations, where the surgeon can screen out high-risk patients, the risk is low, but patients do die in elective surgery all the time. An operation also has the risk of other adverse events, ranging from later death due to, for example, a massive pulmonary embolism, to less drastic ones. Any patient realizes this, and weighs whether the rewards justify the risks. What people sometimes miss is to take account that one is not adding risk but trading risk, for the noninvasive option also carries risk (in some cases even the risk of sudden death at about the time of the surgery would have taken place). However one looks at it, the key point is that one is rolling dice.

There is a philosophical theory that looks at life in this way. The practical knowledge each person carries in their head is modeled as a large table containing an entry for every eventuality that the person can conceive, listing for each the probability of it occurring at this instant, as that person reckons the probability. Each person’s table is different, reflecting differences in life experiences and personality. Each time one makes a new observation about the current situation or takes a decision that changes the situation, the table is instantly updated to match their personal probability for each eventuality in light of the new information or change of circumstances.

The theory requires that the probabilities in the table follow the laws of the formal theory of probability. The theory also says that a person is rational if their table of probabilities never leads them to placing a set of bets that is a sure loser; for example, betting for the equation 2+2=5 (assuming conventional meanings for the symbols in the equation) is a sure loser, while betting for Elvis being alive is not (it’s just very very unlikely). In technical terminology, a set of bets that will surely lose is a Dutch book (I do not know the etymology of that phrase); the theory thus states that rationality means not being vulnerable to a Dutch book.

This theory is, for historical reasons, called Bayesianism (though that term also encompasses other closely related theories); some authors use the more descriptive name of subjective probability. There are three key ideas: first, a probability is always defined in relation to some agent (a person, a computer program, etc), whose history shapes the probability; second, an agent learns by adjusting its probability estimates based on new data; and third, an agent’s actions can be viewed as bets.

Consider any particular moment when an agent receives a new piece of information. The probability the agent has assigned to a particular eventuality just before it receives that information is called its prior probability or just its prior for that eventuality. Conversely, the probability the agent assigns to an eventuality in response to the new information is called its posterior probability or its posterior for that eventuality. There are a number of proposed rules for deriving the posterior from the prior and the nature of the new information; the oldest and best established is based on Thomas Bayes’s Theorem of formal probability theory, which explains the name Bayesianism.

A number of philosophers and scientists of the early 20th Century found the inherent subjectivity of Bayesianism repugnant, and developed several alternative theories, common to all being the idea of the probability of an eventuality being an objective trait of the eventuality, not tied to any particular agent like Bayesianism decrees. Standard statistical inference, as it is taught in most courses of statistics and employed in most statistical studies over the 20th Century and even in this century, is the best known of these alternative theories. All approaches share the same formal theory of probability, but the way they apply it to real-world situations is different. While standard statistics is defensible on its own right, it has been mistaught and misapplied by scientists for nearly a century… but that’s a whole another blog post.

Nevertheless, I find the informal version of Bayesianism that I have described to be a very good rule-of-thumb model of many things. Consider, for example, the question of truth I discussed in my two previous posts (1, 2). Two witnesses may have a totally different view on whether the defendant handled a knife at the scene; this can be viewed as the result of ambiguous information (what each witness actually saw) combining with their personal priors to yield their respective posteriors, which they then offer to the court (no pun intended!). It also neatly explains why people come to different conclusions on such things as the existence of God, the efficacy of homeopathy, and the danger from global climate change; different people have different priors (which is another way of saying that they have different prejudices), and the evidence they have seen is, for many people, not sufficiently impressive to make an appreciable difference to their posteriors. As the saying goes, extraordinary claims require extraordinary evidence… but each person has their own idea of what is extraordinary.

There is, however, some hope. A theorem has been proved saying, in effect, that no matter how divergent the viewpoints of people on some point, sufficient evidence can be imagined to make them all agree. Whether that imagined evidence can, in practice, be found, is another matter.

There is another point to consider, as well. There are eventualities that are fatal. If one’s prior for even one of those eventualities is way too low, one will eventually be killed. On the Internet, we call that earning the Darwin Award; it is the Nature’s way to manage our collective priors.