Lectio praecursoria

Arvoisa kustos,
kunnioitettu vastaväittäjä,
hyvät kuulijat:

lectio-slides-0

Jokaisella meistä on salasanoja, jotka suojaavat meidän omia tietojamme ja varmistavat, että kukaan ei pysty esiintymään meinä ilman lupaamme. Salasana voi kuitenkin turvata tietojamme ja identiteettiämme vain, jos ohjelma toimii oikein sen tarkastaessaan.

lectio-slides-1

Sattuipa muutama vuosi sitten niin, että eräs tietokoneohjelma tarkisti salasanan oikeellisuuden käyttämällä apurutiinia memcmp, joka raportoi vertailun tuloksen kokonaisluvulla: jos salasana oli oikea, tulos oli nolla; ja jos tulos ei ole nolla, salasana oli väärä. Koska tulos piti katkaista mahtumaan tietoalkioon, jonka tyyppi on my_bool, tulos jaettiin ilman eri käskyä luvulla 256 ja jakojäännöstä käytettiin tekemään päätös: jos jakojäännös oli nolla, salasanan katsottiin olleen oikein. Mutta miten käy, jos apurutiini palauttaakin luvun 512? Jakojäännös on nolla, vaikka salasana oli väärin. Tämän virheen ansiosta oli kenen tahansa käyttäjätunnusta mahdollista käyttää pienellä vaivalla tietämättä salasanaa. Vika on totta kai kauan sitten korjattu.


Kun menemme verkkopankkiin, luotamme, että kukaan asiaton ei pääse väliin nuuhkimaan, mitä teemme. Teknisesti tämä taataan niin, että pankin ja oman koneemme välinen liikenne salakirjoitetaan ja pankki lähettää koneellemme digitaalisen allekirjoituksen, jolla koneemme varmistaa, että vastapuoli todella on pankki eikä joku hyökkääjä. Tämä kuitenkin toimii vain, jos koneemme ohjelmisto tarkistaa digitaalisen allekirjoituksen asianmukaisesti.

lectio-slides-2

Eräs erittäin yleisesti käytetty ohjelmisto valmistautui verkkopankin lähettämän digitaalisen allekirjoituksen tarkistamiseen tekemällä useita valmistelutoimenpiteitä, joista mikä tahansa voi epäonnistua. Niinpä ohjelmisto aina valmistelutoimenpiteen lopuksi tarkisti, epäonnistuiko toimenpide, ja mikäli niin kävi, hyppäsi toisaalle ohjelmaan. Tämä on aivan normaalia. Jostain syystä erään tällaisen tarkistuksen jälkeen ohjelmassa oli vielä pari vuotta sitten ylimääräinen hyppykäsky. Ensimmäinen goto fail tuli suoritettavaksi, jos sitä edeltävä toimenpide epäonnistui. Toinen suoritettiin joka tapauksessa. Niinpä sen jälkeen tulevaa varsinaista tarkastusta ei koskaan tehty. Hyökkääjän oli mahdollista tekeytyä verkkopankiksi ilman, että kukaan huomaa mitään. Tämäkin vika on sittemmin korjattu.

Molempien vikojen taustalla on ohjelmointivirhe, jota pahentaa jokin käytetyn ohjelmointikielen erityispiirre.


Kaikki tietokoneohjelmat kirjoitetaan jollakin ohjelmointikielellä. Kuten luonnolliset kielet, esimerkiksi suomi tai englanti, ne koostuvat sanoista joista kootaan laajempia ilmaisuja. Toisin kuin luonnollisten kielten tapauksessa, ohjelmointikielen käyttäjä joutuu olemaan erityisen tarkka siitä, mitä hän kirjoittaa. Jos suomeksi sanon minä esiinnyt nyt teihin, se kuulostaa kummalliselta, mutta jokainen ymmärtänee, mitä halusin sanoa. Jos tietokoneelle kirjoittaa kaksi kertaa peräkkäin goto fail, tietokone ei pohdi, onko tämä järkevää, vaan tekee sen, mitä käsketään.

Kaikki ohjelmointikielet ovat keinotekoisia kieliä. Tietokone ei ymmärrä yhtäkään niistä itsestään, vaan jonkun tulee laatia tietokoneohjelma, joka tulkkaa tai kääntää kielellä kirjoitetun ohjelman tietokoneen ymmärtämään muotoon. Tätä kutsutaan kielen
toteuttamiseksi. Joko toteuttamisen yhteydessä tai sitä ennen pitää jonkun suunnitella kieli eli päättää, millaiset ilmaisut siinä ovat sallittuja ja mitä ne tarkoittavat. Myös jo olemassaolevia kieliä muokataan aika ajoin; muokkaukset suunnitellaan ja sitten (tai samaan aikaan) toteutetaan.


Ohjelmointikielten tutkimusta on tehty lähes niin kauan kuin tietokoneita on ollut olemassa, aivan 1950-luvulta lähtien. Valtaosa tutkimuksista selvittää, millaisia ohjelmointikieliä voisi olla olemassa, ja ratkoo ohjelmointikielten teknisiä ongelmia. Niiden tutkimusote on matemaattis-teoreettinen. Vasta 1970-luvulla alettiin tutkia, millaiset ohjelmointikielten suunnitteluratkaisut johtavat todellisten ihmisten käsissä parhaisiin lopputuloksiin. Tutkimusasetelma tässä on tyypillisesti empiirinen ja kokeellinen.

lectio-slides-3

Ensimmäisen tällaisen tutkimuksen julkaisivat Max Sime, Thomas Green ja D. J. Guest vuonna 1973. He antoivat koehenkilöiden laatia ruoanvalmistusohjeita ohjelmointikieltä muistuttavalla keinotekoisella kielellä. Osa koehenkilöistä käytti kielen versiota nimeltä JUMP, jossa käskyt seuraavat toisiaan ja tilannekohtainen valintapäätös johtaa hyppyyn yli osan käskyistä. Muiden koehenkilöiden käyttämässä kielen versiossa nimeltään NEST ohjelmalla oli hierarkinen rakenne. NEST-kieltä käyttäneet koehenkilöt pärjäsivät keskimäärin olennaisesti paremmin kuin JUMP-kieltä käyttäneet.

lectio-slides-4

Muutama vuosi myöhemmin he julkaisivat jatkotutkimuksen, jossa ehdon alle tuli voida laittaa useampi kuin yksi käsky. JUMP oli edelleen samanlainen kieli, mutta NEST oli jaettu kahdeksi vaihtoehdoksi. Ensimmäinen vaihtoehto, nimeltään NEST-BE, muistutti nykykieliä niin, että useiden käskyjen jonon ympärille kirjoitetaan BEGIN ja END. Toisessa vaihtoehdossa, NEST-INE, ehtorakenteen päättyminen ilmaistaan myös sanalla END, mutta ehto toistetaan kolmesti. Nyt NEST-INE hakkasi molemmat vaihtoehtoiset ratkaisut selvästi, mutta NEST-BE ja JUMP voittivat toisensa eri kategorioissa.

Aiemmin esittelin teille goto fail -virheen, jossa ohjelmoija oli vahingossa toistanut hyppykäskyn. Simen ja kumppanien jo 1970-luvulla julkaistujen tutkimusten terminologialla sanoen ohjelmoija oli käyttänyt C-kieltä JUMP-kielenä. Hän olisi voinut käyttää sitä myös NEST-BE-kielenä. Herää kysymys, olisiko C-kielen suunnittelussa pitänyt ottaa huomioon Simen ja kumppanien tutkimustulokset ja estää C-kielen käyttäminen JUMP-kielenä. Olisiko jopa pitänyt valita NEST-INE?


lectio-slides-5

Käsitykseni mukaan käytännön ohjelmointikielten suunnittelutyössä ei juurikaan oteta huomioon tämänkaltaisia tutkimustuloksia. Voi olla, että suunnittelijat eivät tunne tätä tutkimuskirjallisuutta tai eivät osaa tulkita sitä asianmukaisesti. Vastaavanlaisen ongelman ratkaisuksi lääketieteessä kehitettiin muutama vuosikymmen sitten lähestymistapa, jota vuonna 1992 alettiin kutsua nimellä evidence-based medicine}, suomeksi kaiketi näyttöön perustuva lääketiede. Siinä yksittäinen lääkäri voi, jos on epävarma potilaan asianmukaisesta hoidosta, selvittää asiaa tutkimuskirjallisuuden avulla. Ensiksi hän muotoilee kysymyksen, toiseksi hän etsii tutkimuskirjallisuudesta kysymykseen mahdollisesti vastaavia tutkimusraportteja, kolmanneksi hän arvioi löytyneiden tutkimusten luotettavuuden ja hyödyllisyyden, neljänneksi soveltaa löytynyttä vastausta käytäntöön ja viidenneksi arvioi omaa suoriutumistaan.

Nyt tarkastettavan väitöskirjani lähtökohtana on hypoteesi, että vastaavanlainen lähestymistapa saattaisi olla hyödyllinen myös ohjelmointikielten suunnittelussa. Välittömästi esiin nousee useita kysymyksiä:

lectio-slides-6

Ensiksi, mitä tämä evidence eli näyttö on, josta näyttöön perustuvassa toiminnassa on kyse?

Toiseksi, kuinka paljon tähän käyttöön soveltuvaa tutkimusta on julkaistu?

Kolmanneksi, millaiseksi näyttöön perustuva lääketiede pitäisi sovittaa, jotta se soveltuisi ohjelmointikielten kehitykseen?

Näihin kolmeen kysymykseen on vastattava, ennen kuin voidaan edes ryhtyä selvittämään, olisiko näyttöön perustuvasta ohjelmointikielten kehityksestä mitään todellista hyötyä. Näihin kysymyksiin vastaan väitöskirjassani.


Kysymys evidenssin eli näytön luonteesta osoittautui huomattavan hankalaksi. Lähdin alun perin siitä oletuksesta, että asia on tutkittu ja ratkaistu kirjallisuudessa, jota en tunne. Osallistuin keväällä 2011 näyttöön perustuvan ohjelmistotekniikan tutkimuskonferenssiin Evaluation and Assessment in Software Engineering Englannin Durhamissa. Sopivalla hetkellä kysyin eräältä senioritutkijalta vinkkejä. Tuli nopeasti selväksi, ettei hän otttanut kysymystä vakavasti. Kaivelin myös ohjelmistotekniikan alan kirjallisuutta, ja sieltä tuli vastaan sama hyvin pinnallinen näkemys: näyttö on niin itsestään selvä käsite ettei sitä tarvitse analysoida.

lectio-slides-7

Etsin seuraavaksi vastausta lääketieteen kirjallisuudesta. Pohjimmiltaan näyttöön perustuvassa lääketieteessä näytöllä tarkoitetaan julkaistua tutkimustulosta, ja sen luotettavuuden ajatellaan riippuvan lähes pelkästään käytetystä tutkimusasetelmasta: kontrolloitu koe on parempi kuin mikä tahansa muu, mukaan lukien teoreettinen pohdinta, ja satunnaistettu koe, eli koe, jossa koehenkilöt jaetaan ryhmiin arpomalla, on parempi kuin sellainen, jossa näin ei tehdä. Järjestelmälliset kirjallisuuskatsaukset ovat puolestaan parempia kuin alkuperäistutkimukset, ja niistä parhaimmistoa ovat ne, jotka jättävät kaiken muun kuin satunnaistetut kokeet huomiotta. Tällaista näyttöhierarkiaa käytetään ohjaamaan sekä kirjallisuushakuja että löydettyjen tutkimusten laadun arviointia: jos löytyy yksikin satunnaistettuja kokeita tarkasteleva järjestelmällinen katsaus, muita tutkimuksia ei edes etsitä.

Näyttöhierarkia vaikuttaa päällisin puolin aivan mainiolta idealta. Se on yksinkertainen sääntö, jolla yksittäisen lääkärin kirjallisuushaut saadaan pidettyä pieninä, ja se vähentää tarvetta oikeasti pohtia löydettyjen tutkimusraporttien sisäisen logiikan pitävyyttä. Mutta mihin perustuu väite, että näin toimimalla löydetään oikeasti lähimpänä totuutta olevat tutkimukset? Lääketieteen tutkimuskirjallisuudessa näyttöhierarkiaa onkin kritisoitu.

Pohjimmiltaan siinä, pitääkö joku näyttöhierarkiaa hyvänä vai huonona ideana, on kyse tieteenfilosofisista näkemyseroista.


lectio-slides-8

Akateemisessa tieteenfilosofiassa keskeinen kysymys 1700-luvulta alkaen on ollut induktion ongelma. Miksi siitä, että aurinko on noussut tähän mennessä joka päivä, voi päätellä, että se nousee huomennakin? Vai onko tällainen päätelmä ylipäätään sallittu? — Onneksi väitöstilaisuuteni pidetään Jyväskylässä, jossa tämä esimerkki vielä toimii; Utsjoellahan aurinko ei nouse huomenna!

Loogiset positivistit, joita sittemmin kutsuttiin loogisiksi empiristeiksi, pyrkivät luomaan induktiolle logiikan; tähän projektiin osallistuivat muiden muassa suomalaiset Jaakko Hintikka ja Georg Henrik von Wright sekä saksalaissyntyiset Peter Hempel ja Rudolf Carnap.

Samaan aikaan todennäköisyyslaskennan teoria kehittyi valtavasti, ja tilastotieteen teoria jakaantui useaan koulukuntaan. Jakolinjana oli suhtautuminen käänteisen todennäköisyyden periaatteeseen, jonka idea oli johtaa hypoteesin todennäköisyys suoraan tilastoista. Valtavirraksi kehittyi Ronald Fisherin, Jerzy Neymanin ja Egon Pearsonin ajatusten sekoitus, jossa käänteisen todennäköisyyden periaate ja siten hypoteesin todennäköisyyden käsite kiellettiin. Oppositioon jäivät muiden muassa Harold Jeffreys ja Leonard Savage, joiden teorian ytimen muodosti juurikin käänteinen todennäköisyys ja jota nykyään kutsutaan Bayesiläiseksi tilastotieteeksi.

Monet tieteenfilosofit kannattavat nykyään induktion teoriaa, jossa yhdistetään loogisten empiristien tavoite Bayesiläisen tilastotieteen perusideoihin. Väitöskirjassani otan tämän lähestymistavan pohjaksi. Induktiivisen argumentin vahvuus on kunkin kuuntelijan henkilökohtainen arvio siitä, kuinka hyvin se vakuuttaa hänet. Jotta tätä arviota voidaan pitää rationaalisena, sen tulee täyttää tietyt ristiriidattomuusvaatimukset. Osoittautuu, että nämä vaatimukset johtavat kohtuullisen selvästi siihen, että argumentin vahvuus on sen loppupäätelmän subjektiivinen todennäköisyys.

Tällaisen induktion teorian pohjalta näytölle tulee luonnollinen tulkinta: näyttöä on mikä vain, joka parantaa induktiivisen argumentin vahvuutta. Millainen tutkimus vain kelpaa näytöksi, mutta riippuu kovasti tutkimuksen yksityiskohdista, parantaako se argumenttia paljon vai vähän.

Kun arvioinnin pohjaksi otetaan tämä induktion teoria, näyttöhierarkian asema jää epävarmaksi. Kontrolloitu koe on usein paras vaihtoehto, ja satunnaistaminen voi parantaa kokeen luotettavuutta. Ongelmallisempaa on perustella, miksi osa saatavilla olevasta näytöstä pitäisi rajata pois. Jokainen voi itse toki tehdä tällaisen rajauksen omasta puolestaan.


lectio-slides-9

Toinen kysymykseni oli, kuinka paljon ohjelmointikielten suunnittelun ohjaukseen soveltuvaa tutkimusta on julkaistu. Tätä varten toteutin järjestelmällisen kirjallisuuskartoituksen. Aloitin sen vuonna 2010 ja sain sen valmiiksi viime vuonna; raportoin sen alun perin lisensiaattitutkimuksenani.

Kirjallisuuskartoituksella eli mapping studylla tarkoitan kirjallisuuteen perustuvaa tutkimusta, jossa pyritään kartoittamaan jonkin tutkimusalueen yleinen tila. Tässä tapauksessa halusin selvittää, mitä asioita on tutkittu ja miten.

Se, että kartoitukseni oli järjestelmällinen, tarkoittaa, että olin sen etukäteen yksityiskohtaisesti suunnitellut ja suunnitelman mukaisesti toteuttanut. Kirjasin ylös kaiken minkä tein. Aikaahan tähän meni useita vuosia.

lectio-slides-10

Kartoituksen tuloksista nostan esille pari havaintoa. Ensinnäkin empiirisiä tutkimuksia, joissa on vertailtu eri tapoja ratkaista jokin suunnitteluongelma, on julkaistu vuodesta 1973 asti. Monta kymmentä vuotta tutkimuksia julkaistiin varsin vähän, kunnes kymmenkunta vuotta sitten jotain tapahtui, ja julkaisujen määrä lähti huomattavaan kasvuun. Kartoitukseni aineisto päättyy vuoteen 2012, mutta näppituntumani mukaan julkaisujen määrä ei ole sen jälkeen ainakaan lähtenyt laskuun.

Vielä karummalta tilanne näyttää, jos rajoitutaan tarkastelemaan pelkästään satunnaistettuja kokeita. Vuodesta 1976 vuoteen 2012 julkaistiin keskimäärin yksi satunnaistettu koe joka toinen vuosi, eikä viimeisten aineistooni kuulvien vuosien nousukaan kovin huima ollut. Vertailun vuoksi: lääketieteessä satunnaistettuja kokeita julkaistaan tuhansia joka vuosi, ehkä jopa kymmeniä tuhansia joka vuosi.

lectio-slides-11

Eniten on tutkittu sitä, miten ehtolauseet tulisi suunnitella. Aiemmat esimerkkini kuuluivat tähän kategoriaan. Myös tyyppijärjestelmiä, jotka sulkevat pois eräitä helposti koneellisesti tunnistettavia virhelajeja, on tutkittu jonkin verran; jos C-kielessä olisi ollut parempi tyyppijärjestelmä, turhaa 256:lla jakamista ei olisi todennäköisesti tapahtunut ja salasanatarkistus olisi toiminut. Kaiken kaikkiaan vaikuttaa, että varsin vähäiseen määrään suunnitteluongelmia olisi kirjallisuudesta edes periaatteessa mahdollista löytää nykyisellään vastaus.


lectio-slides-12

Kolmannen kysymykseni — eli millaiseksi näyttöön perustuva lääketiede pitäisi sovittaa, jotta se soveltuisi ohjelmointikielten kehitykseen — vastauksen lähtökohtana on sama viiden askeleen menetelmä, jota näyttöön perustuvassa lääketieteessä sovelletaan. Olen väitöskirjassani hahmotellut tarkempia ohjeita kullekin viidelle askeleelle, joita näyttöön perustuvassa ohjelmointikielen kehityksessä tulisi noudattaa. En niitä tässä käy yksityiskohtaisesti läpi, sen sijaan otan esiin muutamia yleisiä huomioita.

Näyttöön perustuvan lääketieteen pääasiallinen toimija on yksittäinen lääkäri, jolla on todellinen ongelma todellisen potilaan hoidon kanssa, ja lopulliseen hoitopäätökseen vaikuttaa kirjallisuudesta löytyneen vastauksen lisäksi potilaan tilanne ja arvot. Vastaavasti näyttöön perustuvan ohjelmointikielten kehityksen pääasiallinen toimija on yksittäinen ohjelmointikielen suunnittelija tai suunnittelijaryhmä, jolla on todellinen ongelma suunnittelutyössään ja jonka työskentelyyn vaikuttavat työn tavoitteet ja tekijöiden henkilökohtaiset tai organisaation arvot. Niinpä olennainen osa väitöskirjassa esittämäänu menetelmää on suunnittelijan vapaa harkinta siitä, mikä on olennaista. Kaksi eri suunnittelijaa voivat päätyä samalla menetelmällä samasta suunnitteluongelmasta eri tulokseen, koska heillä voi olla erilaiset painotukset ja tavoitteet sekä erilaiset toimintaa ohjaavat arvot.

Näyttöön perustuva ohjelmointikielten suunnittelu ei ole kaikenkattava menetelmä, jota tulisi soveltaa aina ja yksinomaan. Jos suunnittelijalla on selvät sävelet siitä, mitä hän haluaa tehdä, ei sitä tarvitse erikseen hyväksyttää tutkimuskirjallisuudella. Samoin jos suunnittelija on itse tutkinut jotain asiaa, ei tutkimuksen julkaisua ole tarpeen odottaa vaan sen tuloksia voi totta kai soveltaa heti oman kielen suunnittelussa.


lectio-slides-13

Väitöskirjani pääotsikko on suomeksi Näyttöön perustuva ohjelmointikielten suunnittelu, mutta kirjani ei suinkaan edes yritä olla viimeinen sana aiheestaan. Alaotsikossa esiintyy sana exploration eli tutkimusmatka kuvaamassa väitöskirjan luonnetta — kirjassa matkataan pääotsikon ympärillä selvittämässä maastoa ja piirtämässä karttaa sen lähialueista. Tutkimusmatka on filosofinen, koska yksi tutkimusmatkan kohteista on pääotsikon alla oleva maa, tieteenfilosofia ja tietoteoria; se on filosofinen myös siksi, että yksi käyttämistäni tutkimusotteista on filosofinen analyysi. Tutkimusmatka on metodologinen eli menetelmäopillinen, koska kirjassa tarkastellaan myös tiettyjä sen tekemisessä tarvittuja menetelmiä tarkemmin ja osittain myös itsenäisinä tutkimusmatkan kohteina.

May I ask you, Mr. Professor, as the Opponent appointed by the faculty, to present the comments to my dissertation that you see justifiable?

Tämän jälkeen kehotan niitä arvoisia läsnäolijoita, joilla on jotakin muistuttamista väitöskirjani johdosta, pyytämään puheenvuoron kustokselta.

Väitöstilaisuus 4.12.2015 kesti 2 tuntia ja siihen osallistuneista yksi esitti tämän kehoituksen jälkeen kysymyksen. Hänestä tuli siten ns. ylimääräinen vastaväittäjä.

Väitöstilaisuus lähestyy, väitöskirja julkaistu

Puolustan väitöskirjaani “Evidence-Based Programming Language Design: A Philosophical and Methodological Exploration” perjantaina 4. joulukuuta 2015 kello 12 Jyväskylän yliopiston vanhassa juhlasalissa (Seminarium-rakennus, sali S212). Vastaväittäjänä on professori Lutz Prechelt (Freie Universität Berlin, Saksa) ja kustoksena professori Tommi Kärkkäinen (Jyväskylän yliopisto).

Väitöstilaisuus on julkinen ja sinne on vapaa pääsy. Yleisö voi pukeutua kuten mihin tahansa arkiseen aktiviteettiin yliopistossa (esimerkiksi luennolle), juhlapukeutuminen ei ole tarpeen. Facebook-tapahtuma on.

Väitöskirjan esitarkastajina toimivat professori Matthias Felleisen (Northeastern University, Yhdysvallat) ja professori Andreas Stefik (University of Nevada, Las Vegas, Yhdysvallat). Väitöskirja sisältää merkittävän osan lisensiaattityöstäni, jonka tarkastivat viime vuonna tohtori Stefan Hanenberg (Duisburg-Essenin yliopisto, Saksa) ja professori Stein Krogdahl (Oslon yliopisto, Norja).

Väitöskirja on nyt julkisesti saatavilla PDF:nä.

YHTEENVETO

Näyttöön perustuva ohjelmointikielten kehitys. Filosofinen ja menetelmäopillinen tutkimusmatka.

Väitöskirjassani pohdin, kuinka olemassa olevaa tutkimuskirjallisuutta voisi käyttää hyväksi ohjelmointikielten kehityksessä. Vastaavaan ongelmaan lääketieteessä kehitettiin 1970–1980-luvuilla lähestymistapa, jota 1990-luvun alusta on kutsuttu näyttöön perustuvaksi lääketieteeksi. Niinpä väitöskirjassani selvitän vastaavan näyttöön perustuvan ohjelmointikielten kehityksen mahdollista olemusta.

Väitöskirjan tutkimusmenetelmänä on toisaalta filosofinen käsiteanalyysi ja toisaalta systemaattinen kirjallisuuskartoitus. Käsiteanalyysillä selvensin näyttöön perustuvan lääketieteen olemusta ja sen siirtämistä soveltuvin osin ohjelmointikielten kehitykseen. Systemaattisella kirjallisuuskartoituksella, jonka aiemmin raportoin lisensiaattityönäni, selvitin, mitä empiiristä tutkimusnäyttöä on olemassa, jota voisi ohjelmointikielten näyttöön perustuvassa kehityksessä käyttää hyväksi. Lisäksi väitöskirja sisältää laajahkon tällaisten tutkimusten metodologiaa pohtivan osuuden.

Osana metodologian tarkastelua olen väitöskirjassani tarkentanut systemaattisten kirjallisuuskartoitusten ja -katsausten menetelmää kysyen, soveltuuko Cohenin kappa aineistokoodauksen luotettavuuden arviointiin. Matemaattisilla menetelmillä vastaukseksi selvisi ei. Sen asemesta suosittelen käyttämään Krippendorffin alfaa tai Fleissin kappaa.

Empiirisen tutkimusnäytön kirjallisuuskartoituksessa, jonka aineisto ulottuu vuoteen 2012 asti, havaitsin, että ohjelmointikielten suunnitteluratkaisujen hyödyllisyyttä on tutkittu jonkin verran: kaiken kaikkiaan tutkimuksia löytyi 141, ja näistä 65 tutkimusta, jotka ovat selkeimmin hyödyllisiä kielen kehittäjille, muodostavat tulosten ytimen. Eniten on tutkittu eri tapoja ilmaista suorituksen haarautumista (11 koetta ytimessä, joista 8 kontrolloituja, joista 3 satunnaistettuja; vanhin tutkimus julkaistu 1973), valintaa staattisen ja dynaamisen tyypityksen välillä (6 tutkimusta ytimessä, joista 5 kontrolloituja kokeita, joista 4 satunnaistettuja; vanhin tutkimus julkaistu 2009), sekä eri tapoja ilmaista silmukkarakenne (5 tutkimusta ytimessä, joista 4 kokeita, joista 3 kontrolloituja ja yksi satunnaistettu; vanhin tutkimus julkaistu 1978). Hyödyllisyyttä on tutkimuksissa tarkasteltu pääasiassa virhealttiuden, ohjelmien ymmärrettävyyden sekä ohjelmointityön työläyden kautta.

Tutkimusmenetelmistä suosituin ytimessä oli (määrällinen) koe, jota käytti 41 tutkimusta. Toiseksi suosituin 11 tutkimuksella oli tutkimusasetelma, jossa olemassa olevia ohjelmia muokattiin käyttämään uutta ohjelmointikielen suunnitteluratkaisua hyväkseen. Kolmanneksi suosituin 8 tutkimuksella oli ohjelmistokorpuksen analyysi. Ytimessä käytettiin lisäksi tapaustutkimusta (2), kyselyä (2) ja ohjelmaparien analysointia (1). Ytimen kokeellisissa tutkimuksissa yleisimmin koehenkilöinä käytettiin ohjelmoijia (35 koetta), jotka tavallisimmin olivat ohjelmoinnin opiskelijoita (29 koetta).

Kartoituksen tuloksista on pääteltävissä varsin masentava kuva tämän kartoituksen alueeseen kuuluvasta tutkimusaktiviteetista. Vaikuttaa siltä, että aina silloin tällöin joku tutkija tai tutkimusryhmä keksii, että tällaiset tutkimukset olisivat hieno juttu, ja tekee niitä sitten muutaman kunnes kyllästyy ja vaihtaa aihetta. Julkaistut tutkimukset eivät vaikuttaisi inspiroineen kovin paljoa jatkotutkimuksia, eikä paradigman perustavia esimerkkitutkimuksia näytä syntyneen. On myös mahdollista, että julkaisufoorumien toimittajat ja vertaisarvioijat pitävät empiiristä tutkimusta niin hyödyttömänä, ettei sellaisia tutkimuksia juuri niiden tekemisestä huolimatta julkaista. On toki mahdollista, että viimeisen viiden vuoden aikana lisääntynyt tutkimustoiminta tarkoittaa, että tilanne on muuttunut; mutta koska lukumäärät ovat edelleen pieniä, saattaa tilanne palata jokusen vuoden jälkeen takaisin matalan aktiviteetin tasolle. Valitettavasti kartoitukseni aineistosta ei ole mahdollista päätellä mitään viime vuosien tutkimustoiminnasta.

Väitöskirjan tuloksena syntynyt näyttöön perustuvan ohjelmointikielten kehityksen hahmotelma on seuraava. Jos kielen kehittäjälle on tosiasiassa epäselvää, miten jokin kehitysongelma tulisi ratkaista, hän voi alkaa soveltaa menetelmän viisiaskelista toimintaohjetta. Ensin hän täsmentää kysymyksensä, sitten hän tekee kysymyksen perusteella kirjallisuushaut, kolmanneksi hän arvioi löytyneiden lähteiden luotettavuuden, neljänneksi soveltaa kirjallisuuden antamaa ratkaisua ongelmaansa ja viidenneksi pohtii, kuinka menetelmän soveltaminen häneltä onnistui. Tämä toimintaohje on tällä yleistasolla hyvin samanlainen kuin näyttöön perustuvassa lääketieteessä; eroja tulee, kun askelille annetaan tarkemmat toteutusohjeet.

Kuten kaikilla tutkimuksilla, tällä väitöskirjalla on rajoitteita, jotka tulee tuloksia tulkittaessa ottaa huomioon. Käsiteanalyysin tärkein rajoite on, etteivät sillä tavalla syntyvät tulokset ole todistettavissa oikeiksi; paraskaan käsiteanalyysi ei välttämättä vakuuta kaikkia lukijoita. Väitöstyöni käsiteanalyysin tavoitteena on siten ollut, että eri mieltä oleva lukija kykenee vastaamaan argumentteihini järkevillä vasta-argumenteilla ja siten edistämään aihetta koskevaa tieteellistä keskustelua. Kirjallisuuskartoituksen keskeisin rajoite puolestaan on, että julkaisujen mukaan ottamisessa ja tutkimusten koodauksessa on voinut sattua virheitä, vaikka niitä on pyritty välttämään ja löytämään. On myös mahdollista, että joitakin asiaan liittyviä tutkimuksia ei ole löytynyt hauissa eikä siksi ole kartoituksessa huomioitu.

Väitöskirjan olennaisin tulos on näyttöön perustuvan ohjelmointikielten kehityksen hahmotelma, joka soveltuu jatkotutkimuksen pohjaksi. Sitä ei ole empiirisesti arvioitu, joten lopullisena vastauksena sitä ei voi pitää. Sen käytettävissä nykyisin oleva empiirinen tutkimusnäyttö on ohutta, mutta sitä on.

Doctoral defense approaching, dissertation publicly available

I will be defending my doctoral dissertation “Evidence-based programming language design: a philosophical and methodological exploration” on December 4, 2015 at noon, in the Seminarium building, auditorium S212, of the University of Jyväskylä. My opponent will be Professor Lutz Prechelt (Freie Universität Berlin, Germany), and the custos is Professor Tommi Kärkkäinen (University of Jyväskylä).

The defense is public; anyone may come. Dress code for the audience is whatever one would wear to any lecture or regular academic activity at the university (no formal dress required). There is a Facebook event page.

The dissertation manuscript was reviewed (for a permission to publish and defend) by Professor Matthias Felleisen (Northeastern University, USA) and Professor Andreas Stefik (University of Nevada, Las Vegas, USA). The dissertation incorporates most of my licentiate thesis, which was examined last year by Doctor Stefan Hanenberg (University of Duisburg-Essen, Germany) and Professor Stein Krogdahl (University of Oslo, Norway).

The dissertation is now publicly available as a PDF.

The dissertation mentions Haskell in several places, although that is not its main focus.

ABSTRACT

Kaijanaho, Antti-Juhani
Evidence-Based Programming Language Design. A Philosophical and Methodological Exploration.
Jyväskylä: University of Jyväskylä, 2015, 256 p.
(Jyväskylä Studies in Computing
ISSN 1456-5390; 222)
ISBN 978-951-39-6387-3 (nid.)
ISBN 978-951-39-6388-0 (PDF)
Finnish summary
Diss.

Background: Programming language design is not usually informed by empirical studies. In other fields similar problems have inspired an evidence-based paradigm of practice. Such a paradigm is practically inevitable in language design, as well. Aims: The content of evidence-based programming design (EB-PLD) is explored, as is the concept of evidence in general. Additionally, the extent of evidence potentially useful for EB-PLD is mapped, and the appropriateness of Cohen’s kappa for evaluating coder agreement in a secondary study is evaluated. Method: Philosophical analysis and explication are used to clarify the unclear. A systematic mapping study was conducted to map out the existing body of evidence. Results: Evidence is a report of observations that affects the strength of an argument. There is some but not much evidence. EB-PLD is a five-step process for resolving uncertainty about design problems. Cohen’s kappa is inappropriate for coder agreement evaluation in systematic secondary studies. Conclusions: Coder agreement evaluation should use Scott’s pi, Fleiss’ kappa, or Krippendorff’s alpha. EB-PLD is worthy of further research, although its usefulness was out of scope here.

Keywords: programming languages, programming language design, evidence-based paradigm, philosophical analysis, evidence, systematic mapping study, coder agreement analysis

Steinerkoulu on 12-vuotinen, ei 9-vuotinen

Luin tänään uutisen Jyväskylän steinerkoulun lukiovaiheen lopettamisesta. Minusta se on surullista. Steinerkoulu on 12-vuotinen yhtenäiskoulu, ja jos oppilas on valinnut kyseisen koulun, on harmillista että sen joutuu lopettamaan kesken oman halunsa vastaisesti. Tilanne on jatkossa sama kuin minkä koin itse vuonna 1993: muutin 9. luokan jälkeen Tampereelle toiseen steinerkouluun. Tarkoitus oli kai kaikilla, että olisimme jatkaneet Jyväskylässä, mutta valtioneuvosto epäsi lukioluvan. En ole lainkaan varma, että lasta kannattaa laittaa steinerkouluun, jos kaikille on tiedossa, kuten nyt, että koko steinerkoulun käyminen tulee vaatimaan myöhemmin paikkakunnalta muuton.

Mainittakoon muuten, että en ole koskaan tykännyt ilmaisusta “steinerlukio”. Steinerkoulu on steinerkoulu, vaikka sen yhteydessä voikin suorittaa lukion oppimäärän ja ylioppilastutkinnon.

Hajatus yliopistolaista

Kansanedustaja Erkki Pulliainen (vihr.) lausui eilisessä yliopistolain ensimmäisessä käsittelyssä varsin mielenkiintoisen pointin:

Ajatellaanpa sillä tavalla, että tämä muutos olisi toteutettu viitisen vuotta sitten ja oltaisiin tässä tilanteessa, missä nyt ollaan, ja vertailukohtana käytetään Yhdysvaltain tilannetta todellisuudessa juuri täsmälleen tänä päivänä. Vuoden aikana Yhdysvalloissa yliopistojen rahoitustaustapääomasta on sulanut pois 30-40 prosenttia, huomattava osa täydellisesti, pysyvästi, koska sitä pääomaa ei enää ole olemassakaan.

Ensimmäinen ajatukseni on, että uudistus todella tekee yliopistojen varainhoidosta erittäin vastuullista. Toinen ajatukseni on, että nyt ajoitus tuntuu onnistuneen varsin hyvin, kun yliopistot pääsevät sijoitusmarkkinoille niiden vielä ollessa suhteellisen matalalla. Tosin ehtii tässä vielä ennen vuodenvaihdetta sattua ja tapahtua.

This is Alue

I have made a couple of references in my blog to the new software suite I am writing, which I am calling Alue. It is time to explain what it is all about.

Alue will be a discussion forum system providing a web-based forum interface, a NNTP (Netnews) interface and an email interface, all with equal status. What will be unusual compared to most of the competition is that all these interfaces will be coequal views to the same abstract discussion, instead of being primarily one of these things and providing the others as bolted-on gateways. (I am aware of at least one other such system, but it is proprietary and thus not useful to my needs. Besides, I get to learn all kinds of fun things while doing this.)

I have, over several years, come across many times the need for such systems and never found a good, free implementation. I am now building this software for the use of one new discussion site that is being formed (which is graciously willing to serve as my guinea pig), but I hope it will eventually be of use to many other places as well.

I now have the first increment ready for beta testing. Note that this is not even close to being what I described above; it is merely a start. It currently provides a fully functional NNTP interface to a rudimentary (unreliable and unscalable) discussion database.

The NNTP server implements most of RFC 3977 (the base NNTP spec – IHAVE, MODE-READER, NEWNEWS and HDR are missing), all of RFC 4642 (STARTTLS) and a part of RFC 4643 (AUTHINFO USER – the SASL part is missing). The article database is intended to support – with certain deliberate omissions – the upcoming Netnews standards (USEFOR and USEPRO), but currently omits most of the mandatory checks.

There is a test installation at verbosify.org (port 119), which allows anonymous reading but requires identification and authentication for posting. I am currently handing out accounts only by invitation.

Code can be browsed in a Gitweb; git clone requests should be directed to git://git.verbosify.org/git/alue.git/.

There are some tweaks to be done to the NNTP frontend, but after that I expect to be rewriting the message filing system to be at least reliable if not scalable. After that, it is time for a web interface.

Perustuslakivaliokunnan lausunto uudesta yliopistolaista

PeVL 11/2009 vp

Kohokohtia:

  • Hallituksen kokoonpanoa koskeva ehdotus on perustuslain vastainen. “Yliopiston itsehallinnon takaamiseksi yliopistokollegiolla on oltava mahdollisuus valita yliopistoyhteisön sisäisistä ryhmistä jäsenten enemmistö yliopiston hallitukseen.”
  • Professorin pätevyysvaatimukset on lisättävä lakiin. “Ehdotettua säännöstä on ainakin professoreiden osalta asianmukaista täsmentää luonnehdinnoin siitä, millaista kelpoisuutta heiltä edellytetään”

Hallituksen kokoonpanon perustuslailliseen ongelmaan kiinnitin minäkin lausunnossani huomiota.

Tenttiä laatimassa

Luentokurssini päättyi pari viikkoa sitten, ja nyt perjantaina olisi lopputentin aika.

Tenttiin ei ole tulossa kovin moni opiskelija, sillä kurssin saattoi myös suorittaa oppimispäiväkirjalla. Tarkoituksenani oli näin kannustaa opiskelijoita kurssisisältöjen pohdiskeluun. Arvosteluperusteetkin laadin tämän tavoitteen mukaisesti mukaillen Bloomin taksonomiaa: mitä syvällisempää osaamista demonstroi, sitä paremman arvolauseen saa.

Tentin laatimisessa on yksi iso ongelma: kuinka sen (ja arvosteluperusteet) laatisi niin, että tentti mittaa sitä mitä pitääkin. Tällä kertaa lisähaasteena on se, että tentin pitäisi mitata suunnilleen samoja asioita kuin oppimispäiväkirjakin.

Ei minulla ole tänään mitään vastauksia. Valitan.

Ajokoe hyväksytty

Nyt on sitten lompakossa todistus kuljettajantutkinnon hyväksymisestä (ajo-oikeus ko. todistuksella Suomessa).

Aamulla lähdettiin ajamaan viimeistä ajotuntia, tarkoituksena lämmitellä koetta varten. Kiersimme kaikenlaisia liikennetilanteita liikenneympyröistä kiihdytyskaistoihin. Vaikka jännitystä en juurikaan tuntenut, sitä selvästi kuitenkin oli, sillä suoriutuminen oli tavallista heikompaa – liikennemerkkejä jäi huomaamatta ja kerran sain sählättyä itseni vanhoilla vihreillä (siis keltaisia päin lain vastaisesti) risteykseen. Sammuttelinkin runsaasti.

Lämmittelyajon reittinä oli Kilpisenkatu – Harjukatu – Sepänkatu – Viitaniementie – Nisulankatu – Sepänkatu – Väinönkatu – Yliopistonkatu – Kalevankatu – Vapaudenkatu – Väinönkatu – Hannikaisenkatu – Asemakatu – Vapaudenkatu – Urhonkatu – Hannikaisenkatu – Vapaudenkatu – Tourulantie – Seppäläntie – Ahjokatu – Alasinkatu – Seppäläntie – Nelostie – Lohikoskentie – Sorsastajantie – Kuormaajantie – Ajovarman piha. Pihassa tehtiin kulmaperuutustehtävä parkissa olleen kuorma-auton viereen.

Itse kokeessa olin aika jännittynyt, mikä näkyi erityisesti käsittelyn kulmikkuudessa. Aluksi tutvo (tutkinnon vastaanottaja) kyseli, mitä pitää talvella autolla lähtiessä tarkistaa. Sanoin, että ikkunoiden pitää olla puhtaat, ja selitin myös renkaiden tarkastamisesta jotain. Sitten mentiin autoon, juteltiin vähän aikaa ja lopuksi lähdettiin. Erityisen tarkkailun alla oli risteysajo. Sain ajaa ensin keskusta-kylttien mukaisesti Puistokadulle asti. Sitten tutvo rupesi ohjaamaan minua risteys kerrallaan, kunnes päästiin pikkukaduilta takaisn pääkaduille. Sitten ajeltiin taas kylttien mukaan, tosin kylttiohje vaihteli parin risteyksen välein. Rantaväylältä poistuttaessa sain tehtäväksi ajaa oman reittini mukaisesti takaisin katsastuskonttorille.

Muutamia tilanteita oli: jarrutin yksiin valoihin todella rajusti. Keskustan pikkukaduilla tuli ahtaassa paikassa vastaan mm. Jyväskylän Liikenteen linja-auto (odottelin rauhassa vuoroani). Keskikadun ja Voionmaankadun valoristeyksessä vasemmalle käännyttäessä odotin rauhassa, että vastaan tulijat pääsevät risteyksestä pois, mutta kun olin jo risteyksestä poistumaan valmistautumassa, vastaantulijoiden oikealle kääntyvä kaista lähti liikkeelle. Siinä kohtaa mietin, että meniköhän se oikein, kun menin heidän edestään. Vaasankadun ja Hannikaisenkadun risteyksessä ajoin jonon perässä valoihin ja valo vaihtui keltaiselle juuri minua ennen. Tilanne oli sellainen, että mietin, että olisiko pitänyt pysähtyä. Kokeen jälkeen selitin näitä tutvolle, mutta hän keskeytti ja sanoi että ne meni ihan oikein, molemmat tilanteet.

Ajoreittinä kokeessa oli (muistaakseni) Ajovarman piha – Kuormaajantie – Sorsastajantie – Lohikoskentie – Puistokatu – Puutarhankatu – Tellervonkatu – Yrjönkatu – Sepänkatu – Nisulankatu – Keskikatu – Voionmaankatu – Vaasankatu – Rantaväylä – Nelostie – Seppäläntie – Lohikoskentie – Sorsastajantie – Kuormaajantie – Ajovarman piha. Kokeen lopussa tehtiin täsmälleen sama kulmaperuutustehtävä kuin kokeeseen tultaessa.

Lopputulema oli siis hyväksytty koe. Palautetta sain seuraavasti:

  1. Ajoneuvon käsittelystä molemmat olimme samaa mieltä – 3. Tutvo kommentoi kulmikkaasta ajotyylistä, mutta ei moittinut. Hieman tutvo moitti tapaani ajaa yhdellä kädellä varsinkin vilkkua käytettäessä, mikä hieman vaikutti ajolinjan varmuuteen.
  2. Liikennetilanteen hallinnan arvioimme molemmat 4:ksi.
  3. Kevyen liikenteen huomioinnista sain kiitosta – toisen kokeesta tulleen H-merkinnän (hyvä). Molemmilla arvio oli 4.
  4. Sujuvuus ja suunnitelmalisuus toimi – molempien arvio 3.
  5. Riskien tunnistaminen ja välttäminen toimi myös – oma arvio 3, tutvon arvio 4.
  6. Sosiaaliset taidot – molempien arvio 3. Kuulemma ilmoitan aikeeni selkeästi.
  7. Taloudellinen ajaminen – tutvo näki yritystä sekä sen, että opittavaa on lisää. Molempien arvio 3.
  8. Arviot olivat hyvinkin yhteneväisiä – tutvon arvio 4

Numeroarvion asteikko oli 1–5, minä arvioin itse ennen koetta ja tutvo kokeen jälkeen. Arvioinnin yhteneväisyyden arvioi ainoastaan tutvo.

Ruudukossa oli kaksi H-merkintää (hyvä), eikä muita merkintöjä (ei siiis yhtään virhettä eikä konfliktia). Hyvä oli merkitty taajama-ajon kohdalle (havainnointi) sekä erityisesti kevyen liikenteen havainnointiin. Havaintoja tutvo teki pakollisten lisäksi kaista-ajosta, liikennevaloristeyksistä, maantieajosta, taajaman ulkopuolisista risteyksistä, opasteajosta ja lisäksi liukkaalla ajamisesta.

Kokeen jälkeen sain opettajalta kyydin autokoululle, jossa sain allekirjoittaa papereita. Sain myös pari tarjouslipuketta ja rekaiden urasyvyyden mittaukseen tarkoitetun avaimenperän.

Seuraava projektin vaihe on auton ostaminen. Kandidaatti onkin jo mielessä, mutta en kerro siitä täällä etukäteen :)

Lyhtaikaisen (2 v.) kortin saan muutaman viikon kuluttua. Sitä ennen ajo-oikeus on tutvon antaman todistuksen perusteella, ja se yhdessä henkkareiden kanssa korvaa ajokortin kuukauden ajan.

Ajokoe huomenna

Tänään ajelin toiseksi viimeisen ajotunnin. Homma alkaa sujua, en hirveästi hätäillyt eikä mitään Tilanteita kaiketi sattunut. Opettaja teki taas muistiinpanoja kuin ajokokeessa – en saanut yhtään K- (konflikti) tai V- (vaaraa lisäävä) -merkintää. Yhden H-merkinnän (hyvä) sain – ajamisesta liikennevirrassa, etäisyys muihin. Joitakin huomautuksia sain nopeudensäätelystä kaistanvaihdossa ja moottorin sammuttelusta, mutta ne eivät olleet vakavia. Kai sitä tosiaan alkaa olla ajokokeeseen valmis.

Reittinä oli tänään Kilpisenkatu – Hannikaisenkatu – Vapaudenkatu – Tourulantie – Seppäläntie – Laukaantie – Sorsastajantie – Kuormaajantie – Ajovarman parkkipaikka – Kuormaajantie – Sorsastajantie – Laukaantie – Lohikoskentie – Puistokatu – Yrjönkatu – Sepänkatu – Rajakatu – Lohikoskentie – Vapaaherrantie – Nelostie – Rantaväylä – Ahlmaninkatu – Mattilanniemi. Reitin koululta (Kilpisenkatu) tutkintopaikalle (Ajovarma) sain valita itse, muuten opettaja määräsi reitin. Ajovarman pihassa tehtiin taskuperuutusharjoitus, ja Mattilanniemessä ajoin yliopiston parkkihallin katolle (siellä on yleisiä parkkipaikkoja) ja siellä peruutin ruutuun. Sattumuksina voisi mainita pakettiauton kohtaamisen ahtaalla Yrjönkadulla (parkkeerattuja autoja ja lumipenkkaa), jossa jäin kiltisti odottamaan vuoroani, samalla kadulla suojatielle juoksevan teinin varomisen (hienosti meni!) sekä aika monen autokouluauton bongaamisen samoilla reiteillä.

Nyt nukkumaan. Huomenna klo 8:30 (toivottavasti) viimeinen ajotunti ja sieltä heti kokeeseen. Koetan kertoa kokeesta täällä jo aamupäivällä.