Fra vondt til verre i Hakkebakkeskogen

Skal vi tro Bakermester Harepus har det mye å si hvem som spiser kakene, kaker som er stjålet smaker surt, kaker som er kjøpt, smaker søtt. Sånn er det med teknologi også: Teknologi som innføres i et ondt system blir ond, teknologi som innføres i et godt system kan bli god. For å gjøre systemet godt må nye samfunnsinstitusjoner til.

Å innføre en aldersgrense på sosiale medier med ny teknologi for å verifisere alder i dagens situasjon er bare en runde til med “technosolutionism”. Det vil ikke føre noe godt med seg. Men jeg sier det ikke fordi jeg ikke tror det er så farlig med sosiale medier, tvert i mot, disse sosiale mediene vi har i dag har vært en katastrofe for menneskeheten sett i forhold til hvordan sosiale medier kunne ha vært. For meg var ikke Facebook starten på sosiale medier, det var slutten. Det var da alle kamper var tapt, og dette tapet skjedde i 2005. De siste nesten 20 år har vært en lidelse der det hele tiden har overrasket meg at ingen andre har sett det, før nå plutselig.

Reven av i dag er, i motsetning til Mikkel i Hakkebakkeskogen, ganske smart men bare for sin egen mages skyld. Ugla har en dronesverm som overvåker hver flik av skogen til enhver tid og pinnsvinet er blitt CEO i “Hyper Hedgehog & Bro Inc”. De stakkars musene kan definitivt ikke gå ut av huset sitt uten å bli spist. Dermed kommer de seg heller ikke til Bamsefar med forslag til hva man kan gjøre.

Så hva gjør myndighetene i Hakkebakkeskogen? Jo, unge mus er lovpålagt å holde seg hjemme. Paraplyer er forbudt fordi hvis Bestemor Skogmus bruker det kan ingen være sikker på om de angriper en mus eller andre. Det skulle tatt seg ut om noen spiste Ekorn-Jensen for eksempel.

Sikker identifikasjon blir viktig, og derfor investerer myndighetene i teknologi som Hyper Hedgehog & Bro industrialiserer, slik at rever og ugler kan være sikker på å ikke angripe et dyr man ikke mente å spise.

Si meg: Er det ingen som ser det gale i at staten bruker tvang mot offeret og ikke mot dem som prøver å spise dem?

Når aldersgrensen skal håndheves er det sannsynlig at man vil bruke European digital identity som EU foreslår. Gjennom mitt arbeid med Solid-protokollen har jeg fulgt arbeidet med den underliggende teknologien i mange år. Ikke bare gir den en identitet, men også en “wallet”, en lommebok, som holder dine viktigste data. Jeg må tilstå at jeg også har trodd at å innføre slik identitetsteknologi vil sette i gang en revolusjon som vil gi borgerne større innflytelse over eget liv. Det tror jeg ikke lenger.

I en skog der alle dyrene er venner kunne dataene i lommeboka styrket individets rettigheter. Men dyrene er ikke venner, og det gjør at når først lommeboka eksisterer, så vil Hyper Hedgehog & Bro utnytte situasjonen. Det er en smal sak å overtale musene til å dele data fra lommeboka om hvem som er sterk og svak slik at de kan få et fint treningsopplegg. Det er ikke det at teknologi kan misbrukes, i dagens samfunn vil den helt sikkert misbrukes.

Dermed kan data om hvilke mus som er svakest selges til høystbydende, og alle er skjønt enige om at det er de svakeste som bør spises først. Det er bra for økosystemet. Ugla bidrar med data fra dronene, et samarbeid gir merverdi og dermed blir dette det mest feirede innovasjonsprosjektet i skogen. Et glimrende eksempel på hvordan regulering går hånd i hånd med industriens behov.

Men vent nå litt! Har vi glemt at målet var en god skog å bo i for alle? At musene må få komme ut og at reven kanskje hadde rett i at grønnsaker og nøtter ikke var noe for en hel rev?

Politikerne gjør mange antagelser om teknologi som det ikke er hold i. De antar vel at sosiale medier er vanskelig å utvikle, siden det er milliardkonsern som gjør det? Men husk at det er ikke sosiale medier som er produktet, det er den enkle biten. Produktet er en overtalelsesplattform. For målrettet reklame. Sosiale medier består av bare tre hovedkomponenter: en identitet og noe som håndterer brukernes data, og et forslagssystem (“recommender system”). De to første har vi allerede, og forslagssystemet er det lekfolk snakker om som “Algoritmen”. Siden forslagssystemer kan styre det offentlige ordskiftet må staten ta ansvar i følge Grunnlovens §100.

At man ikke oppfyller ansvaret ved bare å skrive lover bør være tydelig nå. GDPR har ikke hatt nevneverdig effekt etter 6 år, og alt som kommer etter er skrevet på samme lest.

En klok liten mus vet at sosiale medier kan bli noe helt annet enn det vi har i dag. Vi kan dyrke de positive sidene ved det, for vi vet at de finnes. Men i dag blir mange stemmer aldri hørt!

Vi piper om at det finnes så mye programvare allerede som ikke er eid av Hyper Hedgehog & Bro og andre Incs, at vi allerede har så mye som tilhører felleskapet at vi kan oppnå maktbalanse ved å opprette nye samfunnsinstitusjoner. Hvordan de kan se ut får du vite hvis musene får snakke!

Slik jeg opplevde historien

Jeg må få lov til å være hovedpersonen på min egen blogg. Jeg vil gjerne få fortelle historien om hvorfor jeg ikke tror at dagens politiske virkemidler vil klare å gi oss bedre teknologi. Ja, fordi jeg ser jo det slik at sosiale medier kunne blitt en fantastisk ting for menneskeheten, men at sentralisering av makt i noen få selskap ødela det. Og dette skjedde ikke nå nylig, Facebook var ikke begynnelsen av sosiale medier, det var slutten. Facebook var det som stod igjen når alle kamper var tapt. Dagens AI er heller ikke på noen måte fundamentalt nytt og oppstår ikke som en egen retning, den er et resultat av alt som har gått galt, lagd av folkene som ødela alt. Det kommer ikke til å gå godt.

La meg ta dere tilbake til en lystigere tid, en tid der framtiden så virkelig mye lysere ut, ihvertfall for mine unge øyne. Jeg fikk en konto på Internett av Universitetet i Oslo i 1994. Nettleserne har et valg der man kan gjøre “View Source”, som gjør at man kan se hvordan nettsiden er bygd opp og opplevelsen av at man kunne se hvordan folk lagde ting og forstå det, ja, jeg forsto det, jeg kunne bygge min egne ting. Jeg kunne dele med verden, og vi kunne dele med hverandre.

Jeg så også raskt at standardene ble utviklet i åpne miljøer. Man kunne skrive seg på en e-post-liste og dele ideer, diskutere andres ideer og få forståelse for hvordan man utvikler standarder. Jeg var med på en rekke slike. Det var en tid da teknologiutvikling foregikk åpent med mulighet for å delta.

Det var ikke det at de ikke fantes en tydelig mørk side. En av disse mørke sidene kastet jeg meg hodestups inn i da jeg startet hjemmesidene til foreningen Skepsis i 1996. Jeg var også i diverse nettfora der folk snakket om de merkeligste ting. Selv om jeg syntes de hadde veldig rare ideer var det likevel lett å forstå at de var mennesker, de også. Kanskje derfor ble den mørke siden enda mørkere siden jeg så den sentralisering av makt som var i ferd med å skje. Richard Stallman sitt essay “Right to Read” fra 1997 fanger denne tidsånden godt. Selv om det ikke er så velskrevet science fiction, er det egentlig skummelt realistisk.

Men den som traff aller best når det gjaldt å forutsi framtiden var kanskje den berømte astronomen Carl Sagan. I sin bok “A Demon-Haunted World” skrev han i 1995:

I have a foreboding of an America in my children’s or grandchildren’s time — when the United States is a service and information economy; when nearly all the key manufacturing industries have slipped away to other countries; when awesome technological powers are in the hands of a very few, and no one representing the public interest can even grasp the issues; when the people have lost the ability to set their own agendas or knowledgeably question those in authority; when, clutching our crystals and nervously consulting our horoscopes, our critical faculties in decline, unable to distinguish between what feels good and what’s true, we slide, almost without noticing, back into superstition and darkness. The dumbing down of America is most evident in the slow decay of substantive content in the enormously influential media, the 30 second sound bites (now down to 10 seconds or less), lowest common denominator programming, credulous presentations on pseudoscience and superstition, but especially a kind of celebration of ignorance. As I write, the number one video cassette rental in America is the movie Dumb and Dumber. Beavis and Butthead remains popular and influential) with young TV viewers. The plain lesson is that study and learning — not just of science, but of anything — are avoidable, even undesirable.

We’ve arranged a global civilization in which most crucial elements — transportation, communications, and all other industries; agriculture, medicine, education, entertainment, protecting the environment; and even the key democratic institution of voting — profoundly depend on science and technology. We have also arranged things so that almost no one understands science and technology. This is a prescription for disaster. We might get away with it for a while, but sooner or later this combustible mixture of ignorance and power is going to blow up in our faces.

Det var en slik forståelse av verden som gjorde at jeg begynte med Skepsis i utgangspunktet. Det er viktig da å forstå at massemediene var skikkelig dårlige. De har blitt langt bedre nå, men da var de svært uetterrettelige når det kom til naturvitenskap. I denne perioden opprettet også professor i kjemi Martin Ystenes ved NTNU sin “Sprøytvarsler”-blogg.

“Men på Internett er det ikke dem, det er bare et veldig stort oss“, skrev den svært gode science fiction-forfatteren Douglas Adams i 1999 (Mest kjent for “Hikerens guide til galaksen”). Å, jeg elsket det essayet. Jeg gjør det egentlig fortsatt, fordi jeg så veldig unner barna mine å få leve i en verden så naiv som det Douglas Adams beskrev. Ikke fordi den var slik da, men fordi verden burde gå framover slik at den blir slik.

Essayet peker på de mange moralpanikkene som drev debattene. Det peker på at det viktigste vi vant var interaktivitet. Vi kunne publisere, vi kunne møte andre mennesker, vi kunne forstå dem og de kunne forstå oss. Vi kunne bygge ting som veldig mange mennesker kunne ha nytte av. Essayet påpeker at teknologien allerede var sosial, der mobiler ble vanlige, ble SMS en viktig måte å være sosial på. For oss som opplevde dette var det så uendelig verdifullt, det var en måte å være sosial på som styrket menneskelige bånd. Jeg hadde venner i bryllupet mitt jeg hadde møtt på IRC. Vi har fortsatt kontakt.

I disse sosiale mediene kunne jeg møte noen som mente jeg var med på en konspirasjon for å ta over verden. Det at jeg mente at vi ikke hadde romvesener rundt oss var uttrykk for at jeg var med på denne konspirasjonen, sa dem. Men jeg kunne prate med dem og etablere en felles forståelse. Jeg klarte kanskje ikke å overbevise dem om at en konspirasjon ikke fantes, men jeg kunne overbevise dem om å at den ondskapen de så ikke fantes, og jeg kunne forstå at det fantes en vond bakgrunn for deres tro.

Det gikk ikke like bra overalt. En del av nettet som kom før Webben het USENET, som var delt opp i titusenvis av tematiske grupper. En av disse gruppene var alt.fan.pooh, som var dedikert til fans av Ole Brumm. Man skulle tro at Brumm-fans var de fredeligste av alle mennesker på planeten, men denne gruppa brøt stadig ut i kriger over om Disney-brumm var ekte saker. Jeg er ikke i tvil om at mediet har mye å si for hvor godt dialogen fungerer og USENET var ikke spesielt godt egnet. Men min andre erfaring var at det er mulig å skape broer.

Men da måtte vi ha en kritisk debatt som var både effektiv, brobyggende og opplysende. Erfaringen fra 1997 ble at problemet ikke var å få informasjon ut, det var ikke fakta som betydde all verden. Det handlet om å få kunnskap inn i lukkede sinn. Og dermed måtte man forstå hvorfor de var lukket, men det var en problemstilling som ble for vanskelig. Jeg begynte derfor å tenke på en løsning der vi kategoriserte artikler i forskjellige områder og der vi kunne tydeliggjøre hva som var kritikk eller støtte til hva. Tanken var at nettleserne kunne komme med en liten linje som fortalte at de du så på var kritisert av en artikkel på et helt annet sted på nettet, eller at søkemotorene kunne gjøre det samme. Jeg satte opp en e-post-liste der en løs gruppe drodlet litt rundt disse ideene. Men først måtte jeg gjøre ferdig mitt hovedfag i teoretisk astrofysikk. Jeg fikk litt penger til det av Skepsis, og i mellomtiden hadde andre også fått liknende ideer. Vel, man kan vel si at det var overambisiøst og langt foran infrastrukturen som kunne ha hjulpet det opp. Vi er nå i 2002-2003.

Internett vokste gjennom denne perioden, og det betyr at det var tross alt få som var på nett i perioden og totalt sett få som fikk oppleve det jeg gjorde. Dessverre tror mange at Facebook var starten på sosiale medier. Det preget også forskningen, man etablerte omtrent ingen akademisk forståelse for det jeg opplevde, og først i 2005, altså året etter at Facebook kom, etablerte Forskningsrådet VERDIKT-programmet der sosiale nettverk var et av tre hovedtema. Forskningen kom altså ikke i gang før alle kamper var tapt, den kom når den virkelige interaktiviteten vi hadde ble redusert til posering og brubyggingen var avsluttet, og sentralisering av makt i noen få selskaper var etablert.

Likevel hadde jeg troen på kraften i sosiale medier. Jeg jobbet et par år på My Opera Community, som var Opera Software sitt forsøk på å lage sosiale medier. Jeg prøvde å overtale ledelsen til å la det få ta en annen retning: I stedet for et sentralisert sosialt medium, skill dataene fra applikasjonen slik at hvem som helst kan bygge sin del, og så kan vi heller prøve å gi den beste brukeropplevelsen til dette. Jeg hadde ikke tro på at vi ville kunne konkurrere når det var kjemper på vei opp med enorme mengder penger, som MySpace på den tiden. Jeg fikk oss invitert inn i et stort forskningskonsortium for å jobbe med dette, men ledelsen var ikke interessert.

Det er ikke lett å gi opp en ide som har satt så dype spor i en. Det var ikke før i 2007 at jeg virkelig ga opp troen på at datidens sosiale medier kunne endres til å bli noe bra.

Men la oss gå tilbake til Douglas Adams sitt essay. For meg som var 21 år gammel da jeg først lagde en hjemmeside var det lett å glise gjenkjennende til hans tre regler for hvordan man forholder seg til oppfinnelser:

  1. alt som finnes i verden da du blir født er bare normalt;
  2. alt som blir funnet opp mellom da og før du fyller 30 er veldig spennende og kreativt og med litt flaks kan du lage en karriere av det;
  3. alt som blir funnet opp etter at du blir 30 er mot naturens orden og begynnelse på slutten av siviliasjonen som vi kjenner den, til det har vært der i rundt ti år, da det begynner å bli greit likevel.

Når jeg hører folk (som digitaliseringsministeren) snakke om AI i dag, så ser jeg den entusiasmen som ligger i punkt 2. Jeg ser at den entusiasmen jeg følte for Webben og de tidlige sosiale nettverk. Så er det bare det at jeg nå har havnet i punkt 3 på grunn av alderen?

Dagens sosiale medier har vært her i 20 år, og har ikke blitt greit. La meg fortelle om Hossein Derakhshan. Derakhshan kommer fra Iran og startet en bevegelse med blogging. Han fikk i gang en samfunnsdebatt som landet så sårt trengte og som det ikke var plass til noen andre steder. Han bodde i Kanada, men flyttet tilbake til Iran for å være nær folkene han brydde seg om og skrev om. I 2008 ble han arrestert og dømt til nesten 20 år fengsel. Han ble frigitt i 2014. På siden av historien med undertrykkingen i Iran skrev han om hvordan Webben endret seg på de 6 årene han satt inne. Som han noterte, skrollingen vi driver med i dag er ikke virkelig sosial. Vi har mistet mye av den virkelige interaktiviteten vi hadde med den tidlige Webben.

Det skjedde nesten umerkelig for det fleste av oss, men det var akkurat det som gjorde meg så lei meg da jeg til slutt ga opp. Først nå begynner samfunnet å se det, men fordi så få har opplevd hvordan en sosial Web virkelig kan være, så er det en generell backlash for sosiale medier og ikke et forsøk på et etablere noe bra.

Vi har mistet den verdien som Douglas Adams så i 1999, og derfor tror jeg at han ville vært enig med meg i at det er ikke bare meg som har blitt gammel. Det er faktisk slik at dette har vært med oss i 20 år og har blitt noe helt annet enn greit. Tiktok er så dårlig at barna min skulle ønske at det ikke eksisterte selv om noen av dem bruker det hver dag.

En som også viste at det kunne bli bra er den berømte psykologen Martin Seligman. I boka Flourish skriver han om et møte med store teknologiselskap i 2010, deriblant Facebook. Han skriver at han sa (lett omskrevet): “slik det står nå så kan Facebook faktisk være i gang med å bygge fire av elementene i well-being: positive følelser, engasjement, positive relasjoner og prestasjon. Det femte elementet må dere jobbe med, i det narsissistiske miljøet på Facebook haster det å bygge noe for å kjenne at man er med på noe større enn seg selv, finne en mening”. Facebook valgte å gjøre det motsatte, selvfølgelig.

Sosiale medier kunne blitt noe som er virkelig bra for menneskers well-being, det kunne bygd bruer for å dempe konflikt, det kunne forbedret offentlig debatt, det kunne bidratt til å dempe informasjonsforurensing, det kunne ha ført mennesker nærere hverandre, både ved å gjøre at vi kommer fysisk sammen der det er mulig og virtuelt der det blir for vanskelig.

Joda, til en viss grad har det også gjort det, men til en mye mindre grad enn det kunne. Vi har hele veien gjort valg som har ført oss kollektivt inn i denne krisesituasjonen vi er i nå. Det er kun menneskeskapte ting her, dette er resultat av aktive valg, ikke naturlover.

Det skjedde noe spennende i 2009, da Elinor Ostrom fikk “Nobelprisen” i økonomi. Jeg skal innrømme at min førstereaksjon var at utvikling av “commons” eller allmenninger på norsk var noe programvaremiljøet hadde drevet med i årtier, ja, det er jo dette som ligger bak “Open Source”, som i dag omfatter det aller meste av programvare. Men der holdt jeg på å miste et stort poeng. Mennesker har holdt på med dette i tusener av år, og har blitt skikkelig gode på det. Det har kommet på moten å snakke om “tragedy of the commons”, at alle bare er egoistiske aktører som ødelegger for felleskapet, men Ostrom viste at det er unntaket, at hovedregelen er at mennesker er flinke til å organisere seg rundt allmenninger. Det å skrive “open source” eller fri programvare er noe jeg har drevet med i siden 1995.

Egentlig tok jeg et skritt vekk i 2010 da jeg begynte på en ph.d. i informatikk ved Universitetet i Oslo. Jeg kjente på at det ikke var så mye mer IT-industrien som jeg da egentlig hadde jobbet i 8 år, kunne gjøre. Men også her var den enkleste veien å gå en vei mot sentralisering av makt. La meg ta dere tilbake til en akademisk konferanse i 2012, der en ledende forskergruppe presenterte “Learning from the History of Distributed Query Processing: A Heretic View on Linked Data Management”. Bakgrunnen er at en del akademikere, meg seg inkludert, hadde argumentert for at mange ting ville bli enklere om man ikke sentraliserte data, men holdt det under kontroll av organisasjonene som uansett var nærmest dataene. Dette var det dominere synet, såpass sterkt at de følte for å kalle arbeidet sitt kjettersk. Jeg har alltid likt en god kjetter, og det gjorde visst resten av publikum også, kommentarene i ettertid var stort sett for å takke forfatterne for å endelig ha sagt det mange hadde tenkt.

Men min motivasjon var helt anderledes: De sosioteknologiske følgende av sentralisering, for demokrati, for skaperevne og for menneskers frihet er så store og alvorlige at vi må få til desentralisering på tross av at det er teknologisk vanskeligere på alle mulige måter. Da jeg senere møtte lederen for denne forskergruppen under et Dagstuhl-seminar klarte jeg å overbevise ham om at dette gjør det til et viktig mål for forskning. Min ph.d. er derfor motivert ut fra sosiale, og ikke teknologiske mål.

Blant disse mål er også å sørge for at man ikke skal måtte oppgi mer data om seg selv enn strengt tatt nødvendig. Forløperteknologien relasjonsdatabaser (som fortsatt er svært vanlig) består av tabeller og databasene liker ikke at det er felter i tabellen uten noe i. Teknologien jeg jobbet med tar et oppgjør med dette og legger til rette for at man like greit skal jobbe med data med hull. I personvernforordningen GDPR prøvde EU å legge inn et prinsipp om “dataminimering”. Dataminimering fører til at man kommer til å få hull i dataene, men har blitt et av de mest ignorerte prinsippene i GDPR, ikke minst fordi maskinlæringsfolkene ikke liker “hull i tensorene”. De problematiserer voldsomt rundt det og påstår gjerne at “teknologer ikke liker dataminimering” og at det er “bare sånn teknologien er”. Ikke hør på dem, de som sier sånt forsvarer bare et teknologisk hegemoni som er skapt av nøyaktig dem som ødela sosiale medier.

Men la meg bli litt lystigere en kort stund: Min karriere tok en veldig spennende vending da jeg fikk vite om at “noen folk i Boston” drev med en startup rundt Solid, et prosjekt jeg allerede kjente ganske godt, faktisk var mye av det jeg gjorde helt fra da jeg oppdaget RDF relevant. Jeg ble første ansatte i Inrupt i juni 2018, og folkene bak var blant andre Tim Berners-Lee, som er kjent som han som fant opp Webben. Jeg hadde møtt ham flere ganger i årene før også. Det første halvannet året var Inrupt det mest stimulerende miljøet jeg har vært i i min karriere. Tim ble utropt til “Boldness in Business person of the year” av Financial Times, en artikkel som beskriver veldig godt hva vi trodde på. Min jobb beskrives der også, “å skrive ned ting på en veldig tydelig måte”. Jeg er fortsatt litt involvert i noen av disse dokumentene, det mest sentrale er protokollen som ligger under hele teknologien. Vi var tilbake til den tiden der alt kunne gjøres i offentligheten og folk kunne involvere seg, men med 20 års erfaring og ph.d. i feltet satt jeg nå på toppen av det hele. Det var en litt rar opplevelse. Medier og politikere er ekstremt opptatt av celebritet, det er bare celebriteter som blir spurt om å uttale seg, og som faktisk kan påvirke politikken. Med dette fikk jeg også litt av celebritetens lys på meg. Det resulterte blant annet i et intervju i Dagsavisen. Det er spesielt å se tilbake på nå, fordi jeg trodde på det jeg sa. Jeg hadde internalisert selskapets budskap. Jeg trodde virkelig at hvis vi ga folk tilbake kontrollen over egne data ville en revolusjon følge.

Det tror jeg ikke lenger. Jeg tror ikke på noen enkelttiltak lenger, det er ytterst komplekst, men det jeg er helt sikker på er at vi mangler samfunnsinstitusjoner for å takle det.

Det kom inn et lag med mellomledere i selskapet, og de hadde helt andre ideer om åpenhet. For dem var det kun et skalkeskjul for å sette agenda selv og styre teknologiutviklingen helt og holdent på selskapets premisser. De diskusjonene som vi hadde hatt åpent ble flyttet inn bak lukkede dører. Det var ingenting nytt og ingen virkelig innovasjon i dette, det handlet bare om makt. Bisart nok ble forretningsmodellen å selge en server, mens min jobb, å skrive klart og tydelig hvordan ting skal fungere vil gjøre det enkelt å lage en sånn. Hvis jeg gjorde jobben min bra ville f.eks. Amazon enkelt utkonkurrere min arbeidsgiver. Dermed ble det sånn at min egen arbeidsgiver prøvde å underminere jobben jeg gjorde på alle mulige måter for å bedre sin egen konkurransesituasjon, samtidig med at de kommuniserte utad at de var så åpne. Commonswashing kalles det. Med tiden har ideen om at enkeltpersoner skal kontrollere sine egne data egentlig forsvunnet, forsøkene på å balansere teknologiselskapenes makt og desentralisering likeså.

Det som kunne ha reddet situasjonen der og da var en ny type samfunnsinstitusjon som kunne ha gått inn direkte med utviklingsressurser i økosystemet, da kunne vi ha balansert makten direkte ved å ha implementasjonskapasitet, vi kunne gjort det helt klart at lukkede strategier ikke ville tolereres og vi ville visst når det skjer. Politikerne er forståelig nok redd for å gjenta Quaero-fiaskoen, men den angsten bør ikke stoppe nye institusjoner satt opp som et selskap i reell konkurranse (man bør heller være skeptisk til ting som European Data Spaces, som er satt opp mye likere Quaero-konsortiet). Nøkkelen er å skape reelle økosystemer, ikke å etablere konkurrerende plattformer. Det vi først og fremst mangler er en tilstrekkelig forståelse for hvordan økosystemene bør fungere, men det hjelper ikke at ingen har mulighet til å prøve å skape dem.

Så lenge vi ikke har dette klart vil ikke innføringen av AI gå noe bedre. Det vi tenker på som AI i dag er et ektefødt barn av overvåkningsøkonomien og ekstraktivismen. Her er det maskiner som henter ut verdier av andres arbeid. Nå må vi ikke falle i fella med sentralisering av makt igjen, fordi det vil kun styrke de samme kreftene, og jeg er redd det er dit vi er på vei.

Men når det gjelder AI, så er det mulig jeg bare er i punkt 3 igjen. Mitt felt var nemlig i utkanten av AI-feltet, men for å forstå det litt bedre må vi tilbake til en rekke bøker av Hubert Dreyfus på 60 og 70-tallet, der han kritiserte en form for AI som antok at vi kunne ha symboler om alt og at vi kunne manipulere disse symbolene for å lage kunstig intelligens. Dagens maskinlæring har til en viss grad frigjort seg fra disse antakelsene mens min retning tenkte mer “greit nok, Dreyfus hadde mye rett men hvilke nyttige ting kan vi likevel gjøre hvis vi bare styrker menneskeheten slik at alle kan bidra”. Jeg for min del har aldri hatt kunstig intelligens som mål (hva er intelligens anyway?), men jeg tror vi kunne gjort mye bra på denne måten med en veldig liten brøkdel av ressursforbruket som den galskapen av AI krever i dag. Jeg tror heller ikke det ressursforbruket kommer til å være greit nok om 10 år. Jeg føler at vi har lagt ned et forskningsfelt basert på samhandlingen mellom menneske og maskin, for heller å kaste enorme mengder av jordas energi- og mineralressurser på problemet i stedet, med lite ide om hva vi faktisk vil få ut av det.

Så, hvor står vi nå? Jeg leste en gang en diskusjon (husker ikke hvor) rundt de amerikanske tenkerne som la grunnlaget for USA, og om kontrasten mellom deres tanker om likhet mellom mennesker og viktigheten av frihet, samtidig som slaveriet var påtakelig fraværende fra diskusjonen. De manglet tilsynelatende kreativitet nok til å se for seg at samfunnet kunne utvikle seg uten slaveri. Man ga slavene mat så de kunne bruke 100 watt til å opprettholde livet og dermed kunne man ekstrahere enda 100 watt arbeid. Slaveriet måtte oppgis på moralske kvaler lenge før man faktisk hadde en erstatning, men den industrielle revolusjon kom med sine maskiner og vevstoler og dampmaskiner som kunne gi langt høyere effekt. Det var mye som gikk galt i den industrielle revolusjon også, men det ga løsninger som tenkerne 100 år tidligere ikke kunne forestille seg.

Jeg føler at samfunnet er i en liknende kreativitetskrise i dag. Vi klarer ikke å se for oss et samfunn uten Big Tech. Vi klarer ikke se for oss et lavkarbonsamfunn heller. Og vi våger oss ikke utpå uten å ha alternativene klart og tydelig på plass. Men fordi vi kollektivt mangler forestillingsevnen, så prøver vi heller ikke. Dystopiene er så lett å skrive, men denne gangen ønsker jeg ikke å skrive om dem, heller peke på at jeg tidligere har skrevet om hva vi bør få til.

Når Sagan påpekte at kunnskapen sitter hos de få skulle jeg ønske at jeg kunne si at det ikke er riktig. De få som innehar denne kunnskapen bruker gjerne dette til å påstå at de har en legitim makt, deres kunnskap gir dem denne makten. Dette er en ideologi jeg tar avstand fra på det sterkeste, det er nemlig den som er årsaken til mange av våre problemer. Men det er riktig at kunnskapen sitter hos de få, det er ikke til å komme unna, og det absolutt mest kritiske vi må gjøre er å sørge for at dette ikke lenger er sant.

Problemet er tildels denne ideologien, men også helt vanlig business strategy. Man har et rammeverk som heter VRIN/O og der bør man se om man kan ha noe som er sjeldent og ikke så lett å imitere. Det er åpenbart at programvareselskaper er kunnskapsbedrifter, og det betyr at man selvfølgelig søker å ha eksklusiv kunnskap. Og dermed havner kunnskapen helt naturlig hos de få. Det er ingen stor konspirasjon bak det, ingen reinspikka ondskap. Bare helt vanlig business strategy. Men når det betyr at kunnskapen om teknologi som skaper normer i samfunnet er i en bedrifts eksklusive eie, så går det galt. Da må samfunnet finne en annen modell.

Og det er nettopp den modellen jeg prøver å skrive om både her, i kronikker og på Normative Technologies. Og det er her alle trådene egentlig bindes sammen. Selv om vi har vært ganske gode til å lage meritokratiske styringsmodeller for fri programvare, så har vi aldri klart å lage styringsmodeller som faktisk gir en demokratisk forankring. Så her slutter altså historien, for jeg er sikker på at det er slik vi må finne ut av for framtiden, både for å sikre politisk styring med normdannelse og fordi vi må få kunnskapen ut av hendene til de få. Det at Ostrom viste hvordan vi kan lage styringsmodeller gjør at vi i framtiden må snakke om Digital Commons.

Hvorfor algoritmetilsyn ikke vil virke og hva vi bør gjøre i stedet

Året er 1991 og skolen min har i løpet av sommeren fått mange fine PCer på datarommet. Men, data-læreren min er frustrert, det er allerede langt utpå høsten, og den andre data-læreren på skolen som har ansvaret for å installere anti-virus på maskinene har ikke gjort det. En dag kommer læreren vår til meg og en kamerat og sier “gutta, kan dere gjøre noe for å få satt fart i han andre fyren?”

Joda, det skulle det vel bli en råd med. Så, han låste oss inn på datarommet i en midt-time, og på den tiden gjorde vi et aldri så lite hack. Vi lagde et program som gjorde at etterhvert som man skrev på tastaturet tok det lenger og lenger tid før maskinen oppfattet tastetrykkene. Først var det nesten umerkelig, men når man hadde skrevet 1000 tegn var forsinkelsen ett sekund, og da var det allerede blitt veldig plagsomt. Så erstattet vi et av programmene som maskinen startet automatisk når den ble slått på, og passet på å legge inn mye uvirksom kode som gjorde vårt program tilforlatelig likt det vi erstattet, som ble kjørt etterpå.

I dag ville dette lett blitt oppdaget av anti-virus og “intrusion detection environments”, men datidens anti-virus var avhengig av å kjenne igjen kjente mønstre, og klarte ikke å gjenkjenne programmet vårt, så det ble aldri oppdaget. Men det virket etter sin hensikt, maskinene ble re-installert med anti-virus, og vi fikk en high five fra læreren vår, men meg bekjent er det første gang historien fortelles.

Og grunnen til at jeg forteller den nå er at EU legger opp til et omfattende inspeksjon og revisjons-regime i flere deler av sin lovgivning, og her hjemme har flere gått inn for et algoritmetilsyn for å sørge for at teknologiselskapene følger lovgivningen. Jeg er positiv til tilsynsfunksjoner, men jeg er ganske sikker på at hvis et teknologiselskap prøver å skjule sine svin på skogen, så vil ikke et slikt tilsyn kunne oppdage det.

Eksempel på en algoritme

Det skrives mye om algoritmenes makt, men ofte får jeg på følelsen at mange ikke helt vet hva det er. Det er ikke så vanskelig, vi kjenner alle sammen noen algoritmer, vi lærer dem til og med på barneskolen. Ta for eksempel hvordan man legger sammen to heltall. Vi setter tallene opp over hverandre, ikke sant?

Og så begynner vi bakerst, og legger sammen sifferne på enerplassen. Hvis den resulterende summen er større eller lik 10, deler vi opp tallet, og tar det bakerste sifferet, det blir resultatet på enerplassen, mens 1-tallet først legges sammen med summen av sifferne på tierplassen. Og så gjør vi det samme igjen og igjen helt til det ikke er flere tall igjen å legge sammen.

Så, det er et eksempel på en algoritme vi stadig bruker i hoderegning. For at en datamaskin skal kunne hjelpe oss med utregningen, må dette oversettes til et språk datamaskinen forstår. Nå er det sånn at jobben gjøres av den fysiske prosessoren din, men nå skal vi late som vi må gjøre dette selv. Snart kan det hende språkmodeller kan gjøre denne jobben også, men foreløpig lar vi det gå igjennom noen skritt, der vi skal se på det første. Det er mange programmeringsspråk å velge mellom, men jeg skal bruke JavaScript, fordi det kjører i alle nettlesere.

En ærlig heltallskalkulator

Her er det en enkel kalkulator. Den tar bare heltall og kan bare plusse to tall, men den bruker en implementasjon av algoritmen vår:


+
=

Bare prøv den! Se at den funker! La oss se på den faktiske koden som kjører i dette tilfellet. Hvis du ikke er vant til å se på kode, er det helt greit, jeg skal forklare under.

function run1()
{
	var ledd1 = document.getElementById("f1part1").value;
	var ledd2 = document.getElementById("f1part2").value

	var alle_siffer1 = ledd1.split('');
	var alle_siffer2 = ledd2.split('');

	var resultat;

	var siste1 = parseInt(alle_siffer1.pop());
	var siste2 = parseInt(alle_siffer2.pop());

	while ((! isNaN(siste1)) || (! isNaN(siste2))) {
    	if (isNaN(siste1)) {
        	siste1 = 0
    	}	
    	if (isNaN(siste2)) {
        	siste2 = 0
    	}
    	var del_resultat = siste1 + siste2;
    	siste1 = parseInt(alle_siffer1.pop());
    	siste2 = parseInt(alle_siffer2.pop());
    	if (del_resultat >= 10) {
        	del_resultat = del_resultat.toString().split('').pop();
        	siste1 = isNaN(siste1) ? 1 : siste1 + 1;
    	}

	    resultat = [del_resultat, resultat].join('');

	}
    
	document.getElementById("f1answer").value = resultat;
}

Altså, alt er i en funksjon som kjøres når du trykker “regn ut”. Linje 3 og 4 henter teksten (formodentlig tall) du har skrevet inn, og gir dem et navn. Linje 6 og 7 deler dem opp. Linje 9 gjør bare klar for å ta vare på resultatet. Linje 11 og 12 er den egentlige starten på algoritmen vår, der tar vi det siste tegnet fra teksten du skrev inn og gjør dem om til et ordentlig heltall, ikke bare en tekst. Og så begynner vi på runden i linje 14, altså “så lenge det finnes noe som ikke er ikke et tall på en av leddene…”. Det er nå man må holde tunga rett i munnen. I linjene 15-20 sjekkes det om vi har et tall. Hvorfor må vi gjøre det? Jo, fordi tallene du skrev inn kan ha forskjellige lengde (og ja, ting kan gå veldig galt her). Og så legger vi sammen de to sifferene i linje 21, før vi igjen i 22 og 23 gjør om neste tegn til et tall. Linjene 24-26 passer på at vi får med tier-overgangen. Linje 29 lager igjen en tekst av resultatet, og linje 33 sender det tilbake til skjemaet over.

OK, så vi ser at det var ganske mye mer involvert i å implementere algoritmen enn å skrive den på prosa. Mye mer tunga rett i munnen, og mange flere steder man kan gjøre feil. Nå vil man jo ikke skrive akkurat denne algoritmen i praktisk bruk, men man må passe på mulige feilsituasjoner. Man må også ta høyde for om brukeren er dum eller slem, og skriver bokstaver i stedet for tall. Koden over gjør ikke den delen av jobben. Og det er koden som kjører, ikke algoritmen som skrives kan skrivers på prosa. Så, det er hovedsakelig koden det må føres tilsyn med, ikke bare algoritmen.

Legg til en dæsj ondskap

OK, så hva om vi gjør dette:

function run2()
{
	var ledd1 = document.getElementById("f2part1").value;
	var ledd2 = document.getElementById("f2part2").value

	var alle_siffer1 = ledd1.split('');
	var alle_siffer2 = ledd2.split('');

	var resultat;

	var siste1 = parseInt(alle_siffer1.pop());
	var siste2 = parseInt(alle_siffer2.pop());

	while ((! isNaN(siste1)) || (! isNaN(siste2))) {
    	if (isNaN(siste1)) {
        	siste1 = 0
    	}	
    	if (isNaN(siste2)) {
        	siste2 = 0
    	}
    	var del_resultat = siste1 + siste2;
    	siste1 = parseInt(alle_siffer1.pop());
    	siste2 = parseInt(alle_siffer2.pop());
    	if (del_resultat >= 10) {
        	del_resultat = del_resultat.toString().split('').pop();
        	siste1 = isNaN(siste1) ? 1 : siste1 + 1;
    	}

	    resultat = [del_resultat, resultat].join('');
		if (resultat == '42') {
			resultat = 17;
		}
	}
    
	document.getElementById("f2answer").value = resultat;
}

Hva har skjedd her, sånn bortsett fra at noen navn har fått tallet 2 der det forrige eksemplet hadde 1? Jo, se på linje 30-32. Jeg har lagt inn kode som gjør at når svaret skulle vært 42, så blir det 17 i stedet. Bare prøv det selv, legg inn noe som blir 42 til sammen:


+
=

Den som skriver koden har makta! Man kan manipulere brukeren på alle måter, man kan underminere brukerens tillit (denne koden kjører faktisk på din enhet), og man kan manipulere andre som vekselvirker med et system. Det er helt avgjørende å forstå hva man kan stole på og hva man ikke kan stole på.

Det blir egentlig bare verre. Prøv å la et av tallene du skriver inn ha et 7-tall i seg. Hva skjedde nå? Jo, hver eneste linje i programmene du ser kan gis en annen mening enn du forventer. I dette tilfellet har jeg overstyrt funksjonen som konverterer tegnene du skriver inn til heltall, og gjort at den trekker fra litt… Jeg introduserte altså en systematisk feil.

Systematiske feil lagt inn med vilje

Det er varierende hvor lett det er så skjule slik ondskap. I JavaScript er det faktisk ikke så lett, men det kan være gode grunner til at det kan være lett. Mekanismer for å skjule slike ting kan også gjøre koden mer lesbar.

I 1984 fikk Ken Thompson Turing-prisen, “informatikkens nobelpris”. I sitt foredrag presenterte han en kort artikkel med tittel “Reflections on Trusting Trust”. Det er en artikkel man kan brekke hjernen sin på, og jeg har ikke forstått detaljene, men han viser en teknikk for å skjule en bakdør inn i kode som er veldig, veldig vanskelig å oppdage. I koden over, er alt helt oppi dagen, jo dypere man kommer, jo vanskeligere er det å oppdage. Det vil ikke være vanskelig å lage en bakdør som kun et lite antall i selskapet kjenner til hvis man har et stort system.

Siden Thompons artikkel har man utviklet en rekke teknikker for å verifisere at koden ikke gjør skumle ting, men spørsmålet er om det holder. Angrepsformen er også modernisert til å gjelde moderne maskinlæring.

Jeg skal innrømme at dette ikke er helt mitt felt, men når man først tenker som meg, så tenker man alltid på mulige angrep. Vi må skille mellom situasjonen der de som skaper teknologien er snille og angriperne kommer utenfra, fra situasjonen der selskapet som skaper teknologien er den som prøver å føre folk bak lyset. Spesielt når det er en mer ressurssterk organisasjon som har langt dypere kunnskap om systemet. Jeg tror vi skal klare å håndtere den første situasjonen og få tilstrekkelig sikkerhet der. Men i de siste tilfellet tror jeg ikke tilsynsmyndighetene kommer til å ha særlig stor suksess.

Volkswagens Dieselgate

Vi har vært borti en slik situasjon for litt siden. Allerede i 2011 oppdaget EU at Volkswagens dieselbiler hadde altfor store emisjoner, og advarte mot “defeat devices”, altså systemer som kunne lure testen som ble brukt til å måle avgassene. Etter at flere hadde sett det samme, slo både europeiske og amerikanske myndigheter det fast i 2015 at det fantes systemer i bilene som lurte testen. Først i 2017 klarte forskere å finne den faktiske koden. Dette tok dem et helt år, på tross av at de hadde tilgang til koden, og det ikke var brukt noen avanserte teknikker, bare at den brukte andre navn om hva den gjorde enn hva som faktisk skjedde.

Man må gjøre aktivt review

Dette illustrerer hvor vanskelig det er å komme inn i kode og se etter ugler i mosen. Det er svært vanlig at man har utviklingsprosesser der man gjør kontinuerlig “review” av all kode før den går inn i kodebasen. Å gjøre review innebærer at man går gjennom ny kode og gjør seg selv sikker på at man forstår hva den gjør. Ofte vil et ordentlig review gjøre at man skriver en lengre tilbakemelding og ber om større endringer. Man utsetter den også for automatiske tester slik at man vet godt hva koden gjør. Jeg har selv både gjort review, lagd rammeverk for automatiske tester og skrevet en masse tester. Jeg liker å skrive tester først for å være sikker på at jeg forstår hva koden skal gjøre. Min erfaring er at for å kunne gjøre et godt review bør man være involvert i koden jevnlig, helst på daglig basis. Hvis man skal kunne oppdage at noen gjør slemme ting og prøver å skjule det, så er det helt nødvendig at man er inne på daglig basis, og helst ikke bare ved å gjøre review, man bør aktivt utvikle i systemet. Du bør gjøre review av andres kode, og de bør gjøre review av din, og alt må testes hele tiden, og man må ha automatiserte tester for alt. Bare slik får man god kode. Bare så god kode og slik praksis vil kunne gjøre at tilsynsmyndigheter har en sjanse. Skulle europeiske tilsynsmyndigheter gjort denne typen review, måtte man ha titusenvis av ansatte. Selv da er det et spørsmål om man klarer å ha nødvendig avstand mellom utvikler og revisor, når disse måtte jobbe sammen til daglig.

Sorte svaner og overflatekonsekvenser

I likhet med dieselgate kan man gjøre inspeksjon ved ikke bare å sjekke kode, men også sjekke hvilke konsekvenser koden har. I dieselgate oppdaget man først altfor store emisjoner. Det er et meget stort felt som driver med dette, og man utvikler “benchmarks” som skal prøve å identifisere mulige problemer. Jeg mener denne tilnærmingen har ganske lite for seg, det kan være helt andre ting som er problematisk enn det man forestilte seg da man lagde benchmarken. Benchmarking er sjelden god vitenskap. Man kan ikke bevise at det ikke finnes en julenisse på nordpolen med et reinsdyr som har rød nese, og slik kan man aldri være sikker på at man har truffet den faktiske skurkestreken. Man kan heller ikke slutte av at alle svaner er hvite selv om man aldri har sett noe annet.

Kunnskapsskjevhetens betydning

Det er klart at en tilsynsmyndighet kan komme inn og sjekke at man følger god praksis. Man kan bruke moderne teknikker for å prøve å kryptografisk sikre at koden man ser er den som faktisk kjøres. I en situasjon der man har balanse mellom kunnskapen tilsynsmyndighetene besitter og teknologiselskapene besitter kan det kanskje hende det kunne fungert.

Det er enklest å lage en forretningsmodell hvis man har eksklusivitet. Du må ha en konkurransefordel, noe som ikke konkurrentene dine har. Så, mesteparten av IT-industrien er bygd rundt det, og det man som oftest har eksklusivitet på er faktisk ikke selve programvaren, men kunnskapen som er bygd inn i den programvaren. Det er ikke alltid problematisk, men det blir veldig problematisk når den programvaren setter normer for hvordan samfunnet vårt fungerer. Da blir det giftig fordi da er det teknologiselskapet som bestemmer normene, uten demokratisk mandat. Det er etter min oppfatning hovedgrunnen til at teknologiutviklingen har gått så galt. Kunnskapsskjevhet er et grunnlagsproblem, ingen tilnærminger som ikke løser dette problemet vil ha ønsket effekt.

Så, vi er veldig langt fra en situasjon der det er balanse mellom myndigheter og selskaper. Vi er veldig, veldig langt fra det. Inspeksjon- og revisjonsregimet er ikke løsningen på dette problemet, selv om EU later til å tro det. Dette er problemet som må løses før tilsynsmyndigheter kan ha betydning. Så hvordan gjør vi det?

Den digitale allmenningen er redningen

Det finnes en annen måte å utvikle programvare og standarder på. Den utgjør faktisk det meste. Det er basisen for Android og iOS, for webservere og datasentre, og for maskinlæring. Den består også av nesten alle standardene som brukes i ditt dagligliv, og man finner mye åpne data i den. Den digitale allmenningen er flere tiår gammel og er stor og innovativ.

Vi som jobber i den digitale allmenningen har deling av kunnskap som det viktigste vi gjør, det er hvem vi er. Vi tilbyr transparens, inklusivitet, selvbestemmelse, bruksrett og mulighet til å bidra og til å direkte påvirke hva teknologien gjør. Utviklingen gjøres i åpne miljøer med flere aktører, noen ganger konkurrenter.

I allmenningen har vi kjente metoder for omfattende review og testing. Ta en titt på endringsloggen til Linux for eksempel, der personer fra flere selskaper tester og gjør review av koden. Man kan for eksempel se at en ansatt i AMD gjør review av et endringsforslag gjort av en ansatt i Intel. Intel og AMD er to av verdens største produsenter av prosessorer, og er hverandres hovedkonkurrenter. Når hver kodebit gjennomgår en slik prosess blir det ikke bare svært vanskelig å snike inn noe, man får en ordning som skalerer, det er et helt miljø som sørger for at koden ikke inneholder ting som ikke skulle vært der, ikke bare en tilsynsmyndighet med begrensede ressurser. Når kommersielle konkurrenter har gjensidig nytte av å sikre god forvaltning av kode oppstår det gode effekter for samfunnet som helhet, det er nettopp det allmenninger handler om.

Men ikke alt er rosenrødt i den digitale allmenningen heller. Man ser at mennesker brenner seg ut, man ser at den er underfinansiert (og det er nok fordi det er vanskeligere å finne gode forretningsmodeller), man ser at man ikke klarer å organisere god nok testing og review og dermed blir sikkerhetsfeil gående uoppdaget, og man ser også at selskaper prøver å bygge gjerder som ødelegger. Det er derfor fortsatt behov for en tilsynsmyndighet, men den kan være mye mindre enn det som vil være nødvendig i EUs regime. Den må sørge for at prosjekter som har betydning for normene i samfunnet har en god maktbalanse mellom aktørene, og hvis det ikke gjøres god nok review og testing, så må man sørge for at det blir satt inn tilstrekkelig med ressurser til å gjøre det. Det kan gjøres ved å finansiere noen av aktørene slik Tyskland gjør med sitt Sovereign Tech Fund og som nå er i ferd med å bli generell EU-politikk.

Enda bedre, mener jeg, er om man setter opp en ny type samfunnsinstitusjon, som skal utvikle programvare med et demokratisk mandat snarere enn et kommersielt mandat. Jeg har kalt en slik institusjon “Senter for normativ teknologiutvikling”. Demokratiet vil bruke en slik tverrfaglig institusjon til å direkte påvirke normene som settes gjennom teknologien. Å utføre review og testing og sette inn ressursene som gir maktbalanse er blant de operative tingene en slik institusjon vil gjøre, men den vil først og fremst være skapende. Tilsynsmyndigheten vil fortsatt ha et overordnet ansvar for sørge for at allmenningen blir godt forvaltet.

Tillit er fortsatt det beste

Jeg vil ikke ha Big Tech-selskapene i det norske samfunnet. De har så til grader brutt ned tilliten, både min egen tillit til dem og den tilliten samfunnet bør ha til dem. Vi bør ikke ha slike selskaper som opererer i vårt samfunn. Når tilliten er brutt er det lett å ønske seg et veldig omfattende inspeksjon- og revisjons-regime, men det EU legger opp til vil aldri kunne bygge opp tillit, det vil kun bidra til at Big Tech får operere omtrent som før, bare under en solid mengde papirarbeid.

Men likevel, de nordiske tillitssamfunnene er fortsatt de beste. At vi har sterke tilsynsmyndigheter er en viktig årsak til at vi har slike tillitssamfunn, men våre tilsynsmyndigheter driver ikke med tilsyn for papirarbeidets skyld, de er faglig sterke myndigheter som leverer ordentlige resultater. Det regimet som vil oppstå hvis kunnskapsskjevheten mellom industri og reguleringsmyndigheter består må ikke forveksles med det norske tilsynsmyndigheter gjør i dag.

Jeg er sjelden blant dem som er redd for at innovasjon blir skadelidende ved innblanding av offentlige myndigheter. Men jeg tror at det kan bli mindre innovasjon av et slikt regime, mens innovasjonsevnen vil øke sterkt hvis det offentlige bidrar til utviklingen av digitale allmenninger gjennom et “Senter for normativ teknologiutvikling”. Jeg sier et stort ja takk til offentlig innblanding hvis det gjøres på riktig måte.

Siden digitale allmenninger er radikalt åpne, vil disse kunne opparbeide seg tillit på en måte som lukkede teknologiselskaper aldri kan fortjene, og dette vil gjøre at vi kan ha en nordisk tillitsmodell til selskapene som utvikler i allmenningen. Det inkluderer også Big Tech. Noe slikt kan ikke EU få til, men nordiske land kan.

Konklusjon

Det er en stor kunnskapsskjevhet mellom industri og reguleringsmyndigheter i IKT-feltet, noe som gjør at et inspeksjon- og revisjonsregime ikke vil fungere, det er altfor lett å skjule hva kode faktisk gjør. Et algoritmetilsyn vil føre tilsyn med feil ting, og vil ikke få betydning for de faktiske problemene. I stedet får vi ineffektiv teknologiutvikling og mange offentlige ansatte som ikke bidrar til nyskaping.

I stedet må myndighetene sørge for at teknologi som setter normer utvikles i åpne miljøer, slik mye programvare allerede gjør. Dette må skje i digitale allmenninger. Ved å gjøre dette vil befolkningen kunne ha tillit til teknologiutviklingen, og vi vil få offentlige ansatte som bidrar direkte i verdiskaping og innovasjon, og få fart på bærekraftig innovasjon i næringslivet.

Provenance as key technology to reduce information pollution

To verify the veracity of information, the authenticity and authoritativeness of that information is important to assess. Tracking the origins of information is important to understand its authenticity and authoritativeness. So far, authenticity and authoritativeness has largely been assessed only by understanding the content itself and has been the focus of media literacy programmes. However, information pollution has made it increasingly difficult for non-experts to assess the authenticity and authoritativeness of information, a problem that is likely to become worse. This document introduces the concepts and discusses existing efforts and finally outlines the commitment needed from governments.

Introduction

The term provenance is commonly used in technical literature to describe the practice of tracking who and what not only originates information, but who and what changes it. Conventionally, provenance is metadata that follows the information.

Consider an image, shot by a certain camera by a certain person. The camera information and an identifier of the photographer should in most cases be available as provenance metadata. Consider then the possibility that the image is photoshopped, then at least information that it has been photoshopped and by whom should be added. If the image is then published in social or editor-run media, the provenance information should be checked to see if it is likely consistent with the content of the image.

To allow citizens to assess the authenticity and authoritativeness of the information, there should usually be tools that can help them verify the correctness of the provenance metadata. Usually, the public should realize that information that comes with verifiable provenance metadata is more trustworthy than information without. However, this is clearly not desirable in all cases, in some cases that metadata is highly sensitive. In the case where the information comes from a whistleblower, it must be removed. In such cases, free editor-run media is important, as they can assess the veracity of the information, and the public would then need to rely on the reputation of the media to assess the trustworthiness of the information.

Recommended reading and existing initiatives

Henry Story has written quite extensively on the role of provenance in his work on Epistemology in the Cloud. In an OpenAI-sponsored paper titled Generative Language Models and Automated Influence Operations: Emerging Threats and Potential Mitigations the authors describe the outcome of a symposium where potential mitigations were discussed. Provenance was discussed in the paper, noting that

Because technical detection of AI-generated text is challenging, an alternate approach is to build trust by exposing consumers to information about how a particular piece of content is created or changed.

They also reference a prominent technical approach by industry actors that has formed the Coalition for Content Provenance and Authenticity (C2PA), and has produced technical specifications including an harms modelling overview.

An earlier, and more academic standardization effort was undertaken under the auspices of the World Wide Web Consortium to produce the PROV family of documents. It did not see very extensive implementation, but I have used it to provide an unbroken chain of linked provenance data from individual changes to my own open source contributions through my packaging and to Debian packages. Unfortunately, the data sources this relied on are now defunct.

Nevertheless, it is clear that the main challenges are not technical. Conceptually, it is quite well understood and if it is done on a large scale, it could have a significant impact. It is therefore much more important to discuss the implications for how technology is governed.

Normative Technology Development

Whatever technology choices are made in this area will set down societal norms. This illustrates a crucial point that not only law sets norms in the form of regulation. There are also cultural, religious and biological norms, and also technological norms. As the C2PA coalition analyzed harms, they made choices as to what should be considered a potential harm, and in designing a system, those choices informed the technical decisions that they made, and thus formed norms. This is not to say that the choices that they made were wrong, but they are to a great extent political choices that should have been influenced by elected representatives.

Now, given that they sport significant implementation capacity, it makes sense that the companies that form this coalition to have a representation too, but it should have been balanced by other participants that have a democratic mandate. For these participants to have an impact, they must too have implementation capacity so that they can demonstrate that the solutions proposed by those with a democratic mandate can be implemented and have an impact.

Doing this in open ecosystems with non-exclusionary terms so that they become Digital Commons are essentially what I refer to as normative technology.

With a strong public engagement, democratic institutions will also gain knowledge into the details of the technology, which will also greatly assist lawmakers as eventually these norms may be written into law. Moreover, democratic institutions will need to assist in the dissemination of the technology throughout society, as this is probably the most difficult obstacle for provenance technology to have societal impact.

A vision of what good looks like

Too much of the public debate on technology is about the harms of social media and technology in general. We also have to say what we think technology should be like to be good. Many of these things must be discussed in great detail, but I just wanted to state in a few points what my current thinking is on this.

I think of four pillars of technology for a that are important for future societies:

  • Respect and empowerment of individuals
  • A public sphere with empowered collective action by communities
  • A sociotechnological landscape that is regulable
  • Commercial opportunities at any scale for everyone

Now, to detail these:

Respect and empowerment of individuals

  • Individuals, by virtue of being citizens of societies, are respected as a basic autonomous agent.
  • Individuals are unimpeded in their pursuit of knowledge as knowledge is the basis for their ability to act as an autonomous agent.
  • Individuals are empowered to create technology, literal and artistic works.
  • Individuals have the right to be connected to digital networks.
  • Individuals have the right to digital identities that can be used in online ecosystems.
  • Individuals have the right to basic data management facilities online.
  • Individuals have the right to possess devices in which they can place their ultimate trust.
  • Individuals have the right to information security.

A public sphere with empowered collective action by communities

People do not thrive in privacy alone, we are first and foremost social. Sometimes, they want to be left alone, but sometimes, they want to go in public and wear a smile. Sometimes, they need somebody’s support for their cries. Sometimes, they want to find a pleasant beach to relax, sometimes they want to find a mountain to challenge themselves. Sometimes, they want to discuss matters of importance to them, sometimes they want to organize an event for a select group of friends, sometimes for a large crowd. The public sphere must encompass all these human endeavors, i.e. they are “societal scale technologies”. Technologies developed only for democratic debate or only for gathering a group of friends are unlikely to succeed, the vision must be so universal it can host the entire public sphere.

  • Positive social relationships and enhanced social cohesion should be key design goals.
  • Democracies should develop technologies to enhance democratic processes.
  • Technologies should promote establishment of epistemic commons.
  • Citizens should have the possibility to interact with government services through digital interfaces but must not leave any citizen behind because they may not wish or be able to do so.
  • Communication between parties in a community must be secured.
  • Communities must have technologies to help establish trust between different parties. They must do so without compromising the ultimate trust individuals have in their devices.
  • Technologies should support the formation and sound interaction between groups and within groups that forms on a permanent or ad hoc basis for social interactions.

A sociotechnological landscape that is regulable

Centralisation of power by technology companies has led to a situation where democracies do not have sufficient knowledge to regulate technology development sufficiently.

  • Enabling individuals to unimpededly seek knowledge to open technologies can shift the power balance towards gaining regulability in democracies.
  • Democracies need to form governmental institutions to set norms through developing technologies for citizens using technologists in close collaboration with cross-disciplinary teams.
  • Democracies will develop new frameworks to guide detailed technological development.  
  • Through these institutions, open technology projects can be governed in collaboration with private companies in greater detail than today.
  • Technology acceptance is driven by individuals who find that virtuous cycles emerge with technologies designed with positive social relationships in mind.
  • Pluralism is a cornerstone, helped by decentralised architectures and that normative technology development institutions are commonly supported by national governments.
  • However, decentralisation should support societal goals, and is not a goal in itself.
  • Technology should support communities in regulating and sanctioning undesired behaviour and an effective and scalable manner, so that law enforcement isn’t overwhelmed. 

Commercial opportunities at any scale for everyone

  • Architectures should be designed so that individuals are empowered over providers of digital infrastructure.
  • Architectures should be designed so that the distribution of usage of different systems is gently sloped.
  • When citizens assume the role of consumer, they should be empowered to make their requirements clear, so that businesses can develop products with a clear market fit and reduce the need for marketing in the form of advertisements.
  • Payment systems should be standardised so that payments of even small size can be made over networks with low risk of fraud.
  • eCommerce should enable societies to transparently collect taxes to encourage development of society as a whole.

En manglende samfunnsinstitusjon

Er du blant de mange som føler deg fanget av teknologigigantenes plattformer, og som gjerne skulle ha hatt alternativer, så skal du vite at det er mange som arbeider med det. Som teknolog skulle jeg gjerne ha fortsatt å utvikle, men jeg ser så tydelig at problemet nå er at vi mangler samfunnsinstitusjoner som skal sikre demokratisk forankring.

Hver uke roper noen varsku om hvor ille det har blitt med denne utviklingen men som oftest uten forslag til løsninger. Hvorfor er det så vanskelig å se løsninger? På 90-tallet sa mange kommentatorer at Internett er et uregulerbart fenomen. Har den holdningen satt seg? I såfall er det helt galt, som juristen Lawrence Lessig viste allerede i 1999. Internett er en ting, skapt av mennesker, og det kan endres av mennesker.

Eller er det det at verdens myndigheter har vært ineffektive til å regulere fenomenet? Ja, det er vanskelig, og der Lawrence Lessig tok feil var at han trodde at etterhvert som Internett gikk mer og mer over i hendene på store selskaper, så ville det bli enklere å regulere. I stedet ble maktkonsentrasjonene så store at de ble mektigere enn nasjonalstater. Dessuten ble den makten brukt til å gjøre Internett stadig mindre regulerbart.

Det trenger ikke være sånn, la meg derfor vise hvordan en av de institusjonene kan se ut: Jeg mener at vi må ha en institusjon der teknologer kan bidra til å skape nye arkitekturer innenfor demokratiske mandater og med det formål å gjenvinne regulerbarhet der det er viktig for demokratiet. Dette må skje gjennom at teknologer kan utvikle systemer som løser opp i grunnlagsproblemer og gir befolkningen teknologi de har innflytelse over.

Men en slik institusjon må ikke bare ha teknologer, tvert imot, det må være en tverrfaglig utviklingsinstitusjon. For eksempel ser vi at Internetts arkitektur i dag bidrar til spredningen av konspirasjonsteorier, og at det er svært skadelig. Religionsvitenskap er derfor en nødvendig del av en slik institusjon.

Institusjonen må likevel skille seg fra akademia ved at den ikke i hovedsak forsker. Den har ikke mål om å beskrive, men å utforske hvilke normer som bør gjelde, som fordrer en endring i tankemønstre i de fleste fag. Det er få programvareutviklere i dag som utvikler ting som lager normer, men dem som gjør det har mye makt. Denne makten må vi være bevisst, og den må forankres i demokratier. Selskaper som Google og Facebook kan sette nye normer på ukentlig basis uten at det har slik forankring. En måte å gjøre dette på er gjennom å utvikle systemer basert på forskjellige arkitekturer og så studere dem, for så å framlegge resultatene i offentlig debatt. Fokus for institusjonen må derfor være utvikling av normativ teknologi, men hele samfunnet må bidra i dialogen som følger av dette.

Hva betyr det at vi har forskjellige arkitekturer? Vi kan tenke på hvordan vi bruker vårt navn. På Jodel og Yolo kan man være helt anonym, på Instagram og TikTok stiller man med pseudonym, mens på Facebook skal det være fullt navn, uten at noen sjekker det. Dette gjør at folk oppfører seg veldig forskjellig på de forskjellige stedene. Gjør vi det på en annen måte kommer folk til å oppføre seg på helt andre måter igjen. Avhengig av hva vi som samfunn ønsker å oppnå kan vi skape alternativer som møter disse målene. Få jobber så langt ned i detaljene at de forstår at vi faktisk kan velge.

Problemstillingene spenner fra det grunnleggende, som forholdet mellom individets rettigheter til behov for kollektiv innsats, til enkle ting som løser et umiddelbart problem for befolkningen som ikke kan løses på kommersiell basis. Selv om enkelte problemstillinger ofte vil være forskningsnære, skal fokus være på å komme fram til løsninger som er robuste og som folk flest kan ta ibruk.

I de fleste problemstillingene er nyansene og detaljene så viktige at de politiske spørsmålene ikke er klare før vi har prøvd ut flere mulige løsninger. Ofte er behandling av for eksempel personopplysninger basert på samtykke, men som Zeynep Tüfekçi har vist er vi svært sårbare for manipulasjon. Derfor beskytter ikke samtykke-mekanismen oss lenger mot utnyttelse. At vi nå klikker OK på “cookies” på alle nettsteder vi besøker har ikke bidratt til å styrke vår posisjon heller. Samtykke er en nødvendig mekanisme, men designen rundt bruk av samtykke må bli veldig mye bedre.

Dette er tverrfaglig utviklingsarbeid. Ofte vil dette skje i samarbeid med offentlige aktører, og man vil måtte søke internasjonalt samarbeid om prosjekter som allerede har et visst driv. Likevel er det merke seg at dette ikke er en institusjon som skal drive digitaliseringsarbeid for offentlig sektor, det offentlige gjør allerede en god jobb med å ordne klare problemer ved å bestille en løsning i markedet eller fikse det selv. Institusjonen må ha frihet til å velge problemstillinger på faglig grunnlag, og framlegge mulige praktiske løsninger for befolkningen, som så kan være gjenstand for offentlig debatt.

Taiwan startet et slikt arbeid for fire år siden, med en fremragende utvikler ved navn Audrey Tang som digitalminister. De har gjort store framskritt blant annet innen behandling av desinformasjon.

Kan små prosjekter i Norge ha innflytelse på det internasjonale teknologiske landskapet? Ja, men flere forhold må være riktige: For det første er løsningene sterkt etterspurt, det fleste teknologibrukere i verden er klar over at de er fritt vilt. Når et problem er løst, kan hele verden få ta del i løsningen. Det at vi er små betyr likevel at vi må ha globalt perspektiv, hvis vi kun løser norske problemer vil løsningen gå i glemmeboken under teknologigigantenes tilbud. Dette setter store krav til globalt orientert faglig lederskap. Vi må også treffe de store nettverkseffektene. Det er ekstremt vanskelig å lykkes ved å bygge helt fra bunnen av, slik at det aller viktigste er å finne allierte i det teknologiske landskapet i verden. Vi skal også huske på at av alt utviklingsarbeid som gigantene gjør, er det bare en liten del av det som er nyttig for oss, og som må erstattes for å lage et velfungerende teknologisk samfunn. Kanskje vi kan spre slike institusjoner til flere land.

Dette er en helt ny type institusjon, men helt nødvendig om vi skal snu utviklingen. Selv om mange i IT-industrien ser at vi er nødt til å ta en annen retning, må demokratiet trå til med rettledning og tverrfaglighet av et annet omfang enn det vi har sett hittil. Dette er noe Internet Architecture Board også har påpekt i et notat med tittel “RFC 8890, The Internet is for End Users“. Vårt demokrati er blant de sterkeste i verden. Derfor tror jeg at teknologer her ser at løsningen er større politisk handlingsrom, ikke mindre politikk, slik mange i Silicon Valley tror.

Meg og oss i cyberspace

At individet står svakt i dagens teknologiske landskap har blitt åpenbart. At noen få teknologigiganter har fått enormt med makt som berører nesten alle samfunnsområder blir også påpekt omtrent hver uke i kronikker som også viser at denne situasjonen er meget skadelig. De færreste tar imidlertid inn over seg at denne sosioteknologiske utviklingen har skjedd på grunn av teknologi som er skapt av mennesker, og at alternativer til dette kan skapes av mennesker med andre insentiver og andre muligheter. Jeg har ikke tenkt å akseptere situasjonen som den er, men samfunnet trenger en ny forståelse for hvordan teknologiutviklingen kan påvirkes.

Noe av det viktigste å løse opp tidlig er forholdet mellom individet og det kollektive. Vi som har jobbet med dette lenge har vært klar over spenningen mellom individets rettigheter og behovet for å bruke data om individet for å oppnå kollektive goder, men COVID-19 og den mislykkede «Smittestopp»-appen har brakt et eksempel på dette opp i offentligheten. For selv om jeg gjerne står på for individets rettigheter, så er det også åpenbart at data sjelden er særlig nyttig for ett individ alene, det er best både for individet og samfunnet at data deles på en fornuftig måte, og data er grunnlaget for det meste som skjer på nett. Både legalt og teknologisk er dagens situasjon så primitiv at individets rettigheter stadig er i konflikt med det kollektive, noe en mer prinsipiell tilnærming må og vil løse opp i.

Disse to problemstillingene, teknologigantenes makt og spenningen mellom individets rettigheter og kollektive goder, må løses sammen fordi de i virkeligheten er to sider av samme sak. Det er viktig å presisere dette fordi jeg har sett mange tilfeller at man snakker forbi hverandre, spesielt kommer det mange påstander om at hvis man ukritisk deler data med teknologigigantene, så kan man vel også dele data med norske myndigheter.

Situasjonen er at med den maktkonsentrasjonen som er, så står de aller fleste bedrifter i et avhengighetsforhold til et selskap høyere opp i næringskjeden, og har svært få muligheter utenfor de forretningsområder de prioriterer. Som sluttbrukere står vi også et sterkt avhengighetsforhold, hvis jeg ikke bruker Facebook kommer ikke min barn på treninger eller i bursdager. Folk flest er helt klar over at de er fritt vilt i dette samfunnet, men de har svært begrensede muligheter, og dette truer tillitsamfunnet. Jeg anerkjenner også de problemer som er beskrevet i de ukentlige kronikkene som kommer, det er problemer av legal, sosial, økonomisk og teknologisk art som er alvorlige. Forskningen og til dels nye industrielle retninger har begynt å løse opp i de teknologiske problemene, da sentraliserte systemer har vært en vesentlig driver for å konsentrere makt, men det er fortsatt langt vanskeligere og dyrere å lage desentraliserte systemer. Siden problemene er så mangeartede vil teknologiutvikling kun spille en liten rolle, men den rollen er likevel viktig, da folk har reelle problemer som teknologien løser for dem, selv om den løser det på en måte som i det større bildet er til ugunst for både dem og samfunnet.

Det er i dette bildet man må forstå at vi insisterer på individets rettigheter: De er viktige som en motvekt til de sterke avhengighetsforhold som dagens digitale samfunn er bygget på. Slik vårt demokrati sikrer individets rettigheter som en forutsetning for individets deltakelse i tillitsamfunnet, slik vil det digitale tillitsamfunnet måtte bygges med rettigheter for individet. Som konsekvens av dette arbeidet vil også befolkningen bli mindre avhengig av teknologigigantene, og som konsekvens av det vil næringslivet også få større muligheter til å skape. Å sikre individets rettigheter innenfor er således en forutsetning for å løse kollektive utfordringer.

Vi må gå en lang og vanskelig vei for å komme dit, det krever tverrfaglig innsats over tiår. Det begynner med å innse at det er mange måter å lage normer på, teknologisk utvikling er en av dem. Det er svært få programvareutviklere som per i dag skaper nye normer, men de som gjør det har mye makt. Teknologigigantene ruller ut normsettende programvare hver uke. Per i dag er det nesten ingen teknologer som har mulighet til å jobbe normativt uten et profittmotiv som er diktert av dagens markedsrealiteter. Det er helt nødvendig å etablere tverrfaglige miljøer som kan utvikle teknologi innenfor et demokratisk mandat som kan ha normativ effekt på det sosioteknologiske landskapet i verden. Demokratiet må derfor slutte å tenke på at lovregulering er den viktigste eller eneste måten å skape normer på, det er nettopp en slik tanke som har ført oss ut i det uføret vi nå er i.

Det er mange i teknologiske miljøer som ser problemene og jobber med det, men hvis demokratiet ønsker å ha en hånd på rattet denne gangen så er sjansen her og nå.

Å skape nye normer ved å utvikle teknologi

Det er mange teknologirelaterte temaer oppe i samfunnsdebatten: Hatefulle ytringer, “hevnporno”, “grooming”, manipulering av meningsdannelsen i demokratier, at befolkningen har mistet enhver innflytelse over egne data, at mediene har mistet sin samfunnsrolle på grunn av sviktende inntektsmodeller og sosiale mediers overredaktørrolle, at næringslivet ser færre inntjeningsmuligheter på grunn av enkelte enorme selskapers dominans, ensrettingen i sosiale medier, osv. Likevel er det knapt nok en eneste teknolog på verdensbasis som er i en slik posisjon at man kan gi et meningsfullt bidrag til å løse disse problemene.

Jeg tror samfunnet tenker på det å forme teknologisk utvikling på helt feil måte: Først må man skille mellom deskriptivt og normativt arbeid. Mesteparten av arbeidet jeg ser som presenteres på ulike møter, for eksempel konferansen om hatefulle ytringer er av deskriptiv natur. Deskriptivt arbeid bidrar til vår forståelse av de ulike fenomenene, og er derfor viktig for normativt arbeid, men kan ikke i seg selv gjøre særlig mye for å korrigere. Under Forskningsrådets VerdIKT-program var sosiale medier en del av fagsøylene, men nesten alt arbeid var deskriptivt.

For å gjøre en forskjell må man drive normativt arbeid. Her synes det meg som at samfunnet oppfatter at lovgivning er det eneste normative arbeidet man kan gjøre. Det er en kritisk feiloppfatning som har satt oss i den situasjonen vi er i i dag.

Det mest innflytelsesrike normative arbeidet i dag skjer blant programvareutviklere i de store selskapene. Dette skjer bak lukkede dører, og under strenge, kommersielle føringer. Når Facebook utvikler algoritmer for mer effektive annonser er det normativt arbeid, det influerer hvordan befolkningen kan påvirkes. Når Google utvikler algoritmer for relevans i søkeresultater er det også normativt, det påvirker hvordan vi ser verden. Men når Tim Berners-Lee skrev programvaren til World Wide Web drev han også normativt arbeid, med den motivasjon at dette var en fellesskapsressurs for hele menneskeheten. De fleste programvareutviklere driver ikke normativt arbeid, men de som gjør det har enorm innflytelse. Mye av problemet er at de som optimaliserer sine utvikling for å manipulere verdens befolkning for markedsføringsformål har mye mer makt enn dem som utvikler med menneskehetens beste som viktigste mål.

Facebook, Google, Amazon, osv., publiserer nytt normativt arbeid hver eneste uke. Først lenge etterpå kan lovgiver forsøke å forstå hvilke nye normer som har kommet til og hvilke effekter det har hatt på samfunnet. Så kan man forsøke med de jure normativt arbeid for å korrigere kursen. Som oftest mislykkes man, fordi normene er så detaljerte og så etablerte at det er altfor sent. Derfor har vi havnet i situasjonen vi i dag er i. Slik tror jeg også EUs nye personvernforordning også vil feile, om noe vil den sementere Facebook og Google sin markedsmakt, fordi de er de eneste aktørene som har et nært nok forhold til brukerne til å spørre om samtykke, noe de helt sikkert vil lykkes med å manipulere oss til å gi.

Med mindre det finnes alternativer for befolkningen. Vi kan nemlig spille dette spillet vi også, men vi klarer ikke spille det på de økonomiske betingelsene som konkurransen med Facebook og Google setter, “pay-by-privacy”-modellen er åpenbart svært vellykket.

Men, vi kan sette teknologer istand til å skrive normativ programvare, basert på de normer vi som samfunn kan bli enige om. Det er dog bare det første skrittet, det må så taes derfra til at det utgjør en standard måte å løse oppgaver på som får bred oppslutning i næringsliv og befolkning. Det er fryktelig vanskelig å gjøre, men det finnes en rekke slik eksempler, der Webben er det største eksemplet. Ettersom vi ikke har noen vitenskapelig metode for å si hva som vil lykkes, vil dette arbeidet nødvendigvis ha et element av å prøve og feile.

I denne prosessen spiller de facto tekniske standarder en rolle, og i noen tilfeller også de jure tekniske standerer og lovgivning. Det blir mye lettere å formulere de jure normer når det er basert på teknologi som eksisterer. Det synes meg en langt mer effektiv måte å etablere normer i samfunnet, starte med normativ programvare, i de tilfellene dette er vellykket, gå videre med de facto standarder, og så, i de tilfellene der det er nødvendig, de jure standarder eller lovgivning.

Vi kan ikke ha det slik det er idag. Det vi har på Internett i dag er en blek skygge av det vi ønsket og prøvde å skape på Web. Vi kan ordne det, men det krever at teknologene får mulighet til å bidra annet enn gjennom kommersielle krav og at vi kan drive tverrfaglig utviklingsarbeid. Jeg vet at mange teknologer deler min frustrasjon og vil bidra til å snu samfunnsutviklingen.

The Greatest Achievement in Social Media

If we managed to create a decentralized social media ecosystem, how would we go about to identify the hardest problems to tackle, and what would be our greatest achievement if we succeeded? If this seems like an odd question, bear with me, dear reader: Many technologists look are motivated by great, technical challenges, and this is an attempt to channel that energy into social problems.

Many people, who I would consider relatively like minded as myself would say that things like censorship resistance and anonymity are the absolute requirements, and so crown achievements. I do think they are important, but only within a broader, social context that takes into account a wide variety of social problems. We have to explore the borders to understand where this may fail to bring social benefit, and we have to consider other options in those cases.

I think it is very important to think about future, decentralized social media not as an application, not like another Facebook, but as an ecosystem, where social interactions is a common ingredient of many interconnected applications contributed by many different actors.

In an earlier post that I wrote in Norwegian, I mentioned the revenge porn problem, where media is put into a sexual context and distributed without the depicted person’s consent. Another problem in the same space is “grooming”, where a person is manipulated into sexual abuse.

Grooming often follows a pattern, where an older person contacts a minor, lying about their age and/or gender and has the minor send them relatively innocuous pictures based on some false pretense. With those pictures, the perpetrator then threatens to expose those pictures to classmates, parents or others to put the minor into a coercive situation, where abuse and coercion can only escalate.

It is clear that one should never enter such a situation with an anonymous peer. However, it is equally clear that one should not enter such a situation with a peer that knows your complete identity either, as that can result in more direct forms of sexual abuse. The grooming problem is a problem because there exists no reasonable and commonly used middle ground, and therefore people resort to unsafe channels. Most of these cases can probably be prevented if people had a strong, online identity that could be used to pseudonymize them using selective attribute disclosure and verifiable claims. With the former, the two peers can disclose only relevant and non-compromising information, for example age and gender (even though that too can be problematic, technology should also be developed to assist in ensuring that their full identity cannot be compromised). With verifiable claims, both peers can verify that the information disclosed by the other is accurate. They should be empowered by the social media platform to enter a context where they have this kind of pseudonymity, where they get the extra security. If, for example a teen enters a dating site, they will use their strong, verified online identity, but the security system of the dating site will see to that nothing that can compromise the identity is exchanged unintentionally. If the peers eventually choose to exchange further details or meet in real life, the peers should be able to indicate to the dating site that they have chosen to do so, and if the meeting results in abuse, this information can be passed to authorities.

“Revenge porn” is a much harder problem. The name itself is problematic, as for example artistic or simple nudes, indeed almost anything, may not have had any sexual intentions, but may be twisted into sexual context by a perpetrator. Moreover, the distribution of such media may not be for revenge, but still be felt as an abuse by the depicted. This underlines that it is never OK to blame the victim and that the problem is  much  broader than it seems at first sight. A fairly authoritarian approach may be advocated: One may argue that people cannot retain full control of their own devices, so that authorities may have the option to delete offending material. Censorship may be advocated, so that material will not propagate. Longer prison sentences may be advocated. I am opposed to all of these solutions, as they are simplistic and fail to address other valid concerns. Taking away people’s control of their own devices contribute to alienation and distrust in the social relevance of technology, something we need to rely on for the solution to the grooming problem above, but also many other problems. I am also opposed to prison sentences, it is often a breeding ground for more crime, and should be reserved for extreme cases.

We should be able to fix (in the sense that the problem is marginalized and made socially unacceptable) this without resorting to such authoritarian measures. It takes changing culture, and while there’s no technological quick fix to changing culture, technology and design can contribute. The Cyber Civil Rights Initiative is a campaign to end non-consensual porn, and has published a research report with many interesting findings. The group advocate some of the more authoritarian solutions, and while I am sympathetic to the need for legislation, I believe this should be considered a privacy problem, and dealt with in generic privacy legislation, as I believe is the case in Europe. Without having personal experience, I suspect that privacy violations where private media are stolen and exposed even without any sexual undertones can be felt as much of a violation is “revenge porn”, and they should therefore be dealt with similarly.

Page 22 of the report summarizes what kind of sanctions would have stopped the perpetrators, in their own words. It is understandable that legislative measures are forwarded, as those comes out as the most significant. I nevertheless think it is important to note that 42% said that they wouldn’t have shared abusive media “if I had taken more time to think about what I was doing”, and 40% “if I knew how much it would hurt the person”.  These are very important numbers, and things that can form the basis for design and cultural change. It is now possible to detect pictures with certain content with a relatively high probability, and make the poster think more carefully. Make them answer some questions. We could build a technology that asks “do you know how much this could hurt?”, and then a culture were friends ask the same. This becomes even easier if the victim is identified, as is not uncommon. In that case, the media could be tagged as “not OK to distribute”, and where friends of the victim could also appeal to the perpetrator’s conscience and also participate in stemming the distribution. Laws are for the 20% who said that nothing would have stopped them, and building a culture should also shrink this number significantly. Finally, 31% wouldn’t have posted the media “if I had to reveal my true identity (full name)”. Even without full name, a pseudonymized identity, like the one discussed above, could act as a significant deterrent, and would also help propagate warnings about how further distribution would be inappropriate and/or illegal.

This makes me hopeful that this is a problem were a well designed decentralized and rather censorship-resistant social media ecosystem could have a meaningful impact.

Another reason that the system has to be censorship resistant, is that it the same ecosystem has to be universal, for example, it must also function as a platform for public debate under authoritarian regimes. I would like to point out the work of Hossein Derakhshan who initiated a large blogosphere in Iran that contributed to a more open public debate. Derakhshan was arrested for his blogging in 2008, and released in 2014. He wrote a retrospective analysis of the development in the intervening years that is important well outside of Iran, called “The Web We Have to Save“. I  have great respect and admiration for the work that Derakhshan has done, and it underscores the importance of having a Web that can be the foundation for situations where it is important to stop the spread of certain material and for situations where it is important to keep it flowing.

To achieve this, we must be very careful with the design of the ecosystem. For example, the trusted identity is straightforward to achieve in Norway, where we have good reason to trust government, but it would be counter to the goal of an open debate and therefore stifling to do so in Iran. Trust in the identity is an example of something that must be built in very different ways around the world, and the ability for local programmers to integrate different approaches into the same ecosystem is therefore instrumental to the possibility of making it work for everyone.

It is undeniable that there is a tension between the above goals, but I think it is easy to agree they are both important. To have the same platform do both of these things is a great technological challenge, and I think that if we can do this, it will be a very important achievement for all of mankind.

Enabling Diversity Through Decentralised Social Media

Awareness of the problematic aspects of social media has been brewing for a long time, but recently, it has exploded in the public debate, with the effects of “fake news” and “echo chambers”, and also on the editorial role of Facebook. The response of Facebook has not impressed commentators. To make my position clear from the start: This is a very complex problem to solve and involve social, economical and psychological problems that need to be addressed. However, I wish to make the case that the technology also matters, and an approach must necessarily begin with changing the underlying technology. In this blog post, I would like to list the primary social problems that I have personally identified. However, I’ll try to take a positive angle, this is not just about Facebook and that failings, this is what we should create for the future. Out of the social problems, the echo chamber problem is only one.

The Echo Chamber Problem

My personal history with this problem doesn’t start here, it started 20 years ago, as I took on managing the Web site of the Norwegian Skeptics Society. The subjects we were concerned with were fairly marginal, and easy to label superstition. Astrology, UFOs, etc. It soon became quite apparent that the problem wasn’t to reach out with information, the actual problem was much, much harder, it was to get that information into closed minds. Since then, this problem has grown from being a marginal problem considered only by a few, to a major social problem.

Now, some may say that the problem is not technological, and possibly that technology is indifferent to the problem, any technological platform can help get information into closed minds, and any technological platform can provide infrastructure for opposing viewpoints and enable a debate between them. I disagree, and I think recent events make that clear. Even if technology alone cannot open closed minds, there are technological choices that are critical in enabling the needed platform for an open public debate.

First, it is important to constrain the scope of the technological problem, by understanding the problems that are of different origin. The reason why fake news thrives on Facebook is complicated and this article argues it comes down to the emotions of the people in your social network. This article contains a discussion of why “popping the bubbles” is problematic. It is also important to be reminded of the effects of identity protective cognition. Facebook has themselves published research on the issue. What is interesting is that nowadays, my Facebook feed is full of anti-Facebook sentiments, but none of these articles showed up there. I had to go look for them, only after I started to share these articles in my News Feed myself, similar articles started to surface. Now, the “echo chamber” and “filter bubble” metaphors may not reflect the true nature of the problem, but Facebook arguing that they are not doing so bad is mainly due to the lack of a ambitious baseline, we don’t know yet what could be achieved if a structured, cross-disciplinary approach was made. Even if the most important effects are social and psychological, if information isn’t available it can certainly not be acted upon.

To further understand the problem, we should listen to Facebook’s Patrick Walker, who responded to the “Terror of War” photo removal with a keynote given to Norwegian editors. The keynote is well worth watching, not just because it provides insight into the core problems, but also because it provides hints to the road ahead.

Patrick Walker himself gives an excellent summary of the accusations they face:

“[…] people said that we weren’t transparent, there’s no way of knowing what our algorithms do, that publishers don’t get any warnings about changes to the news feed, that we refuse to accept that we were editors and were abdicating our responsibility to the public, that we were trying to muzzle in on the media business and eroding the fundamentals of journalism and the business models that support it. That by encouraging editors to optimize for clicks and showing people what they want to see, we were creating filter bubbles and echo chambers.”

He then goes on to forward the values of Facebook, to give people the power to share and to make the world more open and connected. I have no reason to doubt that they are actually trying to do that. In fact, they may often be succeeding. However, the Web is what to a greater extent gives people the power to share. The Web is what truly empowers people, Facebook included, Facebook is merely a thin layer on the top of the Web. The problem is that it is truly a layer. If Facebook was just yet another possible social network, with a limited scope just like Mark Zuckerberg proposed, that’d be fine:

But it isn’t, it wields much more power than that, since it has effectively put the function of a social network into its own hands and controls that. Patrick Walker then goes on to describe how difficult it is to create global community standards for Facebook, and how problematic it would be if these standards did not apply to all of Facebook. He then concludes that people are free to say whatever they want elsewhere, but not on Facebook. This part of the talk is very compelling, and calls into question the appropriateness of calls for national or EU-mandated regulations. But it also makes it clear that Facebook cannot play the role of a public debate platform, he said that pretty much himself. In the moment an opinion becomes unpleasant, and those are the opinions that need the most protection, it has no place on Facebook. He says it clearly: “Facebook is not the Internet”. It makes it clear, to solve most of the problem he mentioned we have to create that alternative to Facebook that provides the platform for an open, public debate.

It is also clear from his talk that many of the problems that Facebook faces are due to that Facebook needs a single set of rules, and while he has made a good case for that for Facebook, it doesn’t have to be that way on the Internet. In fact, the architecture of the World Wide Web is decentralised, there is no single actor, such as Facebook that should control such an important feature as a social network. Decentralising the social network will have the effect of allowing a plurality of standards. Facebook only has to solve Facebook’s problems, these problems are not universal, and that’s why I say that the underlying technology matters. A decentralised social network has a different set of problems, some are difficult, but it is my clear opinion that the hardest problems are created by Facebook, and can be solved as decentralisation enables diversity and pluralism.

The General Lack of Diversity

As Walker noted, they have been accused of attacking the ability of the press to perform quality journalism. There is some merit to the argument, even if it was easy to predict that social media would be the most important distribution channel more than 15 years ago, before the social networks grew large and strong. Now, the press has to choose between letting Facebook be the editor-in-chief and hopefully a benevolent provider of a working business model, or to maintain their autonomy, and essentially starting over and figure out how to make money in social media on their own.

The problem is not just about Facebook or the press. Recently, Elon Musk said on their carpooling efforts that it “wasn’t Tesla vs. Uber, it is the people vs. Uber”, implying that Uber is a monopoly problem waiting to happen.

The centralisation is not only a problem for opinions in the public debate and  business models, though both are important aspects. It creates difficulties for permissionless innovation, an aspect central to the Web and the reason why Facebook could succeed. It limits the research that can be done on the platform, for example, no one else could have done the article we referenced, which places the owner of the social network in an ethically problematic privileged position.

The General Lack of Universality

With diversity challenged, another key aspect of the Web is also challenged: Its universality. Not everyone has a place on Facebook. The obvious ones that are excluded are pre-teen children. Not that they seem to care. In social networks, they certainly have a place. Moreover, people with cognitive disabilities will find the environment on Facebook very hostile, where they can be fooled into helping the spread of fake news and other material, also material that Facebook legitimately may delete. To some, much damage can be done before appropriate action can be taken. Moreover, their friends are not empowered to help. That’s not what the social network should have been, what I first had in mind was to port the social cohesion of real life to the Web, but the opposite has happened. This is a great failure, but at least a problem centralised systems could solve if they wanted to.

Combating Abuse

It gets even harder once we get to the problems surrounding revenge porn and “grooming”. I want to make clear that Facebook is not the target for this criticism, I’m talking more generally here. The problem is severe, but a problem that has just a few victims, and I believe that it cannot be solved if one is thinking only in terms of commercially viable systems. The technical contributions towards solving this problem is something I think needs to be government funded. Decentralisation is not necessarily helpful technologically, but standards and adoption of once approach could make a large impact. I think it is critical to addressing this problem that we enable trust models to work on the Web and that people are enabled to look out for each other.

Respect for the Individual

Finally, and this is a key problem for the future as well as the present, is the respect for the rights of individual citizens. We are moving towards an Internet of Things, where all kinds of sensors will provide lots of data, often connected to persons, and mining them can yield information that each citizen would certainly consider highly sensitive. I believe we cannot simply go on, neither in research nor in business technology, and pretend these problems are not significant, or that they are simply Somebody Else’s Problem. I reject the notion that the majority doesn’t care, they care, but they are left powerless to remedy the problem.  I hold it as a moral imperative to empower people, and we, as technologists have to tackle this problem.

I fear that we may have an anti-vax or anti-GMO type backlash if we do not commit to a privacy-aware infrastructure, so even if the moral imperative isn’t accepted, one should take this possibility seriously.

A Different World is Possible

I have already pointed out that decentralisation is an important technological enabler for a different world, and stated that this new infrastructure must be privacy aware. Obviously, neither the motivation nor the solution of a decentralised social network is new, it has been tried for a long time. So, how can we possibly succeed now? I think several things have changed: Most importantly, it is now understood that this is a problem that have large effects for entire societies. Secondly, we have standards, and we have learned much from the past, both in terms of technological mistakes and from research.

Now is time for action. We need a broad understanding of the problems, but we also need to start with the fundamental technological infrastructure that we need to provide to the world, and try out several possible approaches, approaches that can further the understanding of the cross-disciplinary solutions. I hope to be able to contribute in this space.