Hvorfor algoritmetilsyn ikke vil virke og hva vi bør gjøre i stedet

Året er 1991 og skolen min har i løpet av sommeren fått mange fine PCer på datarommet. Men, data-læreren min er frustrert, det er allerede langt utpå høsten, og den andre data-læreren på skolen som har ansvaret for å installere anti-virus på maskinene har ikke gjort det. En dag kommer læreren vår til meg og en kamerat og sier “gutta, kan dere gjøre noe for å få satt fart i han andre fyren?”

Joda, det skulle det vel bli en råd med. Så, han låste oss inn på datarommet i en midt-time, og på den tiden gjorde vi et aldri så lite hack. Vi lagde et program som gjorde at etterhvert som man skrev på tastaturet tok det lenger og lenger tid før maskinen oppfattet tastetrykkene. Først var det nesten umerkelig, men når man hadde skrevet 1000 tegn var forsinkelsen ett sekund, og da var det allerede blitt veldig plagsomt. Så erstattet vi et av programmene som maskinen startet automatisk når den ble slått på, og passet på å legge inn mye uvirksom kode som gjorde vårt program tilforlatelig likt det vi erstattet, som ble kjørt etterpå.

I dag ville dette lett blitt oppdaget av anti-virus og “intrusion detection environments”, men datidens anti-virus var avhengig av å kjenne igjen kjente mønstre, og klarte ikke å gjenkjenne programmet vårt, så det ble aldri oppdaget. Men det virket etter sin hensikt, maskinene ble re-installert med anti-virus, og vi fikk en high five fra læreren vår, men meg bekjent er det første gang historien fortelles.

Og grunnen til at jeg forteller den nå er at EU legger opp til et omfattende inspeksjon og revisjons-regime i flere deler av sin lovgivning, og her hjemme har flere gått inn for et algoritmetilsyn for å sørge for at teknologiselskapene følger lovgivningen. Jeg er positiv til tilsynsfunksjoner, men jeg er ganske sikker på at hvis et teknologiselskap prøver å skjule sine svin på skogen, så vil ikke et slikt tilsyn kunne oppdage det.

Eksempel på en algoritme

Det skrives mye om algoritmenes makt, men ofte får jeg på følelsen at mange ikke helt vet hva det er. Det er ikke så vanskelig, vi kjenner alle sammen noen algoritmer, vi lærer dem til og med på barneskolen. Ta for eksempel hvordan man legger sammen to heltall. Vi setter tallene opp over hverandre, ikke sant?

Og så begynner vi bakerst, og legger sammen sifferne på enerplassen. Hvis den resulterende summen er større eller lik 10, deler vi opp tallet, og tar det bakerste sifferet, det blir resultatet på enerplassen, mens 1-tallet først legges sammen med summen av sifferne på tierplassen. Og så gjør vi det samme igjen og igjen helt til det ikke er flere tall igjen å legge sammen.

Så, det er et eksempel på en algoritme vi stadig bruker i hoderegning. For at en datamaskin skal kunne hjelpe oss med utregningen, må dette oversettes til et språk datamaskinen forstår. Nå er det sånn at jobben gjøres av den fysiske prosessoren din, men nå skal vi late som vi må gjøre dette selv. Snart kan det hende språkmodeller kan gjøre denne jobben også, men foreløpig lar vi det gå igjennom noen skritt, der vi skal se på det første. Det er mange programmeringsspråk å velge mellom, men jeg skal bruke JavaScript, fordi det kjører i alle nettlesere.

En ærlig heltallskalkulator

Her er det en enkel kalkulator. Den tar bare heltall og kan bare plusse to tall, men den bruker en implementasjon av algoritmen vår:


+
=

Bare prøv den! Se at den funker! La oss se på den faktiske koden som kjører i dette tilfellet. Hvis du ikke er vant til å se på kode, er det helt greit, jeg skal forklare under.

function run1()
{
	var ledd1 = document.getElementById("f1part1").value;
	var ledd2 = document.getElementById("f1part2").value

	var alle_siffer1 = ledd1.split('');
	var alle_siffer2 = ledd2.split('');

	var resultat;

	var siste1 = parseInt(alle_siffer1.pop());
	var siste2 = parseInt(alle_siffer2.pop());

	while ((! isNaN(siste1)) || (! isNaN(siste2))) {
    	if (isNaN(siste1)) {
        	siste1 = 0
    	}	
    	if (isNaN(siste2)) {
        	siste2 = 0
    	}
    	var del_resultat = siste1 + siste2;
    	siste1 = parseInt(alle_siffer1.pop());
    	siste2 = parseInt(alle_siffer2.pop());
    	if (del_resultat >= 10) {
        	del_resultat = del_resultat.toString().split('').pop();
        	siste1 = isNaN(siste1) ? 1 : siste1 + 1;
    	}

	    resultat = [del_resultat, resultat].join('');

	}
    
	document.getElementById("f1answer").value = resultat;
}

Altså, alt er i en funksjon som kjøres når du trykker “regn ut”. Linje 3 og 4 henter teksten (formodentlig tall) du har skrevet inn, og gir dem et navn. Linje 6 og 7 deler dem opp. Linje 9 gjør bare klar for å ta vare på resultatet. Linje 11 og 12 er den egentlige starten på algoritmen vår, der tar vi det siste tegnet fra teksten du skrev inn og gjør dem om til et ordentlig heltall, ikke bare en tekst. Og så begynner vi på runden i linje 14, altså “så lenge det finnes noe som ikke er ikke et tall på en av leddene…”. Det er nå man må holde tunga rett i munnen. I linjene 15-20 sjekkes det om vi har et tall. Hvorfor må vi gjøre det? Jo, fordi tallene du skrev inn kan ha forskjellige lengde (og ja, ting kan gå veldig galt her). Og så legger vi sammen de to sifferene i linje 21, før vi igjen i 22 og 23 gjør om neste tegn til et tall. Linjene 24-26 passer på at vi får med tier-overgangen. Linje 29 lager igjen en tekst av resultatet, og linje 33 sender det tilbake til skjemaet over.

OK, så vi ser at det var ganske mye mer involvert i å implementere algoritmen enn å skrive den på prosa. Mye mer tunga rett i munnen, og mange flere steder man kan gjøre feil. Nå vil man jo ikke skrive akkurat denne algoritmen i praktisk bruk, men man må passe på mulige feilsituasjoner. Man må også ta høyde for om brukeren er dum eller slem, og skriver bokstaver i stedet for tall. Koden over gjør ikke den delen av jobben. Og det er koden som kjører, ikke algoritmen som skrives kan skrivers på prosa. Så, det er hovedsakelig koden det må føres tilsyn med, ikke bare algoritmen.

Legg til en dæsj ondskap

OK, så hva om vi gjør dette:

function run2()
{
	var ledd1 = document.getElementById("f2part1").value;
	var ledd2 = document.getElementById("f2part2").value

	var alle_siffer1 = ledd1.split('');
	var alle_siffer2 = ledd2.split('');

	var resultat;

	var siste1 = parseInt(alle_siffer1.pop());
	var siste2 = parseInt(alle_siffer2.pop());

	while ((! isNaN(siste1)) || (! isNaN(siste2))) {
    	if (isNaN(siste1)) {
        	siste1 = 0
    	}	
    	if (isNaN(siste2)) {
        	siste2 = 0
    	}
    	var del_resultat = siste1 + siste2;
    	siste1 = parseInt(alle_siffer1.pop());
    	siste2 = parseInt(alle_siffer2.pop());
    	if (del_resultat >= 10) {
        	del_resultat = del_resultat.toString().split('').pop();
        	siste1 = isNaN(siste1) ? 1 : siste1 + 1;
    	}

	    resultat = [del_resultat, resultat].join('');
		if (resultat == '42') {
			resultat = 17;
		}
	}
    
	document.getElementById("f2answer").value = resultat;
}

Hva har skjedd her, sånn bortsett fra at noen navn har fått tallet 2 der det forrige eksemplet hadde 1? Jo, se på linje 30-32. Jeg har lagt inn kode som gjør at når svaret skulle vært 42, så blir det 17 i stedet. Bare prøv det selv, legg inn noe som blir 42 til sammen:


+
=

Den som skriver koden har makta! Man kan manipulere brukeren på alle måter, man kan underminere brukerens tillit (denne koden kjører faktisk på din enhet), og man kan manipulere andre som vekselvirker med et system. Det er helt avgjørende å forstå hva man kan stole på og hva man ikke kan stole på.

Det blir egentlig bare verre. Prøv å la et av tallene du skriver inn ha et 7-tall i seg. Hva skjedde nå? Jo, hver eneste linje i programmene du ser kan gis en annen mening enn du forventer. I dette tilfellet har jeg overstyrt funksjonen som konverterer tegnene du skriver inn til heltall, og gjort at den trekker fra litt… Jeg introduserte altså en systematisk feil.

Systematiske feil lagt inn med vilje

Det er varierende hvor lett det er så skjule slik ondskap. I JavaScript er det faktisk ikke så lett, men det kan være gode grunner til at det kan være lett. Mekanismer for å skjule slike ting kan også gjøre koden mer lesbar.

I 1984 fikk Ken Thompson Turing-prisen, “informatikkens nobelpris”. I sitt foredrag presenterte han en kort artikkel med tittel “Reflections on Trusting Trust”. Det er en artikkel man kan brekke hjernen sin på, og jeg har ikke forstått detaljene, men han viser en teknikk for å skjule en bakdør inn i kode som er veldig, veldig vanskelig å oppdage. I koden over, er alt helt oppi dagen, jo dypere man kommer, jo vanskeligere er det å oppdage. Det vil ikke være vanskelig å lage en bakdør som kun et lite antall i selskapet kjenner til hvis man har et stort system.

Siden Thompons artikkel har man utviklet en rekke teknikker for å verifisere at koden ikke gjør skumle ting, men spørsmålet er om det holder. Angrepsformen er også modernisert til å gjelde moderne maskinlæring.

Jeg skal innrømme at dette ikke er helt mitt felt, men når man først tenker som meg, så tenker man alltid på mulige angrep. Vi må skille mellom situasjonen der de som skaper teknologien er snille og angriperne kommer utenfra, fra situasjonen der selskapet som skaper teknologien er den som prøver å føre folk bak lyset. Spesielt når det er en mer ressurssterk organisasjon som har langt dypere kunnskap om systemet. Jeg tror vi skal klare å håndtere den første situasjonen og få tilstrekkelig sikkerhet der. Men i de siste tilfellet tror jeg ikke tilsynsmyndighetene kommer til å ha særlig stor suksess.

Volkswagens Dieselgate

Vi har vært borti en slik situasjon for litt siden. Allerede i 2011 oppdaget EU at Volkswagens dieselbiler hadde altfor store emisjoner, og advarte mot “defeat devices”, altså systemer som kunne lure testen som ble brukt til å måle avgassene. Etter at flere hadde sett det samme, slo både europeiske og amerikanske myndigheter det fast i 2015 at det fantes systemer i bilene som lurte testen. Først i 2017 klarte forskere å finne den faktiske koden. Dette tok dem et helt år, på tross av at de hadde tilgang til koden, og det ikke var brukt noen avanserte teknikker, bare at den brukte andre navn om hva den gjorde enn hva som faktisk skjedde.

Man må gjøre aktivt review

Dette illustrerer hvor vanskelig det er å komme inn i kode og se etter ugler i mosen. Det er svært vanlig at man har utviklingsprosesser der man gjør kontinuerlig “review” av all kode før den går inn i kodebasen. Å gjøre review innebærer at man går gjennom ny kode og gjør seg selv sikker på at man forstår hva den gjør. Ofte vil et ordentlig review gjøre at man skriver en lengre tilbakemelding og ber om større endringer. Man utsetter den også for automatiske tester slik at man vet godt hva koden gjør. Jeg har selv både gjort review, lagd rammeverk for automatiske tester og skrevet en masse tester. Jeg liker å skrive tester først for å være sikker på at jeg forstår hva koden skal gjøre. Min erfaring er at for å kunne gjøre et godt review bør man være involvert i koden jevnlig, helst på daglig basis. Hvis man skal kunne oppdage at noen gjør slemme ting og prøver å skjule det, så er det helt nødvendig at man er inne på daglig basis, og helst ikke bare ved å gjøre review, man bør aktivt utvikle i systemet. Du bør gjøre review av andres kode, og de bør gjøre review av din, og alt må testes hele tiden, og man må ha automatiserte tester for alt. Bare slik får man god kode. Bare så god kode og slik praksis vil kunne gjøre at tilsynsmyndigheter har en sjanse. Skulle europeiske tilsynsmyndigheter gjort denne typen review, måtte man ha titusenvis av ansatte. Selv da er det et spørsmål om man klarer å ha nødvendig avstand mellom utvikler og revisor, når disse måtte jobbe sammen til daglig.

Sorte svaner og overflatekonsekvenser

I likhet med dieselgate kan man gjøre inspeksjon ved ikke bare å sjekke kode, men også sjekke hvilke konsekvenser koden har. I dieselgate oppdaget man først altfor store emisjoner. Det er et meget stort felt som driver med dette, og man utvikler “benchmarks” som skal prøve å identifisere mulige problemer. Jeg mener denne tilnærmingen har ganske lite for seg, det kan være helt andre ting som er problematisk enn det man forestilte seg da man lagde benchmarken. Benchmarking er sjelden god vitenskap. Man kan ikke bevise at det ikke finnes en julenisse på nordpolen med et reinsdyr som har rød nese, og slik kan man aldri være sikker på at man har truffet den faktiske skurkestreken. Man kan heller ikke slutte av at alle svaner er hvite selv om man aldri har sett noe annet.

Kunnskapsskjevhetens betydning

Det er klart at en tilsynsmyndighet kan komme inn og sjekke at man følger god praksis. Man kan bruke moderne teknikker for å prøve å kryptografisk sikre at koden man ser er den som faktisk kjøres. I en situasjon der man har balanse mellom kunnskapen tilsynsmyndighetene besitter og teknologiselskapene besitter kan det kanskje hende det kunne fungert.

Det er enklest å lage en forretningsmodell hvis man har eksklusivitet. Du må ha en konkurransefordel, noe som ikke konkurrentene dine har. Så, mesteparten av IT-industrien er bygd rundt det, og det man som oftest har eksklusivitet på er faktisk ikke selve programvaren, men kunnskapen som er bygd inn i den programvaren. Det er ikke alltid problematisk, men det blir veldig problematisk når den programvaren setter normer for hvordan samfunnet vårt fungerer. Da blir det giftig fordi da er det teknologiselskapet som bestemmer normene, uten demokratisk mandat. Det er etter min oppfatning hovedgrunnen til at teknologiutviklingen har gått så galt. Kunnskapsskjevhet er et grunnlagsproblem, ingen tilnærminger som ikke løser dette problemet vil ha ønsket effekt.

Så, vi er veldig langt fra en situasjon der det er balanse mellom myndigheter og selskaper. Vi er veldig, veldig langt fra det. Inspeksjon- og revisjonsregimet er ikke løsningen på dette problemet, selv om EU later til å tro det. Dette er problemet som må løses før tilsynsmyndigheter kan ha betydning. Så hvordan gjør vi det?

Den digitale allmenningen er redningen

Det finnes en annen måte å utvikle programvare og standarder på. Den utgjør faktisk det meste. Det er basisen for Android og iOS, for webservere og datasentre, og for maskinlæring. Den består også av nesten alle standardene som brukes i ditt dagligliv, og man finner mye åpne data i den. Den digitale allmenningen er flere tiår gammel og er stor og innovativ.

Vi som jobber i den digitale allmenningen har deling av kunnskap som det viktigste vi gjør, det er hvem vi er. Vi tilbyr transparens, inklusivitet, selvbestemmelse, bruksrett og mulighet til å bidra og til å direkte påvirke hva teknologien gjør. Utviklingen gjøres i åpne miljøer med flere aktører, noen ganger konkurrenter.

I allmenningen har vi kjente metoder for omfattende review og testing. Ta en titt på endringsloggen til Linux for eksempel, der personer fra flere selskaper tester og gjør review av koden. Man kan for eksempel se at en ansatt i AMD gjør review av et endringsforslag gjort av en ansatt i Intel. Intel og AMD er to av verdens største produsenter av prosessorer, og er hverandres hovedkonkurrenter. Når hver kodebit gjennomgår en slik prosess blir det ikke bare svært vanskelig å snike inn noe, man får en ordning som skalerer, det er et helt miljø som sørger for at koden ikke inneholder ting som ikke skulle vært der, ikke bare en tilsynsmyndighet med begrensede ressurser. Når kommersielle konkurrenter har gjensidig nytte av å sikre god forvaltning av kode oppstår det gode effekter for samfunnet som helhet, det er nettopp det allmenninger handler om.

Men ikke alt er rosenrødt i den digitale allmenningen heller. Man ser at mennesker brenner seg ut, man ser at den er underfinansiert (og det er nok fordi det er vanskeligere å finne gode forretningsmodeller), man ser at man ikke klarer å organisere god nok testing og review og dermed blir sikkerhetsfeil gående uoppdaget, og man ser også at selskaper prøver å bygge gjerder som ødelegger. Det er derfor fortsatt behov for en tilsynsmyndighet, men den kan være mye mindre enn det som vil være nødvendig i EUs regime. Den må sørge for at prosjekter som har betydning for normene i samfunnet har en god maktbalanse mellom aktørene, og hvis det ikke gjøres god nok review og testing, så må man sørge for at det blir satt inn tilstrekkelig med ressurser til å gjøre det. Det kan gjøres ved å finansiere noen av aktørene slik Tyskland gjør med sitt Sovereign Tech Fund og som nå er i ferd med å bli generell EU-politikk.

Enda bedre, mener jeg, er om man setter opp en ny type samfunnsinstitusjon, som skal utvikle programvare med et demokratisk mandat snarere enn et kommersielt mandat. Jeg har kalt en slik institusjon “Senter for normativ teknologiutvikling”. Demokratiet vil bruke en slik tverrfaglig institusjon til å direkte påvirke normene som settes gjennom teknologien. Å utføre review og testing og sette inn ressursene som gir maktbalanse er blant de operative tingene en slik institusjon vil gjøre, men den vil først og fremst være skapende. Tilsynsmyndigheten vil fortsatt ha et overordnet ansvar for sørge for at allmenningen blir godt forvaltet.

Tillit er fortsatt det beste

Jeg vil ikke ha Big Tech-selskapene i det norske samfunnet. De har så til grader brutt ned tilliten, både min egen tillit til dem og den tilliten samfunnet bør ha til dem. Vi bør ikke ha slike selskaper som opererer i vårt samfunn. Når tilliten er brutt er det lett å ønske seg et veldig omfattende inspeksjon- og revisjons-regime, men det EU legger opp til vil aldri kunne bygge opp tillit, det vil kun bidra til at Big Tech får operere omtrent som før, bare under en solid mengde papirarbeid.

Men likevel, de nordiske tillitssamfunnene er fortsatt de beste. At vi har sterke tilsynsmyndigheter er en viktig årsak til at vi har slike tillitssamfunn, men våre tilsynsmyndigheter driver ikke med tilsyn for papirarbeidets skyld, de er faglig sterke myndigheter som leverer ordentlige resultater. Det regimet som vil oppstå hvis kunnskapsskjevheten mellom industri og reguleringsmyndigheter består må ikke forveksles med det norske tilsynsmyndigheter gjør i dag.

Jeg er sjelden blant dem som er redd for at innovasjon blir skadelidende ved innblanding av offentlige myndigheter. Men jeg tror at det kan bli mindre innovasjon av et slikt regime, mens innovasjonsevnen vil øke sterkt hvis det offentlige bidrar til utviklingen av digitale allmenninger gjennom et “Senter for normativ teknologiutvikling”. Jeg sier et stort ja takk til offentlig innblanding hvis det gjøres på riktig måte.

Siden digitale allmenninger er radikalt åpne, vil disse kunne opparbeide seg tillit på en måte som lukkede teknologiselskaper aldri kan fortjene, og dette vil gjøre at vi kan ha en nordisk tillitsmodell til selskapene som utvikler i allmenningen. Det inkluderer også Big Tech. Noe slikt kan ikke EU få til, men nordiske land kan.

Konklusjon

Det er en stor kunnskapsskjevhet mellom industri og reguleringsmyndigheter i IKT-feltet, noe som gjør at et inspeksjon- og revisjonsregime ikke vil fungere, det er altfor lett å skjule hva kode faktisk gjør. Et algoritmetilsyn vil føre tilsyn med feil ting, og vil ikke få betydning for de faktiske problemene. I stedet får vi ineffektiv teknologiutvikling og mange offentlige ansatte som ikke bidrar til nyskaping.

I stedet må myndighetene sørge for at teknologi som setter normer utvikles i åpne miljøer, slik mye programvare allerede gjør. Dette må skje i digitale allmenninger. Ved å gjøre dette vil befolkningen kunne ha tillit til teknologiutviklingen, og vi vil få offentlige ansatte som bidrar direkte i verdiskaping og innovasjon, og få fart på bærekraftig innovasjon i næringslivet.

Provenance as key technology to reduce information pollution

To verify the veracity of information, the authenticity and authoritativeness of that information is important to assess. Tracking the origins of information is important to understand its authenticity and authoritativeness. So far, authenticity and authoritativeness has largely been assessed only by understanding the content itself and has been the focus of media literacy programmes. However, information pollution has made it increasingly difficult for non-experts to assess the authenticity and authoritativeness of information, a problem that is likely to become worse. This document introduces the concepts and discusses existing efforts and finally outlines the commitment needed from governments.

Introduction

The term provenance is commonly used in technical literature to describe the practice of tracking who and what not only originates information, but who and what changes it. Conventionally, provenance is metadata that follows the information.

Consider an image, shot by a certain camera by a certain person. The camera information and an identifier of the photographer should in most cases be available as provenance metadata. Consider then the possibility that the image is photoshopped, then at least information that it has been photoshopped and by whom should be added. If the image is then published in social or editor-run media, the provenance information should be checked to see if it is likely consistent with the content of the image.

To allow citizens to assess the authenticity and authoritativeness of the information, there should usually be tools that can help them verify the correctness of the provenance metadata. Usually, the public should realize that information that comes with verifiable provenance metadata is more trustworthy than information without. However, this is clearly not desirable in all cases, in some cases that metadata is highly sensitive. In the case where the information comes from a whistleblower, it must be removed. In such cases, free editor-run media is important, as they can assess the veracity of the information, and the public would then need to rely on the reputation of the media to assess the trustworthiness of the information.

Recommended reading and existing initiatives

Henry Story has written quite extensively on the role of provenance in his work on Epistemology in the Cloud. In an OpenAI-sponsored paper titled Generative Language Models and Automated Influence Operations: Emerging Threats and Potential Mitigations the authors describe the outcome of a symposium where potential mitigations were discussed. Provenance was discussed in the paper, noting that

Because technical detection of AI-generated text is challenging, an alternate approach is to build trust by exposing consumers to information about how a particular piece of content is created or changed.

They also reference a prominent technical approach by industry actors that has formed the Coalition for Content Provenance and Authenticity (C2PA), and has produced technical specifications including an harms modelling overview.

An earlier, and more academic standardization effort was undertaken under the auspices of the World Wide Web Consortium to produce the PROV family of documents. It did not see very extensive implementation, but I have used it to provide an unbroken chain of linked provenance data from individual changes to my own open source contributions through my packaging and to Debian packages. Unfortunately, the data sources this relied on are now defunct.

Nevertheless, it is clear that the main challenges are not technical. Conceptually, it is quite well understood and if it is done on a large scale, it could have a significant impact. It is therefore much more important to discuss the implications for how technology is governed.

Normative Technology Development

Whatever technology choices are made in this area will set down societal norms. This illustrates a crucial point that not only law sets norms in the form of regulation. There are also cultural, religious and biological norms, and also technological norms. As the C2PA coalition analyzed harms, they made choices as to what should be considered a potential harm, and in designing a system, those choices informed the technical decisions that they made, and thus formed norms. This is not to say that the choices that they made were wrong, but they are to a great extent political choices that should have been influenced by elected representatives.

Now, given that they sport significant implementation capacity, it makes sense that the companies that form this coalition to have a representation too, but it should have been balanced by other participants that have a democratic mandate. For these participants to have an impact, they must too have implementation capacity so that they can demonstrate that the solutions proposed by those with a democratic mandate can be implemented and have an impact.

Doing this in open ecosystems with non-exclusionary terms so that they become Digital Commons are essentially what I refer to as normative technology.

With a strong public engagement, democratic institutions will also gain knowledge into the details of the technology, which will also greatly assist lawmakers as eventually these norms may be written into law. Moreover, democratic institutions will need to assist in the dissemination of the technology throughout society, as this is probably the most difficult obstacle for provenance technology to have societal impact.

A vision of what good looks like

Too much of the public debate on technology is about the harms of social media and technology in general. We also have to say what we think technology should be like to be good. Many of these things must be discussed in great detail, but I just wanted to state in a few points what my current thinking is on this.

I think of four pillars of technology for a that are important for future societies:

  • Respect and empowerment of individuals
  • A public sphere with empowered collective action by communities
  • A sociotechnological landscape that is regulable
  • Commercial opportunities at any scale for everyone

Now, to detail these:

Respect and empowerment of individuals

  • Individuals, by virtue of being citizens of societies, are respected as a basic autonomous agent.
  • Individuals are unimpeded in their pursuit of knowledge as knowledge is the basis for their ability to act as an autonomous agent.
  • Individuals are empowered to create technology, literal and artistic works.
  • Individuals have the right to be connected to digital networks.
  • Individuals have the right to digital identities that can be used in online ecosystems.
  • Individuals have the right to basic data management facilities online.
  • Individuals have the right to possess devices in which they can place their ultimate trust.
  • Individuals have the right to information security.

A public sphere with empowered collective action by communities

People do not thrive in privacy alone, we are first and foremost social. Sometimes, they want to be left alone, but sometimes, they want to go in public and wear a smile. Sometimes, they need somebody’s support for their cries. Sometimes, they want to find a pleasant beach to relax, sometimes they want to find a mountain to challenge themselves. Sometimes, they want to discuss matters of importance to them, sometimes they want to organize an event for a select group of friends, sometimes for a large crowd. The public sphere must encompass all these human endeavors, i.e. they are “societal scale technologies”. Technologies developed only for democratic debate or only for gathering a group of friends are unlikely to succeed, the vision must be so universal it can host the entire public sphere.

  • Positive social relationships and enhanced social cohesion should be key design goals.
  • Democracies should develop technologies to enhance democratic processes.
  • Technologies should promote establishment of epistemic commons.
  • Citizens should have the possibility to interact with government services through digital interfaces but must not leave any citizen behind because they may not wish or be able to do so.
  • Communication between parties in a community must be secured.
  • Communities must have technologies to help establish trust between different parties. They must do so without compromising the ultimate trust individuals have in their devices.
  • Technologies should support the formation and sound interaction between groups and within groups that forms on a permanent or ad hoc basis for social interactions.

A sociotechnological landscape that is regulable

Centralisation of power by technology companies has led to a situation where democracies do not have sufficient knowledge to regulate technology development sufficiently.

  • Enabling individuals to unimpededly seek knowledge to open technologies can shift the power balance towards gaining regulability in democracies.
  • Democracies need to form governmental institutions to set norms through developing technologies for citizens using technologists in close collaboration with cross-disciplinary teams.
  • Democracies will develop new frameworks to guide detailed technological development.  
  • Through these institutions, open technology projects can be governed in collaboration with private companies in greater detail than today.
  • Technology acceptance is driven by individuals who find that virtuous cycles emerge with technologies designed with positive social relationships in mind.
  • Pluralism is a cornerstone, helped by decentralised architectures and that normative technology development institutions are commonly supported by national governments.
  • However, decentralisation should support societal goals, and is not a goal in itself.
  • Technology should support communities in regulating and sanctioning undesired behaviour and an effective and scalable manner, so that law enforcement isn’t overwhelmed. 

Commercial opportunities at any scale for everyone

  • Architectures should be designed so that individuals are empowered over providers of digital infrastructure.
  • Architectures should be designed so that the distribution of usage of different systems is gently sloped.
  • When citizens assume the role of consumer, they should be empowered to make their requirements clear, so that businesses can develop products with a clear market fit and reduce the need for marketing in the form of advertisements.
  • Payment systems should be standardised so that payments of even small size can be made over networks with low risk of fraud.
  • eCommerce should enable societies to transparently collect taxes to encourage development of society as a whole.

En manglende samfunnsinstitusjon

Er du blant de mange som føler deg fanget av teknologigigantenes plattformer, og som gjerne skulle ha hatt alternativer, så skal du vite at det er mange som arbeider med det. Som teknolog skulle jeg gjerne ha fortsatt å utvikle, men jeg ser så tydelig at problemet nå er at vi mangler samfunnsinstitusjoner som skal sikre demokratisk forankring.

Hver uke roper noen varsku om hvor ille det har blitt med denne utviklingen men som oftest uten forslag til løsninger. Hvorfor er det så vanskelig å se løsninger? På 90-tallet sa mange kommentatorer at Internett er et uregulerbart fenomen. Har den holdningen satt seg? I såfall er det helt galt, som juristen Lawrence Lessig viste allerede i 1999. Internett er en ting, skapt av mennesker, og det kan endres av mennesker.

Eller er det det at verdens myndigheter har vært ineffektive til å regulere fenomenet? Ja, det er vanskelig, og der Lawrence Lessig tok feil var at han trodde at etterhvert som Internett gikk mer og mer over i hendene på store selskaper, så ville det bli enklere å regulere. I stedet ble maktkonsentrasjonene så store at de ble mektigere enn nasjonalstater. Dessuten ble den makten brukt til å gjøre Internett stadig mindre regulerbart.

Det trenger ikke være sånn, la meg derfor vise hvordan en av de institusjonene kan se ut: Jeg mener at vi må ha en institusjon der teknologer kan bidra til å skape nye arkitekturer innenfor demokratiske mandater og med det formål å gjenvinne regulerbarhet der det er viktig for demokratiet. Dette må skje gjennom at teknologer kan utvikle systemer som løser opp i grunnlagsproblemer og gir befolkningen teknologi de har innflytelse over.

Men en slik institusjon må ikke bare ha teknologer, tvert imot, det må være en tverrfaglig utviklingsinstitusjon. For eksempel ser vi at Internetts arkitektur i dag bidrar til spredningen av konspirasjonsteorier, og at det er svært skadelig. Religionsvitenskap er derfor en nødvendig del av en slik institusjon.

Institusjonen må likevel skille seg fra akademia ved at den ikke i hovedsak forsker. Den har ikke mål om å beskrive, men å utforske hvilke normer som bør gjelde, som fordrer en endring i tankemønstre i de fleste fag. Det er få programvareutviklere i dag som utvikler ting som lager normer, men dem som gjør det har mye makt. Denne makten må vi være bevisst, og den må forankres i demokratier. Selskaper som Google og Facebook kan sette nye normer på ukentlig basis uten at det har slik forankring. En måte å gjøre dette på er gjennom å utvikle systemer basert på forskjellige arkitekturer og så studere dem, for så å framlegge resultatene i offentlig debatt. Fokus for institusjonen må derfor være utvikling av normativ teknologi, men hele samfunnet må bidra i dialogen som følger av dette.

Hva betyr det at vi har forskjellige arkitekturer? Vi kan tenke på hvordan vi bruker vårt navn. På Jodel og Yolo kan man være helt anonym, på Instagram og TikTok stiller man med pseudonym, mens på Facebook skal det være fullt navn, uten at noen sjekker det. Dette gjør at folk oppfører seg veldig forskjellig på de forskjellige stedene. Gjør vi det på en annen måte kommer folk til å oppføre seg på helt andre måter igjen. Avhengig av hva vi som samfunn ønsker å oppnå kan vi skape alternativer som møter disse målene. Få jobber så langt ned i detaljene at de forstår at vi faktisk kan velge.

Problemstillingene spenner fra det grunnleggende, som forholdet mellom individets rettigheter til behov for kollektiv innsats, til enkle ting som løser et umiddelbart problem for befolkningen som ikke kan løses på kommersiell basis. Selv om enkelte problemstillinger ofte vil være forskningsnære, skal fokus være på å komme fram til løsninger som er robuste og som folk flest kan ta ibruk.

I de fleste problemstillingene er nyansene og detaljene så viktige at de politiske spørsmålene ikke er klare før vi har prøvd ut flere mulige løsninger. Ofte er behandling av for eksempel personopplysninger basert på samtykke, men som Zeynep Tüfekçi har vist er vi svært sårbare for manipulasjon. Derfor beskytter ikke samtykke-mekanismen oss lenger mot utnyttelse. At vi nå klikker OK på “cookies” på alle nettsteder vi besøker har ikke bidratt til å styrke vår posisjon heller. Samtykke er en nødvendig mekanisme, men designen rundt bruk av samtykke må bli veldig mye bedre.

Dette er tverrfaglig utviklingsarbeid. Ofte vil dette skje i samarbeid med offentlige aktører, og man vil måtte søke internasjonalt samarbeid om prosjekter som allerede har et visst driv. Likevel er det merke seg at dette ikke er en institusjon som skal drive digitaliseringsarbeid for offentlig sektor, det offentlige gjør allerede en god jobb med å ordne klare problemer ved å bestille en løsning i markedet eller fikse det selv. Institusjonen må ha frihet til å velge problemstillinger på faglig grunnlag, og framlegge mulige praktiske løsninger for befolkningen, som så kan være gjenstand for offentlig debatt.

Taiwan startet et slikt arbeid for fire år siden, med en fremragende utvikler ved navn Audrey Tang som digitalminister. De har gjort store framskritt blant annet innen behandling av desinformasjon.

Kan små prosjekter i Norge ha innflytelse på det internasjonale teknologiske landskapet? Ja, men flere forhold må være riktige: For det første er løsningene sterkt etterspurt, det fleste teknologibrukere i verden er klar over at de er fritt vilt. Når et problem er løst, kan hele verden få ta del i løsningen. Det at vi er små betyr likevel at vi må ha globalt perspektiv, hvis vi kun løser norske problemer vil løsningen gå i glemmeboken under teknologigigantenes tilbud. Dette setter store krav til globalt orientert faglig lederskap. Vi må også treffe de store nettverkseffektene. Det er ekstremt vanskelig å lykkes ved å bygge helt fra bunnen av, slik at det aller viktigste er å finne allierte i det teknologiske landskapet i verden. Vi skal også huske på at av alt utviklingsarbeid som gigantene gjør, er det bare en liten del av det som er nyttig for oss, og som må erstattes for å lage et velfungerende teknologisk samfunn. Kanskje vi kan spre slike institusjoner til flere land.

Dette er en helt ny type institusjon, men helt nødvendig om vi skal snu utviklingen. Selv om mange i IT-industrien ser at vi er nødt til å ta en annen retning, må demokratiet trå til med rettledning og tverrfaglighet av et annet omfang enn det vi har sett hittil. Dette er noe Internet Architecture Board også har påpekt i et notat med tittel “RFC 8890, The Internet is for End Users“. Vårt demokrati er blant de sterkeste i verden. Derfor tror jeg at teknologer her ser at løsningen er større politisk handlingsrom, ikke mindre politikk, slik mange i Silicon Valley tror.

Meg og oss i cyberspace

At individet står svakt i dagens teknologiske landskap har blitt åpenbart. At noen få teknologigiganter har fått enormt med makt som berører nesten alle samfunnsområder blir også påpekt omtrent hver uke i kronikker som også viser at denne situasjonen er meget skadelig. De færreste tar imidlertid inn over seg at denne sosioteknologiske utviklingen har skjedd på grunn av teknologi som er skapt av mennesker, og at alternativer til dette kan skapes av mennesker med andre insentiver og andre muligheter. Jeg har ikke tenkt å akseptere situasjonen som den er, men samfunnet trenger en ny forståelse for hvordan teknologiutviklingen kan påvirkes.

Noe av det viktigste å løse opp tidlig er forholdet mellom individet og det kollektive. Vi som har jobbet med dette lenge har vært klar over spenningen mellom individets rettigheter og behovet for å bruke data om individet for å oppnå kollektive goder, men COVID-19 og den mislykkede «Smittestopp»-appen har brakt et eksempel på dette opp i offentligheten. For selv om jeg gjerne står på for individets rettigheter, så er det også åpenbart at data sjelden er særlig nyttig for ett individ alene, det er best både for individet og samfunnet at data deles på en fornuftig måte, og data er grunnlaget for det meste som skjer på nett. Både legalt og teknologisk er dagens situasjon så primitiv at individets rettigheter stadig er i konflikt med det kollektive, noe en mer prinsipiell tilnærming må og vil løse opp i.

Disse to problemstillingene, teknologigantenes makt og spenningen mellom individets rettigheter og kollektive goder, må løses sammen fordi de i virkeligheten er to sider av samme sak. Det er viktig å presisere dette fordi jeg har sett mange tilfeller at man snakker forbi hverandre, spesielt kommer det mange påstander om at hvis man ukritisk deler data med teknologigigantene, så kan man vel også dele data med norske myndigheter.

Situasjonen er at med den maktkonsentrasjonen som er, så står de aller fleste bedrifter i et avhengighetsforhold til et selskap høyere opp i næringskjeden, og har svært få muligheter utenfor de forretningsområder de prioriterer. Som sluttbrukere står vi også et sterkt avhengighetsforhold, hvis jeg ikke bruker Facebook kommer ikke min barn på treninger eller i bursdager. Folk flest er helt klar over at de er fritt vilt i dette samfunnet, men de har svært begrensede muligheter, og dette truer tillitsamfunnet. Jeg anerkjenner også de problemer som er beskrevet i de ukentlige kronikkene som kommer, det er problemer av legal, sosial, økonomisk og teknologisk art som er alvorlige. Forskningen og til dels nye industrielle retninger har begynt å løse opp i de teknologiske problemene, da sentraliserte systemer har vært en vesentlig driver for å konsentrere makt, men det er fortsatt langt vanskeligere og dyrere å lage desentraliserte systemer. Siden problemene er så mangeartede vil teknologiutvikling kun spille en liten rolle, men den rollen er likevel viktig, da folk har reelle problemer som teknologien løser for dem, selv om den løser det på en måte som i det større bildet er til ugunst for både dem og samfunnet.

Det er i dette bildet man må forstå at vi insisterer på individets rettigheter: De er viktige som en motvekt til de sterke avhengighetsforhold som dagens digitale samfunn er bygget på. Slik vårt demokrati sikrer individets rettigheter som en forutsetning for individets deltakelse i tillitsamfunnet, slik vil det digitale tillitsamfunnet måtte bygges med rettigheter for individet. Som konsekvens av dette arbeidet vil også befolkningen bli mindre avhengig av teknologigigantene, og som konsekvens av det vil næringslivet også få større muligheter til å skape. Å sikre individets rettigheter innenfor er således en forutsetning for å løse kollektive utfordringer.

Vi må gå en lang og vanskelig vei for å komme dit, det krever tverrfaglig innsats over tiår. Det begynner med å innse at det er mange måter å lage normer på, teknologisk utvikling er en av dem. Det er svært få programvareutviklere som per i dag skaper nye normer, men de som gjør det har mye makt. Teknologigigantene ruller ut normsettende programvare hver uke. Per i dag er det nesten ingen teknologer som har mulighet til å jobbe normativt uten et profittmotiv som er diktert av dagens markedsrealiteter. Det er helt nødvendig å etablere tverrfaglige miljøer som kan utvikle teknologi innenfor et demokratisk mandat som kan ha normativ effekt på det sosioteknologiske landskapet i verden. Demokratiet må derfor slutte å tenke på at lovregulering er den viktigste eller eneste måten å skape normer på, det er nettopp en slik tanke som har ført oss ut i det uføret vi nå er i.

Det er mange i teknologiske miljøer som ser problemene og jobber med det, men hvis demokratiet ønsker å ha en hånd på rattet denne gangen så er sjansen her og nå.

Å skape nye normer ved å utvikle teknologi

Det er mange teknologirelaterte temaer oppe i samfunnsdebatten: Hatefulle ytringer, “hevnporno”, “grooming”, manipulering av meningsdannelsen i demokratier, at befolkningen har mistet enhver innflytelse over egne data, at mediene har mistet sin samfunnsrolle på grunn av sviktende inntektsmodeller og sosiale mediers overredaktørrolle, at næringslivet ser færre inntjeningsmuligheter på grunn av enkelte enorme selskapers dominans, ensrettingen i sosiale medier, osv. Likevel er det knapt nok en eneste teknolog på verdensbasis som er i en slik posisjon at man kan gi et meningsfullt bidrag til å løse disse problemene.

Jeg tror samfunnet tenker på det å forme teknologisk utvikling på helt feil måte: Først må man skille mellom deskriptivt og normativt arbeid. Mesteparten av arbeidet jeg ser som presenteres på ulike møter, for eksempel konferansen om hatefulle ytringer er av deskriptiv natur. Deskriptivt arbeid bidrar til vår forståelse av de ulike fenomenene, og er derfor viktig for normativt arbeid, men kan ikke i seg selv gjøre særlig mye for å korrigere. Under Forskningsrådets VerdIKT-program var sosiale medier en del av fagsøylene, men nesten alt arbeid var deskriptivt.

For å gjøre en forskjell må man drive normativt arbeid. Her synes det meg som at samfunnet oppfatter at lovgivning er det eneste normative arbeidet man kan gjøre. Det er en kritisk feiloppfatning som har satt oss i den situasjonen vi er i i dag.

Det mest innflytelsesrike normative arbeidet i dag skjer blant programvareutviklere i de store selskapene. Dette skjer bak lukkede dører, og under strenge, kommersielle føringer. Når Facebook utvikler algoritmer for mer effektive annonser er det normativt arbeid, det influerer hvordan befolkningen kan påvirkes. Når Google utvikler algoritmer for relevans i søkeresultater er det også normativt, det påvirker hvordan vi ser verden. Men når Tim Berners-Lee skrev programvaren til World Wide Web drev han også normativt arbeid, med den motivasjon at dette var en fellesskapsressurs for hele menneskeheten. De fleste programvareutviklere driver ikke normativt arbeid, men de som gjør det har enorm innflytelse. Mye av problemet er at de som optimaliserer sine utvikling for å manipulere verdens befolkning for markedsføringsformål har mye mer makt enn dem som utvikler med menneskehetens beste som viktigste mål.

Facebook, Google, Amazon, osv., publiserer nytt normativt arbeid hver eneste uke. Først lenge etterpå kan lovgiver forsøke å forstå hvilke nye normer som har kommet til og hvilke effekter det har hatt på samfunnet. Så kan man forsøke med de jure normativt arbeid for å korrigere kursen. Som oftest mislykkes man, fordi normene er så detaljerte og så etablerte at det er altfor sent. Derfor har vi havnet i situasjonen vi i dag er i. Slik tror jeg også EUs nye personvernforordning også vil feile, om noe vil den sementere Facebook og Google sin markedsmakt, fordi de er de eneste aktørene som har et nært nok forhold til brukerne til å spørre om samtykke, noe de helt sikkert vil lykkes med å manipulere oss til å gi.

Med mindre det finnes alternativer for befolkningen. Vi kan nemlig spille dette spillet vi også, men vi klarer ikke spille det på de økonomiske betingelsene som konkurransen med Facebook og Google setter, “pay-by-privacy”-modellen er åpenbart svært vellykket.

Men, vi kan sette teknologer istand til å skrive normativ programvare, basert på de normer vi som samfunn kan bli enige om. Det er dog bare det første skrittet, det må så taes derfra til at det utgjør en standard måte å løse oppgaver på som får bred oppslutning i næringsliv og befolkning. Det er fryktelig vanskelig å gjøre, men det finnes en rekke slik eksempler, der Webben er det største eksemplet. Ettersom vi ikke har noen vitenskapelig metode for å si hva som vil lykkes, vil dette arbeidet nødvendigvis ha et element av å prøve og feile.

I denne prosessen spiller de facto tekniske standarder en rolle, og i noen tilfeller også de jure tekniske standerer og lovgivning. Det blir mye lettere å formulere de jure normer når det er basert på teknologi som eksisterer. Det synes meg en langt mer effektiv måte å etablere normer i samfunnet, starte med normativ programvare, i de tilfellene dette er vellykket, gå videre med de facto standarder, og så, i de tilfellene der det er nødvendig, de jure standarder eller lovgivning.

Vi kan ikke ha det slik det er idag. Det vi har på Internett i dag er en blek skygge av det vi ønsket og prøvde å skape på Web. Vi kan ordne det, men det krever at teknologene får mulighet til å bidra annet enn gjennom kommersielle krav og at vi kan drive tverrfaglig utviklingsarbeid. Jeg vet at mange teknologer deler min frustrasjon og vil bidra til å snu samfunnsutviklingen.

The Greatest Achievement in Social Media

If we managed to create a decentralized social media ecosystem, how would we go about to identify the hardest problems to tackle, and what would be our greatest achievement if we succeeded? If this seems like an odd question, bear with me, dear reader: Many technologists look are motivated by great, technical challenges, and this is an attempt to channel that energy into social problems.

Many people, who I would consider relatively like minded as myself would say that things like censorship resistance and anonymity are the absolute requirements, and so crown achievements. I do think they are important, but only within a broader, social context that takes into account a wide variety of social problems. We have to explore the borders to understand where this may fail to bring social benefit, and we have to consider other options in those cases.

I think it is very important to think about future, decentralized social media not as an application, not like another Facebook, but as an ecosystem, where social interactions is a common ingredient of many interconnected applications contributed by many different actors.

In an earlier post that I wrote in Norwegian, I mentioned the revenge porn problem, where media is put into a sexual context and distributed without the depicted person’s consent. Another problem in the same space is “grooming”, where a person is manipulated into sexual abuse.

Grooming often follows a pattern, where an older person contacts a minor, lying about their age and/or gender and has the minor send them relatively innocuous pictures based on some false pretense. With those pictures, the perpetrator then threatens to expose those pictures to classmates, parents or others to put the minor into a coercive situation, where abuse and coercion can only escalate.

It is clear that one should never enter such a situation with an anonymous peer. However, it is equally clear that one should not enter such a situation with a peer that knows your complete identity either, as that can result in more direct forms of sexual abuse. The grooming problem is a problem because there exists no reasonable and commonly used middle ground, and therefore people resort to unsafe channels. Most of these cases can probably be prevented if people had a strong, online identity that could be used to pseudonymize them using selective attribute disclosure and verifiable claims. With the former, the two peers can disclose only relevant and non-compromising information, for example age and gender (even though that too can be problematic, technology should also be developed to assist in ensuring that their full identity cannot be compromised). With verifiable claims, both peers can verify that the information disclosed by the other is accurate. They should be empowered by the social media platform to enter a context where they have this kind of pseudonymity, where they get the extra security. If, for example a teen enters a dating site, they will use their strong, verified online identity, but the security system of the dating site will see to that nothing that can compromise the identity is exchanged unintentionally. If the peers eventually choose to exchange further details or meet in real life, the peers should be able to indicate to the dating site that they have chosen to do so, and if the meeting results in abuse, this information can be passed to authorities.

“Revenge porn” is a much harder problem. The name itself is problematic, as for example artistic or simple nudes, indeed almost anything, may not have had any sexual intentions, but may be twisted into sexual context by a perpetrator. Moreover, the distribution of such media may not be for revenge, but still be felt as an abuse by the depicted. This underlines that it is never OK to blame the victim and that the problem is  much  broader than it seems at first sight. A fairly authoritarian approach may be advocated: One may argue that people cannot retain full control of their own devices, so that authorities may have the option to delete offending material. Censorship may be advocated, so that material will not propagate. Longer prison sentences may be advocated. I am opposed to all of these solutions, as they are simplistic and fail to address other valid concerns. Taking away people’s control of their own devices contribute to alienation and distrust in the social relevance of technology, something we need to rely on for the solution to the grooming problem above, but also many other problems. I am also opposed to prison sentences, it is often a breeding ground for more crime, and should be reserved for extreme cases.

We should be able to fix (in the sense that the problem is marginalized and made socially unacceptable) this without resorting to such authoritarian measures. It takes changing culture, and while there’s no technological quick fix to changing culture, technology and design can contribute. The Cyber Civil Rights Initiative is a campaign to end non-consensual porn, and has published a research report with many interesting findings. The group advocate some of the more authoritarian solutions, and while I am sympathetic to the need for legislation, I believe this should be considered a privacy problem, and dealt with in generic privacy legislation, as I believe is the case in Europe. Without having personal experience, I suspect that privacy violations where private media are stolen and exposed even without any sexual undertones can be felt as much of a violation is “revenge porn”, and they should therefore be dealt with similarly.

Page 22 of the report summarizes what kind of sanctions would have stopped the perpetrators, in their own words. It is understandable that legislative measures are forwarded, as those comes out as the most significant. I nevertheless think it is important to note that 42% said that they wouldn’t have shared abusive media “if I had taken more time to think about what I was doing”, and 40% “if I knew how much it would hurt the person”.  These are very important numbers, and things that can form the basis for design and cultural change. It is now possible to detect pictures with certain content with a relatively high probability, and make the poster think more carefully. Make them answer some questions. We could build a technology that asks “do you know how much this could hurt?”, and then a culture were friends ask the same. This becomes even easier if the victim is identified, as is not uncommon. In that case, the media could be tagged as “not OK to distribute”, and where friends of the victim could also appeal to the perpetrator’s conscience and also participate in stemming the distribution. Laws are for the 20% who said that nothing would have stopped them, and building a culture should also shrink this number significantly. Finally, 31% wouldn’t have posted the media “if I had to reveal my true identity (full name)”. Even without full name, a pseudonymized identity, like the one discussed above, could act as a significant deterrent, and would also help propagate warnings about how further distribution would be inappropriate and/or illegal.

This makes me hopeful that this is a problem were a well designed decentralized and rather censorship-resistant social media ecosystem could have a meaningful impact.

Another reason that the system has to be censorship resistant, is that it the same ecosystem has to be universal, for example, it must also function as a platform for public debate under authoritarian regimes. I would like to point out the work of Hossein Derakhshan who initiated a large blogosphere in Iran that contributed to a more open public debate. Derakhshan was arrested for his blogging in 2008, and released in 2014. He wrote a retrospective analysis of the development in the intervening years that is important well outside of Iran, called “The Web We Have to Save“. I  have great respect and admiration for the work that Derakhshan has done, and it underscores the importance of having a Web that can be the foundation for situations where it is important to stop the spread of certain material and for situations where it is important to keep it flowing.

To achieve this, we must be very careful with the design of the ecosystem. For example, the trusted identity is straightforward to achieve in Norway, where we have good reason to trust government, but it would be counter to the goal of an open debate and therefore stifling to do so in Iran. Trust in the identity is an example of something that must be built in very different ways around the world, and the ability for local programmers to integrate different approaches into the same ecosystem is therefore instrumental to the possibility of making it work for everyone.

It is undeniable that there is a tension between the above goals, but I think it is easy to agree they are both important. To have the same platform do both of these things is a great technological challenge, and I think that if we can do this, it will be a very important achievement for all of mankind.

Enabling Diversity Through Decentralised Social Media

Awareness of the problematic aspects of social media has been brewing for a long time, but recently, it has exploded in the public debate, with the effects of “fake news” and “echo chambers”, and also on the editorial role of Facebook. The response of Facebook has not impressed commentators. To make my position clear from the start: This is a very complex problem to solve and involve social, economical and psychological problems that need to be addressed. However, I wish to make the case that the technology also matters, and an approach must necessarily begin with changing the underlying technology. In this blog post, I would like to list the primary social problems that I have personally identified. However, I’ll try to take a positive angle, this is not just about Facebook and that failings, this is what we should create for the future. Out of the social problems, the echo chamber problem is only one.

The Echo Chamber Problem

My personal history with this problem doesn’t start here, it started 20 years ago, as I took on managing the Web site of the Norwegian Skeptics Society. The subjects we were concerned with were fairly marginal, and easy to label superstition. Astrology, UFOs, etc. It soon became quite apparent that the problem wasn’t to reach out with information, the actual problem was much, much harder, it was to get that information into closed minds. Since then, this problem has grown from being a marginal problem considered only by a few, to a major social problem.

Now, some may say that the problem is not technological, and possibly that technology is indifferent to the problem, any technological platform can help get information into closed minds, and any technological platform can provide infrastructure for opposing viewpoints and enable a debate between them. I disagree, and I think recent events make that clear. Even if technology alone cannot open closed minds, there are technological choices that are critical in enabling the needed platform for an open public debate.

First, it is important to constrain the scope of the technological problem, by understanding the problems that are of different origin. The reason why fake news thrives on Facebook is complicated and this article argues it comes down to the emotions of the people in your social network. This article contains a discussion of why “popping the bubbles” is problematic. It is also important to be reminded of the effects of identity protective cognition. Facebook has themselves published research on the issue. What is interesting is that nowadays, my Facebook feed is full of anti-Facebook sentiments, but none of these articles showed up there. I had to go look for them, only after I started to share these articles in my News Feed myself, similar articles started to surface. Now, the “echo chamber” and “filter bubble” metaphors may not reflect the true nature of the problem, but Facebook arguing that they are not doing so bad is mainly due to the lack of a ambitious baseline, we don’t know yet what could be achieved if a structured, cross-disciplinary approach was made. Even if the most important effects are social and psychological, if information isn’t available it can certainly not be acted upon.

To further understand the problem, we should listen to Facebook’s Patrick Walker, who responded to the “Terror of War” photo removal with a keynote given to Norwegian editors. The keynote is well worth watching, not just because it provides insight into the core problems, but also because it provides hints to the road ahead.

Patrick Walker himself gives an excellent summary of the accusations they face:

“[…] people said that we weren’t transparent, there’s no way of knowing what our algorithms do, that publishers don’t get any warnings about changes to the news feed, that we refuse to accept that we were editors and were abdicating our responsibility to the public, that we were trying to muzzle in on the media business and eroding the fundamentals of journalism and the business models that support it. That by encouraging editors to optimize for clicks and showing people what they want to see, we were creating filter bubbles and echo chambers.”

He then goes on to forward the values of Facebook, to give people the power to share and to make the world more open and connected. I have no reason to doubt that they are actually trying to do that. In fact, they may often be succeeding. However, the Web is what to a greater extent gives people the power to share. The Web is what truly empowers people, Facebook included, Facebook is merely a thin layer on the top of the Web. The problem is that it is truly a layer. If Facebook was just yet another possible social network, with a limited scope just like Mark Zuckerberg proposed, that’d be fine:

But it isn’t, it wields much more power than that, since it has effectively put the function of a social network into its own hands and controls that. Patrick Walker then goes on to describe how difficult it is to create global community standards for Facebook, and how problematic it would be if these standards did not apply to all of Facebook. He then concludes that people are free to say whatever they want elsewhere, but not on Facebook. This part of the talk is very compelling, and calls into question the appropriateness of calls for national or EU-mandated regulations. But it also makes it clear that Facebook cannot play the role of a public debate platform, he said that pretty much himself. In the moment an opinion becomes unpleasant, and those are the opinions that need the most protection, it has no place on Facebook. He says it clearly: “Facebook is not the Internet”. It makes it clear, to solve most of the problem he mentioned we have to create that alternative to Facebook that provides the platform for an open, public debate.

It is also clear from his talk that many of the problems that Facebook faces are due to that Facebook needs a single set of rules, and while he has made a good case for that for Facebook, it doesn’t have to be that way on the Internet. In fact, the architecture of the World Wide Web is decentralised, there is no single actor, such as Facebook that should control such an important feature as a social network. Decentralising the social network will have the effect of allowing a plurality of standards. Facebook only has to solve Facebook’s problems, these problems are not universal, and that’s why I say that the underlying technology matters. A decentralised social network has a different set of problems, some are difficult, but it is my clear opinion that the hardest problems are created by Facebook, and can be solved as decentralisation enables diversity and pluralism.

The General Lack of Diversity

As Walker noted, they have been accused of attacking the ability of the press to perform quality journalism. There is some merit to the argument, even if it was easy to predict that social media would be the most important distribution channel more than 15 years ago, before the social networks grew large and strong. Now, the press has to choose between letting Facebook be the editor-in-chief and hopefully a benevolent provider of a working business model, or to maintain their autonomy, and essentially starting over and figure out how to make money in social media on their own.

The problem is not just about Facebook or the press. Recently, Elon Musk said on their carpooling efforts that it “wasn’t Tesla vs. Uber, it is the people vs. Uber”, implying that Uber is a monopoly problem waiting to happen.

The centralisation is not only a problem for opinions in the public debate and  business models, though both are important aspects. It creates difficulties for permissionless innovation, an aspect central to the Web and the reason why Facebook could succeed. It limits the research that can be done on the platform, for example, no one else could have done the article we referenced, which places the owner of the social network in an ethically problematic privileged position.

The General Lack of Universality

With diversity challenged, another key aspect of the Web is also challenged: Its universality. Not everyone has a place on Facebook. The obvious ones that are excluded are pre-teen children. Not that they seem to care. In social networks, they certainly have a place. Moreover, people with cognitive disabilities will find the environment on Facebook very hostile, where they can be fooled into helping the spread of fake news and other material, also material that Facebook legitimately may delete. To some, much damage can be done before appropriate action can be taken. Moreover, their friends are not empowered to help. That’s not what the social network should have been, what I first had in mind was to port the social cohesion of real life to the Web, but the opposite has happened. This is a great failure, but at least a problem centralised systems could solve if they wanted to.

Combating Abuse

It gets even harder once we get to the problems surrounding revenge porn and “grooming”. I want to make clear that Facebook is not the target for this criticism, I’m talking more generally here. The problem is severe, but a problem that has just a few victims, and I believe that it cannot be solved if one is thinking only in terms of commercially viable systems. The technical contributions towards solving this problem is something I think needs to be government funded. Decentralisation is not necessarily helpful technologically, but standards and adoption of once approach could make a large impact. I think it is critical to addressing this problem that we enable trust models to work on the Web and that people are enabled to look out for each other.

Respect for the Individual

Finally, and this is a key problem for the future as well as the present, is the respect for the rights of individual citizens. We are moving towards an Internet of Things, where all kinds of sensors will provide lots of data, often connected to persons, and mining them can yield information that each citizen would certainly consider highly sensitive. I believe we cannot simply go on, neither in research nor in business technology, and pretend these problems are not significant, or that they are simply Somebody Else’s Problem. I reject the notion that the majority doesn’t care, they care, but they are left powerless to remedy the problem.  I hold it as a moral imperative to empower people, and we, as technologists have to tackle this problem.

I fear that we may have an anti-vax or anti-GMO type backlash if we do not commit to a privacy-aware infrastructure, so even if the moral imperative isn’t accepted, one should take this possibility seriously.

A Different World is Possible

I have already pointed out that decentralisation is an important technological enabler for a different world, and stated that this new infrastructure must be privacy aware. Obviously, neither the motivation nor the solution of a decentralised social network is new, it has been tried for a long time. So, how can we possibly succeed now? I think several things have changed: Most importantly, it is now understood that this is a problem that have large effects for entire societies. Secondly, we have standards, and we have learned much from the past, both in terms of technological mistakes and from research.

Now is time for action. We need a broad understanding of the problems, but we also need to start with the fundamental technological infrastructure that we need to provide to the world, and try out several possible approaches, approaches that can further the understanding of the cross-disciplinary solutions. I hope to be able to contribute in this space.

Mer om å erstatte Facebook

Jeg har nettopp fått inn en kronikk i Dagbladet om å skape et åpent, desentralisert alternativ til Facebook og andre sosiale medier. Min oppfattning er at dette må til for å blant annet løse problemet med “kommersiell sensur”, slik Facebook sin sletting av bildet Tom Egeland la ut og senere sensurerte hans kritikk er et eksempel på. Dette ble naturlig nok tatt ille opp her i landet, og godt er det, men spørsmålene som følger av episoden er større enn de som har blitt besvart ved at Facebook tok til vettet. Om ikke kronikken min var lang nok for deg, så følger jeg opp med flere meninger rundt temaet.

Jeg mener det er to svært sentrale problemstillinger, og en hel haug med underproblemer under disse.

Den ene problemstillingen handler om Facebook (og andre) faktisk har et ansvar for å publisere bildet på sin plattform. Dette er ikke noe enkelt spørsmål, for selv om jeg stiller meg bak mesteparten av landet og statsministeren i presset mot Facebook til å publisere bildet, så gjør jeg det mest fordi Facebook har mye makt. For mye makt, og denne makten må balanseres. Jeg hadde heller sett en annen løsning. Jeg ønsker meg en dypere debatt om man faktisk bør ha en plikt til å publisere andres materiale, ikke bare sett i lyset av dagens publikasjonskanaler og teknologi,  men også sett i lyset av teknologiske muligheter.

Jeg prøvde egentlig å begynne å snakke om dette for ca. 20 år siden. Hvis jeg husker riktig, var det Europarådet som begynte å snakke om å innføre en tilsvarsrett i digitale medier, etter modell av trykte medier. En tilsvarsrett er at man kan få publisert et svar på et angrep på en, mao.  innholder begrepet forenklet sagt at man må publisere andres materiale. Det er definitivt en god ting for en offentlig debatt, man har behov for å kunne forsvare seg, oppklare misforståelser osv. Likevel var jeg skeptisk, av en kortsiktig grunn og en langsiktig: Den kortsiktige var at kommentarsystemene var dårlig utbygd i veldig mange av de små organisasjonene som drev webben framover, og det trenges en betydelig innsats for å få det. En plikt til å publisere tilsvar var en mulighet til å overbelaste publikasjonsprosessen for små organisasjoner. Det problemet har vi ikke lenger. Den andre grunnen var at i praksis er tilsvarsretten selvsagt sterkt begrenset, det er redaktøren som må ta en vanskelig avgjørelse. Selv om jeg strevde med kommentarsystemene mine der og da, var det ikke vanskelig å se en vei framover, vi trengte bare litt tid til å skape det som trengtes. Derfor, mente jeg og mener fortsatt, at vi kunne erstatte en svært begrenset tilsvarsrett med en nær absolutt tilsvarsmulighet. Vi kunne altså skape, ved hjelp av teknologien, noe som var mye bedre. Og at det er kanskje bedre å sette av noen midler til å skape enn å skrive betenkninger i det vide og det brede…

Problemet med Facebook som overredaktør, som har store følger for både ytringsfriheten og for media sin mulighet til å følge opp sitt samfunnsmandat, både med hensyn til hva de kan få distribuert og de økonomiske rammene, oppstår fordi Facebook har fått en svært sentral rolle. Det var ingen overraskelse at det skulle bli slik, vi så allerede for 20 år siden at sosiale medier ville bli en viktig distribusjonskanal, sannsynligvis den viktigste. Problemet var at alle ville sentralisere de sosiale nettverkene og alle prøvde å bli Facebook. Facebook vant og derfor er vi nå i den situasjonen at store deler av distribusjonen skal igjennom ett selskap som skal ha en standard for hva som kan publiseres. Hadde de sosiale nettverkene vært desentralisert, slik at det ikke var en aktør, men mange aktører med forskjellige standarder, hadde ikke dette problemet oppstått. Kanskje det er mulig å sentralisere de sosiale nettverkene uten å få disse problemene vi nå ser, men jeg vet ikke hvordan det kan gjøres i praksis.

Mitt åpenbare forslag er å desentralisere de sosiale nettverkene, slik at mange aktører er involvert. Webben er slik at hvem som helst kan koble en datamaskin til Internett og publisere, bare begrenset av den lokale nett-tilbyderen sine regler og lovene på stedet, og i Norge reflekterer de vår forståelse av ytringsfrihet. Webben kan utvides til å takle sosiale nettverkene helt fint. En liten, men viktig bit av det som skal til ble lagt ut i år 2000: FOAF, eller Friend of a Friend. Senere fikk vi flere muligheter til å representere sosiale data i Semantically Interlinked Online Communities (SIOC). Nå fikk vi aldri løftet dette opp fra nerdenivå, kjøret mot sentraliserte sosiale nettverk var så sterkt at det ble vanskelig for en liten gruppe nerder å gjøre det. Vi trenger et bredere samfunnsengasjement for å gjøre det. Jeg håper at den siste tidens debatt har gitt oss dette samfunnsengasjementet.

Vi nerder har nemlig hatt dette problemet opp lenge. Wikipedia har en lang liste av forsøk. Vi har dessverre ikke fått løftet det opp til å synes som et samfunnsproblemet, selv om det helt åpenbart er et samfunnsproblem. Media har etter min mening et stort ansvar fordi de er en del av problemet, ved å søke å holde kontrollen over distribusjonen istedetfor å sørge for at man kan bære en pengestrøm over desentraliserte nettverk. Man burde innsett for lenge siden at de sosiale nettverkene skulle bli så kraftige at det ikke nyttet.

Samtidig sitter media på nøkkelen til å løse problemet, de må bli med å utvikle desentraliserte sosiale nettverk.

Mens jeg er ganske overbevist om at desentraliserte sosiale nettverk er meget viktig, kanskje nødvendig, for å løse mange av samfunnsproblemene som oppstår med f.eks. Facebook, er jeg mer i tvil om andre aspekter ved å løse problemene. Som nevnt i Dagblad-kronikken har Facebook vunnet fordi det er nyttig og å forsøke å lage noe basert kun på idealer som ikke klarer å konkurrere på nytte er en håpløs tilnærming. Et alternativ må være like nyttig, sett fra brukernes perspektiv, og må også gi noe mer.  Det er altså ikke bare-bare å kaste penger etter et alternativ, og dermed tro at folk skal ta ibruk systemet, selv om det synes bedre sett fra noens idealer av verden.

Jeg er generelt skeptisk til at det offentlige skal komme inn og skape et idealistisk system, noe som jeg innrømmer er et paradoks utifra det jeg tidligere har skrevet. Jeg har ingen enkel oppskrift. Når det gjelder forskning mener jeg det er ganske klart at man bør ha sterk, offentlig finansiering, og det finnes forskningsproblemstillinger knyttet til problemene vi diskuterer her som bør undersøkes og som har en del relevant litteratur bak seg. Likevel synes det meg ganske snodig at man roper på flere regler og faktisk legger ganske store ressurser i å skrive disse reglene, selv om reglene ofte er særdeles sneversynte, som tilsvarsretten over. Da synes det meg mer fornuftig å bruke midlene til å forsøke å skape en bredere teknologisk løsning på teknologiske problemer, gjerne i samspill med bedre regler når de teknologiske mulighetene er bedre forstått av flere aktører i samfunnet.

Spesielt gjelder dette der det er en uklar forretningsmodell for tjenester som er viktig for samfunnet, eller der forretningsmodellen er veletablert men til ugunst for befolkningen. Vi ser en “pay-by-privacy”-modell som har blitt svært utbredt, Facebook er et godt eksempel på dette. Dette er et tilfelle hvor jeg mener det vil være riktig å tenke på å finansiere et felles gode med fellesskapets midler.

Store, overordnede utviklingsprosjekter kan også ha stor suksess med offentlig finansiering, der det største eksempelet er Apollo-programmet som satte mennesket på månen. Videre er norsk elbil-politikk en suksess, delvis fordi man ikke fra politisk hold kom med for sterke føringer, man satte f.eks. ikke et tak på pris og dermed har man bidratt til en solid teknologidemonstrator i form av Tesla-bilene. Dette er to svært forskjellige eksempler: I Apollo-programmet trengte man ikke å lykkes i et marked, det er ikke noe stort marked for månelandinger. I tilfelle elbil er det derimot et svært vanskelig marked å komme inn i, og man må fra politisk hold være tilbakeholden med føringer, slik at produsenter som sitter tettes på markedet har muligheten til å forstå og tilpasse seg markedet.

I tilfellet sosiale medier/sosiale nettverk har vi også en situasjon der markedet er svært vanskelig å komme inn i, illustrert av de mange prosjektene som ikke har tatt av. Hvordan det offentlige bør investere i teknologiske løsninger for å løse samfunnsproblemene er ikke veldig klart for meg, men jeg håper man vil prøve å gjøre det. I tillegg ønsker jeg å utfordre mediene, ettersom de har så mye å vinne på å gjøre det og så mye å tape på å ikke gjøre det, samt at de faktisk fortsatt sitter i en posisjon der de kan hjelpe.

Hvis man skal se hvordan det offentlige bør hjelpe, kan man eventuelt ta utgangspunkt i spørsmålet om “hva bør befolkningen ha universell tilgang til?” Kanskje de bør ha en identitet? Hva med en mulighet til å publisere kommentarer, bare begrenset av norsk lov? Datadeling med formål å dele data med myndighetene (f.eks. selvangivelse)? Datadeling med formål å dele data med private aktører (f.eks. strøm og vannmålerdata)?

Som en mulig løsning har jeg valgt meg Crosscloud-prosjektet. Det er flere grunner til det: Det bygger tett på det eneste globale informasjonssystem som har fungert, nemlig Webben, det ledes av han som oppfant denne, Tim Berners-Lee. Det er også viktig å innse at Webben i seg selv dyttet overende store markedsaktører da den kom og at dette skjedde med små midler. Det fantes på den tiden en haug med lukkede nett folk ringte opp til med modemene sine. Med Webben tok Internett over for alle disse i løpet av et par år.  Det er lurt å låne øret til en som har gjort slikt en gang før. Crosscloud er også nettopp et slikt åpent desentralisert nettverk som vil løse mange av problemene vi har diskutert, og det har allerede en rekke forskere og utviklere i lønnet arbeid, selv om de jobber med andre problemstillinger enn media. Jeg kjenner også teknologien godt, og noe av min forskning er direkte relevant.

Jeg mener at det må være et langsiktig økonomisk potensiale bak en teknologi hvis den skal stå seg over lengre tid, og jeg er sikker på at Crosscloud-plattformen har potensiale for å bli en stor kommersiell suksess, men at profitten vil bli distribuert over et mye større antall aktører. Det vil ikke være en stor aktør som Facebook, men det kommersielle potensialet er totalt minst like stort.

Det man har nytte av som bruker av Facebook er ikke særlig store greiene å lage. Facebook strever med enorme problemer delvis fordi de er så sentralisert, men de fleste av disse problemene er ikke av særlig interesse for brukerne, de handler om hvordan Facebook tjener penger: Å selge informasjon om oss. Et brukerorientert desentralisert system vil ikke nødvendigvis være så komplisert å lage. Vi har noen samfunnsproblemer å løse, og jeg er ikke den beste til å tenke forretninger, så jeg tenker først og fremst at det offentlige bør tenke hardt på hvilke deler av økosystemet som bør sees på som en rettighet, og så bør private kunne bygge opp rundt det for å tilby tjenester. Dessuten tror jeg plattformen trenger et enkelt men standardisert betalingssystem. Et sentralisert system kontrollert av en aktør, som f.eks. Vipps, vil etterhvert treffe på samme typen problemer, foruten at jeg mener man må tenke globalt fra dag 1. For å være nyttig må plattformen behandle innhold fra alle mulige aktører. Nasjonale løsninger er ikke interessant. Slik kan man begynne å bygge betydelig økonomisk aktivitet rundt det.

Til slutt vil jeg bemerke hvordan jeg så for meg sosiale medier for 20 år siden. Eller forresten, først må jeg peke på hvordan Douglas Adams oppsummerte det:

One of the most important things you learn from the internet is that there is no ‘them’ out there. It’s just an awful lot of ‘us’.

Sosiale nettverk skulle først og fremst handle om å overføre det som på engelsk kalles “social cohesion” (jeg vet egentlig ikke helt hva vi vil si på norsk) til nettet. Det som får folk til å returnere en mistet lommebok til sin eier selv om de vel kunne ha kommet unna med pengene, eller ta stor risiko for å redde en fremmed. Mulig det er naivt, men jeg mener det fortsatt er verdt å prøve.

Et desentralisert sosialt nettverk skaper en del utfordringer, det blir utvilsomt vanskeligere å få ting slettet slik Facebook kan med et tastetrykk. Likevel, ta eksempelet med hevnporno, som gjerne forekommer i nære relasjoner, altså kan det også være overlapp mellom de sosiale nettverkene til overgriper og offer, noe som igjen betyr at hvis venner av offeret gjenkjenner offeret kan man flagge at videre distribusjon ikke bør forekomme. Man kan også tenke seg algoritmer som sjekker om det finnes gjenkjennelige personer i filmer eller bilder og få de store distributørene til å bruke dette. Dermed kan man prøve å sørge for at videre distribusjon ikke skjer før alle gjenkjennelige personer er identifisert og gitt eksplisitt samtykke. Her har også reglene en viktig rolle å spille. Tilnærmingen er ikke vanntett og heller ikke autoritær, men den kan godt fungere bedre enn det vi har i dag.