I forbindelse med det kommende valg til Europa-Parlamentet, der i Danmark finder sted søndag den 9. juni, har labbet iværksat en indsamling af spidskandidaternes aktiviteter på Facebook. Formålet er at bidrage til debatten om det kommende EP-valg med månedlige analyser af valgkampen, som den udspiller sig på Danmarks mest anvendte sociale medie, Facebook.
Find rapporterne på vores nye fane: “REPORTS” og på vores nye profil på Zenodo-platformen.
During Spring 2024, we are offering a series of programming workshops targeted at beginners in the social sciences and humanities (both students and faculty welcome):
Digital Media Lab public event (in Danish)
14. marts 2024 kl 13.00-14.30 i Digital Media Lab, Roskilde Universitet (lokale 42.1-01)
Teknologier som machine learning og natural language processing giver nye muligheder for automatiseret analyse af store mængder ustruktureret data, herunder nyheder på dansk. Dagens oplæg præsenterer dugfriske forskningsresultater som bygger på sådanne computationelle metoder.
Mads Lang Sørensen (ADC Denmark) præsenterer brugen af natural language processing til at undersøge hvordan Facebook-brugere reagerer på forskelligt nyhedsindhold. Analysen er udført i samarbejde med Ekstra Bladet i form af et speciale skrevet sammen med Tobias Gårdhus. Specialet vandt Sociologisk Instituts (KU) årlige specialepris.
Ingen tilmelding – alle er velkomne – del gerne!
Digital Media Lab public event
16 November 2023, 14.00-15.30, room 42.1-06
In an era of closing APIs, data may instead be obtained via the users of digital platforms. The cooperative consultancy firm, Analyse & Tal, has used data donation methods to gauge how much personal information is stored by big tech. The AlterUse research project at RUC deploys web tracking as another way of involving users in data collection. Come and hear about two different methods for user-involved data-making and the related ethical questions.
Presenters:
Sarah Steinitz and Edin Lind Ikanovic, Analyse & Tal
Eva Mayerhöffer and Jakob Bæk Kristensen, Roskilde University
All welcome – no registration needed – please share widely
Digital Media Lab public event 12 October 2023, 13.00-14.30, lokale 42.1-01, Roskilde Universitet
Danmarks Statistik skaber løbende nye, strukturerede data om digitaliseringen i Danmark, der bl.a. kan fungere som et vigtigt ’reality check’ for analyser af mere ustrukturerede data fra internettet. Vi får besøg af to repræsentanter fra netop Danmarks Statistik, der fortæller om deres arbejde på digitaliseringsområdet, og som også gerne vil have input fra forskningsmiljøerne i forhold til vores behov og interesser fremadrettet.
Oplægsholdere: Agnes Tassy og Claus Werner Andersen, Danmarks Statistik
All welcome – no registration needed – please share widely
Digital Media Lab event 20th April 2023, 11.30-12.45 in room 42.1-01, Roskilde University
Guest speaker: Anders Koed Madsen, Associate Professor & Head of Experiments, TANTLab, Aalborg University
An increasing number of scholars and students in the humanities and social sciences (SSH) are interested in what they can do with digital data and digital methods. At the same time, it can be challenging to pinpoint what skills must be honed to engage fruitfully with data from digital media. From coding via database management to visualisation and ethics, the requirements can seem wide-ranging and daunting. In this lab session, we set out to collectively understand and map the hands-on skill set that is key to get started with digital SSH. We have invited the Head of Experiments at TANTLab, Anders Koed Madsen, who has worked extensively with digital methods teaching and research. Anders will tell us about his experiences to get us started mapping the digital SSH skill set, which we can then continue to cultivate together in the Digital Media Lab at RUC.
Sign up via this link before 14th April and there will be a sandwich for you: https://events.ruc.dk/labsession2023/conference
By Sine N. Just
As the extent to which digital technologies already saturate societies is becoming apparent to growing numbers of global citizens, the question of whether ubiquitous digitalization is desirable is moving to the forefront of public debate: as we combat COVID-19, should contact tracing apps and digital vaccination passports be mandatory for all citizens? In the battle against crime, should facial recognition software be integrated into surveillance equipment? Seeking to vanquish child abuse, should predictive algorithms assist social workers’ case evaluation? These are but three of the many issues that are being debated at present. And what about the (social) media platforms on which these debates are conducted? Invoking freedom of speech, should they remain unregulated? Seeking social justice, should hate speech and incitement to violence be banned? As decision making and opinion formation alike are becoming thoroughly digitalized, we need to discuss the content of controversies about data and algorithms as well as the form of datafied and algorithmic controversies.
A new research project aims to do just that. Generously funded by the Villum and Velux Foundations, the Algorithms, Data and Democracy-project will investigate issues of public concern about digitalisation and datafication as these are shaped by digital technologies and articulated in the digital infrastructures of democracy. The aim is to understand current concerns and challenges so as to be able to suggest ways in which the algorithmic organisation of data can engage, enlighten and empower individual citizens and democratic institutions. Turning potential crises of trust in democratic societies as well as in novel technologies into opportunities for enhanced digital democracy.
The ADD-project will achieve this aim through strong interdisciplinary integration as well as disciplinary expertise. It brings together a team of researchers with unique competences in computer science and technological research, the humanities and the social sciences, building common theoretical and methodological approach in the process of studying empirical cases. Further, the project integrates scientific research and public outreach by involving relevant stakeholders and interested citizens from its outset and throughout the 10 years of its existence. At first, we will seek broad engagement, listening to concerns and opinions of people and organizations. As we develop our research, we will seek to enlighten the debate through the communication of results. Finally, we will join in conversations that can empower citizens and inspire policy-makers to instigate positive change.
Read more about the project on our website and follow it as it unfolds by subscribing to our newsletter.
Article Author: Sander Andreas Schwartz, associate professor, IKH.
When researchers wish to collect data from social media platforms, they are often relying on the accessibility of the platform API, a system that allows a client to request for data and receive a structured response (See Lomborg and Bechman, 2014 for an explanation of how to utilize the API for research purposes). While the process of collecting data from the Facebook API was far from perfect (See Rieder et al., 2015), it was a rather efficient tool for big data collection. Recently, however, Facebook started to shut down the public access to the API leading some researchers to call this the APIcalypse (Bruns, 2019), while other argued that it was rather the “end of the Wild West” for social media research (Puschmann, 2019). In any case, collecting data from Facebook in through automated process have been difficult and uncertain over the last few years, leading the field into an uncertain future.
Recently there have been progress in this regard, as Facebook has provided various new options for data collection for research purposes. One option is the Crowdtangle solution, which allows researchers and other non-commerical actors to gain access to an officially supported platform for collection and analysis of Facebook and Instagram data. One of the major issues with this platform, is that it does not provide student access, making it virtually unusable for educational purpose. (if you are affiliated with a research team or project at RUC, you might be able to get access to our current subscription. Feel free to write us and ask).
But now we are happy to announce that there is in fact a publicly available tool for collecting public Facebook data that does not require any prior knowledge of programming. The tool is called Facepager, and this program will allow the collection of Facebook status updates form any public page as well as metadata about engagement metrics etc. The tool is not new as such, but after the APIcalypse as mention in the above, they have been granted public page access as the first publicly available research tool, making this a relatively new feature announced by the developer in late 2019 (link to tweet).
If you wish to install and test Facepager for yourself, visit this webpage (PC and Mac): https://github.com/strohne/Facepager/releases/tag/v4.3.8
In order to get started, we recommend that you check out the walkthrough videos that they provide via their YouTube channel, starting with this: https://youtu.be/4f9yC4ug8ZU
In the coming months, we expect to explore Facepager more in detail, and potentially provide our own guide at DigitalMediaLab or even a workshop at the end of the semester. Please feel free to write us if you have any questions regarding this tool, and we shall do our best to answer your questions as we gain a deeper knowledge of the software.
Note: Facepager can actually be used to collect data from a variety API-based platforms as well as some web scraping even though Facebook is the primary feature.
References
Bruns, A. (2019). After the ‘APIcalypse’: Social media platforms and their fight against critical scholarly research. Information, Communication & Society, 1–23. https://doi.org/10.1080/1369118X.2019.1637447
Lomborg, S., & Bechmann, A. (2014). Using APIs for Data Collection on Social Media. The Information Society, 30(4), 256–265. https://doi.org/10.1080/01972243.2014.915276
Puschmann, C. (2019). An end to the wild west of social media research: A response to Axel Bruns. Information, Communication & Society, 1–8. https://doi.org/10.1080/1369118X.2019.1646300
Rieder, B., Abdulla, R., Poell, T., Woltering, R., & Zack, L. (2015). Data critique and analytical opportunities for very large Facebook Pages: Lessons learned from exploring “We are all Khaled Said.” Big Data & Society, 2(2), 205395171561498. https://doi.org/10.1177/2053951715614980
Af Sine N. Just
Kultur- og kommunikationsstudier af digitaliseringens omorganisering af hverdagen
Antologien Digitale liv. Brugere, platforme og selvfremstillinger, der er redigeret af Rikke Andreassen, Rasmus Rex Pedersen og Connie Svabo, samler en gruppe forskere om studiet af forskellige måder, hvorpå digitalisering påvirker menneskers liv og hverdag. De fleste af bidragyderne har fagligt hjemme på Institut for Kommunikation og Humanistisk Videnskab, og nogle af os (inklusiv undertegnede) er medlemmer af Digital Media Lab. Vi er altså alle kultur- og kommunikationsforskere med interesse for digitalisering, men snarere end et snævert fokus viser antologien feltets emnemæssige bredde, metodiske spændvidde og teoretiske eklekticisme. I denne omtale vil jeg give et overblik over de emner, metoder og teorier, som bogen rummer, og dermed en forsmag på, hvad man finder, hvis man dykker ned i den.
Den digitale hverdag
Hverdagen er blevet digital i en sådan grad, at vi ikke tænker over det – indtil en del af den digitale infrastruktur bliver synlig via et ’glitch’ i matrixens ellers så fejlfrie flow. Vi ser vores afhængighed af det digitale, når internettet ’lacker’, som børnene råber med lige dele vrede og resignation. Når iPhonen går i stykker, og det bliver umuligt at holde styr på aftaler, at tage billeder, at lytte til musik og at komme i kontakt med venner, for nu blot at nævne nogle af de funktioner, der i dag er samlet i en smart phone. Eller når indkøbenes stregkode ikke kan scannes, og man må vente på, at en af supermarkedets stadigt færre ansatte dukker op.
Bogens undertitel angiver tre overordnede områder eller tematikker inden for denne omsiggribende udvikling, som bogen også er struktureret efter. For det første ’brugere’. Hvad betyder det for os, som individer og fællesskaber, at vi i stadigt stigende grad defineres i og med de digitale teknologier, vi benytter os af? Når vi som borgere organiseres i digitale offentligheder, finder vores nyheder på nettet og modtager information fra ’det offentlige’ i e-boksen? Når byens rum bliver digitale og vores færdsel i dem styres af vores evne eller vilje til at interagere med teknologierne omkring os? Når computerspil florerer i stadigt flere undergenrer, og man fx kan øve sig på kærlighed via spillene?
Det andet tema er ’platforme’. Her stilles især skarpt på den algoritmiske opbygning af digitale infrastrukturer; hvordan former de underliggende algoritmer brugernes handlemuligheder på fx Facebook, Spotify og dating apps? Hvad betyder det, at interaktionen mellem bruger og algoritme har en tendens til at virke forstærkende på brugerens smag? Altså, når man både selv kan sætte sine præferencer og bliver tilbudt mere af den type indhold, man efterspørger, er det på den ene side effektiv målretning, men på den anden side også spildte muligheder. ’People who likes this, also liked…’-logikken kan være en god måde at målrette indhold, men det kan også føre til ensporede ekkokamre, til øget forudsigelighed og kontrol.
Endelig fokuserer det tredje tema ’selvfremstillinger’ på forskellige brugergruppers anvendelse af de teknologiske muligheder til identitetsdannelse og/eller selvpromovering. Hvad enten det drejer sig om influencere, der bliver berømte på at ’være sig selv’, prekære arbejdere, der søger beskæftigelse via arbejdsplatforme, eller professionelle organisationer, der bruger digital kommunikation som et middel til realisering af strategiske mål, så formes individuelle og kollektive identiteter i stadigt stigende grad af de digitale platformes mulighedsrum, og i denne sidste del af bogen fokuseres der på, hvordan disse mulighedsrum konkret udnyttes.
Digitale metoder?
Der er i antologien eksempler på, at den omsiggribende digitalisering også skaber nye forskningspraksisser i form af digitale metoder. Fx anvender Sander Andreas Schwartz i sit kapitel om algoritmisk offentlighed ’walk-through’-metoden til at gennemgå Facebooks design og funktionalitet, og i kapitlet om Spotifys anbefalingssystemer benytter Rasmus Rex Pedersen sig af en ’kritisk læsning af algoritmen’, der muliggør en nærmere undersøgelse af, hvordan anbefalingerne egentlig fungerer.
Det er dog karakteristisk, at ingen af kapitlerne arbejder med digitale metoder til indsamling og analyse af ’big data’. I stedet er fokus på kvalitative studier, ofte med særligt blik for brugeren, hvad enten det er via kvalitative interviews, protokolanalyser eller deltagerobservationer af brugeroplevelser eller gennem studier af individuelle og kollektive aktørers digitale kommunikation. Antologien viser dermed, at digitaliseringen ikke har overflødiggjort klassiske humanistiske og samfundsvidenskabelige tilgange, men at det derimod i høj frad giver mening at studere de nye fænomener med velkendte metoder.
Digital humaniora
Dermed bidrager kapitlerne med dybe og detaljerede indsigter i forskellige former for sociomateriel meningsdannelse; de forstår og forklarer ’digitale liv’ som måder, hvorpå teknologisk betingede handlerum opstår og udnyttes. Dette må være en af humanioras fornemste opgaver i dag; at forstå, hvad det vil sige at være menneske i en digital tidsalder – hvordan vi former vores digitale redskaber og hvordan de former os. Antologien bidrager med netop sådanne forståelser gennem inddragelse af en bred vifte af teoretiske perspektiver, modeller og begreber. Fra aktørnetværksteoretiske arrangementer af humane og non-humane aktører over digitale affordances til realiserede handlinger – og deres konsekvenser. Og fra kontrol, normalisering og forstærkning af eksisterende ideologiske rammer, fx via markedsliggørelsen af shitstorms, til kreativ udnyttelse af de etablerede rammer til afsøgning af mulige alternativer, fx gennem minoritetssubjekters selvkommercialisering.
Er man konkret interesseret i et eller flere af de temaer, som behandles i Digitale liv, eller mere generelt optaget af spørgsmålet om, hvordan teknologiske udviklinger påvirker menneskelige fællesskaber, er der masser af inspiration at hente i antologien. Som bagsideteksten lover, kan bogen ”læses af alle, der interesserer sig for den digitalisering, der i stigende grad præger vores samfund og digitale liv”.
Analysen er udført og skrevet af Sander Andreas Schwartz (lektor ved IKH) og Nicolaj Sveiger (Studentermedhjælp).
Den amerikanske valgkamp er ovre, og selvom efterspillet fortsætter, så står Biden til at bliver USAs næste præsident. I den forbindelse, så har Digital Media Lab valgt at kaste et blik på valgkampen på Facebook, for at se, hvordan de to præsidentkandidater præsterede på denne platform. Idéen med denne type analyser er, at vi på labbet kan præsenterer, hvordan digitale metoder og data kan anvendes i forbindelse med forskning. Analyser som nedenstående kan således ses som digitale eksperimenter der udforsker potentiale og værdi af digital data med henblik på dybere akademisk analyse i fremtiden.
For at hente og analysere data fra Facebook har vi i denne omgang gjort brug af CrowdTangle, som er Facebook’s officielt understøttede platform til indsamling og analyse af offentlige interaktioner fra sider og grupper (Læs mere om, hvilken data CrowdTangle indsamler her). Vi har indsamlet data fra Joe Biden og Donald J. Trumps officielle Facebooksider i de tre hele måneder op til valget i november, hvilket vil sige fra august til og med oktober. Dette giver os mulighed for at undersøge kandidaternes interaktioner i tre hele måneder i slutningen af valget for dermed at kunne sammenligne og studere deres aktivitet over tid. De tre måneder er valgt fordi august er den første hele måned efter Joe Biden officielt bliver udvalgt som demokraternes kandidat, og oktober er den sidste hele måned inden selve valgdagen den 3. november.
Det er ikke kun på Twitter, at Trump er meget aktivt. Når vi sammenligner antal statusmeddelelser i perioden 1. august 2020 til og med 31. oktober 2020 har Trump således lavet hele 2275 opslag på sin Facebookside, hvor Joe Biden i samme periode kun har lavet 874. I gennemsnit poster Trump således omkring 25 statusmeddelelser om dagen, men Biden kun poster 10. Der er tre dage i hele perioden, hvor Biden er mere aktiv end Trump, men i disse tilfælde skyldes det, at Trumps aktivitet falder ned på Bidens aktivitetsniveau, eksempelvist den 2. oktober, hvor Trump testes positiv og indlægges for Corona sammen med sin hustru (Se figur 1).
I perioden 1. august 2020 til 31. oktober 2020 har republikanske Donald J. Trump fået over 315 millioner interaktioner på de mange forskellige opslag på sin Facebook profil. Den demokratiske Joe Biden har fået tæt på 44,5 millioner interaktioner på sine opslag. Den dag Donald J. Trump fik færrest interaktioner var d. 8. august 2020 med kun 628.459 interaktioner. Joe Biden laveste antal interaktioner var d. 11. september 2020, hvor han på sine opslag kun fik 73.109 reaktioner. Omvendt var det højeste antal interaktioner d. 31. oktober 2020 hvor han fik 2.194.165 millioner interaktioner. Den dag Donald J. Trump havde flest interaktioner var d. 12. oktober 2020. Den dag lavede han hele 59 opslag. Opslagenes indhold var blandt andet skriftlige stikpiller til Joe Biden, men også opslag om aktiemarked og seertal for NBA-finalen. For Joe Bidens vedkommende var det få dage inden valget, d. 31. oktober 2020, hvor hans opslag fik flest interaktioner. Med 22 opslag om den tidligere præsident Barack Obama og Donald J. Trumps COVID-19 håndtering. Derudover ses det på grafen, at der er et stort spring fra den 28. til den 29. september ved Donald J. Trump. Det skyldes, at Donald J. Trump og Joe Biden var i deres første debat mod hinanden den 29. september. Vi ser i øvrigt samlet set, at Trumps interaktioner stiger gevaldigt over de tre måneder, hvis vi følger trendlinien, hvor Biden også ser en stigning, dog væsentligt mindre i proportion med hans generelle færre interaktioner (Se figur 2).
Trumps mest engagerende post i perioden fra august til og med oktober er den 3. oktober fra sin sygeseng, hvor han skriver, at han har det godt og takker sine følgere. Denne post er således sammenlignelig med Mette Frederiksens besked fra sygesengen under det danske valg i 2019, men modsat hende, så laver Trump ikke en personlig video, men blot en statusmeddelelse på tekst (Se billede 1). Halvdelen af Trumps top ti mest engagerende posts er i øvrigt fra Trumps Corona-ophold på Walter Reed Medical Center.
Omvendt er det måske sigende for Bidens kampagne på Facebook, at hans mest engagerende post i perioden fra august til og med oktober slet ikke har ham selv i fokus, men i stedet er en video med den tidligere præsident Barack Obama, som ringer til vælgerne for at få dem til at stemme på Joe Biden (Billede 2). Bidens andenmest engagerende post roser i øvrigt vicepræsidentkandidat Kamala Harris, og den tredjemest engagerende fordømmer Donald J. Trump.
Det kunne tænkes, at Trumps tiltrækker mere engagement delvist baseret på en større skare af utilfredse vælgere baseret på hans kontroversielle og polarisende politik, samt hans position som hele landets daværende præsident. Dette kan vi lidt groft undersøge ved at se på mængden af følelsesreaktioner ud over den normale like-reaktion. Her ser vi faktisk at Trump og Biden har nogenlunde samme andel af ‘love’ reaktioner (72%/69%) samt ‘angry’ reaktioner (7%/5%). Ud over dette fordeler reaktioner sig nogenlunde på samme vis for begge kandidater ud over, at Biden har en lidt større andel af brugere, som reagerer på hans opslag med ‘sad’ (2%/6%). Baseret på denne undersøgelse er der således ikke noget der tyder på, at typen af engagement for hver følger er mærkbart anderledes fordelt på de to Facebooksider. Selvom en mere detaljeret undersøgelse af dette naturligvis kan nuancere dette overblik, så er det dog en indikator på, at både Trump og Bidens interaktioner i langt største grad baseres på folk, der er positivt indstillet overfor den pågældende sides ejer (Se figur 3).
Lad os slutte med at se på, hvor mange følgere Facebooksiderne har, eftersom dette viser, hvor bredt siderne i udgangspunktet når ud til vælgerne. Her kan vi se på noget lidt anden data, da vi sammenligner side-likes, altså en Facebooksides følgere, for de to præsidentkandidater på selve valgdagen i 2020 sammenlignet med valgdagen tilbage i 2016. Som reality-stjene og celebrity, så slog Donald J. Trump allerede Hillary Clinton med flere sidelikes tilbage i 2016. Han slår også Joe Biden med længder i 2020, hvilket igen forklares af hans nu fire år som landets siddende præsident. Donald J. Trump har således boosted sin følgerskare fra 12.363.778 side-likes på valgdagen d. 8. november 2016 til 30.788.895 på valgdagen d. 3. november 2020. En stigning på 18.425.120 følgere, og en procentvis stigning på 149%. Her ses det ligeledes tydeligt, at Donald J. Trump er langt foran i forhold til sine politiske modstander begge år, men særligt i 2020, hvor Biden således har været gevaldigt bagude i hele perioden, når det kommer til synlighed og følgere på Facebook. Hillary Clinton havde på valgdagen i 2016 kun 8.422.127 følgere, og Joe Biden havde kun 3.555.171 følgere (Se figur 4).
De ovenstående analyser giver et overblik over, hvor meget aktivitet og interaktion, der har været på begge kandidaters Facebooksider. Dette kan også bruges som en case på, hvordan Crowdtangle kan bidrage til forskning indenfor politisk kommunikation. Analysen af data fra Crowdtangle bør dog ikke stå alene af flere årsager. Den første og mest afgørende er naturligvis, at aktivitet og engagement på Facebook kun udgør en brik i den samlede kampagnestrategi for den enkelte politiker. Selvom Trump på papiret har været langt mere aktiv og tiltrukket langt mere engagement, så har han altså ikke formået at få flest stemmer i sidste ende. Det kan der naturlivis være flere årsager til, men én af dem er naturligvis, at success på sociale medier ikke kan vinde valget alene. Der er således ikke noget i denne data, der tyder på, at Biden har vundet valget baseret på hans anvendelse af sociale medier, men måske nærmere på trods af hans begrænsede engagement på disse platforme. Omvendt så må vi heller ikke tro, at denne data sammen med valgets resultater viser, at sociale medier ikke har nogen strategisk rolle. Tværtimod, så er det sandsynligt, at Donald Trump har haft stor gavn af sin stærke tilstedeværelse på sociale medier, eftersom sociale medier er en relativt billig platform for at nå ud til vælgere og mobilisere sine potentielle støtter.
Årets Amerikanske valgkamp er dog med til at understrege, at sociale medier ikke kan vinde valget alene. I stedet er dette et eksempel på en kandidat, som netop har været dygtig til at få det maksimale ud af sin tilstedeværelse på sociale medier, ud at dette dog kunne tippe vægtskålen til kandidatens fordel. Kommende undersøgelser vil nuancere, hvad der har været udslagsgivende for Trumps nederlag og Bidens sejr, men svaret skal nok ikke findes på sociale medier i denne valgkamp (læs en tidlig akademisk analyse af den amerikanske valgkamp på flere forskellige niveauer her).
Til allersidst kan man også stille spørgsmål tegn ved Crowdtangles data som kilde til at undersøge politikeres success på sociale medier. Der er nogle væsentlige begrænsninger ved denne data, særligt fordi Crowdtangle kun gør brug af offentlig tilgængelig data. Det betyder blandt andet, at vi ikke har adgang til reach, hvilket vil sige, hvor mange der er blevet eksponeret for den pågældende statusmeddelelse. Tallet for interaktioner (reaktioner, delinger og kommentarer) er dog væsentligt i sig selv, da det viser noget om, hvor engagerende den enkelte politiker er. Vi kan også gætte på, at højt engagement medfører højere reach via algoritmisk synlighed, men selv Facebook advarer mod at sætte lighedstegn mellem engagement og reach (læs mere her). Crowdtangle er således et glimrende værktøj til at skabe overblik over siders aktivitet og engagement, men det er omvendt væsentligt at være opmærksom på begrænsningerne ved denne data, og dermed hvad vi ikke kan se og konkludere på basis af dette.
