#23 Pandemic study by the method of text mining

In the twenty-second episode of the „Efekt Sieci” podcast, members od DELab UW NGI Forward team project talk about investigating the technological challenges of a coronavirus pandemic and the methodology of the study.

The experts interviewed by Dr. Justyna Pokojska are Kristóf Gyódi and Michal Paliński, 2/3 of the team that developed the pandemic study using text mining (an interactive presentation containing the results of the study is available on the project website). Analysts answer questions about:
- the meaning of the term infodemia and ways of studying the phenomenon,
- the secrets of the text mining methodology and the fascinating and non-obvious elements of this method,
- factors that should be taken into account in the process of textual research,
- the results of the pandemic survey and what can be said from them and our social state of knowledge in the era of COVID-19,
- trends that have fluctuated over the period covered by the survey,
- ethical aspects of data science learning on death datasets,
- a flood of scientific papers of dubious quality.

„Korzystaliśmy głównie z metody web scrapping, która opiera się na automatycznym pobieraniu treści ze stron internetowych. Możemy na przykład stworzyć taki skrypt, który pobiera teksty również z metadanymi, dotyczące wszystkich artykułów z danego okresu. To rozwiązanie ma taką zaletę, że całkowicie możemy kontrolować jakie artykuły nas interesują, z jakiego okresu. Z drugiej strony są też znacznie łatwiejsze czy wygodniejsze rozwiązania, szczególnie, jeśli baza danych udostępnia swoje dane, nie tylko poprzez przeglądarki, ale też API. W tej sposób możemy wygodnie pobrać dane z working papers czy repozytoriów badań naukowych. Nasze narzędzia są bardzo użyteczne w mapowaniu zagadnień i problemów społecznych, technologicznych, by decydenci mieli prostą mapę, zawierającą te problemy. Z drugiej strony jesteśmy w stanie pokazywać większe trendy, które nie zawsze są widoczne. Na naszej stronie dobrym przykładem są nasze podsumowania do dyskusji na platformie Reddit, w których pokazujemy skalę wzrostu w komentarzach, które zawierają słowo kluczowe bezrobocie lub dotyczą rynku pracy”.

― Kristóf Gyódi, Analyst DELab UW, Faculty of Economic Sciences UW

„W walce z infodemią ważną rolę odgrywają instytucje zaufania publicznego, jak World Health Organization. Naszym zadaniem w DELabie, w projekcie prowadzonym dla Komisji Europejskiej jest zmapowanie gdzie jest zainteresowanie społeczne w związku z pandemią, tak, żeby w ogóle można było adresować fake newsy czy fałszywe informacje. Jeszcze dwa miesiące temu w debacie publicznej ważkimi tematami było to, czy można odebrać paczkę nadaną z Chin, czy jak długo utrzymują się wirusy na powierzchniach. My w DELabie musimy pokazać gdzie rośnie zainteresowanie społeczne, gdzie ludzie kanalizują swoje zainteresowanie koronawirusem i technologami, które będą pomagać w związku z pandemią. Zjawisko, z którym mamy do czynienia jest z konkretnej dziedziny i hobbystyczne publikowanie ad hoc, bez peer review, częstokroć prowadzi do jeszcze większego chaosu”.

― Michał Paliński, Analyst DELab UW, Faculty of Economic Sciences UW