Je PolitiFact zaujatý? Tato obsahová analýza říká ne

To je kritika PolitiFact je už dávno zvyklý slyšet.

„PolitiFact se zapojuje do velkého zkreslení výběru,“ The Weekly Standard napsal v roce 2011 . „'Fact Checkers' se v drtivé většině zaměřují na pravicové Poláky a vědátory,“ píše se titulek z dubna 2017 z NewsBusters, webu, jehož cílem je odhalit a bojovat proti „liberálním mediálním předsudkům“. Je tam dokonce celý blog věnovaný ukazování způsobů, kterými je PolitiFact zaujatý.

Projekt ověřování faktů, který Poynter vlastní, tato obvinění odmítl a poukázal na transparentnost metodologie a financování (stejně jako její členství v International Fact-Checking Network) jako důkaz, že nemá politické přesvědčení. A nyní má PolitiFact akademickou studii, která to podporuje.

Hlášení, publikované výzkumníky na University of Washington a Carnegie Mellon University v březnu analyzuje jazyk, který PolitiFact publikoval o demokratech a republikánech, aby zjistil, jak organizace zarámovala řečníky z obou stran. Zahrnuje také externí analýzu, která porovnává, jak PolitiFact rámuje problémy, s tím, jak to dělají média jako celek.

Zpráva, kterou PolitiFact poprvé zaslala Poynterovi, použila automatizovanou textovou analýzu u přibližně 10 000 článků pocházejících z roku 2007, přičemž většina z nich byla mezi lety 2010 a 2017. Rozděleno podle stran je asi 1,4krát více článků o republikánech než o demokratech. Bývalý prezident Barack Obama byl nejvíce pokrytým řečníkem ve vzorku, s asi 600 články.

Vzhledem k šestibodové škále PolitiFact, která sahá od „True“ po „Pants on Fire!“, existuje poměrně rovnoměrné rozdělení hodnocení. Projekt kontroly faktů, rozdělený podle stran, obvykle přiděluje více pravdivých hodnocení demokratům a více falešných hodnocení republikánům, po úpravě o rozdíl v počtu článků publikovaných o každé skupině.

(Snímek obrazovky)

U konkrétních politiků je podle zprávy nejběžněji používané hodnocení Obamy „většinou pravdivé“, zatímco hodnocení Donalda Trumpa „nepravdivé“. Když se však dále rozdělí podle hlavních tagů předmětu v každém článku, zdá se, že pokrytí PolitiFact je relativně vyvážené.

(Snímek obrazovky)

Tři nejčastější témata PolitiFactu jsou ekonomika, zdravotnictví a daně – všechna jsou přibližně rovnoměrně rozdělena mezi republikánské a demokratické mluvčí. A odlehlé hodnoty, jako je imigrace a zbraně, by podle zprávy mohly mít více společného s tím, jak moc každá strana o těchto otázkách mluví, než s tím, jak je PolitiFact rámuje.

„Rozdělení v rámci subjektu je podobné celkovému rozdělení mezi stranami,“ píše se v něm. 'Nepředpokládáme, že jakékoli rozdíly v jazyce, které mezi oběma stranami najdeme, budou silně vycházet z obsahu článků.'

Vědci tedy každý článek dále rozebrali podle toho, která slova s ​​největší pravděpodobností správně předpověděla, že se příběh týká republikána nebo demokrata. K tomu použili statistické techniky a modely zpracování přirozeného jazyka, přičemž odstranili veškeré citace nebo jiný text, který autor nenapsal.

Vzhledem k předchozím analýzám zprávy nebylo to, co našli, docela nepřekvapivé – články o republikánech byly spojovány se slovy jako „republikán“ a „nepravda“, zatímco články o demokratech byly spojovány se slovy „demokrat“ a „pravda“.

(Snímek obrazovky)

Když vědci odstranili jakákoli slova zjevně spojená s kteroukoli stranou, zjistili, že příběhy s demokratickými mluvčími byly běžně předpovídány slovy jako „pomohl“ a „přemýšlejte“, zatímco příběhy o republikánech předpovídaly „Fox“ a „podle“.

(Snímek obrazovky)

Co to tedy vypovídá o údajné zaujatosti PolitiFactu? Podle výzkumníků nic moc.

„Tato část naší analýzy nenachází žádné zjevné rozdíly v jazyce, který se používá k popisu jednotlivců každé strany způsobem, který ukazuje jakýkoli náznak zaujatosti nebo rozdílného zacházení,“ napsali.

Ve své externí analýze výzkumníci nedospěli k žádným odlišným závěrům. Provedli klasifikaci sentimentu na základě předem definovaných seznamů pozitivních a negativních výrazů a zjistili, že PolitiFact používá pro republikány více negativních i pozitivních slov, přičemž články o nich byly v průměru delší.

(Snímek obrazovky)

„Z této jednoduché analýzy jsme dospěli k závěru, že pokud existuje rozdíl v sentimentu přenášeném mezi analýzou PolitiFact mezi demokraty a republikány, je to vyjádřeno jemně a/nebo doménově specifickými způsoby,“ píše se ve zprávě.

Existují určitá omezení. Kvůli nevyváženosti článků o republikánech a demokratech mohla klasifikace textu předpovědět s 58procentní přesností stranu pouze ze sady slov. Výzkumníci také neprovedli hlubší analýzu sentimentu obsahu PolitiFact, částečně kvůli vysokým nákladům a částečně kvůli možnosti lidských anotátorů subjektivně reagovat na hodnocení faktů.

Ale PolitiFact má z toho, co zpráva říká, dobrý pocit.

„Určitě to posiluje to, jak se snažíme jednat a chovat se. Takže nás samozřejmě těší, že nevidíme žádné červené vlajky,“ uvedl ve zprávě výkonný ředitel Aaron Sharockman. „Ale jako ověřovatel faktů, který prozkoumal spoustu výzkumů, bychom také neměli přikládat této studii větší váhu, než za kterou stojí. Toto je jeden pohled na jazyk a slova, která používáme k psaní našich ověření faktů.“

'Nemůžeme přestat přemýšlet o způsobech, jak zlepšit naši důvěryhodnost pro všechny publikum.'

Zpráva je součástí grant 50 000 dolarů kterou Knight Foundation loni v červnu udělila společnosti PolitiFact, aby zlepšila důvěru v ověřování faktů a oslovila skeptické publikum. Loni na podzim členové organizace pro kontrolu faktů cestovali do tří států, kterým dominovali konzervativní voliči, a pořádali fóra, individuální setkání a komunitní akce, aby oslovovali a odpovídali na otázky. PolitiFact také najal dva bývalé politiky (jednoho z každé strany), aby kritizovali jeho práci.

Tyto snahy byly částečně inspirovány průzkum Rasmussen Reporters ze září, která zjistila, že 88 procent Trumpových příznivců nedůvěřuje ověřování faktů v médiích. A jazyková analýza PolitiFact se zdá být dobrým odmítnutím těchto zjištění.

„Naše analýzy nebyly schopny odhalit žádné systematické rozdíly v zacházení s demokraty a republikány v článcích PolitiFact,“ stojí v závěru studie.

Ale v následném e-mailu zaslaném Poynterovi Noah Smith, jeden ze spoluautorů zprávy, přidal k nálezům upozornění.

'Mohlo by to být proto, že ve skutečnosti není co najít, nebo proto, že naše nástroje nejsou dostatečně výkonné, aby to, co tam je,' řekl.