Kiedy kilka tygodni temu przeglądałem mojego twittera, natknąłem się na artykuł, który przykuł moją uwagę i skłonił do napisania tego wpisu. Mówił on:

Prawie 40% recenzowanych badań dietetycznych okazuje się błędnych. Oto dlaczego.

WOW! 40% całkowicie błędne! Natychmiast miałem jeden z tych out of body doświadczeń, gdzie widziałem ostatnie 15 lat mojego życia flash przed moimi oczami. Pomyśleć, że 40% artykułów, które czytałem dla papierów, które napisałem, prezentacje, które przygotowałem, blogi, które badałem i problemy żywieniowe pacjenta, które badałem były błędne, sprawiły, że czułem się chory. Przez ostatnie 15 lat byłam fałszywa. Ugh. Nienawidzę fałszerzy.

Ale potem wzięłam głęboki oddech, przeczytałam artykuł (polecam wam zrobić to samo) i zdałam sobie sprawę, że dokładnie wiedziałam, o czym mówi autorka. W rzeczywistości, być może moje sześć lat edukacji pomaturalnej nauczyło mnie czegoś! Może nie znałam statystyki "40%", ale znałam powody, dla których tak się dzieje i to było dobre przypomnienie.

Pomimo tego, że ten post zawiera więcej treści akademickich (w tym statystyki, metodologie badawcze i inne być może warte ziewnięcia materiały), mam nadzieję, że poświęcisz 5 minut na jego przeczytanie. Robiąc to, zaoszczędzisz sobie wiele bólu serca i niepotrzebnych manewrów dietetycznych, które są oparte na, cóż, gównianych badaniach, jak się zaraz dowiesz.

W porządku, więc dlaczego badania żywieniowe są wadliwe?

Jest to duża puszka robaków do otwarcia i przyznaję, nie mam doktoratu i nie jestem statystykiem, więc być może nie jestem najbardziej wykwalifikowany do pisania tego kawałka. Niemniej jednak, oto kilka powodów, w tym dwa zbadane w artykule, a inne, które są dobrze ugruntowane w świecie badań, dlaczego wiele badań żywieniowych papiery mogą okazać się wadliwe.

Użycie (lub niewłaściwe użycie) testowania hipotezy zerowej.

Geeseh! Dlaczego wybrałem ten najtrudniejszy do wyjaśnienia jako pierwszy? Krótko mówiąc, wiele badań nie jest zaprojektowanych tak, aby udowodnić to, co chcą udowodnić, na przykład hipotetycznie, że "jedzenie fasoli leczy raka". Zamiast tego starają się udowodnić, że wszelkie inne potencjalne powiązania między jedzeniem fasoli a leczeniem raka to tylko kwestia przypadku. Jeśli statystyki z przeprowadzonych badań się zgadzają, wówczas przyjmuje się założenie, że skoro NIE ma wystarczających dowodów aby udowodnić brak związku pomiędzy jedzeniem fasoli a leczeniem raka (nie jest to kwestia przypadku), wówczas jedzenie fasoli musi leczyć raka. Wiem, to było bardzo mylące z mnóstwem podwójnych negatywów... Jak widać, nie zawsze jest to najprostszy proces i są rzeczy zwane zmiennymi, które również wpływają na wyniki.

Niezdolność do kontrolowania wszystkich potencjalnie zakłócających zmiennych.

Zmienne zakłócające to czynniki, które mogą wpłynąć na wynik badania i mogą spowodować, że badacz znajdzie korelację między dwiema zmiennymi, gdy w rzeczywistości jej nie ma. Typowe zmienne kontrolowane w badaniach to wiek uczestnika, płeć, pochodzenie etniczne, waga, status społeczno-ekonomiczny itp. Inne zmienne, które są kontrolowane, są specyficzne dla danego badania. Na przykład, w naszym powyższym przykładzie, badacze prawdopodobnie kontrolowaliby osoby, które są uczulone lub nietolerujące fasoli jako część ich kryteriów wykluczenia.

Niemniej jednak, jest wręcz niemożliwe, aby kontrolować każdą potencjalną zmienną zakłócającą, ponieważ czasami nawet nie wiadomo, jakie to mogą być zmienne. Jest to jeden z wielu powodów, dlaczego wiele badań żywieniowych jest prowadzonych na szczurach laboratoryjnych. Jest to o wiele łatwiejsze do kontrolowania, co szczury robią w swoich klatkach, a następnie spróbować zamknąć grupę ludzi w klatce. (P.S. Poszedłbyś do więzienia, gdybyś próbował to zrobić w badaniu!).

Używanie (lub nadużywanie) wartości P.

Wiele badań uważa się za mające "znaczące", godne uwagi wyniki, podczas gdy w rzeczywistości wyniki są szczerze mówiąc tylko "sugestywne" w najlepszym przypadku. Wiąże się to z tym, co statystycy nazywają wartością P (lub wartością prawdopodobieństwa), która jest obliczana podczas analizowania wyników badań. Obecna wartość graniczna określająca "istotne" wyniki pozwala na uznanie wielu informacji za istotne, gdy w rzeczywistości takie nie są. Ustanowienie bardziej rygorystycznego punktu odcięcia (jak sugeruje artykuł Clintona) wyeliminowałoby szum wokół wyników, które w rzeczywistości nie są tak silne.

Niewielki rozmiar i krótki czas trwania badań.

Zdecydowana większość badań obejmuje niewielką liczbę uczestników i jest prowadzona przez ograniczony czas, ponieważ prowadzenie badań na dużą skalę, które trwają przez dziesięciolecia, wymaga dużych pieniędzy. Małe badania nie dają nam tych samych potężnych danych, które dają większe badania. Nawet bez użycia statystyk, łatwo zauważyć, że badanie przeprowadzone na grupie 5000 osób przez 5 lat może być bardziej przekonujące niż badanie z udziałem 5 osób przez 5 dni.

A tak na marginesie, nie bój się zapisać na badania naukowe. Oni zawsze szukają uczestników. Zrobiłem to z powrotem w moich czasach licencjackich Kinezjologii (na zdjęciu poniżej) na Uniwersytecie McMaster i otrzymałem darmowe sesje treningowe o wysokiej intensywności wingate z grupą badawczą dr Martina Gibali i trzy blizny po biopsji mięśni jako stały dowód mojego zaangażowania w naukę! Co ważniejsze, bardziej doceniłem pracę, jaką wykonują grupy badawcze i wiele kroków, jakie trzeba wykonać, zanim praca zostanie opublikowana.

Wady w sposobie projektowania badań.

Jednym z najlepszych projektów badań klinicznych jest podwójnie zaślepiona, randomizowana próba kontrolowana placebo. Polega ona na tym, że badacze i uczestnicy nie mają pojęcia, do jakiej grupy zostali przydzieleni (co jest realizowane w sposób losowy, a nie wybiórczy), a niektórzy z uczestników otrzymują placebo. Dużym problemem jest jednak to, że badania żywieniowe trudno jest "zaślepić" i/lub mieć "placebo", zwłaszcza gdy przychodzi czas na badania, które dotyczą prawdziwej żywności. Wiele osób potrafi powiedzieć, czy pije np. mleko krowie, sojowe czy ryżowe... trudno to zaślepić. Oznacza to, że muszą być stosowane projekty badań o niższej jakości, a w konsekwencji siła wyników jest mniejsza. Różne pytania badawcze wymagają różnych projektów badań, ale jeśli zapytać każdego badacza, zazwyczaj projekt, który chcą zatrudnić jest albo niepraktyczne, nieetyczne lub zbyt drogie.

Niedokładność zapisów dietetycznych.

Większość badań żywieniowych wykorzystuje narzędzia do zbierania danych, takie jak rejestry żywności i kwestionariusze częstotliwości jedzenia, aby oszacować spożycie pokarmu. Narzędzia te polegają na naszych ludzkich mózgach, które pamiętają, co jedliśmy w krótkim lub długim okresie czasu. Czy kiedykolwiek skłamałeś na temat tego, co zjadłeś? Kieruj się teraz kiwaniem głową. Ja też kłamałem (lub, powiedzmy, nie dzieliłem się wszystkim) na temat tego, co jadłem ... i tak samo miliony Amerykanów w ciągu ostatnich 40 lat. Chcesz dowodu na to? Sprawdź ten świetny artykuł. Jeśli jesteś przedsiębiorcą, który zna się na technologii, rozważ opracowanie nowego sposobu rejestrowania diety osoby, która nie ma wpływu lub zakłóca spożywanie przez nią pokarmów.

Uprzedzenia.

Bias to uprzedzenie na korzyść (lub przeciwko) kogoś lub czegoś w porównaniu z innymi. Gdzie jest stronniczość w badaniach? Wszędzie. Jest to stronniczość badaczy, stronniczość uczestników, stronniczość źródła finansowania, stronniczość studenta interpretującego Twój dziennik żywieniowy itd. Istnieją sposoby kontroli tych uprzedzeń, na przykład w projekcie badania, gdzie zarówno badacze, jak i uczestnicy są zaślepieni na ramię leczenia, w którym uczestnicy są umieszczeni. W końcu, zawsze będzie jakiś rodzaj stronniczości obecny we wszystkich badaniach, czy to stwierdzony czy nie. Jesteśmy w rzeczywistości niedoskonałymi ludźmi.

Tak więc, jako dietetyk, który twierdzi, że opiera się na dowodach, dlaczego mam ci ufać, jeśli dowody są błędne?

Fantastyczne pytanie. Powyższe punkty bardzo ładnie ilustrują, dlaczego powinieneś zaufać mnie (lub innemu zarejestrowanemu dietetykowi opierającemu się na dowodach naukowych) ponad jakimkolwiek innym nieuregulowanym doradcą żywieniowym, reklamą w czasopiśmie lub lekarzem telewizyjnym (ahem, Dr Oz).

Rozumiem, jak prawidłowo interpretować i czytać badania naukowe.

Częścią naszego szkolenia jako zarejestrowanych dietetyków jest udział w kursach statystyki i metod badawczych, aby uzyskać solidne zrozumienie wad, które są nieodłącznym elementem badań, których używamy do kierowania naszymi zaleceniami. To właśnie tutaj dowiedziałem się o wartościach P, hipotezach zerowych, czynnikach zakłócających w badaniach i wielu innych fascynujących tematach. Tak, jestem kujonem. Przy okazji, polecam współpracę z dietetykiem, który jest kujonem, bo wtedy wiesz, że potrafi krytycznie analizować informacje i nie da ci śmieciowej porady, aby pić ocet jabłkowy, aby schudnąć, gdy jakość dowodów jest słaba/nieistniejąca.

Czytam. Każdy. Single. Dzień.

Moje zalecenia są oparte na dowodach z badań, które CZYTAM i które przeanalizowałam i zinterpretowałam przez krytyczny pryzmat. Tak więc, kiedy pojawia się coś, co mówi, że "kawa powoduje raka", nie wyrzucam mojej kawy, ani nie wysyłam pilnego maila z informacją do moich klientów, aby spuścili swoje dzbanki z kawą w pracy do toalety. Nie, ja znaleźć badania, przeczytać go od okładki do okładki, i wyciągnąć własne wykształconych wniosków i szukać opinii innych naukowców, którzy ufam w ich dziedzinach. Zabawne popołudnie dla mnie jest przeszukiwanie PubMed dla wyników nowej metaanalizy lub uczestniczenie w konferencji. A może ty?!

Mówię moim klientom, kiedy nie ma przyzwoitej odpowiedzi na ich pytanie.

Mam nadzieję, że większość z nas zgodzi się, że szczerość jest najlepszą polityką. Z przyjemnością mogę powiedzieć, że często słyszę, jak mówię moim klientom "Nie jestem pewien/po prostu nie wiemy". Czasami nie ma dobrej jakości dowodów, aby móc udzielić czarno-białej odpowiedzi. Kiedy więc mój klient zadaje pytanie w stylu "czy odstawienie dziecka od piersi prowadzi do zmniejszenia wybredności w wieku 3 lat?", a ja odpowiadam mu, że nie wiemy lub mamy tylko bardzo niskiej jakości dowody, nie mam nic przeciwko temu. Może im się nie spodobać ta odpowiedź, ale taka jest prawda, a ja jestem za prawdą. Możecie za to podziękować moim rodzicom.

Staram się jak najbardziej ograniczyć swoje uprzedzenia, ale zdaję sobie sprawę, że ja też będę stronniczy.

Wszyscy jesteśmy stronniczy. Wnoszę do mojej praktyki moje własne, nieodłączne, osobiste uprzedzenia. Wiem jednak, jakie to są uprzedzenia i codziennie sobie o nich przypominam, aby jak najlepiej ograniczyć ich wpływ na moje porady i sposób interpretacji badań żywieniowych. Przyznanie, że ma się uprzedzenia jako pracownik służby zdrowia jest ważne, a jednak wielu pracowników służby zdrowia nie przyznaje się do własnych uprzedzeń.

Dokąd więc zmierzamy?

Myślę, że autor artykułu, który zainspirował ten blog, podał wielkie wyzwanie, które z przyjemnością przekażę również wam.

"Twoim zadaniem, jeśli zdecydujesz się je przyjąć, jest zignorowanie ogromnego odsetka badań żywności, o których czytasz. Chcesz wysłać wiadomość, że dziennikarze muszą znaleźć lepsze tanie, słodkie historie, aby zwabić cię w, że działy prasowe uniwersytetów muszą znaleźć lepsze tematy dla komunikatów prasowych, i że nie zamierzasz znosić żadnych hanky-panky z blogerów żywności i lekarzy telewizyjnych. Dopóki nie zobaczysz, że 0,005 (silny P-value), musisz być zimną, nieruchomą bryłą kamienia. Pewnie, że to brzmi ostro, ale to dla nauki. Jesteś ze mną?"

Weź to jeden kęs na raz,

Rosanne