Badania naukowe

?Ba­da­nia wy­ka­zu­ją, …?, ?Ba­da­cze w ostat­nich eks­pe­ry­men­tach od­kry­li, że…?. ?Ra­port Pol­skie­go To­wa­rzy­stwa Me­dycz­ne­go wy­ka­zu­je?. Jed­ną z cech, któ­re wy­róż­nia­ją ba­da­nia na­uko­we i de­cy­du­ją o ich wy­so­kiej war­to­ści, jest za­zwy­czaj sys­te­ma­tycz­ne prze­pro­wa­dza­nie ob­ser­wa­cji przez od­po­wied­nio prze­szko­lo­ne oso­by. Na ile nie­za­wod­ne są wy­ni­ki ba­dań? Jak z każ­dą sy­tu­acją po­wo­ły­wa­nia się na au­to­ry­tet, nie mo­że­my po­wie­dzieć wie­le o nie­za­wod­no­ści wy­ni­ków ba­dań, do­pó­ki nie uzy­ska­my od­po­wie­dzi na wie­le py­tań.

Spo­łe­czeń­stwo zwra­ca się do na­uki jako waż­ne­go prze­wod­ni­ka po­zwa­la­ją­ce­go usta­lić, ja­kie są fak­ty. Re­la­cje mię­dzy zda­rze­nia­mi two­rzą­cy­mi nasz świat są bar­dzo zło­żo­ne, a lu­dzie są omyl­ni w swo­ich ob­ser­wa­cjach i teo­riach, któ­re tych zda­rzeń do­ty­czą. Me­to­dy na­uko­we mają na celu uchro­nić nas przed uprze­dze­nia­mi i skrzy­wie­nia­mi wbu­do­wa­ny­mi w nasz spo­sób po­strze­ga­nia świa­ta, w na­sze in­tu­icje i zdro­wy roz­są­dek.

Co jest wy­jąt­ko­we­go w me­to­dzie na­uko­wej? Przede wszyst­kim to, że po­le­ga na po­szu­ki­wa­niu in­for­ma­cji, któ­re dają się spraw­dzać in­ter­su­biek­tyw­nie, to zna­czy da­nych uzy­ska­nych w ta­kich wa­run­kach, któ­re mogą zo­stać od­two­rzo­ne i w któ­rych kom­pe­tent­ne oso­by mogą do­ko­nać po­dob­nych ob­ser­wa­cji i uzy­skać ta­kie same wy­ni­ki. Z tego wzglę­du, na przy­kład je­śli je­den z na­ukow­ców był w sta­nie do­ko­nać w la­bo­ra­to­rium tzw. zim­nej fu­zji, to jego eks­pe­ry­ment bę­dzie bar­dziej wia­ry­god­ny, je­śli inni ba­da­cze są w sta­nie po­wtó­rzyć ba­da­nia i uzy­skać ta­kie same wy­ni­ki.

Dru­gą waż­ną ce­chą me­to­dy na­uko­wej jest sta­ła kon­tro­la, tzn. okre­śle­nie i wy­ko­rzy­sta­nie spe­cjal­nych pro­ce­dur re­du­ku­ją­cych błę­dy ob­ser­wa­cji i in­ter­pre­ta­cji wy­ni­ków. Na przy­kład, je­śli ist­nie­je ry­zy­ko bra­ku obiek­tyw­no­ści w pro­wa­dzo­nych ob­ser­wa­cjach, na­ukow­cy mogą sta­rać się kon­tro­lo­wać ten ro­dzaj błę­du dzię­ki uży­ciu więk­szej licz­by ob­ser­wa­to­rów i spraw­dze­niu, na ile są oni ze sobą zgod­ni. Fi­zy­cy czę­sto mak­sy­ma­li­zu­ją sto­pień kon­tro­li dzię­ki prze­pro­wa­dza­niu ba­dań w wa­run­kach la­bo­ra­to­ryj­nych, tak aby zmi­ni­ma­li­zo­wać wpływ czyn­ni­ków ze­wnętrz­nych. Nie­ste­ty, kon­tro­la prze­bie­gu ba­da­nia w świe­cie spo­łecz­nym jest za­zwy­czaj trud­niej­sza niż w świe­cie fi­zycz­nym, dla­te­go tak trud­no za­sto­so­wać me­to­dy na­uko­we do ba­da­nia zło­żo­nych za­cho­wań ludz­kich.

Pre­cy­zja ję­zy­ka jest trze­cim głów­nym ele­men­tem me­to­dy na­uko­wej. Po­ję­cia ję­zy­ka na­tu­ral­ne­go są czę­sto nie­zro­zu­mia­łe, nie­ja­sne i nie­jed­no­znacz­ne. Na­ukow­cy sta­ra­ją się być pre­cy­zyj­ni i kon­se­kwent­ni w spo­so­bie uży­wa­nia ję­zy­ka.

Mimo tej pro­stej i po­wierz­chow­nej cha­rak­te­ry­sty­ki na­uki, na­le­ży pa­mię­tać, że ba­da­nia na­uko­we, je­śli są pro­wa­dzo­ne pro­wa­dzo­ne od­po­wied­nio sta­ran­nie, sta­no­wią jed­no z na­szych naj­lep­szych źró­deł uza­sad­nie­nia, po­nie­waż kła­dą na­cisk na we­ry­fi­ko­wal­ność, kon­tro­lę i pre­cy­zję.

Problemy związane z badaniami naukowymi

Nie­ste­ty, sam fakt, że prze­pro­wa­dzo­no ba­da­nia da­ne­go pro­ble­mu, nie musi ozna­czać, że ich wy­ni­ki są wia­ry­god­ne lub że in­ter­pre­ta­cja ich zna­cze­nia jest wy­star­cza­ją­co traf­na. Od­wo­ła­nie się do ba­dań na­uko­wych, jak do do­wol­nych in­nych, musi być do­ko­ny­wa­ne od­po­wied­nio ostroż­nie. Na nie­któ­re py­ta­nia, zwłasz­cza te, któ­re do­ty­czą ludz­kich za­cho­wań, moż­na od­po­wie­dzieć tyl­ko wstęp­nie, na­wet dys­po­nu­jąc naj­lep­szy­mi da­ny­mi. Za­tem ist­nie­je duża gru­pa py­tań, któ­re na­le­ży za­dać pod ad­re­sem ba­dań na­uko­wych, za­nim uzna­my ich wnio­ski i wy­ni­ki.
Gdy twój roz­mów­ca po­wo­łu­je się na ba­da­nia na­uko­we, po­wi­nie­neś pa­mię­tać, że:

1. Ba­da­nia są bar­dzo zróż­ni­co­wa­ne pod wzglę­dem ja­ko­ści, na nie­któ­rych moż­na po­le­gać bar­dziej niż in­nych. Są ba­da­nia do­brze wy­ko­na­ne, ale są tak­że prze­pro­wa­dzo­ne bar­dzo źle. Na pierw­szych moż­na po­le­gać bar­dziej. Po­nie­waż pro­ces ba­daw­czy jest bar­dzo skom­pli­ko­wa­ny i pod­le­ga wie­lu czyn­ni­kom ze­wnętrz­nym, na­wet bar­dzo do­brze wy­szko­le­ni ba­da­cze cza­sa­mi prze­pro­wa­dza­ją ba­da­nia, któ­re mają istot­ne bra­ki. Pu­bli­ka­cja w cza­so­pi­śmie na­uko­wym nie gwa­ran­tu­je, że ba­da­nie na­uko­we nie jest wa­dli­we.
2. Wy­ni­ki ba­dań czę­sto ze sobą sprzecz­ne. Po­je­dyn­cze pra­ce ba­daw­cze pre­zen­to­wa­ne poza kon­tek­stem ca­łej ro­dzi­ny in­nych ba­dań czę­sto do­star­cza­ją błęd­nych wnio­sków. Wy­ni­ki ba­dań, któ­re naj­bar­dziej za­słu­gu­ją na na­szą uwa­gę, to te, któ­re zo­sta­ły po­wtó­rzo­ne przez wię­cej niż jed­ne­go ba­da­cza lub gru­pę na­ukow­ców. Po­win­ni­śmy sta­wiać py­ta­nie: „Czy inni ba­da­cze po­twier­dzi­li te wnio­ski?”.
3. Wy­ni­ki ba­dań ni­gdy nie do­wo­dzą wnio­sków. W naj­lep­szym ra­zie wspie­ra­ją te wnio­ski, upraw­do­po­dab­nia­ją je. Wy­ni­ki ba­dań nie mó­wią same za sie­bie! Ba­da­cze za­wsze mu­szą in­ter­pre­to­wać zna­cze­nie swo­ich wy­ni­ków, a wszyst­kie wy­ni­ki moż­na in­ter­pre­to­wać na wię­cej niż je­den spo­sób. Z tego wzglę­du wnio­ski na­ukow­ców nie po­win­ny być trak­to­wa­ne jako udo­wod­nio­ne „praw­dy”. Gdy na­po­tkasz oświad­cze­nia, ta­kie jak „Wy­ni­ki ba­dań wy­ka­zu­ją …” po­wi­nie­neś do­ko­nać ich prze­kła­du na wy­ra­że­nie: „Ba­da­cze in­ter­pre­tu­ją wy­ni­ki swo­ich ba­dań w spo­sób na­stę­pu­ją­cy…”.
4. Jak każ­dy z nas, na­ukow­cy mają ocze­ki­wa­nia, okre­ślo­ne po­sta­wy, war­to­ści i po­trze­by, któ­re wpły­wa­ją na spo­sób, w jaki sta­wia­ją py­ta­nia, w jaki prze­pro­wa­dza­ją ba­da­nia oraz jak in­ter­pre­tu­ją swo­je wy­ni­ki. Na przy­kład, na­ukow­cy czę­sto są zwią­za­ni emo­cjo­nal­nie z kon­kret­ną hi­po­te­zą. Kie­dy Ame­ry­kań­ski In­sty­tut Cu­krow­ni­czy fun­du­je grant na let­nie ba­da­nia, na­gle bar­dzo trud­no uznać fakt nad­mier­ne­go spo­ży­cia cu­kru wśród na­sto­lat­ków. Jak wszy­scy lu­dzie, na­ukow­cy są omyl­ni i mogą mieć trud­no­ści z obiek­tyw­nym po­dej­ściem do da­nych, któ­re sto­ją w sprzecz­no­ści z ich hi­po­te­za­mi.

Głów­nym atu­tem ba­dań na­uko­wych jest to, że na­ukow­cy sta­ra­ją się upu­blicz­niać swo­je pro­ce­du­ry i wy­ni­ki, tak aby inni mo­gli oce­niać za­sad­ność prze­pro­wa­dzo­nych ba­dań, a na­stęp­nie pró­bo­wać je od­two­rzyć. Jed­nak nie­za­leż­nie od tego, jak obiek­tyw­ny może się wy­da­wać ra­port na­uko­wy, to za­wsze moż­na w nim od­na­leźć waż­ne ele­men­ty na­ce­cho­wa­ne su­biek­tyw­nie. Mów­cy i pi­sa­rze czę­sto znie­kształ­ca­ją lub uprasz­cza­ją wy­ni­ki ba­dań na­uko­wych. Mogą wy­stą­pić duże róż­ni­ce mię­dzy wnio­ska­mi przed­sta­wio­ny­mi w ory­gi­nal­nym ba­da­niu ich spo­so­bem ich wy­ko­rzy­sta­nia do po­pie­ra­nia wła­snych prze­ko­nań. Na przy­kład, na­ukow­cy mogą do­kład­nie za­kwa­li­fi­ko­wać wła­sne wnio­ski w ory­gi­nal­nym ra­por­cie, na­to­miast inny będą je wy­ko­rzy­sty­wać bez tych kwa­li­fi­ka­cji.

„Fak­ty” na­uko­we zmie­na­ją się w cza­sie, zwłasz­cza te do­ty­czą­ce ludz­kie­go za­cho­wa­nia. Na przy­kład, wszyst­kie z na­stę­pu­ją­cych „fak­tów” na­uko­wych zo­sta­ły ogło­szo­ne przez głów­ne źró­dła na­uko­we, ale zo­sta­ły „od­rzu­co­ne” na mocy wy­ni­ków naj­now­szych ba­dań:

• Pro­zac jest cał­ko­wi­cie bez­piecz­ny dla dzie­ci.
• Jest waż­ne, aby pić osiem szkla­nek wody dzien­nie.
• De­pre­sja jest spo­wo­do­wa­na wy­łącz­nie przez brak rów­no­wa­gi che­micz­nej w mó­zgu.
• Nad­mier­ne przy­wią­za­nie do ro­dzi­ców po­wo­du­je za­cho­wa­nia an­ty­spo­łecz­ne u dzie­ci.

Ba­da­nia są w róż­nym stop­niu od­izo­lo­wa­ne od świa­ta i prze­pro­wa­dza­ne w sztucz­nych wa­run­kach. Czę­sto, aby osią­gnąć jak naj­więk­szą kon­tro­lę, tra­cą swój zwią­zek z praw­dzi­wym świa­tem. Im sztucz­niej­sze wa­run­ki ba­da­nia, tym trud­niej jest uogól­niać jego wy­ni­ki na rze­czy­wi­stość poza eks­pe­ry­men­tem. Pro­blem nie­na­tu­ral­no­ści wa­run­ków jest szcze­gól­nie wy­raź­ny w ba­da­niach zło­żo­nych za­cho­wań spo­łecz­nych. Na przy­kład, ba­da­cze spo­łecz­ni za­pra­sza­ją lu­dzi do ba­dań w po­ko­ju z kom­pu­te­rem, na któ­rym mogą za­grać w „gry” spraw­dza­ją­ce to, jak ro­zu­mu­ją. Na­ukow­cy pró­bu­ją zro­zu­mieć, dla­cze­go lu­dzie po­dej­mu­ją pew­ne de­cy­zje w ob­li­czu róż­nych sce­na­riu­szy. Na­le­ży jed­nak się za­sta­no­wić: „Czy sie­dze­nie przy kom­pu­te­rze i my­śle­nie o hi­po­te­tycz­nych sy­tu­acjach nie jest zbyt abs­trak­cyj­ne, aby po­wie­dzieć nam o tym, jak lu­dzie po­dej­mu­ją de­cy­zje w ob­li­czu rze­czy­wi­stych dy­le­ma­tów?”

Po­trze­ba uzy­ska­nia ko­rzy­ści fi­nan­so­wych, sta­tu­su, bez­pie­czeń­stwa i in­nych czyn­ni­ków tak­że może mieć wpływ na wy­ni­ki ba­dań. Na­ukow­cy są ludź­mi, nie kom­pu­te­ra­mi. Dla­te­go jest eks­tre­mal­nie trud­ne, aby byli obiek­tyw­ni. Na przy­kład, ba­da­cze, któ­rzy chcą zna­leźć z góry za­ło­żo­ny wy­nik ba­dań mogą in­ter­pre­to­wać swo­je wy­ni­ki w taki spo­sób, aby zna­leźć po­żą­da­ny re­zul­tat. Na­ci­ski na uzy­ska­nie do­ta­cji, pro­fe­su­ry lub in­nych oso­bi­stych ko­rzy­ści mogą mieć wpływ na spo­sób, w jaki na­ukow­cy in­ter­pre­tu­ją swo­je dane. Jak wi­dać, mimo wie­lu cech po­zy­tyw­nych ba­dań na­uko­wych, na­le­ży uni­kać przed­wcze­snej ak­cep­ta­cji ich wy­ni­ków.

Wskazówki, jak oceniać badania naukowe

Od­po­wiedz te py­ta­nia, aby okre­ślić, czy ba­da­nia na­uko­we sta­no­wią żró­dło da­nych god­ne za­ufa­nia.

1. Jaka jest re­no­ma źró­dła pu­bli­ku­ją­ce­go ba­da­nia na­uko­we? Za­zwy­czaj, naj­bar­dziej wia­ry­god­ne są te ar­ty­ku­ły, któ­re są pu­bli­ko­wa­ne w re­cen­zo­wa­nych cza­so­pi­smach — tam ar­ty­ku­ły nie zo­sta­ną opu­bli­ko­wa­ne, do­pó­ki nie przej­dą po­myśl­nie kon­tro­li eks­per­tów. Za­zwy­czaj — ale nie za­wsze — im lep­szą re­pu­ta­cję ma cza­so­pi­smo, tym le­piej przy­go­to­wa­ne są ar­ty­ku­ły. Dla­te­go sta­raj się do­wie­dzieć jak naj­wię­cej o cza­so­pi­śmie, w któ­rym dany wy­nik jest pu­bli­ko­wa­ny.
2. Czy są inne prze­słan­ki niż ja­kość źró­dła, by uznać ba­da­nia za wia­ry­god­ne? Na przy­kład, czy ar­ty­kuł przed­sta­wia in­for­ma­cje świad­czą­ce o sil­nych stro­nach ba­da­nia.
3. Czy ba­da­nia były po­wta­rza­ne? Czy wię­cej niż jed­no ba­da­nie po­twier­dza ich wnio­ski? Od­kry­cia, na­wet gdy są „sta­ty­stycz­nie zna­czą­ce”, mogą być dzie­łem przy­pad­ku. Na przy­kład, gdy ko­re­la­cja jest po­twier­dza­na wie­lo­krot­nie i kon­se­kwent­nie w do­brze skon­stru­owa­nych ba­da­niach, jak na przy­kład ko­re­la­cja mię­dzy pa­le­niem i ra­kiem — mamy po­wód, by w nią wie­rzyć, chy­ba że zo­sta­ną przed­sta­wio­ne do­bre po­wo­dy na rzecz tego, że jest ina­czej.
4. Jak wie­le ba­dań nasz roz­mów­ca uwzględ­nił? Na przy­kład, czy nie po­mi­nię­to waż­nych ba­dań, któ­rych wy­ni­ki są sprzecz­ne z uwzględ­nio­ny­mi przez na­sze­go roz­mów­cę? Czy nie ogra­ni­czył się tyl­ko do tych ba­dań, któ­re po­twier­dza­ją jego punkt wi­dze­nia?
5. Czy ist­nie­ją świa­dec­twa kry­ty­cy­zmu? Czy au­tor wy­ka­zu­je kry­tycz­ne na­sta­wie­nie wo­bec wcze­śniej­szych ba­dań, któ­re wspie­ra­ją jego punkt wi­dze­nia? Więk­szość wnio­sków ba­dań wy­ma­ga spraw­dze­nia ze wzglę­du na ogra­ni­cze­nia ba­dań na­uko­wych. Czy au­tor wy­ka­zał go­to­wość do ich spraw­dze­nia?
6. Czy jest ja­kiś po­wód, dla któ­re­go ktoś mógł­by wy­pa­czyć wy­ni­ki ba­dań? Mu­si­my być wy­czu­le­ni na sy­tu­acje, w któ­rych ba­da­cze czu­ją pre­sję, aby uzy­skać okre­ślo­ny re­zul­tat swo­ich ba­dań.
7. Czy wa­run­ki eks­pe­ry­men­tu nie są zbyt ode­rwa­ne od na­tu­ral­nych, a wy­nik wsku­tek tego znie­kształ­co­ny? Sta­wiaj py­ta­nie: „Na ile po­dob­ne są wa­run­ki prze­pro­wa­dza­nia eks­pe­ry­men­tu do tych sy­tu­acji, w sto­sun­ku do któ­rych ba­dacz for­mu­łu­je uogól­nie­nia?
8. Jak bar­dzo mo­że­my ge­ne­ra­li­zo­wać na pod­sta­wie pró­by? Omó­wi­my tę kwe­stię głę­biej w na­stęp­nych czę­ściach. Czy an­kie­ty, kwe­stio­na­riu­sze i oce­ny lub inne wskaź­ni­ki wy­ko­rzy­sta­ne w ba­da­niu nie były w ja­kiś spo­sób skrzy­wio­ne. Mu­si­my mieć pew­ność, że mie­rzą one do­kład­nie to, co zo­sta­ło za­mie­rzo­ne. Pro­blem źle skon­stru­owa­nych an­kiet i kwe­stio­na­riu­szy jest wszech­obec­ny w ba­da­niach, któ­re omó­wi­my w na­stęp­nej czę­ści.

Uogólnianie na podstawie próby

Mów­cy i au­to­rzy tek­stów czę­sto wy­ko­rzy­stu­ją ra­por­ty na­uko­we, aby wspie­rać swo­je uogól­nie­nia, czy­li twier­dze­nia o wszyst­kich zda­rze­niach. Na przy­kład, „lek był sku­tecz­ny w le­cze­niu raka u pa­cjen­tów bio­rą­cych w ba­da­niu” nie jest uogól­nie­niem; na­to­miast „Lek sku­tecz­nie le­czy raka” już jest. Moż­li­wość uogól­nie­nia wy­ni­ków ba­dań za­le­ży od licz­by, za­kre­su i lo­so­wo­ści do­bra­nych zda­rzeń lub osób pod­da­nych ba­da­niu.

Pro­ces wy­bo­ru zda­rzeń lub osób do ba­da­nia na­zy­wa­my prób­ko­wa­niem, do­bie­ra­niem pró­by. Po­nie­waż na­ukow­cy nie mogą zba­dać wszyst­kich zda­rzeń lub osób, mu­szą wy­brać w ja­kiś spo­sób prób­kę, a pew­ne spo­so­by są lep­sze niż inne.

Mu­sisz pa­mię­tać o kil­ku spra­wach, gdy pod­cho­dzisz do oce­ny prób­ki wy­bra­nej do da­ne­go ba­da­nia.

1. Prób­ka musi być wy­star­cza­ją­co duża, aby uza­sad­niać ge­ne­ra­li­za­cję lub wnio­sek. W więk­szo­ści przy­pad­ków im wię­cej wy­da­rzeń lub osób za­ob­ser­wo­wa­no, tym bar­dziej wia­ry­god­ne są wnio­ski. Prób­ka musi być wy­star­cza­ją­co duża, aby uza­sad­niać ge­ne­ra­li­za­cję lub wnio­sek. Je­śli chce­my wy­ra­żać ogól­ne prze­ko­na­nia do­ty­czą­ce tego, jak czę­sto stu­den­ci stu­den­ci ścią­ga­ją na eg­za­mi­nach pod­czas se­sji, po­win­ni­śmy spy­tać ra­czej 100 stu­den­tów, niż 10.
2. Prób­ka musi obej­mo­wać wie­le róż­no­rod­nych przy­pad­ków, o któ­rych będą for­mu­ło­wa­ne wnio­ski. Na przy­kład, je­śli ba­da­cze chcą wy­pra­co­wać ogól­ne tezy o na­wy­kach al­ko­ho­lo­wych stu­den­tów, po­win­ni prze­ba­dać wie­lu róż­nych stu­den­tów z róż­nych uczel­ni. Stu­den­ci ma­łej pry­wat­nej uczel­ni mogą mieć inne na­wy­ki niż stu­dent du­żej szko­ły pu­blicz­nej. Ba­da­nie prze­pro­wa­dzo­ne na stu­den­tach jed­nej tyl­ko szko­ły może mieć za wą­ski za­kres.
3. Prób­ka jest lep­sza, gdy jest do­bra­na lo­so­wo. Je­śli ba­da­cze lo­so­wo do­bie­ra­ją prób­kę, dążą do tego, aby wszyst­kie zda­rze­niach, o któ­rych chcą wy­ra­żać uogól­nie­nie, mia­ły rów­ne szan­se re­pre­zen­ta­cji, chcą uni­kać nie­re­pre­zen­ta­tyw­no­ści prób­ki. Duże son­da­że, jak te prze­pro­wa­dzo­ne przez In­sty­tut Gal­lo­pa, za­wsze sta­ra­ją się do­bie­rać prób­kę lo­so­wo. To po­zwa­la im do­brać zda­rze­nia lub oso­by, uni­ka­jąc stron­ni­czo­ści.

Czy po­tra­fisz do­strzec, w jaki spo­sób każ­dy z po­niż­szych przy­kła­dów od­wo­łu­je się do nie­re­pre­zen­ta­tyw­nej pró­by?

• Lu­dzie, któ­rzy do­bro­wol­nie zgo­dzi­li się na udział w ba­da­niu do­ty­czą­cym czę­sto­tli­wo­ści współ­ży­cia sek­su­al­ne­go.
• Lu­dzie, któ­rzy byli w domu ok. 14:30 i ode­bra­li te­le­fon.
• Czy­tel­nicz­ki po­pu­lar­ne­go cza­so­pi­sma ko­bie­ce­go, któ­re od­po­wie­dzia­ły li­stow­nie na do­łą­czo­ną do cza­so­pi­sma an­kie­tę.

Dla­te­go na­le­ży sta­wiać py­ta­nie wo­bec każ­de­go z ba­dań na­uko­wych: „Jak wie­le wy­da­rzeń lub osób wzię­to pod uwa­gę, na ile sze­ro­ka i lo­so­wa była pró­ba? Czę­stym pro­ble­mem zwią­za­nym z nie­re­pre­zen­ta­tyw­no­ścią pró­by jest nad­mier­ne uogól­nia­nie wy­ni­ków ba­da­nia. Czę­sto wy­gła­sza się twier­dze­nie o wie­le ogól­niej­sze, niż uza­sad­nia to prze­ba­da­na pró­ba. Po­wy­żej okre­śli­li­śmy ta­kie nad­mier­ne ge­ne­ra­li­za­cje mia­nem błę­du po­chop­ne­go uogól­nie­nia. Przyj­rzyj­my się z bli­ska nad­mier­nym uogól­nie­niom:

Spo­ży­cie al­ko­ho­lu jest wy­so­kie w szko­łach na te­re­nie ca­łe­go kra­ju. W ostat­nich ba­da­niach pro­wa­dzo­nych przez Drink­svil­le Uni­ver­si­ty na prób­ce 250 osób, że 89 pro­cent stu­den­tów re­gu­lar­nie spo­ży­wa al­ko­hol.
Re­gu­ły do­bie­ra­nia pró­bek nie po­zwa­la­ją na tak sze­ro­kie uogól­nie­nia. Ra­port z ba­dań im­pli­ku­je, że wnio­ski mogą być roz­sze­rzo­ne na wszyst­kie uczel­nie, gdy tym­cza­sem prze­ba­da­no za­le­d­wie jed­ną uczel­nię. Nie wie­my na­wet, czy wnio­sek może być za­sto­so­wa­ny w od­nie­sie­niu do tej uczel­ni, po­nie­waż nie wie­my, na ile lo­so­wa była pró­ba. Ra­port z ba­dań jest jed­nak błęd­ny, po­nie­waż sta­no­wi zbyt moc­ne uogól­nie­nie.
Za­pa­mię­taj: Mo­że­my uogól­nić na­sze wnio­ski je­dy­nie na oso­by i wy­da­rze­nia, któ­re są po­dob­ne do tych, któ­re zo­sta­ły uwzględ­nio­ne w ba­da­niach. Ra­port z ba­dań jest jed­nak błęd­ny, po­nie­waż sta­no­wi zbyt moc­ne uogól­nie­nie.

Tendencyjne ankiety i kwestionariusze

Wła­śnie skoń­czy­łeś jeść ko­la­cję. Dzwo­ni te­le­fon. „Pro­wa­dzi­my ba­da­nia opi­nii pu­blicz­nej. Czy ze­chce pan od­po­wie­dzieć na kil­ka py­tań?”. Je­śli od­po­wiesz „tak”, bę­dziesz wśród ty­się­cy lu­dzi, któ­rzy co roku bio­rą udział w ba­da­niach son­da­żo­wych — czy­li jed­nej z naj­czę­ściej spo­kty­ka­nych form ba­da­nia. Po­myśl, jak czę­sto sły­szy­my zda­nie „we­dług ostat­nich son­da­ży”. An­kie­ty i kwe­stio­na­riu­sze są zwy­kle uży­wa­ne do po­mia­ru po­staw lu­dzi i ich prze­ko­nań. Na ile moż­na im za­ufać? To za­le­ży! Od­po­wie­dzi uzy­ska­ne pod­czas ba­da­nia pod­le­ga­ją wie­lu wpły­wom, dla­te­go trze­ba być bar­dzo ostroż­nym w in­ter­pre­to­wa­niu ich zna­cze­nia.
Prze­ana­li­zuj­my nie­któ­re z tych czyn­ni­ków. Po pierw­sze, aby wy­ni­ki son­da­żu mia­ły zna­cze­nie, ba­da­ni mu­szą od­po­wia­dać szcze­rze. Ozna­cza to, że ra­por­ty mu­szą od­zwier­cie­dlać rze­czy­wi­ste prze­ko­na­nia i po­sta­wy. Jed­nak, z róż­nych po­wo­dów, lu­dzie czę­sto ko­lo­ry­zu­ją. Na przy­kład, udzie­la­ją od­po­wie­dzi, o któ­rych my­ślą, że ocze­ku­je się od nich, aby je dali, a nie te, któ­re od­zwier­cie­dla­ją ich praw­dzi­we prze­ko­na­nia. Mogą oka­zy­wać wro­gość wo­bec oso­by za­da­ją­cej py­ta­nie lub wo­bec sa­me­go py­ta­nia. Mogą nie przy­wią­zy­wać do py­ta­nia zbyt wie­le uwa­gi. Je­śli kie­dy­kol­wiek by­łeś uczest­ni­kiem ba­da­nia son­da­żo­we­go, mo­żesz z pew­no­ścią po­dać inne czyn­ni­ki wpły­wa­ją­ce na jego wy­nik.

Za­pa­mię­taj: Nie moż­na za­kła­dać, że wy­po­wie­dzi słow­ne ba­da­nych wier­nie od­zwier­cie­dla­ją ich fak­tycz­ne po­sta­wy. Po dru­gie, wie­le py­tań jest nie­jed­no­znacz­nych i mogą być róż­nie ro­zu­mia­ne. Róż­ne oso­by mogą w isto­cie od­po­wia­dać na róż­ne py­ta­nia! Na przy­kład, za­sta­nów się, jak moż­na ro­zu­mieć na­stę­pu­ją­ce py­ta­nie: ?Czy uwa­żasz, że pro­gra­my te­le­wi­zyj­ne są do­brej ja­ko­ści??. Im bar­dziej wie­lo­znacz­ne sfor­mu­ło­wa­nie son­da­żu, tym mniej wia­ry­god­ne jego wy­ni­ki. Za­wsze na­le­ży za­dać so­bie py­ta­nie: „Jak były sfor­mu­ło­wa­ne py­ta­nia an­kie­ty?”. Za­zwy­czaj, im kon­kret­niej sfor­mu­ło­wa­ne py­ta­nie, tym bar­dziej praw­do­po­dob­ne, że róż­ne oso­by będą in­ter­pre­to­wać je po­dob­nie. Po trze­cie, ba­da­nia za­wie­ra­ją wie­le we­wnętrz­nych uste­rek, któ­re czy­nią je jesz­cze bar­dziej po­dej­rza­ny­mi. Dwa naj­waż­niej­sze to ten­den­cyj­ne sfor­mu­ło­wa­nia i ten­den­cyj­ny kon­tekst.

Ten­den­cyj­ne sfor­mu­ło­wa­nie py­ta­nia jest czę­stym pro­ble­mem, mała zmia­na w spo­so­bie po­sta­wie­nia py­ta­nia może mieć zna­czą­cy wpływ na udzie­la­ne od­po­wie­dzi. Prze­ana­li­zuj­my wnio­ski opar­te na ostat­nich ba­da­niach, a na­stęp­nie zo­bacz­my, ja­kie za­da­no py­ta­nia. Pro­fe­sor od­krył, że 86 pro­cent re­spon­den­tów uwa­ża, że pre­zy­dent Bush roz­cza­ro­wał Ame­ry­ka­nów swo­im spo­so­bem pro­wa­dze­nia woj­ny w Ira­ku.
Te­raz przyj­rzyj­my się uważ­nie py­ta­niom son­da­żu: ?Co są­dzisz o błę­dach pre­zy­den­ta po­peł­nio­nych w kam­pa­nii w Ira­ku?” Po­patrz uważ­nie na to py­ta­nie. Czy do­strze­gasz, dla­cze­go jest ten­den­cyj­ne? Głów­ny­mi sło­wa­mi są „błę­dy pre­zy­den­ta.” Czy od­po­wie­dzi nie by­ły­by inne, gdy­by py­ta­nie brzmia­ło: „Co są­dzisz o sta­ra­niach pre­zy­den­ta wpro­wa­dze­nia de­mo­kra­cji, wol­ne­go ryn­ku i wol­no­ści po­li­tycz­nej w Ira­ku?”. Za­tem otrzy­ma­ne od­po­wie­dzi nie są do­kład­nym wskaź­ni­kiem prze­ko­nań do­ty­czą­cych pre­zy­den­ta Bu­sha i spo­so­bu pro­wa­dze­nia woj­ny w Ira­ku.

An­kie­ty i kwe­stio­na­riu­sze za­wsze mu­sisz oce­nić pod ką­tem moż­li­wych błę­dów. Przyj­rzyj się do­kład­nie spo­so­bo­wi, w jaki sfor­mu­ło­wa­no py­ta­nie.

Inny przy­kład. Pod­kre­śli­li­śmy, że sło­wa mogą wska­zy­wać na błę­dy w sfor­mu­ło­wa­niu py­tań.

PYTANIE: Czy bied­ni lu­dzie, któ­rzy nie chcą pod­jąć pra­cy po­win­ni być upraw­nie­ni do otrzy­my­wa­nia świad­czeń so­cjal­nych?

WNIOSEK: 93% re­spon­den­tów uwa­ża, że bied­ni lu­dzie nie po­win­ni otrzy­my­wać świad­czeń so­cjal­nych.

Wpływ kon­tek­stu na to, jaka zo­sta­nie udzie­lo­na od­po­wiedź na za­da­ne py­ta­nie, tak­że może być bar­dzo sil­ny. Na­wet od­po­wie­dzi na iden­tycz­ne py­ta­nia mogą róż­nić się w za­leż­no­ści od tego, jak kwe­stio­na­riusz zo­stał przed­sta­wio­ny i jak zo­stał osa­dzo­ne w nim py­ta­nia. Na­stę­pu­ją­ce py­ta­nie zo­sta­ło za­da­ne w dwóch son­da­żach: „Czy uwa­żasz, że na­le­ży ob­ni­żyć wiek, w któ­rym moż­na le­gal­nie spo­ży­wać al­ko­hol?”. W jed­nym z ba­dań, py­ta­nie zo­sta­ło po­prze­dzo­ne py­ta­niem: „Czy uwa­żasz, że wiek upraw­nia­ją­cy do gło­so­wa­nia w wy­bo­rach po­wi­nien być utrzy­ma­ny na obec­nym po­zio­mie, czy­li 18 lat?”. W in­nym ba­da­niu nie za­da­no tego po­prze­dza­ją­ce­go py­ta­nia. Nic dziw­ne­go, że w oba son­da­że róż­ni­ły się wy­ni­ka­mi. Czy po­tra­fisz do­strzec, jak kon­tekst może wpły­nąć na od­po­wie­dzi udzie­la­ne przez re­spon­den­tów?
In­nym waż­nym czyn­ni­kiem na­le­żą­cym do kon­tek­stu ba­da­nia jest dłu­gość py­tań i ca­łej an­kie­ty. W dłu­gich ba­da­niach lu­dzie mogą re­ago­wać od­mien­nie na póź­niej­sze py­ta­nia, po­nie­waż po pro­stu są już zmę­cze­ni ca­łym pro­ce­sem. Zwra­caj uwa­gę na czyn­ni­ki kon­tek­sto­we przy oce­nie wy­ni­ków ba­dań.

Po­nie­waż spo­sób, w któ­ry lu­dzie re­agu­ją na ba­da­nia, jest po­dat­ny na wie­le nie­zna­nych czyn­ni­ków, ta­kich jak po­trze­ba udzie­le­nia od­po­wie­dzi zgod­nej z ocze­ki­wa­nia­mi lub kwe­stie in­ter­pre­ta­cji py­ta­nia, czy moż­na trak­to­wać son­da­że jako do­bre świa­dec­twa? Spra­wa ta jest przed­mio­tem go­rą­cych dys­ku­sji, jed­nak­że war­to po­wie­dzieć „tak” — do­pó­ki je­ste­śmy ostroż­ni i nie uogól­nia­my po­nad roz­sąd­ną mia­rę. Nie­któ­re son­da­że są bar­dziej wia­ry­god­ne niż inne. Im lep­sza ja­kość son­da­żu, tym bar­dziej mo­żesz ufać jej wy­ni­kom. Ba­daj do­kład­nie, jak prze­bie­gał son­daż, za­nim za­ak­cep­tu­jesz jego wy­ni­ki. Kie­dy już okre­ślisz ja­kość pro­ce­du­ry, mo­żesz stwo­rzyć wła­sne uogól­nie­nie — ta­kie, któ­re unik­nie błę­dów, o któ­rych przed chwi­lą się do­wie­dzia­łeś. Na­wet ten­den­cyj­ne an­kie­ty mogą być po­ucza­ją­ce, ale trze­ba uwzględ­nić ich nie­obiek­tyw­ność, aby nie być zbyt­nio prze­ko­na­nym do ich wy­ni­ków.

Krytyczna ocena argumentu odwołującego się do wyników badań naukowych

Wy­ko­rzy­staj py­ta­nia do­ty­czą­ce ba­dań do oce­ny na­stę­pu­ją­ce­go ar­gu­men­tu.

Ro­dzi­ce, któ­rzy zmu­sza­ją swo­je dzie­ci do na­uki czę­sto po­wo­du­ją u nich nie­chęć do czy­ta­nia — tak wy­ni­ka z naj­now­szych ba­dań.
Na­ukow­cy prze­ba­da­li 56 dzie­ci z szó­stych klas i od­kry­li, że te, któ­re de­kla­ru­ją naj­więk­szą nie­chęć do czy­ta­nia, były przez ro­dzi­ców do czy­ta­nia zmu­sza­ne. Na­to­miast ucznio­wie, któ­rzy lu­bią czy­tać, mają mniej apo­dyk­tycz­nych ro­dzi­ców. Im bar­dziej wy­ma­ga­ją­cy są ro­dzi­ce, tym mniej­sze praw­do­po­do­bień­stwo, że dziec­ko bę­dzie lu­bi­ło czy­tać — twier­dzą Stan­ley i Li­ving­sto­ne w sierp­nio­wym nu­me­rze „Psy­cho­lo­gii w szko­le”. Ba­da­nie zo­sta­ło prze­pro­wa­dzo­ne w szko­le pod­sta­wo­wej w Łom­ży. Ba­da­nia wy­ka­za­ły, że dzie­ci, je­śli nie są zmu­sza­ne do na­uki, same chęt­niej się­gną w wol­nym cza­sie po książ­kę. „Wy­da­je się, że ist­nie­je na­tu­ral­na skłon­ność do bun­tu prze­ciw­ko ro­dzi­com, a jed­nym ze spo­so­bów jego ma­ni­fe­sta­cji jest osten­ta­cyj­ne sprze­ci­wia­nie się czy­ta­niu” — po­in­for­mo­wa­li Stan­ley i Li­ving­sto­ne.

Przed­sta­wio­ne ba­da­nie nie jest szcze­gól­nie prze­ko­nu­ją­ce. Au­tor i ba­da­cze nie wy­ka­zu­ją wy­star­cza­ją­co kry­tycz­nej po­sta­wy. Nie wi­dzi­my oznak kry­tycz­ne­go na­my­słu nad ich twier­dze­nia­mi. Spra­woz­da­nie z ba­dań nie za­wie­ra żad­nych od­nie­sień do za­let i wad ich prze­pro­wa­dze­nia, jed­nak­że do­star­cza pew­nych szcze­gó­łów do­ty­czą­cych pro­ce­dur ba­daw­czych, tak że mo­że­my wy­po­wie­dzieć się na te­mat jego war­to­ści jako pod­sta­wy prze­pro­wa­dzo­ne­go uogól­nie­nia.

Nic nie wska­zu­je na to, że ba­da­nie zo­sta­ło po­wtó­rzo­ne.

Po­nad­to, nie wie­my, na ile ostroż­ny był au­tor w wy­bo­rze ba­dań ani w jaki spo­sób te ba­da­nia wpi­su­ją się w szer­szy kon­tekst ba­dań nad dzieć­mi i przy­jem­no­ści czy­ta­nia. Nie wie­my, ja­kie ko­rzy­ści mo­gli mieć na­ukow­cy z opu­bli­ko­wa­nia swo­ich wy­ni­ków. Czy na­ukow­cy i au­tor cy­to­wa­nej wy­po­wie­dzi nie uogól­nia­ją nad­mier­nie? Prób­ka jest mała — li­czy 56 dzie­ci — nie jest więc szcze­gól­nie licz­na, nie jest lo­so­wa, po­nie­waż zo­sta­ła ogra­ni­czo­na do jed­nej szko­ły pod­sta­wo­wej.

Mu­si­my za­dać wie­le py­tań do­ty­czą­cych do­bo­ru pró­by. W jaki spo­sób wy­bra­no dzie­ci do ba­da­nia? Jak in­for­ma­cja o ba­da­niu zo­sta­ła przed­sta­wio­na ro­dzi­com? Czy nie było tak, że nie­któ­rzy ro­dzi­ce chęt­niej bra­li udział w ba­da­niu i dla­cze­go? Czy uzy­ska­li­by­śmy po­dob­ne wy­ni­ki, gdy­by ro­dzi­ny zo­sta­ły wy­bra­ne lo­so­wo ze szkół z ca­łe­go kra­ju? Frag­ment ten wy­raź­nie ilu­stru­je przy­pa­dek zbyt­nie­go uogól­nie­nia! Czy kwe­stio­na­riusz jest do­brze skon­stru­owa­ny? Wy­obraź so­bie, że jako ro­dzic wy­peł­niasz kwe­stio­na­riusz do­ty­czą­cy tego, jak bar­dzo kon­tro­lu­jesz swo­je dziec­ko. Nie są­dzisz, że moż­na mieć wąt­pli­wo­ści co do ade­kwat­no­ści otrzy­ma­nych od­po­wie­dzi? Mamy za mało in­for­ma­cji o spo­so­bie sfor­mu­ło­wa­nia py­tań i ich ukła­du, aby oce­nić, czy nie za­wie­ra­ły dwu­znacz­no­ści i nie były po­dat­ne na wpływ ten­den­cyj­ne­go kon­tek­stu. Pod­nie­śli­śmy wy­star­cza­ją­co wie­le wąt­pli­wo­ści, aby za­cho­wać ostroż­ność wo­bec ich praw­dzi­wo­ści. Chcie­li­by­śmy móc bar­dziej po­le­gać na ba­da­niach, za­nim im za­ufa­my.

Jak wy­szu­ki­wać i czy­tać ar­ty­ku­ły na­uko­we? Blog Ja­nu­are­go We­ine­ra: http://biokompost.wordpress.com/2012/07/08/szukanie-i-czytanie-artykulow-naukowych/