本の帯は「スタンフォード監獄実験はイカサマだった！」。最近、いろんなところで社会経済学や心理学の実験が、再現できないことが言われていたのを聞いていたので、気になって購入。最初から感動したのは、表紙を捲ると、半分透けてる特別な紙にドットで題名がプリントされている所。これ、科学実験の不透明さと、点で描かれると人は自然とそれを繋ぎたくなってしまうというバイアスを表しているのではと、一人で考察して、一人でにやけてた。
さて、内容ですが、「学術誌に論文が掲載されることが評価につながる」と言う科学界のエコシステムが抱える問題点をめちゃくちゃたくさんの実例を上げながら論じています。乱暴にまとめると
- 自分の信じた論は価値がある！だから多少、基準をいじったり数字を操作しても、世に伝えることのほうが重要だ！
- 実験してたら本来と違うところで、いい感じの結果が出てきたかも。最初から、こっちを研究してたことにしよう
- 学術誌は「革新的な」研究しか載せてくれない。そして、我が研究費は、その掲載により査定される。だったら、失敗した研究は封印しておこう
- 「分母を小さく」すれば、小さな効果でも大きく映る。その結果が出た「いい感じ」な瞬間で実験をストップさせよう。
などなど。どれも、誰が悪いとは一概に言えないし、そうしてしまう気持ちもわからないではない。科学って、ものすごくドライなものの代名詞なように感じるけど、でも、それをしているのはやっぱり人間なわけで、そこにはざまざまな感情や思惑がいやでも発生してしまう。
この議論の中で「NULL」と言う考えがある。簡単に言えば、結果が思ったように出なかった、失敗作ということ。でも、これ、裏を返せば「この方法では成果は出なかった」という点においては、ものすごく価値がある。しかし、上に書いたような理由からそれは世に出す動機づけが全くない。学術誌が受け付けてくれないし、それを出したとて査定には何にも影響しない。
この科学的損失は計り知れない。だって、将来同じ実験をしようとしたら、同じ轍を踏みまくる、ということだから。リソースも時間も全部無駄になってしまう。
失敗が評価される世の中にしていこう、と言ってしまえば理想論のように聞こえる。失敗をなんで人は隠すのか、それは「それを評価する仕組み」がないから。逆を言えば、うまく仕組みを設計できれば、人はどんどん失敗をオープンにしていくんじゃないか。
本では「プレプリント」という暫定的な論文を広く見てもらい、査読や再現実験をむしろオープンソースにする方法が紹介されていた。気持ちに訴えかけるのではなく、それをしたくなる仕組みを練り上げる。これは自分の仕事でも一緒だなと感じた。
