過去15年間に生物医科学専門誌で発表された論文から無作為に抽出した441編を分析したところ、研究の評価や再現に必要な情報のプロトコルを完全に満たしていた論文は1編しかなかったという。
これは、ＳＴＡＰの時もそういう感じだよねーと言われてたのがちゃんと丁寧に調査された論文だ。素晴らしい。いや、結果は憂うべき状況なんだけれど。
言語処理界隈だと状況はずっとマシだけれど、それでも前処理とかが論文にかかれず、言語処理学会第22回年次大会(NLP2016)では、「ワークショップ２： 論文に書かない（書けない）自然言語処理」において「前処理や実験における暗黙の仮定や工夫」に関する知見の共有が図られたりと、その問題には意識的に取り組んでいる。
データの共有については、研究データにDOIを付与するDataCiteに英国・中国の5機関が参加するなどの取り組みがあったりする。
文系でも歴史研究における文書の読み解きに関する再現性などはかなり気を使っている印象を受ける。あとは「実験」の環境が統制できないという制約のために、そもそも社会に対する研究の再現性が実験室の実験と同様に語れない。それでも問題があるとすれば、研究者が新しいフレームを示したがるために、追試的な「同じフレームで語れました」という研究は少なく、「語り切れていなかったここを語るフレームを作りました」論文の比率が高すぎること。これは理系にも言えることだが、原理的に再現性を満たしにくい研究ほど、追試の重要性は増すはずだ。
参考:
通説検証をメインにしたお話 from 単語の分散表現と構成性の計算モデルの発展 p.30
