【筑波大学　池田潤氏・森本行人氏】『Impact Factor至上主義』から脱却せよ　―人文社会系研究者による新たな評価指標の開発―

「AJ出張版」は、株式会社アカリクが発行する「大学院生・研究者のためのキャリアマガジン Acaric Journal」の過去の掲載記事や、WEB限定の新鮮な記事をお送りするカテゴリです。今回はvol.1の掲載記事をお届けします。

論文誌のランク付けに用いられる指標であるImpact Factor。数値として表現されるIFは比較しやすく、それ故に誤用されやすい。計算方法や背景を知らずに乱用されるIFに対して、人文社会側から新しい評価指標が提案されている。

―　人文社会系の研究分野では論文などの研究成果をどのようにして評価しているのでしょうか

池田氏　評価には「定量評価」と「定性評価」があります。あらゆる研究において、定性的な部分が最も重要で、専門家同士であれば、そこになんとなくのコンセンサスがあります。しかし、定性的なため曖昧であるという側面があります。そのため、突出した成果であれば評価しやすいのですが、中間層にある場合は明確な評価が難しいという点があります。一方で定量的というのは「数」の指標ですので、人文社会系の分野では論文や著書の本数くらいしか使うことができないのです。一般的には、これらを組み合わせて評価を行います。

―　理工系の研究分野では「Impact Factor」が評価指標としてよく使われていますが、この指標はどのような特徴と課題を持っていますか

池田氏　主に自然科学と社会科学の論文について計算しているのが「Impact Factor（以下、IF ）」です。アーティクル（査読論文）とレビュー（総説論文）が対象で、その論文が2年前と1年前に引用された回数（被引用数）を、その論文誌に掲載されている論文の総本数で割ることで算出されます。IF というものは元々、その論文の影響度を測るための指標であって、研究の質を測るものではありません。その部分について誤解されている方が多いのではないでしょうか。

　影響度の高い雑誌に掲載されることに意味はありますが、サイエンスを追求している方は IF をそこまで気にしていなかったりします。「IFでは研究の質を測ることができない」というのは重要なポイントで、例えば批判の対象として他者から引用された場合でも、IF の数値は上がります。また、IF は「どうしてそういう数値になったのか」という事が外から分かりません。つまり、ブラックボックス化されているのです。

―　IF は Web of Science に基づいて算出されていますが、人文社会系の日本語論文はあまり収録されていません。研究者を評価する際の指標として妥当なのでしょうか

池田氏　Web of Science は特定の学術誌などを対象としたデータベースですので、サンプリングが偏っています。IF とは別の CiteScoreというジャーナル・メトリクスの根拠となっている SCOPUS も同様です。これらのデータベースやメトリクスは欧米の会社が運営しているため、日本語の論文がほとんど入っておらず英語で書かれたものが主軸です。

　また、圧倒的に理工系分野に偏っているので、研究分野を横断して公平な評価ができるとは言えません。ただし、医学やライフサイエンスや物理学など、ほとんどの論文が英語中心で、主要な雑誌が網羅されている分野に限定する場合は、これらのジャーナル・メトリクスを利用して研究の評価をすることは、一定の妥当性が感じられるでしょう。

―　筑波大学では独自に「iMD」という評価指標を開発したとのことですが、IF との互換性や相違点について教えていただけますか

池田氏　人文学や社会科学も含めて学術論文の価値を定量化する試みが「iMD（index for Measuring Diversity）」です。まず、IF との共通点として、ジャーナル・メトリックスであり論文一つひとつに対する評価ではないことと、研究の質を測っているわけではないことが挙げられます。

　次に相違点ですが、IF がブラックボックス化したデータベースの中で処理されるのに対して、iMD は手作業でも簡単に計算できます。また、IF ではその知見がどれだけ話題となり注目を浴びたのかを「被引用数」で測るのに対し、iMD では「著者所属の多様性」を計測しています。

　著者の所属する組織と国で多様性を見ると、例えば10人で共著論文を書いた場合、全て筑波大学の研究者だったならば、「組織：1」「国：1」ということになります。しかし、全員が異なる日本の大学に所属している場合は、｢組織：10」「国：1」となります。さらに、著者全員が異なる大学と国に属していれば「組織：10」「国：10」という可能性もあるのです。学内紀要よりも全国誌、全国誌よりも国際誌が「良い」という点は、分野を超えて研究者のコンセンサスが取れるのではないでしょうか。

　IFが高いジャーナルはiMDでも数値が大きくなることから、相関関係が見られます。これは Nature・Cell・Science といった IF の高い学術誌では著者の所属も多様になるためです。

―　iMD はどのような背景や経緯で開発されたのでしょうか

池田氏　実は工学系であっても企業所属の人が書く論文は、日本語であることが多いため、IF が付かないことが多いのです。それから、評価の仕方は多様であるべきで、様々な指標で測ることによって、適切に理解することができるようになると考えています。そこで私たちは被引用数ではない要素に基づいた評価を目指しました。

　理学・工学・文学の研究論文を評価する場合は IF で比べることが難しいのですが、iMD であれば比較できるようになります。数値の単純比較だけでなく、伸び率にも使用することができます。

　この iMD の出発点には、大学内の人文社会系の中で評価をする際に、同じ専門分野の人が少ないために、お互いに評価がしづらく定性評価が難しいという背景がありました。定量評価では学術誌に掲載された論文や出版した書籍の本数が重要となりますが、その学術誌のレベルも様々ですし、学術書と一般書といった違いや、自費出版のようにお金を出せば出版できるものもあります。それらの違いに対してメリハリが付けられないという課題があったのです。

森本氏　科研費の審査員を務める先生たちもジャーナルの名前を見て判断するそうで、学術誌に対する認識が、研究内容や研究者の定性評価に大きく関係しています。しかし、その基準は研究者の頭の中にしかありません。そこで、iMD を開発する前に、一覧表を作って S～D の5段階で評価を付けてもらうということを試してみたのです。京都大学と大阪大学の人文社会系URA（University Research Administrator）の方々にも協力していただき、筑波大学を含む3つの大学で調査を行いました。

　日本語で論文を書く先生の多い分野（例えば、日本語学・日本史学・日本文学など）に絞って、各大学の先生方が「良い」と思う雑誌や著書を教えてもらいました。しかし、実は今も学閥論争をひきずっていて……あるジャーナルに対して「大学」としては高い評価を付けることはできないが、教員「個人」としては「良い」と評価している、といった結果になったのです。そして同じジャーナルに対しても人によって評価にバラつきがあるため、質的評価の難しさを改めて実感しました。

―　他大学や幅広い研究分野で iMD を利用してもらうために、どのような活動をしているのでしょうか

森本氏　様々な場所で宣教師のように何度も話をすることで、iMDへの理解や知識を得てもらっています。例えば先日も、文部科学省の中にある科学技術・学術審議会の情報委員会に設置された「ジャーナル問題検討委員会」からお声がかかりまして、iMD の話をしてきました。現在は一橋大学や同志社大学の先生にも加わってもらって広める活動をしています。

　また、URAのネットワークも活用して情報発信に努めています。URA業界には、RA協議会というURAにとっての学会のような場があり、そこでは2015年から毎年のように発表をして、参加者と意見交換を継続して行っています。また、京都大学や大阪大学他のURAの方々と「人文・社会科学系研究推進フォーラム」という大きなフォーラムを毎年1回開催していますが、そこでも何度か議論させていただいたこともあります。こうした横の繋がりを大切に iMD を広めようとしています。実は既に一部の私立大学では iMD を使った研究評価が試験的に始まっています。

―　iMDで「研究を評価する」ことができるようになると、どのような利点があるのでしょうか

池田氏　iMDの良いところは、学内紀要と全国レベル誌と国際誌では明らかに異なる数値が出ることです。より多様性の高いジャーナルに挑戦する動機づけになるのではないでしょうか？この数値が無ければ、とにかく「1本は1本」となって、学内紀要ばかりで数値を上げることができてしまいますからね。iMDによって、研究の発信力が高まることが期待されます。

　また、これまでは、どの言語でどのような人に読んでもらうか取捨選択をしていましたが、投稿する先を研究者自身が判断できるようになるのではないかと思っています。これは学術的な刺激となり科学の発展につながると考えています。

　お互いに、研究をしてきた大学教員とURAであったからこそ、このiMDを創り上げることができたと思っています。

森本氏　URAという職種は、大学によって雇用形態も給与形態も大きく異なり、キャリアパスもまだまだ固まっていないなど、不安な要素が多く難しい面もありますが、とても面白い仕事です。大学の中で最も起業家マインドが必要な職務ではないかと思います。