大学の研究室の指導教員氏は、「ベンチマークが確立されているようなタスクには取り組まない方がいい」と言っていた。何年も前のことだから言い回しは全然違うかもしれない。いや、そもそもこんなことは一言も言っていないかもしれない。実在の人物の発言を無責任に引っ張り出すのは迷惑がかかってしまってよくないね。ここに書いた言葉も意図もおそらく正確ではないということで、どうかご理解ください。
ベンチマークが確立されていると、システムの入出力が明確になっていて、考えるべきことが限定されて取り組みやすい。さらにほとんどの場合はソースコードも手に入り、数値を良くすることにはゲーム的なおもしろさもある。その一方で、そこから大きな価値を生み出すのは現実的には意外と難しい。もちろんベンチマークと強く結び付きつつ価値が高い研究もたくさんあるけれど (e.g. AlexNet)、多くの場合は小さく退屈な改良に留まってしまう。それよりは、ほとんど誰も取り組んでいないような領域を切り開いていった方が学術的な価値を生みやすい。
これは研究に限った話ではなく、たとえばスティーブ・ジョブズも同じことを言っている。
ライバルの男がバラの花を10本贈ったら、君は15本贈るかい？ そう思った時点で君の負けだ。ライバルが何をしようと関係ない。何を本当に望んでいるのかを見極めることが大切なんだ。
数字の勝負は、つい飛び付きたくなってしまうかもしれないが、しかしほとんど価値を生まないことがよくある。これは、そう教育されていてもなお、僕も時々やってしまう。
