リーディングスキルテストは読解力の何を測定しているのか?「AI vs. 教科書が読めない子どもたち」新井紀子

この本の要約

要約なので、読んだことがある人はこの項は飛ばしてください。

この本には大きく分けて二つのことが書いてあります。
以下ざっくり要約。

(1)人工知能(Artificial Intelligence)のこと

著者はAIに大学受験用の模試を受けさせて、東大に合格するくらいの偏差値を叩き出せるまでに進化させるぞ、という研究(東ロボくんプロジェクト)を始めた。
AIをブラッシュアップすることによって、数学や世界史は偏差値が上がった。しかし国語や英語は偏差値50程度からはほとんど上がらず、また飛躍的に上げるアプローチも思いつかない。

上がらない理由は「AIは意味を理解できないから」だ。「おいしいイタリアンレストランを教えて」と「まずいイタリアンレストランを教えて」という問に対してAIはほとんど同じ結果を返してしまう。それはAIが「おいしい」「まずい」を文字列としてしか取り扱うことが出来ず、その二つの言葉の本質的な意味を理解し、文脈なども考慮して柔軟に解釈するということができないからだ。

そもそもコンピューターの内部処理は全て数学で成り立っているため、数学で表せないことはコンピューターでは処理できないのだ。だからAIが人間を超えるシンギュラリティというのは、少なくとも今の技術、理論の延長線上にはない。そして、同じ理屈で国語の偏差値も大きくは上げられない。

しかし、そんな意味を理解しないAIでも偏差値50までは得点できている。ということは“意味を理解しないAI”よりも得点できない人間が半数近くいることになる。なぜなんだろうか?

(2)若者の読解力のこと

AIよりも国語の点数が低い人間がいる、ということに興味をもった著者は、問題を作って学生達に解かせてその結果を分析してみた。

すると、基本的な論理が理解できないばかりか、問題文の中に正解が書いてある(つまり良く読めば分かる)問題まで間違える人が多くいた。

ーーー問題文をきちんと読めてない人が多いのではないか?

その仮説を検証するためにリーディングスキルテスト(RST)をいうテストを開発し、多くの中学校高校の協力を得て、数万人に受けてもらった。するとやはり問題文を読めてない人が多いという結果がでた。

「AIに仕事を奪われる」ということが最近よく言われるが、意味を理解できないAIが不得意な分野というのは必ず残る。しかし、それと同じ分野が苦手な人はAIに負けてしまうだろう。意味を理解する、つまり読解力を高めることは急務だ。

ただし、どうすれば読解力が高まるかはまだ突き止められていない。アンケート調査の結果、読書量や好きな科目等には相関が無く、貧困(経済力)には相関があるようだ。また、RSTを受けた学校の学力偏差値は上がる傾向にある。そのあたりに読解力向上の何かの糸口があるかもしれない。

RSTの衝撃

RSTについて知ったのは一年ほど前だったと思います。その時読んだ記事にRSTのサンプルとして挙がっていたのが以下の問題です。

アミラーゼという酵素はグルコースがつながってできたデ ンプンを分解するが、同じグルコースからできていても、 形が違うセルロースは分解できない。

セルロースは( )と形が違う。

A デンプン
B アミラーゼ
C グルコース
D 酵素

正解は・・・

Aです。
正答率は以下。

公立中学校 中高一貫校(中学) 公立高校
A 9% 27% 33%
B 29% 40% 57%
C 53% 27% 8%
D 9% 6% 2%

僕がこの正答率を見てまず思ったこと。

「ほんまかいな!」

あまりにもな結果が信じ難かったんです。そして次に思ったこと。

「でも、誰か一人の主張ではなく、偉い人達がチームを組んで調査をした結果なんだから、それなりに信頼できるもののはず。
・・・そう言えば、なんか会話が通じない人とか、書いてあるのにちゃんと読まずにヘンテコな質問してくる人がいるな。あれって、この問題を間違える人達なのかな」

少なくない人がこういった思考展開をしてしまうんじゃないかと思います。後述しますが、こういった思考展開は危険だと思うんです。

しかし当時の僕は、この衝撃的結果を見て「会社の採用試験などにも導入したほうがいい。ここまで読解力がない人が存在しているということは、それをスクリーニングしないと実務の成否に大きな影響がでるはず」などと無批判に考えました。

RSTのサンプルや結果をもっと知りたい人はこちら(リーディングスキルテストの実例と結果)。ここにもちょっと情報があります。

この資料の4ページに書いてある、戦後の生活単元学習という教育方式の失敗を例とした、アクティブラーニング批判は興味深いです。

東ロボくんプロジェクトの初期の概要についてはこちら

この本を読んだ後に僕が思ったこと

特に後半のRSTと読解力の部分は、本当に衝撃的かつ独創的で興味深い内容でした。この研究の意義ももう少ししたらある程度出てくるのではないかとも思います。基本的にはそういった価値を認めていることを最初に断っておきながら、特にモヤモヤした点を以下にあげます。

RSTは一体何を測定しているのか?

RSTはもちろん読解力を測定しているんですが、読解力と一言で言っても、その力を構成する要素はそれなりに多くて複雑に関連しあっているはずです。そこらへんを著者がどのように掘り下げて考えているのかは良くわかりませんでした。

ただし数学の話が差し込まれる構成から、僕も含めた読者の多くは「著者は論理力を重視している」と感じるのではないでしょうか。

ところで、RSTはタブレットなどで以下のように出題されるようです。

解答すると、またランダムに次の問題が出題されます。それが、設定してある各分野の制限時間が終了まで続くという仕組みです。ある受検者は20問解き、別の受検者は5問しか解けないかもしれません。それも含めて基礎的な読解力を診断します。

テストの前にどんな説明があるのかわかりませんが、受験者は以下の二つのうち、どちらが良い結果だと認識していたのでしょうか?

(1)10問回答して、6問正解した
(2)5問回答して、5問正解した

(1)のほうが良いと認識していた場合は、質より量とばかりにスピードを重視して、なんとなくのパターン認識で丁寧さを欠いて回答するんじゃないでしょうか?

僕も前述のアミラーゼの問題を10秒で回答しろといわれたら間違えたかもしれません。

読解力を構成する要素としては、語彙力、論理力、集中力、脳の処理速度、知識、経験、丁寧さ、粘り強さなど色々あるはずです。

そしてその中でも丁寧さと粘り強さは、こういった「よく読むと内容は簡単なんだけど、紛らわしかったり回りくどい問題」を解く場合に非常に重要だと考えます。

さて、RSTではそれら読解力を構成する諸要素のうち、主に何が測れたのでしょうか?根拠はありませんが、僕は論理力より丁寧さが測られたのではないかと感じました。論理力が足らない場合と、丁寧さが足らない場合では処方箋も変わってくるはずです。

著者は自身の科学的方法のほとんどをデカルトの「方法序説」から学んだ、と書いています。僕は「方法序説」を読んだことないんですが「難問は分割せよ」といったことが書かれているそうです。今後の研究とレポートが読解力という難問を分割していってくれることを望みます

人は正しいものを信じるのではなく、信じたいものを信じる。

このRSTの話を人にするとその反応の多くは、僕と同じく以下のようなものです。

「こんなに正答率が低いなんて信じ難い。でも思い返すと納得できる。話が通じない人っているけど、多分あの人達はこのテストを間違うんだろう。これはなんとかしなきゃいけない問題だ」

こうしてRSTを概ね支持します。しかし冷静になって考えてみると、この思考の展開にはある種のバイアスが潜んでいるように感じます。それには以下のようなRSTの絶妙な部分が影響していると思うんです。

(1)東大のAI研究が発端となった

東大という権威もさることながら、人間を超えるのではないかと言われるAIの研究が発端となったというストーリーは研究の看板としてこの上ないでしょう。

(2)数学者という論理の達人が考案した

数学に対して苦手意識と権威を感じる文系の人は無批判気味になってしまうでしょう。
「数字は嘘をつかない。しかし嘘つきは数字を使う」
という言葉があるように、数字や数学を持ち出されると信じてしまいがちな人は多いです。

決してこの研究チームが嘘つきと言っているわけではないですよ。数字の権威性を表現しただけです。

(3)漠然とした不安を説明するのに丁度よい

「ゆとり世代が国を滅ぼす」といったことを信じたい人が存在しているようです。そして、そういった思考の持ち主には「読解力がない人間が国を滅ぼす」というのも受け入れやすいお話なのではないでしょうか。

(4)心に潜む差別意識を刺激する

人は思った以上に「自分の話しが通じない人」をアホだと思いたがる傾向があると思います。

・もしかしたら話しを理解する前提となる情報が相手に無いだけかもしれない。
・もしかしたら自分の話し方が下手なだけかもしれない。
・もしかしたら常識や通念が共有できてないだけかもしれない。
・もしかしたらちゃんと理解しているのに、理解しているということを表現することが苦手なだけかもしれない。

それでも、人は安易に他人をアホだと思いたがらないでしょうか?

**   **  **  **  **  **

人は信じたいものを「正しい」と信じる傾向にあります。このような信じたいものを支持する情報しか集めない心理的傾向を確証バイアスとも言います。

話しの通じない奴らはアホだ、ということを信じたいためにRSTの結果を拠り所にしようとしてないでしょうか?

この本の主旨はそんなことでは絶対にないです。でも、曲解してしまいかねない材料があることには注意しないといけないでしょう。この曲解への注意深さも読解力を構成する要素の一つでしょうから。

AIに代替されない人になるためには

AIに代替されない人になるためには、確かに意味を理解する力(そのうちの一つが読解力)は大事だと思います。でも、もっと大事なのは、相手の立場になって考えたりする想像力や共感力であったり、たまに考えられないようなおっちょこちょいをしたりする不完全性(読めば分かるRSTのような問題を間違えたり)や、喜怒哀楽といった非合理的な感情出力などじゃないか、とも思うのです。

もしこの世に人間が自分一人だけになったら、その人は幸せになれるでしょうか?多くの人は幸せにはなれないでしょう。確かにストレスの原因の多くは対人関係によるものでしょうが、それでもなお人間は一人では幸せになれない、他者を媒介にしてしか幸せを感じられない生き物だと思います。

AIがどれだけ発達しても、人は人を欲します。裏を返せば人は人から欲されます。欲されるということは価値があるということ、価値があるということはそれを仕事にできるということじゃないでしょうか。例えば、ある人は会社帰りにバーやスナックに行ってお酒を飲みます。同じお酒をスーパーで買って家で飲むほうが安いということは誰でも知っているので、情報の非対称性はないにも関わらず、一物一価にはなっていないのです。そこにはお酒以外の価値があり、だからこそスーパーとスナックの差額は許容されています。「物」を売るのではなく「体験」を売ろうという、当たり前のように言われていることにたどり着きます。

この世界から人間がいなくなったら、人間の感じる意味や価値なんてものも存在しなくなるでしょう。意味や価値を感じている(創り出している)のは人間です。AIによって人間が変化せざるをえなくなったとしても、意味や価値は人間に追随するように変化し、存在し続けるでしょう。

コンピューターは言語だったり数字だったりという、いわゆる抽象的な道具を使って思考します。それはコンピューターを創り出した人間が、言語や数字を使って論理的な思考をするからです。しかし、人間は言語や数字のみで思考してるんでしょうか?

視力も聴力もなかったヘレン・ケラーは8歳まで言葉を知らなかったと言われていますが、では彼女は8歳まで何も考えてなかったのでしょうか?そんなことはないはずです。

彼女だけではなく、僕達も言語や数字を越えて何かを感じ、考えているはずです。その領域は(少なくとも現存の)コンピューターが入り込めない、つまりAIが代替できない領域じゃないでしょうか。

そんな仕事って何よ?と具体例を挙げるとなると、本当に身近で古典的すぎるけど先に挙げたスナックのママ的な仕事になってしまいます。

僕はスナックにはあまり行かないけど、きっと世の中には論理的じゃないスナックのママさんもいるでしょう。そして論理なんて必要ともしないお客さんも存在しているはずです。そんなママさんとお客さん達が出会えれば幸せですよね。

今よりももっと効率的に自分に合う店にたどり着けるように、AIが補助してくれるサービスが次々に出来ていき(他ならぬ人間が作るのです)、人間同士の価値(幸せ)のやり取りがより効率的にできるようになるのが、僕の思い描く人間とAIが共存する明るい未来です。

AIのことを考えると同時に「何が人を人たらしめているのだろう」という哲学的とも言える人間観も考えていかないといけないのかもしれませんね。

スポンサーリンク
レクタングル(大)01

シェアする

  • このエントリーをはてなブックマークに追加

フォローする

スポンサーリンク
レクタングル(大)01