[フレーム]

The author discusses using ChatGPT as a language teacher, comparing the output quality of free GPT-3.5 and paid GPT-4 versions. They found that the length of generated text differs depending on the GPT version used and that Hindi has a smaller dataset than Japanese, resulting in lower quality output. They suggest that a paid version of ChatGPT may be worth it for languages like Hindi. The language of the prompt input does not have a significant impact on output quality for either language.
この記事の著者は、語学教師としてChatGPTを利用することについて語り、無料のGPT-3.5と有料のGPT-4の品質を比較しました。彼は、生成されるテキストの長さが使用するGPTのバージョンによって異なること、そしてヒンディー語のデータセットが日本語よりも小さいため、生成されるテキストの品質が低いことを発見しました。彼らは、このようなデータセットが少ない言語の場合は有料版を利用することが価値があると提案しています。プロンプトの言語はどちらの言語でも生成されるテキストの品質にはあまり影響を与えないことがわかっています。

冒険家の皆さん、今日もラクダに揺られて灼熱の砂漠を横断していますか?

さて、本日お話ししたいのは、ChatGPTを語学教師として活用する際、その質が目標言語によって異なるということです。もし皆さんが複数の言語でChatGPTを使用したことがあれば、その際の反応を思い出してみてください。僕自身もヒンディー語を勉強しており、ヒンディー語でChatGPTを使うことがあるほか、日本語や英語でも使っています。

ヨーロッパ共通参照枠のA1レベルのヒンディー語で物語を作成してもらうというのが、僕がいつも行っている読解の勉強方法ですが、これを日本語でも同じプロンプトで試してみました。また、無料で使えるGPT-3.5と、有料でなければ使えないGPT-4の2つのバージョンでも比較してみました。さらに、プロンプト、すなわちChatGPTに入力する質問や指示文を英語にすべきか、あるいは日本語のままでも良いのかという点も検討しました。それぞれの結果がどの程度違うかを比較してみたのですが、質的な比較は難しいため、今回はとりあえず文章の長さを基準に考えてみました。

文字数で評価する理由は、ヨーロッパ共通参照枠のA1レベルで読める文章はかなり短いためです。物語にしてもどの程度短く書けるかが、ストーリーを描く語学教師としての能力の一つの指標として使えるのではないかと思いました。そこで、この方法で試してみることにしました。まず、具体的な数字をご紹介しますが、最初に日本語で物語を作成してもらいました。

【日本語の先生としては安定的】

最初は有料バージョンのGPT4です。それでプロンプトに英語と日本語で入力した時に文字数がどう変わったかというのをちょっと御紹介してみます。

GPT4でプロンプトはこういう英語です。
「Please write an adventure movie-like story in Japanese at CEFR A1 level.」
こうすると、日本語のとても簡単な冒険映画っぽい物語が出てくるんですが、その文字数を数えてみると483文字でした。次にそれを英語で物語は日本語で書いてもらうんですが、その指示を日本語で書きました。プロンプトはこういう日本語です。
「CEFRのA1レベルの日本語で冒険映画っぽいストーリーを書いてください。」
そうすると452文字でした。これだけ考えると同じプロンプトで日本語でも英語でも聞いてみたら、日本語の方がかえって短かったのです。つまり、一般には「プロンプトを英語で書いた方が質が高い回答が返ってくる」と言われていますが 実は、この結果ではそうとも言い切れないということがわかると思います。これはGPT4、つまり有料バージョンでしか使えない方です。

次に、無料バージョンでも使えるChatGPTです。これも日本語の物語を作ってもらうんですが、同じようにプロンプトを英語と日本語でやってみました。
無料バージョンでは、英語のプロンプトで日本語の物語を作ってもらったら405文字、日本語のプロンプトで同じように日本語の物語を書いてもらったら413文字でした。つまりここでは日本語の方がわずかに多いです。ですので、少なくとも今、日本語でGPT4とGPT3.5で物語を書いてくださいというタスクでGPT4とGPT3.5という無料バージョンと有料バージョンそれぞれのそれぞれに対してプロンプトを英語で入れた時と日本語で入れた時は、日本語の方が短い時もあれば、英語の方が短い時もあるということで、必ずしも英語でプロンプトを入れた方が短くなる(易しくなる)というわけではないということが分かりました。

それともう一つ、GPT4とGPT3.5の違いもGPT45の場合は483文字と452文字でした。しかし、GPT35の場合は405文字と413文字でした。これも必ずしもGPT-4が短い物語を出してくれる、つまり、易しい物語を描いてくれるとは限らないことが分かりました。むしろ、GPT-4の方が長い文章を返してくるということです。ここでは「有料バージョンの方にすると、より短く読みやすい文章を返してくるという保証はない」ことが少なくともこの実験では分かります。

ただし、ChatGPTはいつも同じ結果ではなく、質問するごとに違う回答を生成するので、もっとたくさん生成して数を統計に出した方がもちろん正確だとは思いますが、でも少なくとも有料バージョンにバージョンアップしたら、それが日本語の先生として質が高くなるわけではない、必ずしもそうなるわけではないということはここでもはっきりわかると思います。

【ヒンディー語の先生としてはどうか】

次は同じことをヒンディー語でもやってみました。ヒンディー語でやってみたというのは、つまり、ヒンディー語のコンテンツです。「冒険映画っぽい物語をヒンディー語で書いてください」というのをGPT-3でもやりましたし、GPT-4でもやりました。そして、GPT-3の場合もGPT-4の場合も、両方ともプロンプトを日本語でも入れましたし、英語でも入れてみました。

それをまたさっきと同じように有料版のGPT-4のほうからご紹介しますと、まずヒンディー語の方が文字数が多くなります。でもこれはもう、日本語は漢字があるから、そういう意味でヒンディー語の方が長くなってしまうのはそれはしょうがないかもしれませんね。

まず、ヒンディー語の物語をGPT-4で書いてもらうことを英語のプロンプトで指示すると、1365文字でした。同じGPT-4でヒンディー語の物語を書くことを今度は日本語でプロンプトを入れると1515文字でした。ここでは、日本語の方が約1割ほど多くなっています。英語でプロンプトを書いた方が少し短くて、日本語でプロンプトを書くと1割ほど長くなるという結果です。

次に「GPT-3」でヒンディー語の冒険的な物語を書いてもらったのですが、最初に英語でやってみたら、その時は2094文字でした。次にプロンプトを日本語で書いてもらいました。そしたら、1950文字でした。

これだけ見るとここでも、プロンプトの言語を見てみると、プロンプトが日本語の時の方が長い時もあれば、プロンプトが英語の方が長い時もあります。つまり、そのプロンプトの言語はあまり影響していないです。だけど、GPTのバージョンによって長さが全く違うという大きな違いが出てくるのです。

つまり、ヒンディー語のコンテンツを作ってもらうときに、GPT-4の方ではプロンプトの言語によって1365文字だった時と1515文字だった時がありました。しかし、GPT-3の時は2094文字と1950文字でした。なので、ここではGPT-3.5にすると、かなり長くなってしまうという違いがあります。

つまり、日本語で物語を書いてもらうときと、ヒンディー語で物語を書いてもらうときの大きな違いは、プロンプトを日本語で書くか英語で書くかということではなく、GPTのバージョンです。GPTのバージョンが非常に大きな影響を持っているということですね。

では、今までの話をまとめてみると、まずプロンプトを英語で書いても日本語で書いてもあまり大きな違いはありません。

次に、GPTのバージョンについてです。ChatGPTを3.5にするか、無料で使える3.5にするか4にするかという時も、日本語では、日本語ではむしろ古い方が短いんですよね。つまり、日本語を勉強する人にとってはバージョンもGPTのバージョンも、つまり、有料版を使うか、無料版を使うか。それからあるいはプロンプトを日本語にするか、英語にするかというのもそれほど大きな決定的な違いは見られないと思います。

しかし、一方で、ヒンディー語を勉強するときは、GPTのバージョンが非常に大きな影響を持っているということがわかりました。つまり、有料バージョンだと短い初心者にも読みやすいものが出てきますが、無料バージョンだとそれがあまりコントロールされていない、普通のヒンディー語っぽいものに近いものが出てきてしまって、結果的に長くなるということが言えそうです。

今日は主に数字でご紹介していますが、僕もヒンディー語の学習者として、主観的には非常に大きな違いを感じています。つまり、有料版のGPT4でヒンディー語を勉強し、ヒンディー語の読解教材を作ってもらうと、今の僕でも一人で結構読めます。ChatGPTに質問しなくても、最初に読解文の本文が出てきた部分で大まかなストーリーがわかります。細かい部分はわからなくても、大まかなストーリーは理解できるのです。

しかし、同じヒンディー語をChatGPTで学ぶ場合、無料版で読解用の教材を作ってもらうと、現在の僕のヒンディー語では少し難しいです。質問も何もしないで、全体を読むのはかなりつらいです。まず、長さがつらいし、出てくる文や単語のレベルも僕の現在のヒンディー語ではかなり難しくて、最後まで読み通すことができないというのが正直なところです。ここには本当に大きな違いがあり、僕も主観的にそのように感じています。

なぜ日本語とヒンディー語でこのような違いが出てくるかというと、ChatGPTはインターネット上にあるブログなどをデータセットとして利用しているからです。日本語とヒンディー語では、それを使っている人の数はヒンディー語の方がずっと多いのですが、ネット上のリソースの量は日本語のほうがずっと多いようです。

ヒンディー語を使っている人は約4億人いるという統計もあります。日本語は1億数千万人程度ですから、ヒンディー語を使っている人は3倍以上います。ただ、インド人は皆さん結構英語が上手なので、インターネット上の資料というのはヒンディー語ではそれほど多くないのです。ツイッターなどでもインドでは英語でツイートしている人が非常に多く、また本屋さんに行くと驚くほどヒンディー語の本が少ないことがわかります。田舎の方は分からないですが、僕が住んでいる都市部の本屋さんでは、9割以上が英語の本です。ヒンディー語で書かれたものは非常に少ないのです。ボリウッド映画などではヒンディー語の音声がほとんどで、英語の音声はあまりありません。しかし、文字として使われているものでは英語が圧倒的に多く、インドの人の母語が文字化されてインターネット上に公開されているものは少ないのです。その結果、ChatGPTが持っているヒンディー語のデータセットは、話者が4億人いるにもかかわらず、日本語に比べて非常に少ないという事実があるのです。

ChatGPTは、持っている言語のデータセットの量によって品質がかなり変わってしまうため、それがこの違いに出てくると思います。つまり、ヒンディー語のようにデータセットが少ない言語を勉強する時は、GPTのバージョンが大事であり、有料でも品質を上げる価値があると思います。

しかし、プロンプトを日本語で書くのか英語で書くのかというのは、それほど影響が大きくないことが分かりました。日本人で英語を勉強する人にとって重要なことですが、英語のデータセットは非常に多く、ChatGPTが持っているデータセットの半分ぐらいは英語であると聞いたことがあります。

ですから、日本人が英語を勉強する場合は無料版のままで、日本語プロンプトを使用しても、それほど大きな弊害はないと思います。しかし、一方でヒンディー語のようなデータセットの量があまり多くない言語で勉強する場合は、プロンプトを何語で書くか、日本語で書くか、英語で書くかということはそれほど大きな影響はないですが、GPT4のような有料バージョンが重要であると言えるでしょう。

それでは、今日の記事で申し上げたいのはここまでになりますので、皆さんも自分が何語を勉強したいのか、英語のようなメジャーな言語を勉強したいのか、それともヒンディー語のようなインターネット上ではマイナーな言語を勉強したいのか、それによってGPTの有料版を使うかどうかを考えることが良いでしょう。

【参考】
この記事の音声版
https://spotifyanchor-web.app.link/e/JCzdkoA03yb

posted by 村上吉文 at 15:45 | TrackBack(0) | 人工知能と日本語教師 | Tweet このエントリーをはてなブックマークに追加