いかにも正しい答えっぽいので鵜呑みにしそう

ChatGPTがこれだけ話題になって猫も杓子も持ち上げ始めると、必ず「いや、AIにこれは出来ない」とか「まだまだ大したことない」という欠点探しをして反論を述べる人も出てくる。

だから、あまり書きたくないが、自分なりに信用度は測っておきたい。

簡単な質問を、ChatGPT-3.5と、より高度なGPT-4(月額版)にしてみた

テレビ番組「M1グランプリ」の歴代優勝者を2015年から2020年まで教えて

ChatGPT：
「M1グランプリ」は、お笑いコンビが競い合う日本のテレビ番組です。2015年から2020年までの歴代優勝者は以下のとおりです。これらのお笑いコンビは、それぞれの年において最も優れた漫才やコントを披露し、優勝を勝ち取りました。

検索でもスグにわかる質問に、いかにも正しいように不正解を教えてくるAI

個人的には「ザ・ぼんち」とか「キンタロー。」なんかを入れてくるGPT-3.5のボケかたの方が好きだ・・・とかそういう事ではない。思わず鵜呑みにしてしまう回答だから逆に怖い。
英語で質問したほうが良いかと思い試してみたが、答えは同じだった。

不正解を指摘して再度たずねると、あらためて調べ直して返答してくる

「M1グランプリ」のオフィシャルサイトで見ると、歴代優勝者が違うようですが、正しく教えて下さい。

丁寧なお詫び付きで「正確な答えを記載いたします」…とか言って間違っている。

ChatGPT：
申し訳ありません。以前の回答は間違いがありました。正確な「M1グランプリ」の歴代優勝者を2015年から2020年まで再度記載いたします。今回は正確な情報を提供できず申し訳ありませんでした。

さぁどう使う？ 上手く使わなければならないね。

従来型でググって調べるなら、肌感でサイトの信頼性を見分けたり、複数のサイトをチェックしてみたりするが、天才ChatGPT様がこれほど丁寧に「回答は間違いでした。正確な情報はこれです。今回は申し訳ありませんでした」とこられたら、完全に鵜呑みにしてしまいそうだ。

ちなみに米アカデミー賞は正解で、日本アカデミー賞は不正解だった

最初に書いたように、AIの欠点や無能さを探すのが目的ではないが、今のところ自分なりの尺度を持って使いこなさなければ、痛い目を見ることもあるだろう。