令和の技術革新とも言える話題の生成AIツールOpenAI社の「ChatGPT」とMicrosoftの「Bing AI」、LINEの「AIチャットくん」の三つのサービスを使ってみて比較してみた。検証したお題は「創作・物語の生成」「辞書的な回答」「読書感想文」「プログラムの修正」の四つ。その結果はいかに。AIチャットの使い方を含めて紹介しよう。
ChatGPTで検証した画面
今回比較に用いるAIチャットサービスは、どれもGPT-4系列のサービスで元となっている言語モデルは同じだ。比較するAIチャットサービスは次の三つ。
ChatGPT｜OpenAI
https://chat.openai.com/chat
Bing AI｜Microsoft
https://www.microsoft.com/edge/launch/newBinginEdgeAnswer
※Microsoft Edgeブラウザ（アプリ）でのみ利用可能
AIチャットくん｜LINE
https://page.line.me/295aqhjz
※LINEで友だち追加して利用可能
さっそく、以下の内容に沿って順番に説明していこう。
結論
検証1 創作・物語の生成
検証2 辞書的な回答
検証3 読書感想文
検証4 プログラムの修正
AIチャットの使い方
まとめ
それぞれのサービスで検証する内容は以下の通りとし、
・創作・物語を書いてもらう
・辞書的な回答が可能な質問
・有名な小説の読書感想文を書いてもらう
・簡単なプログラムの正誤と修正
――の四つを検証してみた。生成AIの文章は、生成するたびに回答が変化することや、AIが事実と異なる勝手な創造を出力することがあるため、どの程度正確な情報が出力され、信用に値するかを検証しよう。
________________________________________
2023年、世の中を震撼させた恐ろしい事件、その真相についての物語を書いてください。
________________________________________
ChatGPTで創作・物語の生成を検証
ChatGPTの創作物は、いかにもそれっぽいホラーな物語に仕上がっていた。物語の起承転結、全体の内容の不一致などもなく、いかにも起こりえそうなストーリーが書き出された。
Bing AIで創作・物語の生成を検証
Bing AIの1回目の出力では、真実を見つけようと頑張ってくれたようだが、指示は「物語を書くこと」なので文脈を理解していなかった可能性があるだろう。1回目は残念ながら「私は検索結果から真実を見つけることができませんでした。もう少し情報を教えていただけますか？」と指摘されてしまった。
Bing AIで2回目の創作・物語の生成を検証
気を取り直して2回目の検証。Bing AIの会話のスタイルを「独創性」に変更した所、複数の実在する国名が出てきてしまったのでぼかしを入れた。物語の内容は、2023年に起きた気球の問題に関する事に触れており、一部実際に起きたことを創作の参考にして物語を書いたような形になっていた。
AIチャットくんで創作・物語の生成を検証
AIチャットくんの書いた物語は、SFストーリーとしての完成度が高い。マンモスの生きていた時期についても説明が足りていないがあながち間違ってはおらず、創作した話については起承転結もしっかり書けている。
________________________________________
みずがめ座とはなんですか？
________________________________________
ChatGPTで辞書的な回答を検証
ChatGPTの回答はほぼ模範的で間違いない回答だ。ただし、占いとしての「水瓶座」の人の性格についての記述は、あくまで占いの域を出ない。
また、「実際の星々とは異なるもの」という記述が余計な一言になっている。みずがめ座の恒星それぞれには名前がつけられており、実際の星々の命名に関係はあるものの、みずがめに見えるのは地球から見た場合のみであって、別の星系から見れば地球と同じようには見えない。
みずがめの形に見えるというのも、なんとなくそう見えるだけであるため、事実でも嘘でもない点として扱いが難しい表現だろう。
Bing AIで辞書的な回答を検証
Bing AIの回答は間違っている点はないが、検索意図として求めている情報は記載されなかった。星座に関する質問をされた場合は、生年月日に関する占い的な説明、天文学的説明、ギリシャ神話を由来とする点に関する説明が必要になるが、どれも説明がいまいちで検索し直す必要があるだろう。
間違いは述べていないが情報は不足していた。
AIチャットくんで辞書的な回答を検証
AIチャットくんの回答では、まず「1月20日から2月19日」が一般的だが、厳密には切り替わり時刻によっては1月20日に生まれた人でも山羊座になることがあるため、はっきりと間違っているとは言えないが、正確な表現ではない。
後半の回答も抽象的な回答で終わっており、みずがめ座に関する説明としては不足していた。
青空文庫
https://www.aozora.gr.jp/cards/000035/files/1567_14913.html
________________________________________
小説「走れメロス」を読んだ感想を400文字以上で書き出してください。
_______________________________________
ChatGPTで読書感想文を検証
ChatGPTは、出力文字数497文字で文字数の条件は満たしているが、感想文の内容には間違った部分がいくつかあった。
メロスは老人に騙されたのではなく、メロスの正義感が勝手にそうしただけであって、老人は大衆居酒屋でいう所の政治への愚痴を吐き捨てているようなものであって、これに関してはメロスが悪いと考えるべきだろう。本作を読むと、老爺にはメロスを騙す意図はない。
また、セリヌンティウスは裏切っておらず、死刑にもされていない。どちらかというと物語全体を通して、控えめに言ってもメロスがクズだろう。
このChatGPTが生成した読書感想文は学校では通用しない。先生に「本作を読み直し、感想文を書き直しなさい」と言われることだろう。
Bing AI で読書感想文を検証
Bing AIは、出力文字数276文字と文字数条件を満たしていなかった。また、古代ギリシャを舞台にしてはいるものの伝説に基づいてはいないため、嘘の情報を書いている。ヒュギヌス『神話伝説集』を元にしている可能性はあるが、物語の多くが太宰治氏による創作なので「伝説に基づいた」という言い方は不適切だろう。
また、妹を救うために王様に罠にかけられるという部分も間違っている。メロスが老爺の言葉を鵜呑みにして、メロス自身が勝手に城に短剣を持って入り、妹の結婚式に出てから戻ってくる担保として友人を差し出すというストーリーだ。状況をよく考えれば王様も妹も友人セリヌンティウスも、何も悪くない。王のいる城に短剣を持って入ったら捕まるのは当然だ。
AIチャットくんで読書感想文を検証
AIチャットくんは、出力文字数593文字と条件を満たしている。内容については、メロスが若い女性とセリヌンティウスに道端で出会っているという点から間違いが始まっている。セリヌンティウスがメロスに助けを求めていたり、72時間の捕縛にあうのがメロスになっていたり、物語が明後日の方向に変貌していた。
また「走れメロス」を読んでも「多くの読者に勇気を与え」ることはないと考えられ、読書感想文としてはやり直しになる可能性が高いだろう。
これは何のコードですか？
それぞれの回答は以下の通り。
ChatGPTでプログラムの修正を検証？
コード内に「//」や「/* */」でコメントが書かれたままなので、本来はAIに聞くまでもないが、ChatGPTでは、このコードが何をしているか、どんな役目があるかまで解説してくれている。解説の内容もだいたい合っているようだ。
Bing AIでプログラムの修正を検証
Bing AIでは、ChatGPTと同じようにWordPressのコードであることを理解し、少し解説してくれている。ChatGPTとの違いは、詳細情報として、出典URLをドメインで教えてくれている点だ。
事実かどうかの検証がしやすく、その分野に強いウェブサイトを見つけられるためChatGPTよりも魅力的に感じる。
また、関連する疑問を予知して、予測変換のように表示してくれている。内容を理解できない場合のサポートとして、次の質問も示してくれているのだ。
AIチャットくんでプログラムの修正を検証
AIチャットくんは、ChatGPT、Bing AIのどちらよりも簡潔に回答してくれている。解説の内容もほぼ合っているが、解説不足な点もある。おおまかに「何なのか」を知りたいだけであれば、この回答で問題ないだろう。
詳細を教えて欲しい場合には質問のプロンプトを工夫すれば求める回答が得られると思うが、ここでは脱線してしまうのでそこまでの追求はしない。
次に、上のコードのセミコロンを消した「構文エラーが出るコード」を修正できるか、次のように聞いてみた。
このコードの間違いを直してください
結果は以下の通り。
ChatGPTでプログラムの修正を検証
ChatGPTでは、的確な修正を提案された。何をしたかはっきり分かっているようだ。この結果から、自分自身で書いたコードの括弧の閉じ忘れのようなちょっとした記述ミスを見つけるのにもChatGPTが役立つ可能性があることが分かる。
Bing AIでプログラムの修正を検証
Bing AIでは、ChatGPTと同じようにセミコロンがないことを指摘し、修正してくれた。エラーが発生することにも言及してくれている。
先に述べた通り、出典URLを掲載してくれていることと、次の質問を予測してサジェストのように出してくれていることがBing AIの魅力だ。より深掘りして調べることに特化しているサービスだと考えられる。
AIチャットくんでプログラムの修正を検証
AIチャットくんでも、セミコロンを追加してくれた。ただし「波かっこ{}を追加しています。」とも言っているため、不必要なかっこを増やした可能性がある。また、ABSPATHとWPINCの連結部分にもなにか追加したと言っており、余計な事をした可能性があるだろう。
今回はセミコロンしか消していないので、それ以外のものを追加されるとエラーが起きる。AIチャットくんが直して出力してくれたコードは正しいのだろうか。
ChatGPTとBing AIに聞いてみた。結果は以下の通り。
ChatGPTでプログラムの修正を検証
ChatGPTが言うには、コードには誤りはないとのことだ。これまでの回答と異なり、コード内の細かな解説を加えてくれている。非常に丁寧で、プログラミングの初心者にも優しいマニュアルのお手本のような解説になっているだろう。
Bing AIでプログラムの修正を検証
Bing AIでも、コードは正しいと教えてくれた。 また、ラッコツールズのDIFF（テキスト差分比較）ツールで見てみても双方に違いはないため問題なく動作すると考えられる。
DIFF（テキスト差分比較）
ラッコツールズにて、元々の「wp-blog-header.php」の記載内容と差分を取ってみた。LINEのAIチャットくんはセミコロン以外にも追加したと言っていたが、実際には余計なものは追加していなかったようだ。
この結果だけ見れば、一番大切なコードは間違っていなかったが、AIチャットくんは何をしたのか、という点において嘘をついていることになる。検証をして、真実かどうか確かめることの重要性がひとつお分かりいただけただろうか。
ラッコツールズ
https://rakko.tools/tools/7/
AIチャットツールを使う際は無料の会員登録が必要
AIチャットくんはLINEに登録し、AIチャットくんを友だちに追加する必要がある。
また、指示を出す時には単なる質問を並べるだけでなく「プロンプト」と呼ばれる指定条件を追記すると求めている回答が得やすくなる。プロンプトの記述が面倒な場合には、プロンプトそのものをAIチャットに聞くか、PromptStackのようなサービスを頼るのがおすすめだ。
PromptStack
https://www.promptstacks.com/
日本語よりも英語で打ち込んだ方が良い反応を示すこともあるので、英語ができる人で、かつ、日本語で求めている回答が得られない場合は、英語のプロンプトを活用してみてほしい。
正しい知識と検証をもって、賢くAIチャットサービスを活用していただきたい。（GEAR）
今回比較に用いるAIチャットサービスは、どれもGPT-4系列のサービスで元となっている言語モデルは同じだ。比較するAIチャットサービスは次の三つ。
ChatGPT｜OpenAI
https://chat.openai.com/chat
Bing AI｜Microsoft
https://www.microsoft.com/edge/launch/newBinginEdgeAnswer
※Microsoft Edgeブラウザ（アプリ）でのみ利用可能
AIチャットくん｜LINE
https://page.line.me/295aqhjz
※LINEで友だち追加して利用可能
さっそく、以下の内容に沿って順番に説明していこう。
結論
検証1 創作・物語の生成
検証2 辞書的な回答
検証3 読書感想文
検証4 プログラムの修正
AIチャットの使い方
まとめ
それぞれのサービスで検証する内容は以下の通りとし、
・創作・物語を書いてもらう
・辞書的な回答が可能な質問
・有名な小説の読書感想文を書いてもらう
・簡単なプログラムの正誤と修正
――の四つを検証してみた。生成AIの文章は、生成するたびに回答が変化することや、AIが事実と異なる勝手な創造を出力することがあるため、どの程度正確な情報が出力され、信用に値するかを検証しよう。
結論
結論から言えば、生成AIの文章は校正やファクトチェックを行う必要があり、正しいことを言っているかどうかを確認する専門知識が必要だ。生成AIの文章を鵜呑みにせず、検証しながら使用していこう。検証1 創作・物語の生成
生成AIが最も得意とする創作ストーリーを書いてもらった。指示は以下の通り。________________________________________
2023年、世の中を震撼させた恐ろしい事件、その真相についての物語を書いてください。
________________________________________
ChatGPTの創作物は、いかにもそれっぽいホラーな物語に仕上がっていた。物語の起承転結、全体の内容の不一致などもなく、いかにも起こりえそうなストーリーが書き出された。
Bing AIの1回目の出力では、真実を見つけようと頑張ってくれたようだが、指示は「物語を書くこと」なので文脈を理解していなかった可能性があるだろう。1回目は残念ながら「私は検索結果から真実を見つけることができませんでした。もう少し情報を教えていただけますか？」と指摘されてしまった。
気を取り直して2回目の検証。Bing AIの会話のスタイルを「独創性」に変更した所、複数の実在する国名が出てきてしまったのでぼかしを入れた。物語の内容は、2023年に起きた気球の問題に関する事に触れており、一部実際に起きたことを創作の参考にして物語を書いたような形になっていた。
AIチャットくんの書いた物語は、SFストーリーとしての完成度が高い。マンモスの生きていた時期についても説明が足りていないがあながち間違ってはおらず、創作した話については起承転結もしっかり書けている。
検証2 辞書的な回答
辞書に書いてある内容を正しく、創作を交えずに回答できるかどうかの検証をした。質問は以下の通り。________________________________________
みずがめ座とはなんですか？
________________________________________
ChatGPTの回答はほぼ模範的で間違いない回答だ。ただし、占いとしての「水瓶座」の人の性格についての記述は、あくまで占いの域を出ない。
また、「実際の星々とは異なるもの」という記述が余計な一言になっている。みずがめ座の恒星それぞれには名前がつけられており、実際の星々の命名に関係はあるものの、みずがめに見えるのは地球から見た場合のみであって、別の星系から見れば地球と同じようには見えない。
みずがめの形に見えるというのも、なんとなくそう見えるだけであるため、事実でも嘘でもない点として扱いが難しい表現だろう。
Bing AIの回答は間違っている点はないが、検索意図として求めている情報は記載されなかった。星座に関する質問をされた場合は、生年月日に関する占い的な説明、天文学的説明、ギリシャ神話を由来とする点に関する説明が必要になるが、どれも説明がいまいちで検索し直す必要があるだろう。
間違いは述べていないが情報は不足していた。
AIチャットくんの回答では、まず「1月20日から2月19日」が一般的だが、厳密には切り替わり時刻によっては1月20日に生まれた人でも山羊座になることがあるため、はっきりと間違っているとは言えないが、正確な表現ではない。
後半の回答も抽象的な回答で終わっており、みずがめ座に関する説明としては不足していた。
検証3 読書感想文
太宰治の小説「走れメロス」の感想文を書いてもらった。学校で履修している人が多く、内容もすぐに思い出せる話だろう。指示内容は以下の通り。青空文庫
https://www.aozora.gr.jp/cards/000035/files/1567_14913.html
________________________________________
小説「走れメロス」を読んだ感想を400文字以上で書き出してください。
_______________________________________
ChatGPTは、出力文字数497文字で文字数の条件は満たしているが、感想文の内容には間違った部分がいくつかあった。
メロスは老人に騙されたのではなく、メロスの正義感が勝手にそうしただけであって、老人は大衆居酒屋でいう所の政治への愚痴を吐き捨てているようなものであって、これに関してはメロスが悪いと考えるべきだろう。本作を読むと、老爺にはメロスを騙す意図はない。
また、セリヌンティウスは裏切っておらず、死刑にもされていない。どちらかというと物語全体を通して、控えめに言ってもメロスがクズだろう。
このChatGPTが生成した読書感想文は学校では通用しない。先生に「本作を読み直し、感想文を書き直しなさい」と言われることだろう。
Bing AIは、出力文字数276文字と文字数条件を満たしていなかった。また、古代ギリシャを舞台にしてはいるものの伝説に基づいてはいないため、嘘の情報を書いている。ヒュギヌス『神話伝説集』を元にしている可能性はあるが、物語の多くが太宰治氏による創作なので「伝説に基づいた」という言い方は不適切だろう。
また、妹を救うために王様に罠にかけられるという部分も間違っている。メロスが老爺の言葉を鵜呑みにして、メロス自身が勝手に城に短剣を持って入り、妹の結婚式に出てから戻ってくる担保として友人を差し出すというストーリーだ。状況をよく考えれば王様も妹も友人セリヌンティウスも、何も悪くない。王のいる城に短剣を持って入ったら捕まるのは当然だ。
AIチャットくんは、出力文字数593文字と条件を満たしている。内容については、メロスが若い女性とセリヌンティウスに道端で出会っているという点から間違いが始まっている。セリヌンティウスがメロスに助けを求めていたり、72時間の捕縛にあうのがメロスになっていたり、物語が明後日の方向に変貌していた。
また「走れメロス」を読んでも「多くの読者に勇気を与え」ることはないと考えられ、読書感想文としてはやり直しになる可能性が高いだろう。
検証4 プログラムの修正
WordPressの「wp-blog-header.php」は以下のように記述されており、それぞれに以下のように質問した。
それぞれの回答は以下の通り。
コード内に「//」や「/* */」でコメントが書かれたままなので、本来はAIに聞くまでもないが、ChatGPTでは、このコードが何をしているか、どんな役目があるかまで解説してくれている。解説の内容もだいたい合っているようだ。
Bing AIでは、ChatGPTと同じようにWordPressのコードであることを理解し、少し解説してくれている。ChatGPTとの違いは、詳細情報として、出典URLをドメインで教えてくれている点だ。
事実かどうかの検証がしやすく、その分野に強いウェブサイトを見つけられるためChatGPTよりも魅力的に感じる。
また、関連する疑問を予知して、予測変換のように表示してくれている。内容を理解できない場合のサポートとして、次の質問も示してくれているのだ。
AIチャットくんは、ChatGPT、Bing AIのどちらよりも簡潔に回答してくれている。解説の内容もほぼ合っているが、解説不足な点もある。おおまかに「何なのか」を知りたいだけであれば、この回答で問題ないだろう。
詳細を教えて欲しい場合には質問のプロンプトを工夫すれば求める回答が得られると思うが、ここでは脱線してしまうのでそこまでの追求はしない。
次に、上のコードのセミコロンを消した「構文エラーが出るコード」を修正できるか、次のように聞いてみた。
結果は以下の通り。
ChatGPTでは、的確な修正を提案された。何をしたかはっきり分かっているようだ。この結果から、自分自身で書いたコードの括弧の閉じ忘れのようなちょっとした記述ミスを見つけるのにもChatGPTが役立つ可能性があることが分かる。
Bing AIでは、ChatGPTと同じようにセミコロンがないことを指摘し、修正してくれた。エラーが発生することにも言及してくれている。
先に述べた通り、出典URLを掲載してくれていることと、次の質問を予測してサジェストのように出してくれていることがBing AIの魅力だ。より深掘りして調べることに特化しているサービスだと考えられる。
AIチャットくんでも、セミコロンを追加してくれた。ただし「波かっこ{}を追加しています。」とも言っているため、不必要なかっこを増やした可能性がある。また、ABSPATHとWPINCの連結部分にもなにか追加したと言っており、余計な事をした可能性があるだろう。
今回はセミコロンしか消していないので、それ以外のものを追加されるとエラーが起きる。AIチャットくんが直して出力してくれたコードは正しいのだろうか。
ChatGPTとBing AIに聞いてみた。結果は以下の通り。
ChatGPTが言うには、コードには誤りはないとのことだ。これまでの回答と異なり、コード内の細かな解説を加えてくれている。非常に丁寧で、プログラミングの初心者にも優しいマニュアルのお手本のような解説になっているだろう。
Bing AIでも、コードは正しいと教えてくれた。 また、ラッコツールズのDIFF（テキスト差分比較）ツールで見てみても双方に違いはないため問題なく動作すると考えられる。
ラッコツールズにて、元々の「wp-blog-header.php」の記載内容と差分を取ってみた。LINEのAIチャットくんはセミコロン以外にも追加したと言っていたが、実際には余計なものは追加していなかったようだ。
この結果だけ見れば、一番大切なコードは間違っていなかったが、AIチャットくんは何をしたのか、という点において嘘をついていることになる。検証をして、真実かどうか確かめることの重要性がひとつお分かりいただけただろうか。
ラッコツールズ
https://rakko.tools/tools/7/
AIチャットの使い方
今回比較検証したAIチャットツール「ChatGPT」「Bing AI」「AIチャットくん」を使用するには、それぞれのサービスに無料の会員登録をする必要がある。ChatGPTはOpenAIのアカウント、Bing AIはMicrosoftアカウントを作成し、Microsoft Edgeを使用する。
AIチャットくんはLINEに登録し、AIチャットくんを友だちに追加する必要がある。
また、指示を出す時には単なる質問を並べるだけでなく「プロンプト」と呼ばれる指定条件を追記すると求めている回答が得やすくなる。プロンプトの記述が面倒な場合には、プロンプトそのものをAIチャットに聞くか、PromptStackのようなサービスを頼るのがおすすめだ。
PromptStack
https://www.promptstacks.com/
日本語よりも英語で打ち込んだ方が良い反応を示すこともあるので、英語ができる人で、かつ、日本語で求めている回答が得られない場合は、英語のプロンプトを活用してみてほしい。
まとめ
AIチャットサービスは質問に対して部分的に適切な回答をしてくれるが、完全な創作や虚偽の話をあたかも本当であるかのように生成することもある。出力内容によってはコンプライアンスにひっかかる出力をすることもあるため、安易な利用は避けたほうがいいだろう。正しい知識と検証をもって、賢くAIチャットサービスを活用していただきたい。（GEAR）
