GPTZeroで、ChatGPTなどAIで生成した宿題（読書感想文、論文）は見抜けるか？ 親、教師は子供に正しい使い方を　文部科学省もチャットGPTの学校現場での取り扱い指針を検討中

いよいよ日本でも、学生（あるいは子供）たちがChatGPTを使って、宿題を簡単に済ませることに気づき始めた。親や教師たちからは、不安の声が聞かれる。文部科学省も、ChatGPTなど生成AIの学校現場での取り扱い指針を検討中だ。

ChatGPTは、利用者は大人（１８歳以上）という使用許諾になってはいるものの、本人確認はしておらず、携帯電話の番号さえあれば、現状は１８歳以下の子供でも簡単に使える。2023年4月5日OpenAIは、Our approach to AI safety　の中で、18歳以上の確認方法（13歳以上は親の承認）の検討に入っていることを述べている。

それとは別にChatGPTを含むAIの開発に対してストップをかけるために、イーロンマスクやウォズニアックらによって、署名が集められている。

ChatGPTの開発元のサム・アルトマン（OpenAIのCEO）も、正直なところ、意志の強い人がChatGPTを使うことをとめられない。（正確には、AIの出力した文章を検知するツールがあったとしても、それを回避する方法を見つけるでしょう。とのコメント）

GPTZeroの実力を見ていこう。

スポンサーリンク

GPTZero使い方

GPTZeroにアクセスして、チェックしたい文面をコピペ、GET RESULTS　のボタンを押すだけ。

I agree to the terms of service　には、勝手に☑がついていた。

以下のメッセージが出てくるので、メールアドレスを入力して登録が必要となるようだが、ちょこっと使う分には不要？

5000文字超える場合には、必要とのこと。

 

ChatGPTに、「芥川の羅生門の感想文を書いてください。」というと

と回答してきたので、こちらを使って、GPTZeroにいれてみよう。

 

GPTZeroを使ってみた

「AI」が書いたものと判定された。

AIが生成する文書は同じ単語を使うことが多いが、人間が書く文章には、同じ意味を持つ様々な単語がでてくるという点に着目しているようだ。

ドキュメントのパープレキシティとは、テキストのランダム性の測定です。

ドキュメントのバースティネスとは、パープレキシティの変動度合いの測定です。

Perplexity（パープレキシティ）とは、自然言語処理において、モデルがある文書集合にどの程度適合しているかを示す尺度の1つです。具体的には、ある文書が与えられたときに、その文書がモデルによってどの程度予測可能かを示す値です。値が低いほど、モデルが文書に適合していると言えます。

 Burstiness（バースティネス）とは、テキストデータ内の単語出現のパターンの一種で、ある特定の単語が短期間に集中して出現する傾向のことを指します。つまり、ある単語がある期間に頻繁に出現している場合、その単語はバースティな出現パターンを持っていると言えます。バースティな出現パターンを持つ単語は、情報の増加や変化が起きるときによく見られます。

 

ChatGPTに、「芥川の羅生門の感想文を中学生１年生くらいの文章で書いてください。」と依頼

これを、GPTZeroにいれてみる。

 

今度も、「AI」が書いたものと判定された。

スポンサーリンク

「誤字脱字を入れて書き直して」とチャットGPTに依頼

ChatGPTによって、この依頼は無視され、さっきと同じ文章がでた。ChatGPTもこの辺は、考えてくれているのかな？と思ったものの次の展開に。

 

「芥川の羅生門の感想文を中学生１年生くらいの文章で書いてください。　人間が書いたようにしてみてください。」　と追加でお願い。

まずい、ChatGPTさん、人間っぽい文章になってるじゃないかあー。　とこれを、GPTZeroに入れてみると、

250文字より長い文章でタイプしてと警告がでる。つまり、短すぎる文章は、GPTZeroがAI判定ができないということ。

 

「芥川の羅生門の感想文を中学生１年生くらいの文章で書いてください。　人間が書いたようにしてみてください。50行くらいで」

５０行くらいになったので、

こちらも、GPTZeroに入れてみると、AIと判定してくれた。凄い。

私には、人間が書いたものか？　AIが書いたものか？　正直わからない。

スポンサーリンク

ちょこちょこ色々なところを編集してみて、GPTZeroに検知してもらった

結果は、AIと判定。凄い。

入力した文面は以下。

「羅生門」を読んで。この小説は、殺人事件が起こったあとにたくさんの人たちと話すことで真相がどこにあるのか分からなくなってしまうという物語です。

私が感じたのは、人間の心の複雑さや社会の問題について考えさせられたことです。登場人物たちは、それぞれ自分の欲望や目的を持っていて、それが事件の真相を曖昧にしてしまうことにつながっているのだと思います。

また、この小説は「羅生門」という場所が舞台になっているのですが、そこには人々が混沌としていて、互いに敵対するような状況が描写されています。そこから、社会における人間関係の複雑さを感じることができました。

ただ、とても難しい部分もあり、何度も読み返しては理解できなかったところもありました。しかし、何度も読み返しているうちに、深いところまで理解できるようになり、自分なりの解釈ができたことはとても嬉しかったことです。

私はこの小説から、人間の心の闇や社会の問題について考えることが大切だと思いました。また、一つの出来事に対して、人それぞれ違った見方をすることもあるということを学びました。この小説は、深い内容がある小説だと思いますが、読み終わったときには、考えることがたくさんできたので、皆に読むことを薦めたいと思います。

 

別の文章で、再度チャレンジだ。「アップル創業者を聞いたChatGPTの回答」を入れてみた　human人間と判定された

以下の文面を、GPTZeroに入力して、判断してもらったところ、human（人間）によって完全に書かれてそうとのこと。

こういった文面は、判断しにくいのかな？

入力したのは、下記の「アップル創業者を聞いたChatGPTの回答」だ。

アップル創業者は、以下の3人です。

1. スティーブ・ジョブズ（Steve Jobs）: アップルの創業者の1人で、アップルのイノベーション、ビジョン、デザインのリーダーとして知られています。1976年にスティーブ・ウォズニアックと共にApple Computerを設立し、iPod、iPhone、iPadなどの製品を生み出しました。

2. スティーブ・ウォズニアック（Steve Wozniak）: アップルの創業者の1人で、Apple IおよびApple IIといった初期のパーソナルコンピュータの開発に貢献しました。また、Appleの初期の成功の中心的な役割を果たし、Apple IIは大ヒット商品となりました。

3. ロナルド・ウェイン（Ronald Wayne）: アップルの創業者の1人で、ジョブズとウォズニアックがApple Computerを設立する際に、資金調達を手伝った人物です。しかし、会社の成長についていけないと考え、わずか12日で株式を売却し、アップルから離れました。

サム・アルトマン（OpenAIのCEO）の見解

[OpenAI CEO]サム・アルトマン (Sam Altman) インタビュー(テレ東BIZ,ワールドビジネスサテライトWBS、TechCrunch）　で、述べているが、

GPTのようなシステムの出力を検知するのを助ける方法があるかもしれませんが、正直なところ、意志の強い人はそれを回避する方法を見つけるでしょう。

人々が大きな変化に適応してきたことはこれまでもあったと指摘。計算機が「数学の授業で試験することを変えた」こと、そしてGoogleが事実を記憶する必要性をはるかに減らしたこと。

宿題に対するChatGPTの影響を非常に心配している教師からの意見も聞いています。一方、各児童の驚くべき個人チューターであると感じる教師からの意見も多く聞いています。

 

MIT Technology Reviewの記事が、参考になります。

オープンAIがチャットGPTに「透かし」技術を組み込まない理由

深く考えさせられる記事です。

 

AIが書いたテキストと人間が書いたテキストを区別するために訓練された分類器（OpenAIが開発）

OpenAI New AI classifier for indicating AI-written text

私たちは、人間が書いたテキストとAIが提供するテキストを区別する分類器を訓練しました。AIが書いたテキストを確実に検出することは不可能ですが、良い分類器は、自動的な誤情報キャンペーン、学術的不正行為にAIツールを使用すること、そしてAIチャットボットを人間として位置付けることなど、AIが生成したテキストが人間によって書かれたという偽りの主張に対する対策を提供することができます。

私たちの分類器は完全に信頼できるわけではありません。英語のテキストの「チャレンジセット」での評価において、分類器はAIが書いたテキストの26％（真陽性）を「おそらくAIが書いた」と正しく識別し、一方で人間が書いたテキストを9％の誤識別率（偽陽性）でAIが書いたテキストとして誤ってラベル付けしています。入力テキストの長さが増すにつれて、分類器の信頼性が通常向上します。以前に公開した分類器と比較して、この新しい分類器は、より新しいAIシステムのテキストに対してははるかに信頼性が高くなっています。

私たちは、この分類器を公開し、このような不完全なツールが有用であるかどうかのフィードバックを得るために取り組んでいます。AIが生成したテキストの検出に関する私たちの研究は続いており、将来的に改善された手法を共有できることを願っています。

 

子供たちが宿題を簡単に済ませるために、ChatGPTを使うのはどうやって防ぎますか？

 

AIが生成した文書検知ツールを教えてください。

1. GPT-3 Detector: GPT-3 Detectorは、OpenAIが開発したツールで、GPT-3によって生成されたテキストを検知することができます。このツールは、GPT-3が生成した文書の中に偽情報や迷惑な広告などが含まれているかどうかを検出し、排除することができます。

2. Grover: Groverは、Stanford大学とMITが共同で開発したツールで、偽情報を生成するために使用されるAIモデルを検出することができます。このツールは、偽情報を生成するAIモデルがどのような特徴を持っているかを学習し、それらの特徴を検出することで偽情報を検出することができます。

3. Detect Language: Detect Languageは、テキストの言語を検出するためのオープンソースのツールです。このツールは、AIが生成したテキストが不自然な言語表現を含んでいる場合に、AIによる生成である可能性が高いと判断することができます。

4. Fakespot: Fakespotは、AmazonやYelpなどのオンラインショッピングサイトでの偽のレビューを検出するためのツールです。このツールは、AIが生成したレビューを含め、偽のレビューを検出することができます。

これらのツールは、AIが生成した文書を検知するために役立ちます。ただし、完璧な検出ができるわけではないため、常に注意が必要です。

 

GPTZEROとは何ですか？

申し訳ありませんが、私は2021年9月に最後の知識更新があり、GPTZEROという用語については情報を持っていません。GPTという言葉に関しては、自然言語処理における一連の言語モデルを指す場合があります。もし何か別のことを知りたい場合は、お知らせください。

 

書かれた文章がGPTによるものかどうかを判断するものです。　GPTZeroについて知りませんか？

申し訳ありませんが、私はGPTZeroという用語については知りません。GPTは、OpenAIが開発した自然言語処理のための一連の言語モデルであり、GPT-3はその最新のモデルの1つです。GPTはテキスト生成や文章の自動要約など、様々な自然言語処理タスクで活用されています。ただし、GPTが生成した文章を正確に判断することは困難であり、人間が書いた文章と区別することができない場合もあります。

 

GPTZeroについて教えて　　再度聞くが、とんちんかんな回答

「GPTZero」という用語は、現在は一般的に使われていないため、何を指しているかについては明確ではありません。ただし、一部の情報源では、GPTZeroは、OpenAIが開発した次世代の言語モデルである「GPT-4」のコードネームである可能性があります。

GPT-4は、現在開発中であり、GPT-3よりもさらに大きな規模のモデルとなる予定です。また、GPT-4は、自然言語処理のタスクに加えて、画像処理や音声処理など、多様な情報源からの入力を統合することができるようになると報じられています。ただし、GPT-4の正確な仕様やリリースの時期については、まだ公表されていません。

 

ChatGPT自身の見解

ChatGPTは人工知能の一種であり、教育的な目的や学習支援のためにも使用されています。ただし、宿題を完全に置き換えるような使い方をすることは適切ではありません。

子供たちが宿題を簡単に済ませるためにChatGPTを使わないようにするために、以下の点に注意することが重要です。

宿題の目的や意義を理解するように指導する：宿題には学習や自己練習のための目的があり、自分自身で問題を解いたり答えを見つけたりすることで、より深く理解することができます。子供たちにこのことを教え、宿題を自分で解くことが重要であることを理解させることが必要です。

監視する：子供たちがChatGPTを使っていないかどうかを確認することが重要です。宿題のやり方や解き方を把握し、急に正確な答えが出たり、文法や表現などがおかしい回答が出た場合にはChatGPTの使用を疑う必要があります。

ChatGPTを宿題の手段としては使わない：ChatGPTは学習支援のために使われることがありますが、宿題の代替手段としては使わないようにしましょう。宿題は自己練習のためにあるものであり、子供たち自身が考え、取り組むことが重要です。

教育的な使用に限定する：ChatGPTを子供たちが教育的な目的で使うことを奨励し、不適切な使い方をすることがないように注意することが大切です。

 

 

出典：OpenAI, GPTZero