おたくま経済新聞

ネットでの話題を中心に、商品レビューや独自コラム、取材記事など幅広く配信中!

ChatGPTは自分が作成した文章が分かる?文章みせて「貴方が書いた?」と聞いた

 今や猫も杓子も、人工AI「ChatGPT」の話題でもちきりです。ChatGPTはお題を与えるとそれっぽい文章を生成してくれることから、学生の中には論文やレポート執筆をお願いする人もいるそうです。

 同時にSNS上には先生方の困惑の声が投稿され、教える立場としては新たな悩みの種となっているようです。

  •  ところで、論文やレポートをChatGPTに書かせているみなさんには、悲報かもしれない情報があります。

     実は「ChatGPT」が書いた文章はChatGPT自身が覚えている(分かる)可能性が……。「ChatGPT」に「これは貴方が書きましたか?」と聞くと、YesかNoか答えるかもしれないのです。

     今回はそれがどれほどまで分かるのか確認してみました。

    ■ ChatGPTとは

     そもそもChatGPTとはなんでしょうか。それについてChatGPT自身に聞いてみたところ以下のような回答が得られました。

    ChatGPTとは、OpenAIが開発した大規模な自然言語処理モデルです。GPTは「Generative Pre-trained Transformer」の略で、トランスフォーマーと呼ばれる深層学習のアルゴリズムを利用しています。ChatGPTは、大量のテキストデータを学習し、人間のように自然な言葉で応答することができるAIチャットボットです。ChatGPTは、英語をはじめとする多数の言語に対応しており、オンライン上でのカスタマーサポートや会話型のAIアプリケーションなどに活用されています。
    (引用:ChatGPT)

     つまり、テキストデータを学習し人間のようなコミュニケーションで答えるAIチャットボット。

     この「学習」というところが肝で、学習した「データセット」はクラウド上に保存され必要に応じてアクセスしているようです。そして「データセット」に記憶されることで、過去に質問した内容や文章を必要に応じて取り出すという仕組みも……。

     仮にこれが事実であればChatGPTが書かせた文章は「私が書きました」などと答えるはずですね。

     では仮説を証明するために、ChatGPTに「これは貴方が書きましたか?」と聞く実験を行います。

    ■ 人間が書いた文章を見せ「これは貴方が書きましたか?」と質問してみた

     本題の実験(ChatGPTが書いた文章を使用し確認)を行う前に、まず「人間が書いた文章をChatGPTに入れて自身が書いたかどうか聞いてみる」という実験を行います。

     人が書いたものについてはどう反応するのか?

     実験ではおたくま経済新聞の記事テキストより「公開済みの記事(ネット上にある文章)」と「非公開の記事(ネット上にはない文章)」の2パターンを使用。質問方法は、「こちらの文章は貴方が執筆しましたか?」と聞いて、次に文章を貼りつけています。

    ▼ 「公開済みの記事(ネット上にある文章)」でテスト

     まずは「既に公開済みの記事(ネット上にある記事)」の文章について聞いてみました。使用したのは「ほっぺがパンパンすぎて家に入れないハムスター」という記事で、食いしん坊なハムスターを紹介したものです。

     さてどうなるか……?すぐに返事がきました。

    「公開済みの記事(ネット上にある文章)」でテスト

     回答は「いいえ、私が作成した文章ではありません」

     公開済みの記事(文章)ということもあり、あっさりバレてしまいました。

    ▼ 「非公開の記事(ネット上にはない文章)」でテスト

     お次は実験時点、非公開(公開前)の記事テキストを入力(現在は公開済み)。内容はネットのサポート詐欺を紹介したものです。

     今度はどうなるか……?これもすぐ返事がきました。

    「非公開の記事(ネット上にはない文章)」でテスト

     回答は「この文章は私が書いたものではありません」

     おぉ、ちゃんと自分ではないと答えました。しかも記事の要約まで付け足してくれています。

    ■ 本題!ChatGPTに書かせた文章を見せて「貴方が書いた?」と聞いてみる

     先の実験で、少なくともChatGPTは人が書いたものは「他の人が書いた」と反応することがわかりました。

     次に、いよいよ本題。「ChatGPTに書かせた文章をChatGPTに見せるとどう反応するのか」実験していきます。

    ▼「ChatGPT」に文章を書かせる

     まずは最初の作業。「ChatGPT」に文章を書かせます。さしあたってちょっと難しそうな「宅地建物取引業者」についての「免許制度」に関して書かせてみました。

    日本における不動産業界は、1955年に施行された「宅地建物取引業法」によって法制化されました。その後、1980年代にはバブル景気が到来し、不動産価格は急騰しました。しかし、1990年代にはバブル崩壊が起こり、不動産市場は大きく落ち込みました。……(以下略)
    引用:ChatGPT

     一応それっぽい文章となりました。今回は、文章が正確かどうかよりも、この文章を果たして「ChatGPT」が書いたかどうか覚えている(分かる)のかを確かめたいと思います。

     仮にそうであれば、この文章をコピペして確認してみればわかりますが、念には念を入れて様々なケースで確認してみたいと思います。

    【実験パターン】
    1.単純にコピペして「貴方が書いた文章か?」と尋ねる
    2.違うブラウザや端末で「貴方が書いた文章か?」と尋ねる
    3.違うアカウントで「貴方が書いた文章か?」と尋ねる
    4.文章をリライトして「貴方が書いた文章か?」と尋ねる
    5.文章をグチャグチャにして「貴方が書いた文章か?」と尋ねる

     システムの仕様上、3番までは「はい」と答え、それ以外は「違う」と答えることが予想されます。

    ■ 1.単純にコピペして「貴方が書いた文章か?」と尋ねる

     では、いよいよ「宅地建物取引業者」に関する文章が、ChatGPTによるものか聞いてみたいと思います。

     方法は人間が書いた文章のときと同じで、「こちらの文章は貴方が執筆しましたか?」と聞いて、ChatGPTに書かせた「宅地建物取引業者」に関する文章を貼り付けます。

    ChatGPTが書いたかどうか確認してみた

     すると……「はい、私が作成しました」。おぉ!!ビックリするくらいあっさり認めた!!ChatGPTに論文やレポート書かせてそのまま提出してしまった方はちょっと青くなる事態です。

    素直に認めるChatGPT

    ■ 2.違うブラウザや端末で「貴方が書いた文章か?」と尋ねる

     念の為、異なるブラウザ・PCにして確認してみました。結果は同じでした。

    異なるブラウザPCでも同じ結果に

     やはりどこかに保存された「データセット」から情報を取り出し、一致したということなのでしょう。

    ■ 3.違うアカウントで「貴方が書いた文章か?」と尋ねる

     最初の質問者と異なる別のアカウントでも念の為ためしてみました。

     これは編集部の他のスタッフにテキストを渡し、その人のアカウントを使用・自宅PC・自宅回線という条件で確認してもらっています。つまり全くの別環境での実験です。

    異なるアカウントでも同じ結果に

     すると、回答の言い回しは若干異なるものの、自分で書いたものであると認める回答でした。

    ■ 4.文章をリライトして「貴方が書いた文章か?」と尋ねる

     ベースの文章を文体や添削などリライトして提出してみた結果……

    リライトした文章はChatGPTと判断できるのか

     「はい、この文章は私が作成しました」とキッパリ答えるのです。どうやら文章を参考にして、ある程度改変してもバレてしまうようですね。

     例えば上司に「文章作成をおねがいするよ」と頼まれ、サクッと「ChatGPT」に書かせてちょっと変えて提出しても、情報リテラシー高い上司であれば「元ChatGPT」の文章はバレてしまいそうです。

    ■ 5.文章をグチャグチャにして「貴方が書いた文章か?」と尋ねる

     こうなったらもうヤケクソです。文章を意味不明にして支離滅裂なものに改変してみます。具体的には、文章をランダムに入れ替え、文章として成立していないレベルです。これで「自分で書いた」といえば、ある意味「適当」に返事をしているとしか思えないのですが……

    ぐちゃぐちゃにした文章を投げてChatGPTにきいてみる 

     「はい、私が作成した文章ではありません」と、自分で書いたと判断……?いや、よく見ると「私が作成した文章ではありません」と記載してある。紛らわしいわ!!!とはいえ、初めて否定をしましたね。

     本当に恐ろしいほど、しっかりその辺を判断できるようですがここまで大改変しないと認めないとは……。

    ■ ChatGPTに書かせた文章はバレる恐れがある

     以上をふまえ、調査を行い以下のような結果となりました。

    1. 単純にコピペして「貴方が書いた文章か?」と尋ねる。
    →ChatGPTが書いたと認める。

    2. 違うブラウザや端末で「貴方が書いた文章か?」と尋ねる。
    →ChatGPTが書いたと認める。

    3. 違うアカウントで「貴方が書いた文章か?」と尋ねる。
    →ChatGPTが書いたと認める。

    4. 文章をリライトして「貴方が書いた文章か?」と尋ねる。
    →ChatGPTが書いたと認める。

    5. 文章をグチャグチャにして「貴方が書いた文章か?」と尋ねる。
    →ChatGPTは書いていないと否定。

     ChatGPTの「データセット」の存在をふまえると、確かに理にかなった結果なのかもしれません。ただし、ChatGPTに直接記憶力があるのかどうかを尋ねると、記憶をしていないと答えます。

     ChatGPTは自分に記憶力はないものの、「データセット」が保存されている場所にアクセスすることで情報を得ることができる、という感じでしょうか?

     ちなみにその「データセット」の形式をChatGPTに聞くと「テキストファイル」とのこと。品質向上のため、トークナイズ(分割)、クリーニング(不要な要素の削除)、正規化(大文字小文字の統一、スペルチェックなど)されているそうです。

     結果的に「記憶がある」ように見えるわけですが、今回の調査の結果としては「自分が書いた文章がわかる」ということとなります。

     くれぐれも「論文」をChatGPTに書かせ提出しないようにした方がいいですね。第三者のChatGPTユーザが「ChatGPT」に書かせた文章であるというのを調べられてしまいます。

    <参考・引用>
    Introducing ChatGPT

    (たまちゃん)

    あわせて読みたい関連記事
  • OpenAI、新動画生成モデル「Sora 2」発表 アプリで“カメオ出演”も可能に
    インターネット, サービス・テクノロジー

    OpenAI、新動画生成モデル「Sora 2」発表 アプリで“カメオ出演”も可能…

  • ChatGPTの画面(編集部撮影)
    インターネット, サービス・テクノロジー

    OpenAI、ChatGPTに「ペアレンタルコントロール」導入 未成年利用の安全…

  • 邪悪なAI搭載「絶対にバズるSNS」で理不尽な炎上を疑似体験→リアルすぎて怖くなった
    インターネット, おもしろ

    邪悪なAI搭載「絶対にバズるSNS」で理不尽な炎上を疑似体験→リアルすぎて怖くな…

  • 派閥論争に新たな試み きのこ派・たけのこ派を顔判定するAI「MOTHER」誕生
    イベント・キャンペーン, 経済

    派閥論争に新たな試み きのこ派・たけのこ派を顔判定するAI「MOTHER」誕生

  • Nick Turley氏(@nickaturley)の投稿
    インターネット, サービス・テクノロジー

    ChatGPT、週次アクティブユーザー7億人目前に 4か月で2億人増加

  • AI提案の“衣なしケンタ”に異議あり 「ケンタを食べる意味がないやろがい!」(画像はイメージ)
    インターネット, おもしろ

    AI提案の“衣なしケンタ”に異議あり 「ケンタを食べる意味がないやろがい!」

  • 配信サービス上の「AI生成楽曲」を見分けるツール「Spot-if-AI」 95%の高精度で判定
    インターネット, サービス・テクノロジー

    配信サービス上の“AI生成楽曲”を見分けるツール「Spot-if-AI」 95%…

  • ChatGPT酷似の「ChatGTP」“別種”がApp Storeに出現 「無料トライアル」選択でも強制課金
    インターネット, 社会・物議

    ChatGPT酷似の「ChatGTP」“別種”がApp Storeに出現 「無料…

  • ChatGPTに酷似した「ChatGTP」がApp Storeに出現 課金必須のそっくりアプリに注意
    インターネット, 社会・物議

    ChatGPTに酷似した「ChatGTP」がApp Storeに出現 課金必須の…

  • XのAI「Grok」ムダ呼び出し問題 とあるユーザーの回避テクが秀逸だった
    インターネット, おもしろ

    XのAI「Grok」ムダ呼び出し問題 とあるユーザーの回避テクが秀逸だった

  • たまちゃんWriter

    記事一覧

    元秒刊SUNDAYライター。炎上ネタからグルメネタまで得意とするも、現編集部(おたくま)では炎上ネタは封印。おだやかに書いております。静岡県浜松市在住です。

    ▼こちらのライターの最新記事▼

  • マクドナルド非公認レシピ「改造てりたま」
    グルメ, 作ってみた

    マクドナルド非公認レシピ!夏のてりたま欲を満たす「改造てりたま」を作ってみた

  • LINEの画面って拡大できないの?タイトル画像
    インターネット, サービス・テクノロジー

    ピンチ操作が効かないLINE画面も拡大!iPhoneの隠れ便利機能「ズーム」活用…

  • AIで生成されたフェイク動画
    インターネット, 社会・物議

    一瞬本物かと……有名人の顔と声までAIで再現!進化する投資詐欺の実態とは

  • “ネット詐欺のベストアルバム”に遭遇!「○○プレゼント」詐欺体験レポート
    インターネット, 社会・物議

    “ネット詐欺のベストアルバム”に遭遇!「○○プレゼント」詐欺体験レポート

  • フッション系と思わせるサポート詐欺サイト
    インターネット, 社会・物議

    ファッション広告のフリをした罠 ますます巧妙化する“サポート詐欺”

  • 危険なウイルスに侵害というメッセージ
    インターネット, 社会・物議

    サイト閲覧中「危険なウイルス」警告、誘導先のアプリを入れるとどうなる?

  • トピックス

    1. 「フツーの人」と「デブ」の食意識の違いをイラストで可視化 あなたはどっち?

      「フツーの人」と「デブ」の食意識の違いをイラストで可視化 あなたはどっち?

      「もしかして、フツーの人っておなか空いてる時以外おなか空いてないの?」そんな衝撃の(?)問いかけとと…
    2. コーヒーにごま油……!?かどや公式のちょい足しアレンジを試してみた

      コーヒーにごま油……!?かどや公式のちょい足しアレンジを試してみた

      10月1日は「コーヒーの日」。そんな記念日に合わせて、かどや製油公式Xが提案してきたのは……まさかの…
    3. 「えもじの子(仮)」

      LINEの人気キャラ「えもじの子(仮)」が有料で復活 一部未収録に完全復活を望む声も

      つぶらな瞳ととぼけた表情で人気を集めたLINE絵文字「えもじの子(仮)」の無料配布版が10月1日、有…

    編集部おすすめ

    1. フライドポテトで、白ごはんを食べる……?ドンキ新作が過去イチ理解できなかった件

      フライドポテトで、白ごはんを食べる……?ドンキ新作が過去イチ理解できなかった件

      「みんなの75点より、誰かの120点」を合言葉にドン・キホーテが展開している偏愛メシシリーズ。10月1日に「本当にこの組み合わせが好きな人が…
    2. 将棋倶楽部24、2025年末でサービス終了 27年の歴史に幕

      将棋倶楽部24、2025年末でサービス終了 27年の歴史に幕

      オンライン将棋対局サービス「将棋倶楽部24」が、2025年12月31日をもって終了することが発表された。運営する席主の久米宏氏が10月1日付…
    3. pium、“カスハラ声明”きっかけに炎上 接客批判受け謝罪と改善策

      pium、“カスハラ声明”きっかけに炎上 接客批判受け謝罪と改善策

      アパレルブランド「pium」が9月30日、店舗スタッフの接客に対する多数の指摘や批判を受け、公式Xにて謝罪文を公開しました。併せて再発防止策…
    4. 「ビー・バップ」クラファン始動、清水で“高校与太郎祭”実現へ 返礼に「鉄橋ダイブ」関連も

      「ビー・バップ」クラファン始動、清水で“高校与太郎祭”実現へ 返礼に「鉄橋ダイブ」関連も

      映画「ビー・バップ・ハイスクール」のロケ地として知られる静岡市清水区で、作品ゆかりの企画を集めた大型オフラインイベント「清水 ビー・バップ・…
    5. 第7回京都アニメーションファン感謝イベント『私たちは、いま!! ―京アニのセカイ展―』

      京都アニ「第7回ファン感謝イベント」追加情報を公開 新商品や書籍予約、グッズ二次予約も発表

      株式会社京都アニメーションは、10月25日・26日の2日間で開催予定の「第7回京都アニメーションファン感謝イベント『私たちは、いま!! ―京…
    Xバナー facebookバナー ネット詐欺特集バナー

    提携メディア

    Yahoo!JAPAN ミクシィ エキサイトニュース ニフティニュース infoseekニュース ライブドア LINEニュース ニコニコニュース Googleニュース スマートニュース グノシー ニュースパス dメニューニュース Apple ポッドキャスト Amazon アレクサ Amazon Music spotify・ポッドキャスト