Czy detektory AI kłamią? Test najpopularniejszych narzędzi

Wyniki z detektorów AI potrafią zaskoczyć. Treści generowane przez ChataGPT są oceniane jako stworzone przez człowieka, z kolei napisane przez copywritera dostają ocenę „jedynka, siadaj!”. Jak działają detektory AI i czy można im ufać? Przetestowałam sześć najpopularniejszych narzędzi, abyście Wy nie musieli tego robić.

Czym jest ChatGPT?

Aby zrozumieć, czym jest i jak działa ChatGPT, należy poznać trzy podstawowe pojęcia:

• generatywna AI,
• uczenie maszynowe (Machine Learning),
• modele językowe.

ChatGPT to przykład generatywnej sztucznej inteligencji. Oznacza to, że po wprowadzeniu przez użytkownika odpowiedniej komendy narzędzie tworzy treści, nie tylko tekstowe, ale także grafiki, audio, wideo oraz kody.

W przypadku ChataGPT mówimy o modelu językowym, który został wytrenowany na ogromnych zbiorach tekstowych: podręcznikach, książkach, artykułach, raportach, Wikipedii itd. Do tego narzędzie ciągle się uczy, wykorzystując przy tym AI opartą o doskonalące się algorytmy.

AI czy człowiek. Jak sprawdzić, kto stworzył treść?

Im powszechniej wykorzystujemy ChataGPT, tym bardziej potrzebujemy narzędzi do weryfikowania treści. Inaczej zaleje nas fala podobnych do siebie, wygenerowanych tekstów. Może odbić się to czkawką zarówno agencjom, copywriterom, jak i klientom zamawiającym content.

Co to jest i jak działają detektory AI?

Takimi narzędziami są detektory AI. To również modele językowe – analizują treści i klasyfikują je jako napisane przez człowieka lub sztuczną inteligencję. Opierają się na dwóch wskaźnikach:

przewidywalności oraz przypadkowości treści.

Detektory AI przeanalizowały ogromne zasoby generowanych tekstów, co pozwoliło im dostrzec powtarzalne schematy w warstwie językowej czy strukturze odpowiedzi. W ten sposób wyłapują różnice pomiędzy treściami tworzonymi przez AI oraz przez człowieka.

Treści z ChataGPT są przewidywalne, z kolei te pisane przez człowieka przypadkowe – przedstawiają indywidualny punkt widzenia autora, opierają się na doświadczeniu, powstają w różnych stylach i zawierają inne sformułowania.

Test najpopularniejszych detektorów AI

Aby sprawdzić, jak radzą sobie poszczególne narzędzia, sięgnęłam po jeden z tekstów stworzonych w dziale Content Marketingu Sempai – bez wsparcia AI. Następnie poprosiłam ChataGPT 3.5 o napisanie go od nowa, ale tak, jak zrobiłaby to sztuczna inteligencja. Oto wstęp do artykułu z Chata:

W kolejnym kroku przetłumaczyłam obie wersje na język angielski. Następnie oba teksty i obie wersje językowe poddałam ocenie najpopularniejszych detektorów contentu z AI.

1. AI Content Detector od Copyleaks

Darmowy: TAK

O narzędziu: Twórcy AI Content Detector od Copyleaks przekonują nas o jego ponad 99% dokładności. Ocenia całość treści, a nie jej poszczególne fragmenty.

Treść oryginalna:

Treść z AI:

Wynik: według tego detektora istnieje 90% prawdopodobieństwo, że tekst oryginalny został wygenerowany przez AI. W przypadku treści z ChataGPT nie miał już żadnych wątpliwości.

Wynik nie powinien dziwić. Copyleaks sukcesywnie rozszerza bazę języków, jednak nadal nie ma w niej polskiego. Weryfikację przeprowadziłam więc na podstawie języka angielskiego, co – jak widać – nie zadziałało.

I wtedy właśnie poprosiłam Chata o przetłumaczenie obu treści na angielski:

Treść oryginalna: 55,9% probability for Human.
Treść z AI: 57% probability for Human.

Człowiek vs. AI = 0:1

2. Originality.ai

Darmowy: NIE. Zweryfikowanie 100 słów kosztuje 0.01$, najniższy abonament to z kolei koszt 14.95$.

O narzędziu: Według twórców Originality.ai daje prawie 96% skuteczności. Wykrywa również plagiat.

Wynik: niezależnie od rodzaju treści (tekst oryginalny, z Chata oraz obie wersje przetłumaczone na język polski) Originality.ai konsekwentnie pokazywało mi poniższy wynik:

Człowiek vs. AI = 0:0

3. ContentDetector.ai

Darmowy: TAK

O narzędziu: ContentDetector.ai Łączy w sobie funkcję detektora treści z AI, a także plagiatu. Bardzo prosty w obsłudze. Uwzględnia treści w języku polskim.

Treść oryginalna w języku angielskim:

Treść z AI w języku angielskim:

Wynik: co prawda, polski tekst oryginalny ocenił jako „całkowicie ludzki” i przyznał mu uśmiechniętą buźkę, ale treści w języku angielskim najwyraźniej stanowiły dla niego wyzwanie. Mimo to tym razem wygrywa człowiek.

Człowiek vs. AI = 1:0

4. AI Detector od ContentScale

Darmowy: TAK

O narzędziu: AI Detector od ContentScale to rozwiązanie do tworzenia treści, wykrywanie tekstów AI jest dodatkową funkcjonalnością.

Wynik: narzędzie nie poradziło sobie z weryfikacją treści. Obie wersje artykułu, zarówno w języku polskim, jak i angielskim, ocenił jako w 100% „ludzkie”.

Człowiek vs. AI = 0:0

5. Smodin

Darmowy: TAK w podstawowej wersji.

O narzędziu: stworzony z myślą o nauczycielach i studentach, jednak ma zastosowanie także w innych branżach. Smodin służy m.in. do generowania treści, ujawniania plagiatów, przepisywania treści, podsumowania artykułów i oczywiście do wykrywania tekstów AI. Został przetrenowany m.in. na języku polskim.

Jako ciekawostkę dodam, że Smodin podaje źródła, na których – jak twierdzi – bazuje podczas generowania artykułu.

Wynik: narzędzie analizuje każdy akapit oddzielnie, a następnie podaje łączny scoring. W przypadku artykułu napisanego przez człowieka wynik to:

• 11,3% pełnej zawartości AI.

Z kolei tekst stworzony przez Chata ocenił na:

• 49,5% pełnej zawartości AI.

Poprosiłam go o sprawdzenie jeszcze kilku dodatkowych treści i wynik za każdym razem był podobny. Wygląda (dość) wiarygodnie. Czy to narzędzie, z którym można zaprzyjaźnić się na dłużej?

Człowiek vs. AI = 1:0

6. ChatGPT

Zawsze można udać się do źródła, czyli zwrócić się do ChataGPT. Czeka nas jednak tylko rozczarowanie – tekst oryginalny i tekst przepisany przez AI zostały ocenione jednakowo:

Czy możemy ufać detektorom AI?

Czy każdy tekst z ChataGPT da się wyłapać? Zdecydowanie nie, nie dysponujemy narzędziami, które pozwoliłoby na wykrycie treści z AI ze 100% pewnością.

Jeszcze. Trwa bowiem wyścig pomiędzy rozwiązaniami typu ChatGPT a detektorami treści AI. Oba systemy nieustannie się uczą, przyswajają ogromne zasoby danych, sformułowań i stylów pisania. Podnosi się jakość zarówno treści, jak i analizujących je algorytmów. Czy detektory AI wyprzedzą generatory i wygrają w tym wyścigu?

Ponadto, jak wykazują ostatnie analizy i jak wynika z przeprowadzonych przeze mnie testów, detektory treści generowanych przez AI mogą być mniej skuteczne w przypadku języków innych niż angielski – błędnie klasyfikują treści np. w języku polskim, i te z Chata, i te napisane przez człowieka.

Teoretycznie jedynym, co możemy zrobić, jest przetłumaczenie tekstów na angielski. Dość dobrze radzi z tym sobie ChatGPT. Trzeba jednak pamiętać, że przekład będzie wpisywał się w pewne wzorce językowe, co również wpłynie na ocenę detektorów.

Jak rozpoznać tekst z Chata GPT?

Poniższy tekst wygenerowałam z ChatemGPT 3.5, korzystając z dość rozbudowanego promptu. Opisałam w nim poszczególne części składowe tekstu, jak lead, nagłówki i zakończenie oraz sprecyzowałam, o czym powinny traktować. Oto jego fragment:

Skąd możemy poznać, że treść została wygenerowana przez AI?

• typowe dla ChataGPT sformułowania, np. „A czy zastanawialiście się kiedyś…” w leadzie,
• treści pisane w pierwszej osobie – jeśli nie określimy formy w prompcie,
• zbytnia „kreatywność” językowa, w której jednak dostrzec można powtarzalne schematy,
• informowanie o strukturze treści (lead, podsumowanie – także przypadku, gdy takiej komendy nie było w prompcie),
• stosowanie formuły „po pierwsze”, „po drugie” itd.,
• czasami literówki, często też wymyślanie nowych słów,

Ponadto tekst dość powierzchownie traktuje temat, nie daje konkretnych informacji ani większej korzyści użytkownikowi. Im więcej będziemy czytać (czy generować) takich treści, tym częściej będziemy dostrzegać wzorzec, którym operuje ChatGPT.

Jak korzystać z Chata GPT?

„Czy używacie Chata?” – to pytanie coraz częściej pojawia się w rozmowach na linii klient – agencja SEO czy klient – copywriter. Tylko najodważniejsi odpowiadają „tak” i potrafią udowodnić, że ChatGPT używany z głową jest w stanie zoptymalizować wiele procesów w firmie i to z pożytkiem dla klienta.

„Z głową” to tu słowo klucz. Niestety nie każdy podchodzi do tego z rozsądkiem, treści są generowane oraz następnie wykorzystywane bez głębszej refleksji i w myśl filozofii Kopiuj-Wklej.

Podsumowując (jak przywykł pisać Chat w zakończeniu swoich artykułów), detektory nie radzą sobie z ogromną ilością generowanych treści. Oprócz wymienionych rozwiązań całkiem popularny był AI Classifier od OpenAI, czyli twórcy ChataGPT. Był, ponieważ po sześciu miesiącach OpenAi zdecydował się go zamknąć. Jako powód podano niedokładność narzędzia. Okazuje się więc, że – jeśli nie było to zaplanowane zagranie – nawet eksperci nie są w stanie stworzyć skutecznego narzędzia do oceny treści.