MACHINE 404 / Δωρεάν ζωντανός έλεγχος

Φτάνουν όντως οι AI αναγνώστες στο site σας;

Ο browser σας παίρνει καθαρή σελίδα, άρα όλα φαίνονται εντάξει. Αυτό δεν λέει τίποτα για το τι απαντά ο διακομιστής σας σε κάτι που δηλώνει ότι είναι GPTBot. Ρωτάμε ως επτά αναγνώστες και ως browser, την ίδια στιγμή, και σας δείχνουμε και τις οκτώ απαντήσεις μαζί.

Αυτό είναι το ένα πράγμα που δεν ελέγχεται από μέσα

Κάθε άλλο πρόβλημα σε ένα site φαίνεται κάποια στιγμή. Αυτό όχι. Ο browser σας, το κινητό σας, το laptop του συνεργάτη σας και κάθε uptime monitor που έχετε στέλνουν ένα συνηθισμένο user agent, παίρνουν ένα συνηθισμένο 200, και αναφέρουν ότι το site δουλεύει. Ένας κανόνας που αρνείται έναν συγκεκριμένο αναγνώστη είναι αόρατος για όλα τους, γιατί κανένα δεν είναι αυτός ο αναγνώστης.

Δεν το μάθαμε από άρθρο. Τέσσερα δικά μας site προσκαλούν ονομαστικά AI crawlers στο robots.txt, και στις 7 Σεπτεμβρίου 2026 ο host απαντούσε στο GPTBot με 429 και μηδέν bytes, ενώ κάθε browser έπαιρνε καθαρή σελίδα. Τα αρχεία μας έλεγαν καλώς ήρθατε. Ο διακομιστής μας έλεγε όχι. Φτιάχνουμε site επαγγελματικά και το βρήκαμε γράφοντας ένα script που ρωτά, και αυτό το script είναι πίσω από αυτή τη σελίδα.

Οι πέντε τρόποι που ένα site διώχνει έναν AI αναγνώστη

403 από firewall. Ένα WAF ή ένα plugin ασφαλείας έχει κανόνα για bots και ο αναγνώστης ταίριαξε. Συνήθως κανείς δεν θυμάται να τον έγραψε, γιατί ήρθε ως προεπιλογή μαζί με ένα plugin ή ένα πακέτο.

429 από τον host. Περιορισμός ρυθμού ανά user agent, που εφαρμόζεται πριν ρωτηθεί καν το site σας. Αυτό είχαμε εμείς, και είναι το δυσκολότερο να το δεις γιατί μοιάζει με ευγένεια και όχι με άρνηση.

200 με σελίδα ελέγχου. Ο κωδικός λέει επιτυχία και το σώμα είναι έλεγχος Cloudflare, DataDome ή Imperva που περιμένει JavaScript και cookies. Κανένας crawler δεν τον περνά. Είναι άρνηση με ρούχα επιτυχίας, και ένας ελεγκτής που τυπώνει μόνο κωδικούς θα το πει επιτυχία. Εμείς διαβάζουμε αρκετό από το σώμα για να ονομάσουμε το τείχος.

Ένα Disallow που δεν έγραψε κανείς επίτηδες. Μια ρύθμιση staging, ένα plugin ή μια μεταφορά άφησε Disallow: / μέσα σε ονομαστική ομάδα. Εδώ ο διακομιστής είναι αθώος, το αρχείο κάνει ακριβώς ό,τι λέει.

Στέλνεται αλλού. Ο αναγνώστης ανακατευθύνεται σε επιλογή γλώσσας, σελίδα συγκατάθεσης ή app store, ενώ ο browser σας πηγαίνει στην αρχική. Ακολουθούμε ένα βήμα, και αν ένας αναγνώστης σταλεί κάπου αλλού από τους μάρτυρες, το λέμε.

Το robots.txt είναι παράκληση. Ο διακομιστής είναι η απάντηση.

Διαβάζουμε και τα δύο, και το ενδιαφέρον αποτέλεσμα είναι η διαφωνία. Ένα αρχείο που ονομάζει User-agent: GPTBot και προσθέτει Allow: / ενώ ο διακομιστής απαντά 403 είναι το χειρότερο και από τα δύο: φαίνεστε ανοιχτοί, συμπεριφέρεστε κλειστά, και κανείς δεν σας το λέει. Κάθε γραμμή του ελέγχου δείχνει τι ζητά το αρχείο σας δίπλα σε ό,τι έκανε όντως ο διακομιστής, ώστε μια άρνηση που επιλέξατε να διαβάζεται αλλιώς από μια που δεν επιλέξατε.

Μια παγίδα αξίζει να επαναληφθεί, γιατί σχεδόν κάθε site πέφτει μέσα: μια ονομαστική ομάδα User-agent κάνει αυτόν τον crawler να αγνοήσει εντελώς την ομάδα με το αστεράκι. Απαγορεύστε τα admin μονοπάτια στο αστεράκι, προσθέστε από κάτω μια ευγενική ονομαστική ομάδα για το GPTBot, και μόλις δώσατε στο GPTBot τη μόνη ανεμπόδιστη πρόσβαση στο site.

Τι αποδεικνύει αυτός ο έλεγχος, και τι όχι

Στέλνουμε το user agent κάθε αναγνώστη από τη δική μας διεύθυνση. Ένα site που πιστοποιεί crawlers με εύρος IP ή reverse DNS μπορεί να αρνηθεί εμάς και να δεχτεί το πραγματικό GPTBot, άρα μια άρνηση εδώ δεν αποδεικνύει ότι διώχνεται η OpenAI. Το γράφουμε δίπλα σε κάθε αποτέλεσμα και όχι στο υποσέλιδο με ψιλά γράμματα.

Αυτό που αποδεικνύει η άρνηση, σε κάθε περίπτωση, είναι ότι ό,τι απλώς δηλώνει πως είναι AI αναγνώστης διώχνεται στην πόρτα σας. Έτσι ακριβώς συμπεριφέρεται ένας κανόνας user agent και ένα throttle του host, αυτό έγινε σε εμάς, και αξίζει δέκα λεπτά της προσοχής κάποιου σε κάθε περίπτωση.

Και η επιτυχία είναι πραγματική επιτυχία. Αν και οι οκτώ απαντήσεις είναι καθαρή σελίδα, τίποτα στην πόρτα σας δεν αρνείται AI αναγνώστες και μπορείτε να σταματήσετε να ανησυχείτε γι' αυτή τη συγκεκριμένη αποτυχία και να δείτε αν υπάρχει κάτι που αξίζει να διαβαστεί όταν περάσουν, που είναι αυτό που μετρά η σάρωση.

Πώς φαίνεται αυτό σε 42 ελληνικά επιχειρηματικά site

Το ρωτήσαμε ακριβώς αυτό στα 42 site του μετρημένου μας δείκτη, σε ένα πέρασμα στις 2026-09-13. Μόνο συγκεντρωτικά: καμία επιχείρηση δεν κατονομάζεται εδώ και καμία δεν πρόκειται.

2 στα 42 έχουν πει οτιδήποτε για AI crawlers στο robots.txt. Ούτε απαγόρευση, ούτε άδεια: τίποτα. Τα άλλα 40 άφησαν την απόφαση στην προεπιλογή κάποιου άλλου, που είναι η πιο συνηθισμένη θέση στην ελληνική αγορά και δεν είναι θέση.

4 στα 42 εξυπηρετούν το Googlebot και έναν κανονικό browser από την ίδια διεύθυνση το ίδιο δευτερόλεπτο, και αρνούνται κάθε AI αναγνώστη. Αυτές οι πόρτες ταιριάζουν ονόματα, δεν ελέγχουν ποιος είναι ο καθένας, και οι πραγματικοί αναγνώστες στέλνουν τα ίδια ονόματα. Αυτό είναι το εύρημα, και διορθώνεται μέσα στο απόγευμα.

17 στα 42 αρνήθηκαν και τον δικό μας μάρτυρα browser. Αυτό είναι στάση απέναντι στην αυτοματοποιημένη κίνηση γενικά, όχι πολιτική για AI, οπότε δεν το μετράμε ως μπλοκάρισμα AI και δεν πρέπει να το μετρά κανείς. 1 αρνήθηκε και το Googlebot ενώ εξυπηρέτησε browser, που μοιάζει με έλεγχο ταυτότητας από τη διεύθυνση και όχι από το όνομα: ο έλεγχός μας δεν μπορεί να πιστοποιηθεί, άρα αυτό δεν αποδεικνύει τίποτα για τους πραγματικούς crawlers και μετριέται χωριστά. 1 δεν αρνήθηκε καθόλου, έβαλε πλαφόν: άρνηση μία φορά, εξυπηρέτηση σε επανάληψη δύο δευτερόλεπτα μετά.

Ένας ακόμη αριθμός, για το αρχείο και όχι για την πόρτα: διαβάσαμε robots.txt σε 28 από τα 42. Ακριβώς 1 απάντησε καθαρό 404, και 13 μας αρνήθηκαν το ίδιο το αρχείο, που είναι κι αυτό ένα είδος απάντησης.

Μετρήθηκε από μία διεύθυνση στην Ελλάδα. Ένα site μπορεί να απαντά αλλιώς σε άλλη διεύθυνση, και ακριβώς γι' αυτό υπάρχει ο έλεγχος από πάνω: τρέξτε τον και μαθαίνετε τι λέγεται στη δική μας διεύθυνση, διαβάστε και την επιφύλαξη και ξέρετε τι αξίζει.

Αν κάτι διώχνεται, η διόρθωση είναι στον διακομιστή

Όχι σε ένα αρχείο κειμένου. Ένα robots.txt δεν ακυρώνει κανόνα firewall, και μια πιο φιλική γραμμή μέσα του δεν αλλάζει τίποτα σε ένα 403. Η διόρθωση είναι κανόνας στον host, στο WAF ή στο CDN, γραμμένος από όποιον έχει πρόσβαση σε αυτό το πάνελ, και μετά ο ίδιος έλεγχος ξανά για επιβεβαίωση αντί για υπόθεση.

Επίσης επανέρχεται. Ο host αλλάζει μια προεπιλογή, το πακέτο αναβαθμίζεται, ένα plugin ασφαλείας ενημερώνει τη λίστα bots του, και η πόρτα κλείνει ξανά χωρίς να το πει σε κανέναν. Τρέξτε το κάθε μήνα, ή βάλτε κάποιον να το τρέχει για εσάς.