Ερευνητές της Cloudflare Υποστηρίζουν ότι το Perplexity Συνεχίζει να Εξάγει Δεδομένα από Ιστοσελίδες Παρά το Αποκλεισμό του ΑΙ Bot

Ερευνητές από τον πάροχο υποδομής διαδικτύου Cloudflare ισχυρίζονται ότι το σύστημα AI Perplexity έχει αντιγράψει περιεχόμενο από ιστοσελίδες χωρίς άδεια, ακόμα και όταν οι εκδότες έχουν εφαρμόσει αποκλεισμούς για τα AI bots.

Σύμφωνα με την αναφορά που δημοσίευσε η Cloudflare τη Δευτέρα, η Perplexity αναζητά ιστοσελίδες χρησιμοποιώντας τον προεπιλεγμένο της παράγοντα χρήστη και αλλάζει την ταυτότητά της για να παρακάμψει αυτά τα εμπόδια. Αυτή η «συμπεριφορά στελθ αναζήτησης» επιβεβαιώθηκε από τους ειδικούς της Cloudflare.

«Βλέπουμε συνεχή αποδείξεις ότι η Perplexity τροποποιεί επανειλημμένα τον παράγοντα χρήστη της και αλλάζει τα πηγαία ASNs της για να κρύψει τη δραστηριότητα crawling της, καθώς και να αγνοεί – ή μερικές φορές αποτυγχάνει να ανακτήσει – τα αρχεία robots.txt,» έγραψαν οι ερευνητές.

Αναμένεται οι crawlers να είναι διαφανείς, να δηλώνουν σαφώς τον σκοπό τους και να σέβονται τις προτιμήσεις των ιστοσελίδων, αλλά οι ερευνητές ισχυρίζονται ότι η Perplexity δεν έχει ακολουθήσει αυτές τις αρχές εμπιστοσύνης. Αυτό το συμπέρασμα επετεύχθη μετά από μια έρευνα που προκλήθηκε από παράπονα πελατών.

«Λάβαμε παράπονα από πελάτες που είχαν απαγορεύσει την δραστηριότητα crawling της Perplexity στα αρχεία robots.txt τους και επίσης είχαν δημιουργήσει κανόνες WAF για να αποκλείσουν συγκεκριμένα και τα δύο δηλωμένα crawlers της Perplexity: το PerplexityBot και το Perplexity-User,» έγραψαν οι ερευνητές. «Αυτοί οι πελάτες μας είπαν ότι η Perplexity κατάφερνε ακόμη να έχει πρόσβαση στο περιεχόμενό τους ακόμη και όταν έβλεπαν ότι τα bots της ήταν επιτυχώς αποκλεισμένα.»

Οι ερευνητές της Cloudflare δήλωσαν ότι επιβεβαίωσαν αυτά τα ισχυρίσματα αναπαράγοντας τα αποκλειστικά μπλοκ και διεξάγοντας πολλαπλές δοκιμές για να παρατηρήσουν τη συμπεριφορά του crawler. Σε μία δοκιμή, δημιούργησαν νέα domains που δεν είχαν ακόμη ευρετηριαστεί και περιελάμβαναν αρχεία robots.txt για να αποκλείσουν τα «σεβαστά bots». Αργότερα, ρώτησαν την Perplexity για συγκεκριμένες πληροφορίες σχετικά με τα περιορισμένα domains και διαπίστωσαν ότι η μηχανή απαντήσεων που κινείται από AI παρείχε ακόμη λεπτομέρειες και ακριβείς πληροφορίες για τον ιστότοπο.

«Η αντίδραση αυτή ήταν απροσδόκητη, καθώς είχαμε λάβει όλα τα απαραίτητα μέτρα για να αποτρέψουμε τα δεδομένα αυτά να είναι ανακτήσιμα από τα crawlers τους», πρόσθεσαν οι ερευνητές.

Εκπρόσωπος της Perplexity, ο Jesse Dwyer, χαρακτήρισε την έρευνα ως «κόλπο για δημοσιότητα» σε δήλωση για το The Verge. Ο Dwyer πρόσθεσε ότι υπάρχουν «παρεξηγήσεις» στην έκθεση της Cloudflare.

Η Cloudflare αναπτύσσει πολλαπλά εργαλεία για να βοηθήσει τους εκδότες να αποτρέπουν την μη εξουσιοδοτημένη περιήγηση AI. Τον Μάρτιο, η Cloudflare κυκλοφόρησε το «AI Labyrinth», ένα εργαλείο που ανακατευθύνει τα μη εξουσιοδοτημένα crawlers σε λαβυρίνθους περιεχομένου που δημιουργούνται από AI. Τον προηγούμενο μήνα, κυκλοφόρησε το «Pay Per Crawl», ένα σύστημα για να χρεώνει τα AI bots για την πρόσβαση στο περιεχόμενο των εκδοτών.