Pour sa part, Perplexity a déclaré dans une FAQ mise à jour que son robot d’exploration, PerplexityBot, n’indexera pas le contenu textuel complet ou partiel d’un site qui l’interdit à l’aide du code robots.txt. Les fichiers Robots.txt sont des fichiers texte simples courants stockés sur un serveur Web pour indiquer aux robots d’exploration Web quelles pages ou sections d’un site Web ils sont autorisés à explorer et à indexer.
“PerplexityBot explore uniquement le contenu conformément au fichier robots.txt”, explique la FAQ. Perplexity a également déclaré qu’il ne construit pas de « modèles de base » (également appelés grands modèles de langage), « donc votre contenu ne sera pas utilisé pour la pré-formation des modèles d’IA ».
L’essentiel, a déclaré Yamin, est que les moteurs de recherche se trouvent dans une « position délicate » à mesure que la genAI évolue. « Ils veulent fournir les meilleurs résultats aux utilisateurs, ce qui implique de plus en plus de contenu généré ou amélioré par l’IA. Dans le même temps, ils doivent protéger les créateurs originaux et maintenir l’intégrité des résultats de recherche. Nous constatons des efforts pour trouver cet équilibre, mais il s’agit d’une question complexe qui prendra du temps à être pleinement résolue.
