Post #2796830
2026-05-22 20:06 UTC
Facebookin botti lopetti joku aika sitten sivuston jatkuvan pommittamisen, mutta tänään toinen Facebookin botti on hakenut robots.txt:n 25000 kertaa.
Äkkinäinen voisi ajatella, että homman voisi tehdä tehokkaamminkin, mutta kun kyseessä on yksi maailman suurimmista firmoista, varmastikin tämä on tappiin asti optimoitu.
Replies (2)
-
@ssundell@mastodontti.fi 2026-05-28 10:48
No niin, ollaan palattu normaaliin päiväjärjestykseen: Facebook hakee edelleen robots.txt:tä tuhansia kertoja päivässä, ja siihen päälle on nyt tullut Facebookin LLM-botti, joka tällä hetkellä hakee sivun joka viides sekunti. Saa nähdä, koska vauhti kiihtyy. Tämä ei välttämättä tule yllätyksenä, mutta robots.txt kieltää Facebookin boteilta sivuille pääsyn. LLM-botti ei robots.txt:tä luonnollisestikaan lue.
-
@nicd@masto.ahlcode.fi 2026-05-22 20:08
@ssundell@mastodontti.fi Kato sama! https://blog.nytsoi.net/2026/02/23/facebook-robots-txt/