1
0
Fork
You've already forked robots.txt
0
a simple robots.txt file
  • robots.txt 100%
2024年03月12日 21:52:30 +00:00
README.md update README.md 2024年03月12日 21:52:30 +00:00
robots.txt added robots.txt 2024年03月12日 21:49:22 +00:00

robots.txt

a simple robots.txt file that disallows common "AI" crawlers