سلام.
با این برنامه که به زیان پایتون هستش می تونید فایل های robots.txt رو که تو خیلی از سایت ها مخفی می کنند پیدا کنید:[img]images/smilies/Smileys/3.gif[/img]
با این برنامه که به زیان پایتون هستش می تونید فایل های robots.txt رو که تو خیلی از سایت ها مخفی می کنند پیدا کنید:[img]images/smilies/Smileys/3.gif[/img]
کد:
#!/usr/bin/python import urllib, sys try : robotsFile = urllib.urlopen("http://" + sys.argv[1] + "/robots.txt") print robotsFile.read() except: print "Error getting robots.txt file!"
نظر