robots.txt searcher

[r0bb3r68]

سلام.
با این برنامه که به زیان پایتون هستش می تونید فایل های robots.txt رو که تو خیلی از سایت ها مخفی می کنند پیدا کنید:[img]images/smilies/Smileys/3.gif[/img]

#!/usr/bin/python

import urllib, sys

try :
        robotsFile = urllib.urlopen("http://" + sys.argv[1] + "/robots.txt")

        print robotsFile.read()
except:
        print "Error getting robots.txt file!"

[MeDriK]

RE: robots.txt searcher

درود .

اینم با پرل :

#!/usr/bin/perl -w

use LWP::Simple;

$url = $ARGV[0];

$url = "http://".$url if ($url !~ /http:\/\//);

$target = get $url."/robots.txt";
print "\n [+] Searching For Robots.txt  ... \n\n\n";

print $target."\n\n";

system('pause');

خروجی :

C:\Users\Medrik\Desktop>robots.pl dttz.gov.cn

 [+] Searching For Robots.txt  ...


User-agent: *
Disallow: /data/skins/
Disallow: /admin
Disallow: /images
Disallow: /lib