75c4110fa5dd32c4b557ea71e485226f1c3d4c7e
[openwrt-10.03/.git] / scripts / download.pl
1 #!/usr/bin/perl
2
3 # Copyright (C) 2006 OpenWrt.org
4 #
5 # This is free software, licensed under the GNU General Public License v2.
6 # See /LICENSE for more information.
7 #
8
9 use strict;
10 use warnings;
11 use File::Basename;
12
13 @ARGV > 2 or die "Syntax: $0 <target dir> <filename> <md5sum> [<mirror> ...]\n";
14
15 my $target = shift @ARGV;
16 my $filename = shift @ARGV;
17 my $md5sum = shift @ARGV;
18 my $scriptdir = dirname($0);
19 my @mirrors;
20 my $ok;
21
22 sub localmirrors {
23         my @mlist;
24         open LM, "$scriptdir/localmirrors" and do {
25             while (<LM>) {
26                         chomp $_;
27                         push @mlist, $_;
28                 }
29                 close LM;
30         };
31         open CONFIG, "<".$ENV{'TOPDIR'}."/.config" and do {
32                 while (<CONFIG>) {
33                         /^CONFIG_LOCALMIRROR="(.+)"/ and do {
34                                 chomp;
35                                 push @mlist, $1;
36                         };
37                 }
38                 close CONFIG;
39         };
40
41         return @mlist;
42 }
43
44 sub which($) {
45         my $prog = shift;
46         my $res = `which $prog`;
47         $res or return undef;
48         $res =~ /^no / and return undef;
49         $res =~ /not found/ and return undef;
50         return $res;
51 }
52
53 my $md5cmd = which("md5sum");
54 $md5cmd or $md5cmd = which("md5");
55 $md5cmd or die 'no md5 checksum program found, please install md5 or md5sum';
56 chomp $md5cmd;
57
58 sub download
59 {
60         my $mirror = shift;
61         my $options = $ENV{WGET_OPTIONS};
62         $options or $options = "";
63
64         $mirror =~ s/\/$//;
65         if( $mirror =~ /^file:\/\// ) {
66                 my $cache = $mirror;
67                 $cache =~ s/file:\/\///g;
68                 print "Checking local cache: $cache\n";
69                 system("mkdir -p $target/");
70                 system("cp -f $cache/$filename $target/$filename.dl") == 0 or return;
71                 system("$md5cmd $target/$filename.dl > \"$target/$filename.md5sum\" ") == 0 or return;
72         } else {
73                 open WGET, "wget -t5 --timeout=20 $options -O- \"$mirror/$filename\" |" or die "Cannot launch wget.\n";
74                 open MD5SUM, "| $md5cmd > \"$target/$filename.md5sum\"" or die "Cannot launch md5sum.\n";
75                 open OUTPUT, "> $target/$filename.dl" or die "Cannot create file $target/$filename.dl: $!\n";
76                 my $buffer;
77                 while (read WGET, $buffer, 1048576) {
78                         print MD5SUM $buffer;
79                         print OUTPUT $buffer;
80                 }
81                 close MD5SUM;
82                 close WGET;
83                 close OUTPUT;
84
85                 if (($? >> 8) != 0 ) {
86                         print STDERR "Download failed.\n";
87                         cleanup();
88                         return;
89                 }
90         }
91
92         my $sum = `cat "$target/$filename.md5sum"`;
93         $sum =~ /^(\w+)\s*/ or die "Could not generate md5sum\n";
94         $sum = $1;
95
96         if (($md5sum =~ /\w{32}/) and ($sum ne $md5sum)) {
97                 print STDERR "MD5 sum of the downloaded file does not match (file: $sum, requested: $md5sum) - deleting download.\n";
98                 cleanup();
99                 return;
100         }
101
102         unlink "$target/$filename";
103         system("mv \"$target/$filename.dl\" \"$target/$filename\"");
104         cleanup();
105 }
106
107 sub cleanup
108 {
109         unlink "$target/$filename.dl";
110         unlink "$target/$filename.md5sum";
111 }
112
113 @mirrors = localmirrors();
114
115 foreach my $mirror (@ARGV) {
116         if ($mirror =~ /^\@SF\/(.+)$/) {
117                 # give sourceforge a few more tries, because it redirects to different mirrors
118                 for (1 .. 5) {
119                         push @mirrors, "http://downloads.sourceforge.net/$1";
120                 }
121         } elsif ($mirror =~ /^\@GNU\/(.+)$/) {
122                 push @mirrors, "ftp://ftp.gnu.org/gnu/$1";
123                 push @mirrors, "ftp://ftp.belnet.be/mirror/ftp.gnu.org/gnu/$1";
124                 push @mirrors, "ftp://ftp.mirror.nl/pub/mirror/gnu/$1";
125                 push @mirrors, "http://mirror.switch.ch/ftp/mirror/gnu/$1";
126                 push @mirrors, "ftp://ftp.uu.net/archive/systems/gnu/$1";
127                 push @mirrors, "ftp://ftp.eu.uu.net/pub/gnu/$1";
128                 push @mirrors, "ftp://ftp.leo.org/pub/comp/os/unix/gnu/$1";
129                 push @mirrors, "ftp://ftp.digex.net/pub/gnu/$1";
130         } elsif ($mirror =~ /^\@KERNEL\/(.+)$/) {
131                 push @mirrors, "ftp://ftp.all.kernel.org/pub/$1";
132                 push @mirrors, "http://ftp.all.kernel.org/pub/$1";
133                 push @mirrors, "ftp://ftp.de.kernel.org/pub/$1";
134                 push @mirrors, "http://ftp.de.kernel.org/pub/$1";
135                 push @mirrors, "ftp://ftp.fr.kernel.org/pub/$1";
136                 push @mirrors, "http://ftp.fr.kernel.org/pub/$1";
137         } else {
138                 push @mirrors, $mirror;
139         }
140 }
141
142 #push @mirrors, 'http://mirror1.openwrt.org';
143 push @mirrors, 'http://mirror2.openwrt.org/sources';
144 push @mirrors, 'http://downloads.openwrt.org/sources';
145
146 while (!$ok) {
147         my $mirror = shift @mirrors;
148         $mirror or die "No more mirrors to try - giving up.\n";
149
150         download($mirror);
151         -f "$target/$filename" and $ok = 1;
152 }
153
154 $SIG{INT} = \&cleanup;
155