PHP: How to download a webpage (aka web scrapping) with PHP PHP: Wie lade ich eine Webseite (auch bekannt als Web-Verschrottung) mit PHP

Posted on 03. Gesendet am 03. Oct, 2009 by Dragos in Coding , PHP Oktober 2009 von Dragos in Coding, PHP

There are many ways of downloading web pages, or web content. Es gibt viele Möglichkeiten des Herunterladens Web-Seiten oder Web-Content. Personally I like to use cURL for my web scrapping needs, but sometimes I also use fsockopen and file_get_contents . Persönlich Ich mag die Verwendung cURL für meine Web-Abwracken muss, aber manchmal auch fsockopen und file_get_contents.

Here are 3 different functions that will allow you to download web content. Hier sind 3 verschiedene Funktionen, die Sie zum Download von Web-Inhalten ermöglichen.

cURL : cURL:

 function getData($url) { Funktion getData ($ url) (
    if($url!='localhost' && $url!='http://localhost') { if ($ url! = 'localhost' & & $ url! = 'http://localhost') (
        $ch=curl_init(); $ ch = curl_init ();
        curl_setopt($ch, CURLOPT_URL, $url); curl_setopt ($ ch, CURLOPT_URL, $ url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); curl_setopt ($ ch, CURLOPT_RETURNTRANSFER, TRUE);
        curl_setopt($ch,CURLOPT_USERAGENT,"Mozilla/6.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.1) Gecko/2008070208 Firefox/3.0.3"); curl_setopt ($ ch, CURLOPT_USERAGENT, "Mozilla/6.0 (Windows; U; Windows NT 5.1; en-US; rv: 1.9.0.1) Gecko/2008070208 Firefox/3.0.3");
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION,3); curl_setopt ($ ch, CURLOPT_FOLLOWLOCATION, 3);
        $result['data']=curl_exec($ch); $ result [ 'data'] = curl_exec ($ ch);
        $result['error']=curl_error($ch); $ result [ 'error'] = curl_error ($ ch);
        curl_close($ch); curl_close ($ ch);
        return $result; return $ result;
    } )
    else return $result['error']='err'; else return $ result [ 'error'] = 'err';
} ) 

fsockopen fsockopen

function getData($url) { $arr=parse_url($url); $fp = fsockopen($arr['host'], 80, $errno, $errstr, 30); if(!$fp) { return false; }else { // send headers $out = "GET ".fsockopen($arr['host'], 80, $errno, $errstr, 30)." HTTP/1.1\r\n"; $out .= "Host: ".str_replace('http://'.$arr['host'],'',$url)."\r\n"; $out .= "User-Agent: FSOCKOPEN\r\n"; $out .= "Connection: Close\r\n\r\n"; fwrite($fp, $out); while(!feof($fp)) { $contents .= fgets($fp, 4096); }; fclose($fp); return $contents; } } Funktion getData ($ url) ($ arr = parse_url ($ url); $ fp = fsockopen ($ arr [ 'host'], 80, $ errno, $ errstr, 30); if ($ fp) (return false; ) else (/ / send-Header $ out = "GET". fsockopen ($ arr [ 'host'], 80, $ errno, $ errstr, 30). "HTTP/1.1 \ r \ n"; $ out .= " Host: ". str_replace ( 'http://'. $ arr [ 'host'],'',$ url)." \ r \ n "; $ out .=" User-Agent: fsockopen \ r \ n " $ out .= "Connection: Close \ r \ n \ r \ n"; fwrite ($ fp, $ out); while (! feof ($ fp)) ($ contents .= fgets ($ fp, 4096); ) fclose ($ fp); return $ contents;)) 

file_get_contents file_get_contents

 function getData($url) { Funktion getData ($ url) (
return file_get_contents($url); return file_get_contents ($ url);
} ) 

As you see the easiest way of downloading web content is by using the file_get_contents function, but if you need more options, especially if you are working with the headers, then cURL is the best way to go for you. Wie Sie am einfachsten Download Web-Inhalte zu sehen ist, indem Sie die Funktion file_get_contents, aber wenn Sie weitere Optionen, vor allem wenn Sie mit den Header, dann cURL ist der beste Weg für Sie zu gehen.

Related posts: In Verbindung stehende Pfosten:

1. JavaScript: Send function as a parameter to another function (callbacks) JavaScript: Send-Funktion als Parameter an eine andere Funktion (Rückrufe)