PHP（phpQuery）でスクレイピング

PHPphpQueryを↓から引っ張ってくる

code.google.com

https://code.google.com/archive/p/phpquery/downloads

※参考：PHPでajaxとjson
※参考：ajaxでInstagramの写真を抜いて上げてみる
※参考：テストコードajaxapp

1 ★ソースコード
2 メモ
3 index.php
4 ajax1.php

★ソースコード

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>Document</title>
</head>
<body>
<?php

ini_set('display_errors',1);

require("phpQuery-onefile.php");

$html1 = file_get_contents("https://gammasoft.jp/blog/how-to-download-web-page-created-javascript/");
  
$html2 = file_get_contents("https://gammasoft.jp/blog/how-to-download-web-page-created-javascript/");

if($html1 === $html2){
  echo("ソースは一致しています");
}else{
  echo("ソースは一致していません");
}
  
?>  
</body>
</html>

<!DOCTYPE html>

<head>

<title>Document</title>

</head>

<body>

<?php

ini_set('display_errors',1);

require("phpQuery-onefile.php");

$html1 = file_get_contents("https://gammasoft.jp/blog/how-to-download-web-page-created-javascript/");

$html2 = file_get_contents("https://gammasoft.jp/blog/how-to-download-web-page-created-javascript/");

if($html1 === $html2){

echo("ソースは一致しています");

}else{

echo("ソースは一致していません");

}

</body>

</html>

メモ

URLによっては、一致するものとしないものがある。
広告によってソースの中身が毎回違ってくる？

以下が１つの回答か？

スクレイピング対象のページの HTML に最初から欲しい情報があるとは限りません。ブラウザでページをロードした後、 JavaScript によって後から情報がダウンロードされる仕組みをもつサイトも数多く存在します。また、ボタンクリックなどのアクションを起こさないと情報が取り出せないこともあるでしょう。

Qiita

PHPでもスクレイピングがしたい - Qiita

https://qiita.com/KNJ/items/0a75d78ba17eb2bbbfee

「スクレイピング入門」でググるとやたら Python が勧められますが、それは情報と優秀なライブラリが充実しているためであって Python じゃないとスクレイピングできないわけではありません。昨今の Web 事情から、スクレイピン...

ajaxとPHPのコードは以下も参照
http://vbnettips.blog.shinobi.jp/javascript/javascript%20jquery%E3%81%A7ajax%E3%82%92%E4%BD%BF%E3%81%84p

index.php

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>test ajax</title>
  <script src="https://code.jquery.com/jquery-3.2.1.min.js"></script>
  
  <script>
    //Ajax関数
    function getData(){
      $.ajax({
        type: "POST",
        url: "ajax1.php",
        data: {id: $('#id').val()}
      }).done(function(res){
        // ajaxがOK
        $('#msg').text(JSON.parse(res));
      }).fail(function(){
        //取得エラー
        alert('取得エラー');
      }).always(function(){
        //後処理（処理することがあれば）
      });
      return false;
    }
  </script>
  
</head>
<body>
  <h2>test ajax json</h2>
  ID：<input type="text" id="id" size="10" maxlength="10"><br>
  <p id="msg">テストメッセージ</p>
  <button onclick="getData();">Ajax</button>
</body>
</html>

<!DOCTYPE html>

<head>

//Ajax関数

function getData(){

$.ajax({

type: "POST",

url: "ajax1.php",

data: {id: $('#id').val()}

}).done(function(res){

// ajaxがOK

$('#msg').text(JSON.parse(res));

}).fail(function(){

//取得エラー

alert('取得エラー');

}).always(function(){

//後処理（処理することがあれば）

});

return false;

}

</script>

</head>

<body>

ID：<input type="text" id="id" size="10" maxlength="10"><br>

<p id="msg">テストメッセージ</p>

</body>

</html>

ajax1.php

<?php
//処理モードの取得
$id= -1;

if(isset($_POST["id"]) == true && $_POST["id"] != ""){
  $id = intval($_POST["id"]);
}

$arrData = array(
  0 => "@@@@@",
  1 => "AAAAA",
  2 => "BBB",
  3 => "CCCCCCC"
);

$strRet = "";

if(0 <= $id && $id <= 3){
  $strRet = $arrData[$id];
}

echo (json_encode($strRet));

?>

<?php

//処理モードの取得

$id= -1;

if(isset($_POST["id"]) == true && $_POST["id"] != ""){

$id = intval($_POST["id"]);

}

$arrData = array(

0 => "@@@@@",

1 => "AAAAA",

2 => "BBB",

3 => "CCCCCCC"

);

$strRet = "";

if(0 <= $id && $id <= 3){

$strRet = $arrData[$id];

}

echo (json_encode($strRet));

peeks-blog

基本、自分のために書いてるブログ。日々でそっとのぞいた、ちらっと見た物事の中から、自分が「これは！」と思った物事を備忘録としてまとめました。