NK University

ユーザ用ツール

サイト用ツール

トレース:
nodejs:scraping

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン		前のリビジョン
nodejs:scraping [2023/12/12 09:26] – mikotonodejs:scraping [2023/12/18 20:48] (現在) – mikoto
行 14: 行 14:
 const axios = require('axios'); const axios = require('axios');
 const cheerio = require('cheerio'); const cheerio = require('cheerio');
- 
-// スクレイピング対象のURL 
-const url = 'https://announce.wowma.jp/'; 
  
 // Slack Incoming WebhooksのURLを設定 // Slack Incoming WebhooksのURLを設定
行 73: 行 70:
 </code> </code>
  
 +==== 進行中のコード ====
 <code javascript> <code javascript>
 // index.js // index.js
行 87: 行 85:
  
 const urls = [ const urls = [
-'https://www.amazon.co.jp/dp/B0B3LQH6CR', +// URLs
-'https://www.amazon.co.jp/dp/B08BPRKJ6Q?th=1', +
-'https://www.amazon.co.jp/dp/B003Y8YUVK?th=1', +
-'https://www.amazon.co.jp/dp/B01N631MK8',+
 ]; ];
  
行 107: 行 102:
 // Axios header // Axios header
 const headers = { const headers = {
-  //'Accept-Language': 'en-US;q=0.9,en;q=0.8'+  //'Accept-Language': 'en-US;q=0.9,en;q=0.8', 
 +  'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
 } }
  
行 113: 行 109:
 async function fetchData() { async function fetchData() {
   for (const url of urls) {   for (const url of urls) {
 +    let price = '';
 +    let stock = '';
     try {     try {
-      const response = await axios.get(url, { headers });+      const response = await axios.get(url, { headers, timeout: 20000 });
  
       const $ = cheerio.load(response.data);       const $ = cheerio.load(response.data);
  
-      const price = $('#centerCol').find('#corePriceDisplay_desktop_feature_div').find('span.a-price-whole').html().trim(); +      if (url.includes('www.amazon.co.jp')) { 
-      let stock = '';  // stockの変数を宣言+        const priceElement = $('#centerCol').find('#corePriceDisplay_desktop_feature_div').find('span.a-price-whole'); 
 +        if (priceElement.length > 0) { 
 +          price = priceElement.html().trim(); 
 +        } else { 
 +          price = ''; 
 +        } 
 +        const stockInputElement = $('div.a-button-stack').find('input'); 
 +        if (stockInputElement.length > 0 ) { 
 +          // Value属性の値を取得 
 +          const valueAttribute = stockInputElement.attr('value'); 
 +          if (valueAttribute === 'カートに入れる') { 
 +            stock = 'あり'; 
 +          } else { 
 +            stock = 'なし'; 
 +          } 
 +        } else { 
 +          stock = 'なし'; 
 +        } 
 +      } else if (url.includes('shopdisney.disney.co.jp')) { 
 +              // 価格を取得 
 +        price = $('body > div.page > main > div:nth-child(9) > div.product-detail.product-detail__section-bound.product-wrapper.rating--unavailable > div.product-detail__inner-container > div:nth-child(1)') 
 +        .find('div.price').find('span.value').attr('content');
  
-      const stockInputElement = $('div.a-button-stack').find('input'); +        // 在庫状況を確認 
-      if (stockInputElement.length > 0 ) { +        const addToCartBtn = $('body > div.page > main > div:nth-child(9) > div.product-detail.product-detail__section-bound.product-wrapper.rating--unavailable > div.product-detail__inner-container > div.col-12.col-sm-12.col-md-6.col-lg-4.col-xl-3.product-detail__content-summary.product-detail__content-summary--details.product-detail__content-summary--name > div > div.col-12.prices-add-to-cart-actions > div > div:nth-child(1) > button') 
-        // Value属性の値を取得 +        .find('span.btn').children('span').text().trim(); 
-        const valueAttribute = stockInputElement.attr('value'); +        if (addToCartBtn === 'カートに入れる') { 
-        if (valueAttribute === 'カートに入れる') { +          stock = 'あり'; 
-          stock = '1';+        } else { 
 +          stock = 'なし';
         }         }
 +      } else if (url.includes('item.rakuten.co.jp')) {
 +        price = $('#rakutenLimitedId_cart').find('#priceCalculationConfig').attr('data-price');
 +
 +        const addToCartBtn = $('#AddToCartPurchaseButtonFixed').find('button[aria-label="カートに追加"]');
 +        const isDisabled = addToCartBtn.prop('disabled') !== undefined || addToCartBtn.attr('disabled') !== undefined;
 +        if (isDisabled) {
 +          stock = 'なし';
 +        } else {
 +          stock = 'あり';
 +        }  
 +      } else if (url.includes('www.suruga-ya.jp/product/detail')){
 +        const priceGroupEl = $('body > div.dialog-off-canvas-main-canvas > div.container_suru.padB40 > div:nth-child(9) > div.col-8.padL32 > div.d-flex.justify-content-start > div.w-70.pr-5 > div.price_group.mb-3');
 +        const priceWithoutCamma = priceGroupEl.find('span.text-price-detail.price-buy').text().replace(/,/g, '');
 +        price = parseInt(priceWithoutCamma, 10);
 +        stock = 'あり'
       }       }
 +      else if (url.includes('ec.treasure-f.com/item')) {
 +        const itemElRight = $('body > main > div.main > div.clearfix > div.item-detail-area-right');
 +        const itempriceArea = itemElRight.find('.item-detail-area-right-price');
 +        const priceCurrency = itempriceArea.children('p').find('.disp-tax-in').text().replace(/[^\d]/g, '');
 +        price = parseInt(priceCurrency, 10);
 +        console.log(price);
 +
 +        const addToCartBtnEl = itemElRight.find('#item-submitform').find('#item-cartbutton');
 +        if (addToCartBtnEl.length > 0) {
 +          stock = 'あり';
 +        } else {
 +          stock = 'なし';
 +        }
 +      } else if (url.includes('item.fril.jp')) {
 +        const price = $('body > div.drawer-overlay > div.container.new-rakuma > div > div.col-lg-12.col-md-12.col-sm-12.col-xs-12 > div.row > div > article > div > div.col-lg-5.col-md-5.col-sm-12.col-xs-12.right-section > section > div.item-info__header > div:nth-child(2) > div > p > span.item__price')
 +          .text().replace(/[^\d]/g, '');
 +
 +        const sellBtnEl = $('body > div.drawer-overlay > div.container.new-rakuma > div > div.col-lg-12.col-md-12.col-sm-12.col-xs-12 > div.row > div > article > div > div.col-lg-5.col-md-5.col-sm-12.col-xs-12.right-section > section > div:nth-child(4) > div > div.btn-buy-fixed.clearfix > p.sell-btn-fixed');
 +        if (sellBtnEl.length > 0) {
 +          stock = 'あり';
 +        } else {
 +          stock = 'なし';
 +        }
 +      } else {
 +        price = '';
 +        stock = '';
 +      }
 +      
       data.push({ url, price, stock });       data.push({ url, price, stock });
       console.log(data);       console.log(data);
行 134: 行 197:
     } catch (error) {     } catch (error) {
       console.error('エラー:', error);       console.error('エラー:', error);
 +      data.push({ url, price, stock });
     }     }
   }   }
 +  
  // 全ての非同期処理が完了した後にCSVに書き込み  // 全ての非同期処理が完了した後にCSVに書き込み
   await csvWriter.writeRecords(data);   await csvWriter.writeRecords(data);
nodejs/scraping.1702340777.txt.gz · 最終更新: 2023/12/12 09:26 by mikoto