スクレイピングツール

データを抽出してみよう(kinenote編その3) システム開発

データを抽出してみよう(kinenote編その3)

前回までの話 前回のテスト実行で直列実行するよりPromise#all()を使用した並行実行処理の方が処理も早く、サーバにも負荷を掛けずに実行できるので並行実行処理が適切だと分かりました。しかし、並行実行が早くても1000件実行するのに30分程かかり、もう少し時間短縮出来ればと思い調査していました。…
データ抽出してみよう(kinenote編その2) システム開発

データ抽出してみよう(kinenote編その2)

目次 前回までの話データ再検証Node.jsの並行処理並行実行プロセス数を調節してみるスピードアップするため、その他の可能性を探る 前回までの話 映画レビューWebサービスのkinenoteのデータを当方で開発したスクレイピングツールを使って実際にデータ抽出してみました。ツールで真っ正直に直列処理す…
データ抽出してみよう(kinenote編) システム開発

データ抽出してみよう(kinenote編)

目次 概要データ取得方針取得項目保存形式実行方法ログ集計コマンド実行時間計測結果(1000件)全件集計に向けて 概要 開発したスクレイピングツールで色々なサイトのデータを抽出を実際に行い、ツールの精度を高めていこうかと思います。実際に使ってみないと色々な状況に適したものは作れないので。また、抽出する…
ツール開発のご案内 お知らせ

ツール開発のご案内

Webページ情報抽出・スクレイピングツール開発について 「Webページから一括で情報抽出したい。抽出データを日々の業務に役立てたい。」よくあるご要望です。先月から作っていたツールが一先ず出来上がったのでお知らせします。興味があれば下記のページからお問い合わせ可能です。皆様のお役に立てればと思います。…