kinenote

データ抽出してみよう(kinenote編その2) システム開発

データ抽出してみよう(kinenote編その2)

目次 前回までの話データ再検証Node.jsの並行処理並行実行プロセス数を調節してみるスピードアップするため、その他の可能性を探る 前回までの話 映画レビューWebサービスのkinenoteのデータを当方で開発したスクレイピングツールを使って実際にデータ抽出してみました。ツールで真っ正直に直列処理す…
データ抽出してみよう(kinenote編) システム開発

データ抽出してみよう(kinenote編)

目次 概要データ取得方針取得項目保存形式実行方法ログ集計コマンド実行時間計測結果(1000件)全件集計に向けて 概要 開発したスクレイピングツールで色々なサイトのデータを抽出を実際に行い、ツールの精度を高めていこうかと思います。実際に使ってみないと色々な状況に適したものは作れないので。また、抽出する…