システム開発 6 5月 2019 マルチプロセスプログラミング Child_Process.exec() スクレイピングツールを高速化するため、マルチプロセスプログラミングが可能な Child_Process モジュールの勉強中。 Child_Process は子プロセスを作成するメソッドが幾つかあり、今回は exec() について。exec() は子プロセスを… 続きを読む
システム開発 28 4月 2019 データを抽出してみよう（kinenote編その３） 前回までの話 前回のテスト実行で直列実行するよりPromise#all()を使用した並行実行処理の方が処理も早く、サーバにも負荷を掛けずに実行できるので並行実行処理が適切だと分かりました。しかし、並行実行が早くても1000件実行するのに30分程かかり、もう少し時間短縮出来ればと思い調査していました。… 続きを読む
システム開発 15 4月 2019 データ抽出してみよう（kinenote編その２） 目次 前回までの話データ再検証Node.jsの並行処理並行実行プロセス数を調節してみるスピードアップするため、その他の可能性を探る 前回までの話 映画レビューWebサービスのkinenoteのデータを当方で開発したスクレイピングツールを使って実際にデータ抽出してみました。ツールで真っ正直に直列処理す… 続きを読む
システム開発 7 4月 2019 データ抽出してみよう（kinenote編） 目次 概要データ取得方針取得項目保存形式実行方法ログ集計コマンド実行時間計測結果（1000件）全件集計に向けて 概要 開発したスクレイピングツールで色々なサイトのデータを抽出を実際に行い、ツールの精度を高めていこうかと思います。実際に使ってみないと色々な状況に適したものは作れないので。また、抽出する… 続きを読む
システム開発 27 3月 2019 Excel管理業務をkintoneに移行する 目次 kintoneとは？Excel管理業務の整理kintoneへの移行作業kintoneで集計・分析 kintoneとは？ Cybozu製のビジネスアプリ作成クラウドサービスです。こちらの記事が纏まってて分かりやすいかもしれません。 https://kintoneapp.com/blog/what… 続きを読む
システム開発 24 3月 2019 paizaでスキルチェック（D096） D096:含んではいけない文字 人のコードを見るのは凄い勉強になるんですよね。誰かの役に立てれば良いのかなと思い記事にしています。 しかし、回答コードを晒すのは宜しくないようなので。。。前回は回答コードを全て載せてしまいましたが 、今回は一部のみにしておきます。 coconst InputObj =… 続きを読む
システム開発 17 3月 2019 paizaでスキルチェック（node.js編） 目次 paizaとは？スキルチェック前の準備Dランクで肩慣らし paizaとは？ paizaはシステムエンジニア向けの転職サービスとコーディング学習サービスを提供しているサイトです。コーディングで解くクイズ（スキルチェック）が面白くて、以前こちらのサイトを利用していました。その時はJavaでやってた… 続きを読む
システム開発 5 3月 2019 Node.js用WEBスクレイピングモジュール cheerio-httpcli スクレイピングツールを作ってる所ですが、HTTPクライアントとして現在使用しているモジュールがこれ。 使い方はネットで検索すれば色々出てくるのですが、たまたまインストールディレクトリ見てたらREADMEファイルがすごくしっかり書かれてたのでびっくり。（当たり前？）そし… 続きを読む
システム開発 2 3月 2019 スクレイピングツール開発（2） ツール雛形 まずはツールの雛形になるものをNode.jsで少し書いてみようと先月作りました。これは某サイトの管理情報をID指定で指定秒数間隔で取得・スクレイピングして、ローカルのMongoDBに保存するものです。Node.jsはわりと最近書き出したのですが、未だにコールバックやPromiseの書き方… 続きを読む
システム開発 27 2月 2019 スクレイピングツール開発 今日やった事をもっと気軽に書き溜めて行こう。書き方を悩んで書かずにいるよりとりあえず書いてみよう。 と、いう事で。現在、作ろうとしてるスクレイピングツールの設計資料。とりあえず機能一覧と目標設定を記載してみました。何だか良く分かんないかもしれません。と、いうか自分でも整理できてないので追々整理してい… 続きを読む
