Node.js

文章校正ツール | textlint システム開発

文章校正ツール | textlint

文章を書く機会は色々あります。ブログもそうだし、開発時に作成するもろもろの資料や設計書の類など、色々あります。人眼につくような文章であれば、それなりに体裁の整った文章を書きたいですね。 WordやExcelにも文章校正機能はありますが、コマンドラインで使える「textlint」というツールを見つけて…
プログラムで家系図を出力する | kingraph システム開発

プログラムで家系図を出力する | kingraph

「もしもの時に使えるサービス」で家系図作成機能を考えてます。うまくプログラムで出力できないかと探してたら、うってつけのものが有りました。 kingraph とは? JavaScriptとGraphvizを使って家系図を作成するNode.jsパッケージです。 リポジトリはこちら。 インストール コンソ…
「もしもの時に使えるサービス」開発 システム開発

「もしもの時に使えるサービス」開発

概要 最近、Google Cloud Platformをいじりながら、以前考えてたWebサービスをどうにか出来ないか考えてました。ユーザー管理や権限周りを自前で作るのも大変なので、どうにか楽できないかと思っていたら、GCPのCloud IAMというやつを使って、ユーザー管理できそうなので、ちょっとず…
マルチプロセスプログラミング システム開発

マルチプロセスプログラミング

Child_Process.exec() スクレイピングツールを高速化するため、マルチプロセスプログラミングが可能な Child_Process モジュールの勉強中。 Child_Process は子プロセスを作成するメソッドが幾つかあり、今回は exec() について。exec() は子プロセスを…
データを抽出してみよう(kinenote編その3) システム開発

データを抽出してみよう(kinenote編その3)

前回までの話 前回のテスト実行で直列実行するよりPromise#all()を使用した並行実行処理の方が処理も早く、サーバにも負荷を掛けずに実行できるので並行実行処理が適切だと分かりました。しかし、並行実行が早くても1000件実行するのに30分程かかり、もう少し時間短縮出来ればと思い調査していました。…
データ抽出してみよう(kinenote編その2) システム開発

データ抽出してみよう(kinenote編その2)

目次 前回までの話データ再検証Node.jsの並行処理並行実行プロセス数を調節してみるスピードアップするため、その他の可能性を探る 前回までの話 映画レビューWebサービスのkinenoteのデータを当方で開発したスクレイピングツールを使って実際にデータ抽出してみました。ツールで真っ正直に直列処理す…
データ抽出してみよう(kinenote編) システム開発

データ抽出してみよう(kinenote編)

目次 概要データ取得方針取得項目保存形式実行方法ログ集計コマンド実行時間計測結果(1000件)全件集計に向けて 概要 開発したスクレイピングツールで色々なサイトのデータを抽出を実際に行い、ツールの精度を高めていこうかと思います。実際に使ってみないと色々な状況に適したものは作れないので。また、抽出する…
paizaでスキルチェック(D096) システム開発

paizaでスキルチェック(D096)

D096:含んではいけない文字 人のコードを見るのは凄い勉強になるんですよね。誰かの役に立てれば良いのかなと思い記事にしています。 しかし、回答コードを晒すのは宜しくないようなので。。。前回は回答コードを全て載せてしまいましたが 、今回は一部のみにしておきます。 coconst InputObj =…
ツール開発のご案内 お知らせ

ツール開発のご案内

Webページ情報抽出・スクレイピングツール開発について 「Webページから一括で情報抽出したい。抽出データを日々の業務に役立てたい。」よくあるご要望です。先月から作っていたツールが一先ず出来上がったのでお知らせします。興味があれば下記のページからお問い合わせ可能です。皆様のお役に立てればと思います。…