データを抽出してみよう(kinenote編その3) システム開発

データを抽出してみよう(kinenote編その3)

前回までの話 前回のテスト実行で直列実行するよりPromise#all()を使用した並行実行処理の方が処理も早く、サーバにも負荷を掛けずに実行できるので並行実行処理が適切だと分かりました。しかし、並行実行が早くても1000件実行するのに30分程かかり、もう少し時間短縮出来ればと思い調査していました。…
おつまみナイト 日々

おつまみナイト

お酒飲む日はおつまみを2、3品作ってご飯を食べないパターンがわりとあります。この日はロゼを飲みつつ以下のおつまみセットです。 豚バラの角煮、マッシュポテト、ブッファーラとサラダ。奥は春菊のガーリックソテーかな。角煮は奥さんの得意技です。普段は炊飯器で通常の角煮を作りますが、この日はワイン用にバルサミ…
データ抽出してみよう(kinenote編その2) システム開発

データ抽出してみよう(kinenote編その2)

目次 前回までの話データ再検証Node.jsの並行処理並行実行プロセス数を調節してみるスピードアップするため、その他の可能性を探る 前回までの話 映画レビューWebサービスのkinenoteのデータを当方で開発したスクレイピングツールを使って実際にデータ抽出してみました。ツールで真っ正直に直列処理す…
金曜日の夜はお酒とともに 日々

金曜日の夜はお酒とともに

ハイボールとラムチョップ 今夜はお酒に合う料理を何品か。我が家はラム肉好きなので 、いつも冷凍庫にストックしてあります。お酒はたしなむ程度。週2、3回位? ラムチョップグリル3本は燻製にしたものを焼き、2本はグリルのみ ブッファーラとアボカドのグリーンサラダドレッシングは自家製です ウイスキー水割り…
いつかのご飯 日々

いつかのご飯

遅めの朝ごはん 朝食3点盛りって感じです。塩鮭、出し巻き玉子、なすの生姜焼き。出し巻きと言いつつ、巻かずに2つ折りしただけのやーつ。いつもは3つ折りですが、今回のは更に簡略化バージョンです。(コスト削減)なすの生姜焼きは奥さん作。うまし!野菜、玉子、魚と、バランスの良い感じ。ごちそう様でした!…
データ抽出してみよう(kinenote編) システム開発

データ抽出してみよう(kinenote編)

目次 概要データ取得方針取得項目保存形式実行方法ログ集計コマンド実行時間計測結果(1000件)全件集計に向けて 概要 開発したスクレイピングツールで色々なサイトのデータを抽出を実際に行い、ツールの精度を高めていこうかと思います。実際に使ってみないと色々な状況に適したものは作れないので。また、抽出する…
桜のある穏やかな午後 日々

桜のある穏やかな午後

お花見散歩 午前中曇ってたけど、午後は太陽が出て来たので花見に出かけました。 近所の桜並木 自宅の前に桜並木があり、いい感じに咲いていました。この季節になると、ここを通るのが楽しみなんですよね。ここに移ってきて正解だったと思います。 公園までの遊歩道にて 公園にて腹ごしらえして帰宅 近所の公園はお花…
BABYMETALについて 音楽

BABYMETALについて

目次 BABYMETALとは?偉業の数々夢のような出来事 BABYMETALとは? View this post on Instagram BABYMETALさん(@babymetal_official)がシェアした投稿 - 2016年 4月月2日午後4時33分PDT BABYMETALとは、フロン…
Excel管理業務をkintoneに移行する システム開発

Excel管理業務をkintoneに移行する

目次 kintoneとは?Excel管理業務の整理kintoneへの移行作業kintoneで集計・分析 kintoneとは? Cybozu製のビジネスアプリ作成クラウドサービスです。こちらの記事が纏まってて分かりやすいかもしれません。 https://kintoneapp.com/blog/what…