システム開発 15 4月 2019 データ抽出してみよう（kinenote編その２） 目次 前回までの話データ再検証Node.jsの並行処理並行実行プロセス数を調節してみるスピードアップするため、その他の可能性を探る 前回までの話 映画レビューWebサービスのkinenoteのデータを当方で開発したスクレイピングツールを使って実際にデータ抽出してみました。ツールで真っ正直に直列処理す… 続きを読む
システム開発 7 4月 2019 データ抽出してみよう（kinenote編） 目次 概要データ取得方針取得項目保存形式実行方法ログ集計コマンド実行時間計測結果（1000件）全件集計に向けて 概要 開発したスクレイピングツールで色々なサイトのデータを抽出を実際に行い、ツールの精度を高めていこうかと思います。実際に使ってみないと色々な状況に適したものは作れないので。また、抽出する… 続きを読む
システム開発 27 3月 2019 Excel管理業務をkintoneに移行する 目次 kintoneとは？Excel管理業務の整理kintoneへの移行作業kintoneで集計・分析 kintoneとは？ Cybozu製のビジネスアプリ作成クラウドサービスです。こちらの記事が纏まってて分かりやすいかもしれません。 https://kintoneapp.com/blog/what… 続きを読む
システム開発 24 3月 2019 paizaでスキルチェック（D096） D096:含んではいけない文字 人のコードを見るのは凄い勉強になるんですよね。誰かの役に立てれば良いのかなと思い記事にしています。 しかし、回答コードを晒すのは宜しくないようなので。。。前回は回答コードを全て載せてしまいましたが 、今回は一部のみにしておきます。 coconst InputObj =… 続きを読む
システム開発 17 3月 2019 paizaでスキルチェック（node.js編） 目次 paizaとは？スキルチェック前の準備Dランクで肩慣らし paizaとは？ paizaはシステムエンジニア向けの転職サービスとコーディング学習サービスを提供しているサイトです。コーディングで解くクイズ（スキルチェック）が面白くて、以前こちらのサイトを利用していました。その時はJavaでやってた… 続きを読む
システム開発 5 3月 2019 Node.js用WEBスクレイピングモジュール cheerio-httpcli スクレイピングツールを作ってる所ですが、HTTPクライアントとして現在使用しているモジュールがこれ。 使い方はネットで検索すれば色々出てくるのですが、たまたまインストールディレクトリ見てたらREADMEファイルがすごくしっかり書かれてたのでびっくり。（当たり前？）そし… 続きを読む
システム開発 2 3月 2019 スクレイピングツール開発（2） ツール雛形 まずはツールの雛形になるものをNode.jsで少し書いてみようと先月作りました。これは某サイトの管理情報をID指定で指定秒数間隔で取得・スクレイピングして、ローカルのMongoDBに保存するものです。Node.jsはわりと最近書き出したのですが、未だにコールバックやPromiseの書き方… 続きを読む
システム開発 27 2月 2019 スクレイピングツール開発 今日やった事をもっと気軽に書き溜めて行こう。書き方を悩んで書かずにいるよりとりあえず書いてみよう。 と、いう事で。現在、作ろうとしてるスクレイピングツールの設計資料。とりあえず機能一覧と目標設定を記載してみました。何だか良く分かんないかもしれません。と、いうか自分でも整理できてないので追々整理してい… 続きを読む
システム開発 22 2月 2019 Weeblyカスタマイズ そこそこいじってると「あーしたい、こーしたい」と思って色々調べてるのですが。思ったようにできなくてもどかしいです。 とりあえずブログの更新情報Ping設定はやった方が良さそうだ。そもそも更新情報Pingって何だっけ？⇒更新情報PingについてでもWeeblyにはそんな設定見当たらない。どうしたら良い… 続きを読む
システム開発 20 2月 2019 ブログ開始 何を書いていこうか悩んでる最中ですが、まずは始める事が先決かと思いとりあえず書き始めました。システム開発の事は勿論、音楽の事や日常の事等も書いていこうかと思っています。このブログはweeblyで作っているのですが、デザイン変更の細かな調整方法がいまいち分かっておらず中途半端な部分もありますが宜しくお… 続きを読む
