膨大なデータの処理

  • SmartBee

最終更新⽇:

掲載⽇:

SmartBeeは報告を伴う作業の効率化を実現するツールになりますが、長い期間使っていくと大量のデータが蓄積されます。

データベースに蓄積された情報は何もしなければ只の断面的なデータですが、俯瞰し、連続で見ることで傾向や統計的な値を見つけることができます。

お客様からもSmartBeeで集計できますかといったお問い合わせが少なくなく、実現に向け検討を続けています。

今回のお話はそんな検討の中で見つけたライブラリに関する内容となります。

# Pandasとは?

pandas は python でデータ処理を行う時に、大変優れた機能を提供してくれるライブラリです。
csv の読み込みはもちろん、DBからの読み込みも可能ですし、
メソッド一つで統計量の計算、結合処理までやってくれるスグレモノなんです。
ですがこれ、pythonでしか使えないんです。
しかし!!それを解決してくれる素晴らしいライブラリがありました!!

# その名はDanfo

それがこのDanfo.jsです。
https://danfo.jsdata.org/

Danfo.jsはオープンソースライブラリで、pandas ライブラリに大きく影響を受けている、
と書かれています。
つまり、Node.jsでpandasのノウハウを使えるということです。これは素晴らしい。

# 使い方

Nodeでのインストールは以下
```
npm install danfojs-node
```
特に難しいこともなくインストール可能です。

使用方法は、
https://danfo.jsdata.org/getting-started
に詳しく書いてあります。

#最後に

すべてのツールを一元化するのも良いですが、必要なものを必要な時に作成し、既存ツールとくっつけることを頭の片隅に置いておき、手札の一枚として持っておくことで視野が大きく広がります。

特に分析ツールなど他の業務でも使えそうなものは別で持っておいたほうが便利な時が多くあります。
今回の記事が作成の手助けとなれば幸いです。

それではよき統計ライフを!