ビッグデータと統計学

ビッグデータとは

『一般的なデータ管理・処理ソフトウエアで扱うことが困難なほど巨大で複雑なデータの集合を表す用語』であり、用語自体はデータマイニングで一般的に使われてきました。

2011年代に入ってある種のトレンドを示すキーワードとして、新聞・雑誌などでも広く取り上げられるようになってきた
2011年頃からビッグデータとしてバズワード化しました。
Google trendでBig data、artificial intelligenceを世界で調べた結果と、ビッグデータ、人工知能で調べたグラフを添付してあります。



統計学はビッグデータ、人工知能の活用においても密接にかかわっています。

統計学とは

特定の集団について、データを集めて、そのデータの内容についての傾向や特徴を表し、その集団の傾向・特徴を見出すために解析をする学問のことを指します。

蓄積された数字などが羅列されたデータを眺めるだけで、そのデータの傾向や特徴を探ることは簡単なことではありません。そこで、データを集め、統計学の力を借りてデータの特徴を理解したり、訴求したりするため、グラフを描いたり、平均値(average)をはじめとするなんらかの値で表します。

予測(Prediction)とは

『＊＊という条件がいくらになるとき、将来の売上高は○○円と予測できる』というように意味を持つ式(Formula)で示す必要があります。
データがあらわす傾向や特徴について、式などによって説明するもののことを統計学ではモデル(Model)と呼んでいます。また、統計学にもとづくモデルということで、統計モデル(Statistical Model)と呼ぶこともあります。

ビジネスへの適応

ビジネスに統計学を応用すると、同じデータ・分析手法を利用すれば、誰がやってもデータに潜む傾向や、特徴について、おおよそ同じ見解を見出すことができます。
商習慣、社会の業界の動向・常識や、経験、勘なども加味しながら、それぞれ補完しあって意思決定に役立てるという考え方が求められます。