サービス内容

科学技術サービス

ビックデータ処理・解析

検討内容・解析例

クラウドサービスを利用した大規模並列計算環境の構築

PDF

適用分野および特徴
  • 既存のクラウドサービスを利用した大規模並列計算環境の構築
  • スーパーコンピュータやクラスターコンピュータ向けに開発された並列計算ソフトに対して対応可能
  • 高並列計算用に開発されたソフトの一般化への展開
詳細
■ＯＳ
○ Linux

■開発言語
○ Python

■API／構築ツール／構成管理ツール
○ MPI、OpenMP
○ Google Cloud SDK
○ AWS SDK

■ 知識・技術トピック
○ 並列計算機の運用管理が不要
○ クラスタ環境全体のバックアップ・リストア・移動・配布に対応
○ スーパーコンピュータのアカウントなしに大規模解析、数値シミュレーションソフトの実行が可能

分散処理環境基盤の構築と利用

PDF

適用分野および特徴
  • 様々なビッグデータの処理を、安価なサーバ群で構成された分散処理環境において実行
  • スケールアウトでペタバイトクラスの大規模なデータ処理における高速化を実現
  • 生データのクレンジング、正規化、データの分析処理、データの可視化や統計まで、データの特性や分析手法、統計方法に合わせた分散処理アプリケーションの開発
詳細
■ＯＳ
○ Linux

■開発言語
○ Java
○ Python
○ R

■ 分散環境ツール
○ Hadoop
○ Spark
○ 他各種分散処理ツール・データ管理ツール

■ 知識・技術トピック
○ 分散処理環境の構築・運用
○ Map & Reduce処理フレームワーク
○ 分散処理用の様々な分析ツールやデータ管理ツール、検索ツール等
○ 多種多様なビッグデータの特性とその利用手法、分析手法、統計手法

交通系ビッグデータ処理・分析

PDF

適用分野および特徴
  • 交通系ビッグデータに基づいた物資流動分析
  • GISと連携したデータ分析
  • BIツールを用いたデータ分析
  • 大規模データに対する高速なデータ処理
詳細
■ＯＳ
○ Windows

■開発言語
○ Java

■ ＤＢ／開発ツール
○ PostgreSQL
○ Post GIS
○ Web GIS

■ 知識・技術トピック
○ 並列分散処理
○ GIS連携
○ BI・統計解析ツール

非線形時系列データ解析

PDF

適用分野および特徴
  • 高次元へのデータ埋め込みにより、時系列データに潜むアトラクタ構造の有無を検証
  • 複数の手法により、データの適切な埋め込み次元と時間遅れを推定
  • 異なる時系列データ間の非線形相関を検定
詳細
■ＯＳ
○ Windows、Linux

■開発言語
○ C++
〇 Python
〇 MATLAB

■ 開発ツール
○ Visual Studio
○ MATLAB

■ 知識・技術トピック
○ 非線形時系列データのアトラクタ構造推定
○ 埋め込み時系列データの可視化
○ 時系列データの非線形性に関する各種統計量の計算

PAGETOP