SNSデータ収集・解析システム開発

大量の文字データの解析、機械学習のパラメータチューニングに対応しました。

各SNSサービスから1分あたり1000万件以上の記事やコメントといった文字データをクローラに取得させ、蓄積した文字データを解析するシステム。
大量の文字データを機械学習によって解析し、WEBアプリケーションから解析結果を参照。R&Dプロジェクトでスピードが求められる中、大量データを処理できるシステム基盤を構築し、構築後も機械学習のパラメータチューニング、追加機能改修に対応した。

  • 開発規模:8人月
  • 開発期間:4ヶ月間(チューニング・追加機能改修 8ヶ月)
  • 対応範囲:データ解析、チューニング、追加機能改修
  • ポイント:大量データ処理のシステム基盤の構築、機械学習のパラメータチューニングに対応

AWS アーキテクチャ図

SNSデータ収集・解析システム開発についてのAWSアーキテクチャ図です