Post on 15-Oct-2020
サービス指向ルータ
情報抽出とサービスへの応用
研究者名
▐ サービス指向ルータルータを通過するパケット群から必要な情報を抽出してデータベースに蓄え,共通APIにより蓄えた情報をサービスへと転換する新しいルータ
匿名化機能を有するなどプライバシーに配慮しつつ,高速なマルチTCPストリーム再構築,GZIPやCHUNKデコードにも対応
▐ サービス指向ルータのデモンストレーション
インターネットが攻撃耐性を備えて小型端末をサポート
•
インターネットがフィッシング詐欺を解決、排除
•
挙動不審ユーザを監視することで、事前にアタックを排除
•
ユーザ行動に基づくレコメンデーションで新しいサービスを提供
•
サービス授受において個人情報の詳細を消去し参入を容易化
•
SG・EV-ADなど新インフラ通信・計算のクラウド集中問題を解決
•
<8ms折り返し>1s折り返し
▐ Search
- 収集したデータ数を表示します
▐ Total Count
▐ Word Cloud
▐ Live Stream
▐ Browsing Graph
- Webタイトルの中から文字列を抽出し、頻出文字をより大きく、グラフィカルに表示します
- どのページが注目されているか、閲覧時間の検出時間をもとにリアルタイム表示します
- ある「ユーザ」が、どのようにwebを閲覧したかを注目度と共にリアルタイム表示します
- 結果の検索と順位づけを行います
▐ HTTP Access- アクセス頻度の履歴を表示します
▐ Ranking
- ランキングをリアルタイム表示します
研究者名 慶應義塾大学理工学部 西研究室
Intel DPDK
高スループット/低レイテンシのネットワークを実現する仕組み
- 処理途中状態を保存するコンテキストスイッチによる高メモリ効率TCPストリーム解析
- Intel DPDK及び正規表現処理の高速化
- Aho-Corasick法を応用したマルチストリーム,マルチコンテキスト正規表現処理
Intel NIC
Process Dispatcher
(DPDK Lib)
AC-REGEX
AC-REGEX
AC-REGEX
AC-REGEX
MySQL Database
Output File
NIC 1 NIC2
HTTP Traffic Filter and Stream Classifier
Packet capture engine
LevelDB Database
DPI Cores
Reader Core
Core 1 RTE Buffer
L7 Decoder - TCP Stream
Reconstructor
HTTP/1.1 Decoder
Database Insertion Engine
Core 2 RTE Buffer
L7 Decoder - TCP Stream
Reconstructor
HTTP/1.1 Decoder
Database Insertion Engine
String Search / Extraction Engine
String Search / Extraction Engine
DPI Core 2DPI Core 1
Timeout Manager
TCP Stream Memory Manager
Stream Reconstruction Information
*PktStream Info
*PktStream Info
*PktStream Info
TCP Timeout Manager
Timeout Manager
TCP Stream Memory Manager
Stream Reconstruction Information
*PktStream Info
*PktStream Info
*PktStream Info
TCP Timeout Manager
NIC 1
NIC 2
RX1
RX2
Hardware Queues
I/O CORE
Software RTE Queues
W1 RX
W2 RX
W3 RX
W4 RX
DPI CORE 1
DPI CORE 2
DPI CORE 3
DPI CORE 4
- マルチコアアーキテクチャのコアの利用を負荷分散
- より高いスループットを達成するため,同一ストリームを同じコアに割り当てつつ,均等に負荷分散を行う.
▐ DPDK マルチコアアーキテクチャ
▐ DPDKとは?
▐ TCP 再構築 / 正規表現 ▐ TCPストリーム解析
Relevant Info C Inter State C
C2C1 A2 B1 A1
Stream Reconstruction Information
Load Relevant Info and SEF State
Copy Intermediate State
A *A3Relevant Info A Inter State A *A1 *A2Stream Info
B Relevant Info B Inter State B *B1Stream Info
C Relevant Info C Inter State C *C1 *C2Stream Info
A3
(Function)
- インテルが提供する高速パケット処理用のライブラリとドライバ群
- 最小のCPUサイクル(通常、80サイクル以下)でパケットの送受信が可能
- 任意のインテルプロセッサで利用可能なオープンソースプロジェクト
- ストリーム再構築を避けつつ,コンテキストスイッチによるストリーム解析を行う.
- 各コアが処理スループット>10Gbpsを達成
- オンザフライのストリーム再構築(HTTP 1.1)
- チャンクデコード
- gzip デコード
- デコードステート保存
研究者名 慶應義塾大学理工学部 西研究室
匿名化
次世代ネットワークにおける匿名化を用いたデータ利活用
研究者名 慶應義塾大学理工学部 西研究室
▐ 個人情報の匿名化電子データとして,顧客情報やカルテなど企業や団体によって多くのデータが取り扱われ
ている. これらのデータは二次的な利用価値が高い.しかし,プライバシ保護の観点からデータを無加工で公開することは出来ない.情報保護の手段として匿名化によるデータ加工が求められる.
• 不可視状態でデータに情報を埋め込み識別(データの一般化による透かしこみ)
• 匿名化データに不可視的に識別情報を埋め込んだ後,配布
• 漏洩したデータから識別情報を抽出し,漏洩元を特定
▐ 電子透かしを用いた漏洩元特定
▐ データ二次利用認証方法電力データを有効活用するためのデータ管理期間の提案を行う.データ管理機関が匿名化されたデータを発行することで,データの匿名性を保証する.
:データ提供の流れ
:データ発行の流れ提供データ管理機関
データ提供者
1データの提供とルールの指定
発行機関
データ提供者
23
発行済データ管理機関
提供ルール管理機関
2
1要求ルールによるデータ要求
データの発行
提供ルール管理委託
提供ルールの取得
IPアドレス(準識別子)
192.168.*.*
192.168.10.*
192.168.10.*
192.168. 0. 3
IPアドレス(準識別子)
192.168.*.*
192.168.*.*
192.168.*.*
192.168. 0. 3
― =
一般化度合いの差
0
1
1
0
―
透かしありのデータ 透かし埋め込み前のデータ 埋め込まれた透かし
電子透かしによる識別情報の埋め込み
識 識 識
匿名化データ
データ配布の流れ
データ利用者へ配布
漏洩元特定の流れ
識
埋め込まれた識別情報の抽出
漏洩元の特定
漏洩したデータ
公開するデータ 公開せずに仲介機関が保管