elasticsearch 在學校的應用

國立虎尾科技大學 江季翰

2

Voluptatem Voluptatem Voluptatem

ES 在學校的應用

學習、培訓和技術能力的提升 3

• 資料收集和日誌集中

• non-SQL 資料庫學習

• realtime dashboard 分析

大數據分析的基礎課程 4

• 日誌採集解析部件： Logstash

• 基於Lucene的全文搜索引擎：Elasticsearch

• 分析視覺化平台：Kibana

日誌的收集和解析工具 5

• 文本日誌／網路協議的收集

• 結構化/非結構化資料的解析

• 多種的輸入輸出插件和過濾語法

elasticsearch 基本功能特點 6

Kibana 分析儀表板 7

elasticsearch 資料流 8

日誌源 集中解析

APP日誌

設備日誌

資料可視化 全文檢索

非結構化日誌

Elasticsearch 搜索引擎

資料分析展示方法的升級 9

•從EXCEL 到 Kibana, 提升分析效率

•日誌從幾10萬行到幾千萬行在ES 分析

•可以做realtime展示和即時報表

EXCEL 報表 ES 資料即時檢索分析

Formosa雲端租屋生活網 - http://house.nfu.edu.tw/

• 利用ES 做雲端租屋生活網的大數據分析

Apache web 租屋網的運行的大數據分析 24小時內

login 人數 日誌筆數 狀態404數量 狀態500數量

城市統計 使用統計

用戶使用軌跡列表

訪問IP 的統計分析

Apache web 租屋網上線人數總數

查看何時是用戶登陸高峰

訪問類別分析

• GET 是正常的訪問行為 • HEAD/OPTION/POST/CONNECT/PUT 是不正常(特殊)的訪問

登入主機失敗分析報表

使用 root 帳號 登入失敗的次數

使用存在帳號 登入失敗的次數

使用 SSH login 失敗 的次數

登入失敗次數的 軌跡列表

使用不存在帳號 登入失敗的次數

登入失敗次數的 時間列表

防火牆Netflow 協議網路流量分析 16

總流量 流量最大的Top10 IP 流量最大的Top10 USER

網路流量分析圖

來源IP／目標IP 流量對比圖

不同網路區域的流量分析

網路爬文和輿情分析 17

每日從社群軟體Facebook, tweets, blog 等收集從數百萬筆評論資料， 保存到 Elasticsearch,進行查詢和大數據分析

elasticsearch 結合大數據分析 18

• 日誌採集解析工具Logstash

• 基於Lucene的全文搜索引擎Elasticsearch

• 分析視覺化平台Kibana

Machine Leaning 應用學習 19

• 整合Spark ML 和elasticsearch

• 使用ES 進行大量資料的收集

• 通過Spark 系統做資料處理，建模等

IoT 工業4.0 日誌收集和分析 20

• 資料收集

• 資料分析

• 利用ES 收集/分析／展示IoT Gateway 上的所有sensor 的所有log