腾讯云云搜索通过kibana构建可视化分析系统

通过kibana构建可视化分析系统

Kibana是一个开源的数据分析和可视化的平台,用户可以使用Kibana查询和分析存储在云搜索Elastisearch中的数据。

存储数据定义索引mapping

进入ES控制台,在腾讯云列表页单击kibana,跳转到kibanaweb页面,点击左侧导航栏的DevTools进入页面可进行数据的存储。索引名称blog_index,类型名称为user,字段title和name的类型均为text,字段age的类型为integer。然后就可以通过Management-IndexPatterns添加indexpattern。

PUTblog_index{"mappings":{"user":{"properties":{"title":{"type":"text"},"name":{"type":"text"},"age":{"type":"integer"}}}}}
#添加索引文档PUTblog_index/user{"title":"manager","name":"TomJerry","age":34}

定义索引模式

单击左侧导航栏的Management,选择IndexPatterns,在该页面中可以定义新的索引模式。

操作示例

1.为上一步骤中的样本数据集Shakespeare定义索引“shakes”,然后点击“Create”;

2.通过同样的方式可以再定义另一个索引“ba”;

3.单击“AddNew“为上一步骤中的样本数据集logstash定义索引,勾选“Useeventtimestocreateindexnames[DEPRECATED]”,“Indexpatterninterval”下拉框中选择“Daily”;

4.从下拉框“TimeFilterfieldname”选中“@timestamp”,然后点击”Create”,完成索引的定义。

检索数据

单击kibana页面左侧导航栏的“Discover”,选择对应索引查看搜索结果。也可以通过输入特定的搜索条件在搜索框中进行检索,在搜索框中可以使用运算符,=,逻辑符ANDORNOT(都是大写)来进行组合检索。

操作示例

1.选中“ba”作为检索条件;

2.在搜索框中输入“account_number:100ANDbalance:47500”进行搜索;

3.在此搜索条件将返回account_number在【0,99】之间并且balance的值大于47500的结果。

另外,还可以通过增加过滤属性作为条件筛选搜索结果。在“AvailableFieldslist”下的过滤条件中选择“Add”作为Fileds,若选择“account_number”作为Fileds时,则搜索结果中只包含account_number列。

数据可视化

单击kibana页面左侧导航栏的“Visualize”,进行数据的可视化。

操作示例

1.单击屏幕中央的“Createavisualization”;

2.选择pie。

3.选择索引模式为“ba”,进行数据可视化。可以从已经保存的搜索结果中创建可视化,也可以重新输入新的检索规则,若要重新输入检索规则,需要指定一个索引模式;

4.默认搜索匹配所有文档。

5.定义bucket。在样本数据集account.json中,每一个account都包含balance,通过建立一个bucket,可以定义balance的ranges,并且可以查看到有多少account在每个rangs中。

a)点击“SplitSlices”buckettype

b)在“Aggregation”的下拉框中选择“Range”

c)在“Field”下拉框中选择“balance”

d)4次点击“AddRange“,总rangs为6个

e)定义以下的ranges:

0999

10002999

30006999

700014999

1500030999

3100050000

于是可以看到account在每个balancerange的比例。6.定义子bucket:使用account的holder’sage作为度量单位,通过添加另一个bucket,可以看到在每一个balancerange中accountholder的age。

a)点击“Addsub-buckets”buckettype

b)点击“SplitSlices”buckettype

c)在“subAggregation”的下拉框中选择“Terms”

d)在“Field”下拉框中选择“age”

e)点击“Applychanges”

现在可以看到accountholder的age环绕在balancerange中。

7.点击“Save“,输入”PieExample“进行保存。

也可以根据你的需要创建其他类型的可视化,如CoordinateMap,Markdown,VerticalBar。

结合仪表盘

点击kibana页面左侧导航栏的“Dashboard”,点击“Add”展示所有已保存的可视化图表,然后分别点击已经保存的可视化数据,然后点击小的向上箭头来合并可视化list然后可以进行保存和生成链接share。