腾讯云云搜索通过kibana构建可视化分析系统
通过kibana构建可视化分析系统
Kibana是一个开源的数据分析和可视化的平台,用户可以使用Kibana查询和分析存储在云搜索Elastisearch中的数据。
存储数据定义索引mapping
进入ES控制台,在腾讯云列表页单击kibana,跳转到kibanaweb页面,点击左侧导航栏的DevTools进入页面可进行数据的存储。索引名称blog_index,类型名称为user,字段title和name的类型均为text,字段age的类型为integer。然后就可以通过Management-IndexPatterns添加indexpattern。
PUTblog_index{"mappings":{"user":{"properties":{"title":{"type":"text"},"name":{"type":"text"},"age":{"type":"integer"}}}}}
#添加索引文档PUTblog_index/user{"title":"manager","name":"TomJerry","age":34}
定义索引模式
单击左侧导航栏的Management,选择IndexPatterns,在该页面中可以定义新的索引模式。
操作示例
1.为上一步骤中的样本数据集Shakespeare定义索引“shakes”,然后点击“Create”;
2.通过同样的方式可以再定义另一个索引“ba”;
3.单击“AddNew“为上一步骤中的样本数据集logstash定义索引,勾选“Useeventtimestocreateindexnames[DEPRECATED]”,“Indexpatterninterval”下拉框中选择“Daily”;
4.从下拉框“TimeFilterfieldname”选中“@timestamp”,然后点击”Create”,完成索引的定义。
检索数据
单击kibana页面左侧导航栏的“Discover”,选择对应索引查看搜索结果。也可以通过输入特定的搜索条件在搜索框中进行检索,在搜索框中可以使用运算符,=,逻辑符ANDORNOT(都是大写)来进行组合检索。
操作示例
1.选中“ba”作为检索条件;
2.在搜索框中输入“account_number:100ANDbalance:47500”进行搜索;
3.在此搜索条件将返回account_number在【0,99】之间并且balance的值大于47500的结果。
另外,还可以通过增加过滤属性作为条件筛选搜索结果。在“AvailableFieldslist”下的过滤条件中选择“Add”作为Fileds,若选择“account_number”作为Fileds时,则搜索结果中只包含account_number列。
数据可视化
单击kibana页面左侧导航栏的“Visualize”,进行数据的可视化。
操作示例
1.单击屏幕中央的“Createavisualization”;
2.选择pie。
3.选择索引模式为“ba”,进行数据可视化。可以从已经保存的搜索结果中创建可视化,也可以重新输入新的检索规则,若要重新输入检索规则,需要指定一个索引模式;
4.默认搜索匹配所有文档。
5.定义bucket。在样本数据集account.json中,每一个account都包含balance,通过建立一个bucket,可以定义balance的ranges,并且可以查看到有多少account在每个rangs中。
a)点击“SplitSlices”buckettype
b)在“Aggregation”的下拉框中选择“Range”
c)在“Field”下拉框中选择“balance”
d)4次点击“AddRange“,总rangs为6个
e)定义以下的ranges:
0999
10002999
30006999
700014999
1500030999
3100050000
于是可以看到account在每个balancerange的比例。6.定义子bucket:使用account的holder’sage作为度量单位,通过添加另一个bucket,可以看到在每一个balancerange中accountholder的age。
a)点击“Addsub-buckets”buckettype
b)点击“SplitSlices”buckettype
c)在“subAggregation”的下拉框中选择“Terms”
d)在“Field”下拉框中选择“age”
e)点击“Applychanges”
现在可以看到accountholder的age环绕在balancerange中。
7.点击“Save“,输入”PieExample“进行保存。
也可以根据你的需要创建其他类型的可视化,如CoordinateMap,Markdown,VerticalBar。
结合仪表盘
点击kibana页面左侧导航栏的“Dashboard”,点击“Add”展示所有已保存的可视化图表,然后分别点击已经保存的可视化数据,然后点击小的向上箭头来合并可视化list然后可以进行保存和生成链接share。