请问一下球主,es怎么配置可以把请求日志都打印出来。就是不管是调用借口,还是kibana查询数据,es能打印dsl的请求日志吗??求指导。怎么配置?
(资料图片仅供参考)
——问题来源:https://t.zsxq.com/09vv8rqZj
2、Elasticsearch 日志必知必会2.1 Elasticsearch 日志用途集群状态监测和故障诊断。2.2 Elasticsearch 日志缺省路径$ES_HOME/logs。如果命令行启动 ES,则日志输出信息也是命令行。2.3 Elasticsearch 日志基于组件Log4j 2https://logging.apache.org/log4j/2.x/2.4 Elasticsearch 日志配置文件log4j2.properties 。和 elasticsearch.yml 文件路径相同。2.5 Elasticsearch 日志配置内容命名规范日志随日期滚动策略(日志大小等条件设置)等。2.6 Elasticsearch 日志级别由低到高分别为:TRACE -> DEBUG -> INFO -> WARN -> ERROR -> FATAL,如下图所示。
这些大家并不陌生,日志级别越低(前提系统设置的话),打印输出的越多;日志级别越高,比如:FATAL,只是特定致命场景才会打印输出,一般遇不到。
2.7 Elasticsearch 默认日志类型调整方式前提:支持动态更新。
方式一:支持动态更新,无需重启。PUT/_cluster/settings{"persistent":{"logger.org.elasticsearch.discovery":"DEBUG"}}方式二:elasticsearch.yml 配置(静态配置方式,重启后生效)。
logger.org.elasticsearch.discovery:DEBUG方式三:log4j2.properties 配置(静态配置方式,重启后生效)
logger.discovery.name=org.elasticsearch.discoverylogger.discovery.level=debug3、日志调到最低级别,看能否输出检索DSL?
问题来了?改成最低TRACE级别,日志能输出咱们的日期请求吗?试试看。
那怎么办?如何输出请求日志?此路已然不同,我们只能另寻他路。除了基础日志,我们还有slowlog日志。
4、Elasticsearch slowlog日志必知必会4.1 Elasticsearc slowlog 用途见名释义,本质是:慢日志,又可以分为:慢检索日志和慢写入日志。
slowlog 用于显示:query 阶段 和 fetch 阶段的日志。
Elasticsearch 查询请求如下图所示。
图片来自 Elastic 官方博客
query阶段的核心步骤:
客户端发送请求到协调节点;协调阶段转发请求到索引的每个主或副本分片;分片本地查询完成后,将结果添加到本地的优先队列;每个分片将本地结果返回给协调节点,协调节点合并完成后,形成全局排序列表。fetch阶段的核心步骤:
协调节点接收到客户端请求后,将 GET 请求(来自query 阶段形成的全局排序列表结果数据)-转发给相关节点。接收到请求后的节点向协调节点返回结果数据。待全部结果数据都返回后,协调节点将结果返回给客户端。4.2 Elasticsearc slowlog 设置内容含义如下所示,拿 query 阶段举例(以实测为准):
query 请求耗时超过 500ms,打印 trace 日志。query 请求耗时超过 2s,打印 debug 日志。query 请求耗时超过 5s,打印 info 日志。query 请求耗时超过 10s,打印 warn 日志。index.search.slowlog.threshold.query.warn:10sindex.search.slowlog.threshold.query.info:5sindex.search.slowlog.threshold.query.debug:2sindex.search.slowlog.threshold.query.trace:500ms
fetch 阶段设置如下,原理同上。
index.search.slowlog.threshold.fetch.warn:1sindex.search.slowlog.threshold.fetch.info:800msindex.search.slowlog.threshold.fetch.debug:500msindex.search.slowlog.threshold.fetch.trace:200ms
index 写入日志设置如下,原理同上。
index.indexing.slowlog.threshold.index.warn:10sindex.indexing.slowlog.threshold.index.info:5sindex.indexing.slowlog.threshold.index.debug:2sindex.indexing.slowlog.threshold.index.trace:500msindex.indexing.slowlog.source:10004.3 slowlog 中 source:1000 含义是?
"index.indexing.slowlog.source":"1000"
如下这个问题至少被问到三次,问题大致如下:
默认:记录slowlog中_source的前1000个字符。设置为 true 含义:记录整个源请求。设置为 false 或 0 含义:不记录源请求。特别说明:原始_source被重新格式化,以确保它适合于单个日志行。4.3 Elasticsearch slowlog 如何设置?slowlog 日志显示不全、被截取了怎么办?
直接更新 setting 就可以,动态参数,支持动态更新。
PUT/my-index-000001/_settings{"index.search.slowlog.threshold.query.warn":"10s","index.search.slowlog.threshold.query.info":"5s","index.search.slowlog.threshold.query.debug":"2s","index.search.slowlog.threshold.query.trace":"500ms","index.search.slowlog.threshold.fetch.warn":"1s","index.search.slowlog.threshold.fetch.info":"800ms","index.search.slowlog.threshold.fetch.debug":"500ms","index.search.slowlog.threshold.fetch.trace":"200ms"}4.3 基于slowlog 打印请求日志
slowlog 既然可以基于阈值打印输出请求日志,阈值势必可以设置很低,最低设置为0,必然能打印出全部日志了。
试试看?
如下是基于 packets-2022-12-14 进行的 index、fetch、query 的 debug 设置。
PUTpackets-2022-12-14/_settings{"index.indexing.slowlog.threshold.index.debug":"0s","index.search.slowlog.threshold.fetch.debug":"0s","index.search.slowlog.threshold.query.debug":"0s"}
设置完成后,在 kibana 控制台随意加个 query 请求。
日志存储在:elasticsearch_index_search_slowlog.json 文件下,如下图所示。
如下图标红所示,任意的请求 DSL 被打印出来。
开篇问题得以求解完成!
5、小结Elasticearch 日志协助排查集群故障,慢日志协助排查写入、查询层面的慢写入、慢查询问题。集群规模大,可以独立采集到 Kibana 可视化展示,更为方便和快捷!
你有没有使用 Elasticsearch 日志?欢迎留言讨论。如何使用的?
参考[1]https://www.elastic.co/guide/en/elasticsearch/reference/current/logging.html
[2]https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-slowlog.html
推荐阅读全网首发!从 0 到 1 Elasticsearch 8.X 通关视频
重磅 | 死磕 Elasticsearch 8.X 方法论认知清单(2022年国庆更新版)
如何系统的学习 Elasticsearch ?
更短时间更快习得更多干货!
和全球1800+Elastic 爱好者一起精进!
比同事抢先一步学习进阶干货!推荐内容
- Elasticsearch 日志能否把全部请求打印
- 冬季加湿器怎么用?
- 蛋白粉能不能空腹喝?
- 全球今日报丨2022海东市五级工伤怎么计算
- 保利发展(600048):保利发展控股集团股份
- 安井食品(603345):安井食品部分股东提前
- 环球热讯:银保监会发布《银行保险机构消
- 2023桂林元旦易发生事故路段汇总 世界观
- 环球热文:罕见!牛散控制145个账户操纵8
- 12.29盘后 环球热讯
- 环球要闻:意尔康鞋业上海公司因信息作假
- “阳康”多久才能返岗?专家:不影响睡眠
- 陕西金叶:融资净买入1605.61万元,融资
- 英飞拓(002528.SZ):拟出售新普互联控制权
- GO 1.20 新功能:多重错误包装 环球聚焦
- CMA英文考试报名流程
- 恩施盛家坝:冬日雪景 美如仙境
- 小赢卡贷网贷9万逾期还不起会不会面临起诉
- 天天观焦点:泛亚微透(688386)12月27日
- 新华时评:“人体实验”只是美国侵害人权
- 太湖雪12月30日北交所上市今年前三季度净
- 每日消息!重庆银行一高管被终身禁业
- 松花蛋的保存方法是什么?
- 世界快讯:宏达高科:参股公司富特科技IPO
- 热点在线丨广发e秒贷网贷逾期会影响征信吗
- 质押贷款逾期会怎样?
- 知名女歌手道歉:全额赔偿!_动态焦点
- 犀牛宝逾期2年拖欠多久上征信
- 特力A(000025.SZ):深圳市国资委将特发
- 本周盘点(12.19-12.23):东软集团周跌4
- 涨停雷达:跨境电商个股异动 浙江正特触
- 股市是靠资金推动的,可靠的低点,那还是
- 人保寿险重视个人养老金业务推动工作 保
- 通易航天(871642)12月22日游资资金净买
- 全球观察:嘉欣丝绸董秘回复:四川知微的
- 全球球精选!新农人(872242):预计 2023
- 澳华内镜(688212.SH)股东Appalachian减持
- 优库资源(02112.HK)已采纳中文名称“恩典
- 杭州西湖区拿下中国专利奖三项奖项 西湖
- 鼎龙股份子公司世纪开元创业板IPO申请获
- “5·20”助推甜蜜经济 旅行成为这届年
- 今年“清朗”系列专项行动处置账号13.4亿
- 见微知著 全球首台12色眼底相机亮相
- 江苏创新运用《多重身份认定表》 确保代
- 新发现!新疆发现新矿物镁高铁角闪石 高
- 北斗铁路行业综合应用示范工程项目成功通
- 江苏常州构建全方位立体化公共安全网 筑
- 浙江省新冠病毒抗原检测试剂注册申请 获
- 总投资147.73亿元 国家电网今年首批抽水
- 针灸也能治疗新冠肺炎?张伯礼、刘保延教
- 美国纯电汽车市场扩大 特斯拉占据近四分
- 续航更长 Rivian计划在全系电动汽车中全
- 刚刚涨价的特斯拉 又在交付策略上搞事情
- 美国明确无人车乘员保护标准 自动驾驶不
- 总投资超2万亿韩元 韩国电动汽车电池制
- 汽油价格暴涨后 特斯拉在美国订单激增
- 理想L9内饰图曝光 新车续航可达1200km
- 美国华盛顿州通过法案 禁止在2030年销售
- 由于俄乌冲突导致美国油价飙升 特斯拉订
- 从寡头公司采购数百万欧元铝 特斯拉与俄
- 太湖雪12月30日北交所上市今年前三季度净
- 每日消息!重庆银行一高管被终身禁业
- 松花蛋的保存方法是什么?
- 世界快讯:宏达高科:参股公司富特科技IPO
- 热点在线丨广发e秒贷网贷逾期会影响征信吗
- 质押贷款逾期会怎样?
- 知名女歌手道歉:全额赔偿!_动态焦点
- 犀牛宝逾期2年拖欠多久上征信
- 特力A(000025.SZ):深圳市国资委将特发
- 本周盘点(12.19-12.23):东软集团周跌4
- 涨停雷达:跨境电商个股异动 浙江正特触
- 股市是靠资金推动的,可靠的低点,那还是
- 人保寿险重视个人养老金业务推动工作 保
- 通易航天(871642)12月22日游资资金净买
- 全球观察:嘉欣丝绸董秘回复:四川知微的
- 全球球精选!新农人(872242):预计 2023
- 澳华内镜(688212.SH)股东Appalachian减持
- 优库资源(02112.HK)已采纳中文名称“恩典
- 杭州西湖区拿下中国专利奖三项奖项 西湖
- 鼎龙股份子公司世纪开元创业板IPO申请获
- “5·20”助推甜蜜经济 旅行成为这届年
- 今年“清朗”系列专项行动处置账号13.4亿
- 见微知著 全球首台12色眼底相机亮相
- 江苏创新运用《多重身份认定表》 确保代
- 新发现!新疆发现新矿物镁高铁角闪石 高
- 北斗铁路行业综合应用示范工程项目成功通
- 江苏常州构建全方位立体化公共安全网 筑
- 浙江省新冠病毒抗原检测试剂注册申请 获
- 总投资147.73亿元 国家电网今年首批抽水
- 针灸也能治疗新冠肺炎?张伯礼、刘保延教
- 美国纯电汽车市场扩大 特斯拉占据近四分
- 续航更长 Rivian计划在全系电动汽车中全
- 刚刚涨价的特斯拉 又在交付策略上搞事情
- 美国明确无人车乘员保护标准 自动驾驶不
- 总投资超2万亿韩元 韩国电动汽车电池制
- 汽油价格暴涨后 特斯拉在美国订单激增
- 理想L9内饰图曝光 新车续航可达1200km
- 美国华盛顿州通过法案 禁止在2030年销售
- 由于俄乌冲突导致美国油价飙升 特斯拉订
- 从寡头公司采购数百万欧元铝 特斯拉与俄
- 大众汽车发出警告 2022年增长前景或受影响
- 大众集团发布2021年财务数据 销量同比下
- 现代汽车在印度尼西亚工厂生产电动汽车
- 阿斯顿马丁将与Britishvolt合作 开发电
- 俄乌冲突加剧供应链中断 宝马下调2022年
- 特斯拉Semi重型卡车项目负责人 杰罗姆吉
- 造型惊艳奥迪首款纯电概念车亮相 将在20
- 业内人士表示 今年马斯克不太可能实现大
- 宝马集团宣布收购ALPINA 构建4大豪华车品牌
- 为什么旅游股表现抗跌 投资者应该在什么
- 三星电子与LGDisplay就OLED面板价格谈判
- 周厚健退休林澜接任董事长 海信集团确认
- 知产法院首次发布竞争垄断十大案例 过半
- 从老坛酸菜到双汇香肠 这一届“3·15”
- 邓伦偷漏税被罚1.06亿元背后商业版图浮出
- 豆瓣网一年被处罚20次 国家网信办进驻豆
- 食安问题遭曝光 7-11便利店面临口碑危机
- 江歌母亲回应“刘鑫上诉”:意料之中,会
- 禹州一名高一学生反映不能返家 官方公布
- 河北顺平:“帮扶车间”鼓起村民“钱袋子