四、日志收集loki+ promtail+grafana
创始人
2024-11-14 20:34:55
0
一、简介

Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展,高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益,并且易于操作。使用标签来作为索引,而不是对全文进行检索,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监控的数据签,极大地降低了日志索引的存储。系统架构十分简单,由以下3个部分组成 :

Loki 是主服务器,负责存储日志和处理查询 ;

promtail 是代理,负责收集日志并将其发送给 loki ;

Grafana 用于 UI 展示;

只要在应用程序服务器上安装promtail来收集日志然后发送给Loki存储,就可以在Grafana UI界面通过添加Loki为数据源进行日志查询(如果Loki服务器性能不够,可以部署多个Loki进行存储及查询)。作为一个日志系统不光只有查询分析日志的能力,还能对日志进行监控和报警。

promtail收集并将日志发送给loki的 Distributor 组件Distributor会对接收到的日志流进行正确性校验,并将验证后的日志分批并行发送到IngesterIngester 接受日志流并构建数据块,压缩后存放到所连接的存储后端Querier 收到HTTP查询请求,并将请求发送至Ingester 用以获取内存数据 ,Ingester 收到请求后返回符合条件的数据 ;如果 Ingester 没有返回数据,Querier 会从后端存储加载数据并遍历去重执行查询 ,通过HTTP返回查询结果

二、下载安装
1.下载
https://github.com/grafana/loki/releases loki-linux-amd64.zip promtail-linux-amd64.zip 
2.创建目录并解压
mkdir loki cd loki mkdir chunks mkdir index unzip loki-linux-amd64.zip 
3.创建配置文件vim config.yaml
# This is a complete configuration to deploy Loki backed by the filesystem. # The index will be shipped to the storage via tsdb-shipper.  auth_enabled: false  server:   http_listen_port: 3100  common:   ring:     instance_addr: 172.17.0.122     kvstore:       store: inmemory   replication_factor: 1   path_prefix: /data/prometheus/loki  schema_config:   configs:   - from: 2024-07-10     store: tsdb     object_store: filesystem     schema: v13     index:       prefix: index_       period: 24h  storage_config:   filesystem:     directory: /data/prometheus/loki/chunks 
4.启动Loki:
nohup loki-linux-amd64 -config.file=config.yaml >loki.log 2>&1 & 
5.应用服务器安装promtail
mkdir promtail unzip promtail-linux-amd64.zip 
6.创建配置文件vim promtail.yaml
server:   http_listen_port: 9080   grpc_listen_port: 0  positions:   filename: ./positions.yaml  clients:   - url: http://172.17.0.122:3100/loki/api/v1/push  scrape_configs:  - job_name: ehr    static_configs:    - targets:        - 172.17.0.112    - labels:       job: ehr       host: 172.17.0.112       __path__: /data/ehr/output.log #应用服务日志 
7.启动promtail
nohup ./promtail-linux-amd64 -config.file=./promtail.yaml > ./promtail.log 2>&1 & 
8.grafana操作
连接-》数据源-》添加新数据源-》选择loki-》填写loki地址并保存-》数据源列表loki点击Explore-》label fiters下选择job以及promtail中的job_name-》右上角运行查询 

之后可导入仪表板进行查看

相关内容

热门资讯

windows和安卓系统的关系... 你有没有想过,为什么你的手机和电脑有时候会像好朋友一样,互相配合得天衣无缝?其实,这背后有一个大大的...
安卓11怎么降级系统,轻松还原... 你有没有发现,安卓11系统虽然功能强大,但有时候也会有点小闹心呢?比如,某些应用不支持,或者系统运行...
正版授权!游戏推荐斗牛房卡出售... 今 日消息,天蝎大厅房卡添加微信33549083 苹果今日发布了 iOS 16.1 正式版更新,简单...
推荐一款!金花房卡批发女娲大厅... 女娲大厅房卡更多详情添加微:33549083、 2、在商城页面中选择房卡选项。 3、根...
安卓系统误删无法开机,紧急修复... 手机里的照片、联系人、重要文件,说没就没了!最近,身边的朋友纷纷向我抱怨,他们的安卓手机因为误删数据...
玩家攻略,牛牛充值房卡新大圣/... 玩家攻略,牛牛充值房卡新大圣/新道游/微信链接房卡购买渠道新大圣/新道游是一款非常受欢迎的游戏,咨询...
一分钟了解!牛牛房卡出售红桃众... 红桃众娱是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:【3329006910】或QQ:332900...
IA解析/金花房卡批发玄灵大厅... IA解析/金花房卡批发玄灵大厅/微信链接房卡最低价格Sa9Ix苹果iPhone 17手机即将进入量产...
我来教你/牛牛房卡代理新518... 新518互娱房卡更多详情添加微:33549083、 2、在商城页面中选择房卡选项。 3...
正规平台有哪些,金花房卡代理零... 微信游戏中心:九天大厅房卡在哪里买打开微信,添加客服微信【88355042】,进入游戏中心或相关小程...
荣耀magic是安卓系统吗,探... 你有没有听说过荣耀Magic这款手机?最近它可是手机圈里的热门话题呢!很多人都在问,荣耀Magic是...
头条推荐!游戏推荐牛牛房卡出售... 微信游戏中心:海豚大厅房卡在哪里买打开微信,添加客服微信【88355042】,进入游戏中心或相关小程...
正版授权!斗牛房卡充值新九天大... 您好!微信新九天大厅大厅链接获取房卡可以通过以下几种方式购买: 1.微信渠道:(新九天大厅)大厅介...
头条推荐!牛牛房卡制作链接玄武... 今 日消息,玄武大厅房卡添加微信33549083 苹果今日发布了 iOS 16.1 正式版更新,简单...
科技实测!牛牛房卡官网昆仑大厅... 微信游戏中心:昆仑大厅房卡在哪里买打开微信,添加客服微信【88355042】,进入游戏中心或相关小程...
IA解析/斗牛房卡充值宝马系列... 宝马系列/随意玩房卡更多详情添加微:33549083、 2、在商城页面中选择房卡选项。 ...
正规平台有哪些,游戏推荐牛牛房... 微信游戏中心:新蜜瓜大厅/随意玩房卡在哪里买打开微信,添加客服微信【88355042】,进入游戏中心...
IA解析/金花房卡制作链接新天... 新天王/皇豪互众是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:【3329006910】或QQ:33...
推荐一款!牛牛房卡制作链接上游... 推荐一款!牛牛房卡制作链接上游联盟/正规房卡平台有哪些Sa9Ix苹果iPhone 17手机即将进入量...
我来教你/如何购买金花房卡鸿狐... 我来教你/如何购买金花房卡鸿狐大厅/房卡购买批发价格鸿狐大厅是一款非常受欢迎的游戏,咨询房/卡添加微...