(Translated by https://www.hiragana.jp/)
GitHub - JThink/SkyEye: 对java、scala等运行于jvm的程序进行实时日志采集、索引和可视化，对系统进行进程级别的监控，对系统内部的操作进行策略性的报警、对分布式的rpc调用进行trace跟踪以便于进行性能分析
Skip to content
/ SkyEye Public

对java、scala等とう运行于jvm的てき程ほど序じょ进行实时日び志こころざし采さい集しゅう、索引さくいん和わ可か视化，对系统进行ぎょう进程级别的てき监控，对系统内部ないぶ的てき操作そうさ进行策略さくりゃく性せい的てき报警、对分布ぶんぷ式しき的てきrpc调用进行trace跟踪以便于进行ぎょう性能せいのう分析ぶんせき

License

GPL-3.0 license
866 stars 399 forks Branches Tags Activity
Star
Notifications You must be signed in to change notification settings

JThink/SkyEye

BranchesTags

Repository files navigation

SkyEye

对java、scala等とう运行于jvm的てき程ほど序じょ进行实时日び志こころざし采さい集しゅう、索引さくいん和わ可か视化，对系统进行ぎょう进程级别的てき监控，对系统内部ないぶ的てき操作そうさ进行策略さくりゃく性せい的てき报警、对分布ぶんぷ式しき的てきrpc调用进行trace跟踪以便于进行ぎょう性能せいのう分析ぶんせき

交流こうりゅう方式ほうしき

  1. QQ群ぐん: 624054633
  2. Email: leviqian@sina.com
  3. blog: blog

架か构

  • APP: 接せっ入にゅうskyeye-client的てき系けい统会通どおり过kafkaAppender向こうkafka写うつし入日いりひ志こころざし
  • es-indexer-group: kafka的てきes消しょう费组，读取kafka的てき数すう据すえ并批量りょうbulk到いたes
  • monitor-group: kafka的てき监控消しょう费组，app在日ざいにち志こころざし中ちゅう进行各かく种event埋うめ点てん（如：第だい三さん方ぽう异常报警、请求耗时异常报警等とう）
  • business-group: kafka的てき业务消しょう费组
  • trace-group: 通つう过日志こころざし进行rpc调用trace跟踪（dapper论文）
  • es: 日にち志こころざし存そん储db，并建立こんりゅう相しょう关索引さくいん
  • zookeeper: app注ちゅう册さつ中心ちゅうしん
  • monitor: 监控中心ちゅうしん，监听zookeeper注ちゅう册さつ中ちゅう心中しんちゅうの相しょう应的节点变化进行监控报警
  • rabbitmq: 监控报警缓冲队列
  • alert: 具体ぐたい报警手段しゅだん，包括ほうかつ邮件和わ微ほろ信しん

项目介かい绍

对java、scala等とう运行于jvm的てき程ほど序じょ进行实时日び志こころざし采さい集しゅう、索引さくいん和わ可か视化，对系统进行ぎょう进程级别的てき监控，对系统内部ないぶ的てき操作そうさ进行策略さくりゃく性せい的てき报警、对分布ぶんぷ式しき的てきrpc调用进行trace跟踪以便于进行ぎょう性能せいのう分析ぶんせき

  • 日にち志こころざし实时采さい集しゅう（支持しじlog4j、logback和わlog4j2）
  • 日にち志こころざし实时页面实时展示てんじ（支持しじ关键字じ过滤）
  • 历史日び志こころざし查询（支持しじ多た种条件じょうけん过滤，支持しじsql语句查询）
  • app实时部署ぶしょ位置いち展示てんじ（机つくえ器き和文わぶん件けん夹）
  • app实时日び志こころざし采さい集しゅう状じょう态展示てんじ
  • app历史部署ぶしょ位置いち展示てんじ
  • api请求实时统计和わ历史统计
  • 第だい三方请求实时统计和历史统计
  • 基もと于dubbox的てきrpc调用数すう据すえ收集しゅうしゅう和わ调用链展示てんじ（支持しじ多た种条件じょうけん检索）
  • 系けい统上下じょうげ线报警
  • 系けい统内嵌はま采さい集しゅう器き报警
  • 中ちゅう间件、api、第だい三さん方ぽう、job执行异常报警（策略さくりゃく报警和わ异常报警）

部署ぶしょ步ふ骤

修おさむ改あらため根ね目め录gradle文ぶん件けん中ちゅう的てき私服しふく地ち址し（这样才能さいのう打だ包つつみdeploy到いた自己じこ的てき本地ほんじ私服しふく） 打だ包つつみ：gradle clean install upload -x test

容器ようき部署ぶしょ

需要じゅよう自己じこ修おさむ改あらため每ごと个项目下めした的てきimage下か的てきDockerfile文ぶん件けん

PS: rancher一いち键部署しょskyeye后きさき期き出で教程きょうてい，基本きほん符合ふごう持じ续交付づけ的てき场景。

sudo bash build.sh 1.3.0 master

skyeye-base

本ほん项目没ぼつ有ゆう具体ぐたい的てき业务逻辑，主要しゅよう是ぜ各かく个模块通用つうよう的てき类定义，如：常つね量りょう、dto、dapper相しょう关、公用こうようutil，所以ゆえん该项目め无需部署ぶしょ，只ただ需要じゅよう打だ包つつみ。

skyeye-client

本ほん项目主要しゅよう是ぜ提供ていきょう给对接せっ的てき项目使用しよう，包含ほうがん了りょうlog4j和わlogback的てき自じ定てい义appender和わ项目注ちゅう册さつ相しょう关，所以ゆえん该项目め无需部署ぶしょ，只ただ需要じゅよう打だ包つつみ提供ていきょう给对接せっ方かた对接。

skyeye-data

本ほん项目主要しゅよう是ぜ用よう来らい提供ていきょう和わ数すう据すえ操作そうさ相しょう关的中ちゅう间件，具体ぐたい分ぶん为以下か5个子modoule。本ほん项目无需部署ぶしょ，只ただ需要じゅよう打だ包つつみ。

skyeye-data-dubbox

该项目め主要しゅよう是ぜ自じ定てい义的spring-boot的てきdubbox starter，为spring-boot相しょう关的项目使用しようdubbox提供ていきょう简易的てき方式ほうしき并集成しゅうせいspring-boot的てきauto configuration，见我的てき另一个开源げん项目：spring-boot-starter-dubbox

skyeye-data-hbase

该项目め主要しゅよう是ぜ自じ定てい义的spring-boot的てきhbase starter，为hbase的てきquery和わ更新こうしん等とう操作そうさ提供ていきょう简易的てきapi并集成しゅうせいspring-boot的てきauto configuration，见我的てき另一个开源げん项目：spring-boot-starter-hbase

skyeye-data-httpl

该项目め主要しゅよう使用しよう连接池ち简单封ふう装そう了りょうhttp的てき请求，如果项目中ちゅう使用しよう的てきspring版本はんぽん较高可か以使用しようRestTemplate代替だいたい。

skyeye-data-jpa

该项目め主要しゅよう是ぜjpa相しょう关的定てい义，包含ほうがんdomain、repository、dto相しょう关的定てい义，主要しゅよう用よう来らい操作そうさmysql的てき查询。

skyeye-data-rabbitmq

该项目め主要しゅよう封ふう装そう了りょう报警模も块中存そん取とrabbitmq中ちゅう消息しょうそく的てき相しょう关代码。

skyeye-trace

该项目め封ふう装そう了りょう所有しょゆうrpc trace相しょう关的代だい码，包含ほうがんrpc数すう据すえ采さい集しゅう器き、分布ぶんぷ式しき唯一ゆいいつID生成せいせい、分布ぶんぷ式しき递增ID生成せいせい、注ちゅう册さつ中心ちゅうしん、采さい样器、跟踪器き等とう功こう能のう，该项目め无需部署ぶしょ，只ただ需要じゅよう打だ包つつみ。

dubbox

由よし于使用しようdubbox，为了能のう够采集しゅう到いたdubbox里さと面めん的てきrpc数すう据すえ，需要じゅよう修おさむ改あらためdubbox的てき源げん码，见我修おさむ改あらため的てきdubbox项目：dubbox，该项目め主要しゅよう实现了りょうrpc跟踪的てき具体ぐたい实现，需要じゅよう单独打だ包つつみ。

git clone https://github.com/JThink/dubbox.git
cd dubbox
git checkout skyeye-trace-1.3.0
修おさむ改あらため相しょう关pom中ちゅう的てき私服しふく地ち址し
mvn clean install deploy -Dmaven.test.skip=true

软件安あん装そう

如果软件版本はんぽん和わ以下いか所しょ列れつ不一致ふいっち，需要じゅよう修おさむ改あらためgradle中ちゅう的てき依よ赖版本はんぽん，并且需自行ぎょう测试可用性かようせい（hadoop、hbase、spark等とう相しょう应的版本はんぽん可か以自己じこ来らい指定してい，代だい码层面めん无需修おさむ改あらため，需要じゅよう修おさむ改あらため依よ赖）。

软件名めい 版本はんぽん 备注
mysql 5.5+
elasticsearch 2.3.3 未み测试5.x版本はんぽん（开发的てき时候最新さいしん版本はんぽん只ただ有ゆう2.3.x），需要じゅよう假かり设sql引擎，见: elasticsearch-sql，需要じゅよう安あん装そうIK分ぶん词并启动，见: es ik分ぶん词
kafka 0.10.0.1 如果spark的てき版本はんぽん较低，那な么需要じゅよう将はたkafka的てき日び志こころざし的てき格式かくしき降くだ低てい，具体ぐたい在ざいkafka的てき配置はいち项加入かにゅう：log.message.format.version=0.8.2，该项按需配置はいち
jdk 1.7+
zookeeper 3.4.6
rabbitmq 3.5.7
hbase 1.0.0-cdh5.4.0 不ふ支持しじ1.x以下いか的てき版本はんぽん，比ひ如0.9x.x
gradle 3.0+
hadoop 2.6.0-cdh5.4.0
spark 1.3.0-cdh5.4.0
redis 3.x 单机版ばん即そく可か

初はつ始はじめ化か

mysql

mysql -uroot -p
source skyeye-data/skyeye-data-jpa/src/main/resources/sql/init.sql

hbase

创建三さん张表，用よう来らい保存ほぞんrpc的てき数すう据すえ（一いち张数据すえ表ひょう，两张二に级索引さくいん表ひょう）

hbase shell
执行skyeye-collector/skyeye-collector-trace/src/main/resources/shell/hbase这个文ぶん件けん里さと面めん的てき内容ないよう

elasticsearch

首くび先安さきやす装そう相しょう应的es python的てきmodule，然しか后きさき再さい创建索引さくいん，根ね据すえ需要じゅよう修おさむ改あらためes的てき的てきip、端はし口こう

cd skyeye-collector/skyeye-collector-indexer/src/main/resources/shell
./install.sh
bash start.sh app-log http://192.168.xx.xx:9200,http://192.168.xx.xx:9200,......
cd skyeye-collector/skyeye-collector-metrics/src/main/resources/shell
bash start.sh event-log http://192.168.xx.xx:9200,http://192.168.xx.xx:9200,......

注意ちゅうい点てん：如果es版本はんぽん为5.x，那な么需要よう修おさむ改あらためskyeye-collector/src/main/resources/shell/es/app-log/create-index.py的てき49和わ50行ぎょう为下面めん内容ないよう：
'messageSmart': { 'type': 'text', 'analyzer': 'ik_smart', 'search_analyzer': 'ik_smart', 'include_in_all': 'true', 'boost': 8},
'messageMax': { 'type': 'text', 'analyzer': 'ik_max_word', 'search_analyzer': 'ik_max_word', 'include_in_all': 'true', 'boost': 8}

kafka

创建相しょう应的topic，根ね据すえ需要じゅよう修おさむ改あらため—partitions和わzk的てきip、端はし口こう的てき值，如果日び志こころざし量りょう特とく别大可か以适当とう提ひさげ高だか这个值

kafka-topics.sh --create --zookeeper 192.168.xx.xx:2181,192.168.xx.xx:2181,192.168.xx.xx:2181/kafka/0.10.0.1 --replication-factor 3 --partitions 9 --topic app-log

zookeeper

初はつ始はじめ化か注ちゅう册さつ中心ちゅうしん的てき节点信しん息いき

./zkCli.sh
执行skyeye-monitor/src/main/resources/shell/zk这个文ぶん件けん里さと面めん的てき内容ないよう

rabbitmq

相あい关项目め启动的てき时候会かい自じ动创建けん相しょう关的队列

skyeye-alarm

配置はいち文ぶん件けん

配置はいち文ぶん件けん外部がいぶ化か，需要じゅよう在ざい机つくえ器き上じょう创建配置はいち文ぶん件けん

ssh 到いた部署ぶしょ节点
mkdir -p /opt/jthink/jthink-config/skyeye/alarm
vim alarm.properties

# log_mailer request queue
rabbit.request.addresses=localhost:5672
rabbit.request.username=jthink
rabbit.request.password=jthink
rabbit.request.vhost=/dev
rabbit.request.channelCacheSize=50
rabbit.request.queue=log_mailer
rabbit.request.exchange=direct.log
rabbit.request.routingKey=log.key

# mail
mail.jthink.smtphost=smtp.xxx.com
mail.jthink.port=25
mail.jthink.from=xxx@xxx.com
mail.jthink.cc=xxx@xxx.com
mail.jthink.password=jthink_0926

需要じゅよう修おさむ改あらためrabbitmq和わ邮件相しょう关的配置はいち

打だ包つつみ部署ぶしょ

cd skyeye-alarm
gradle clean distZip -x test
cd target/distributions
unzip skyeye-alarm-x.x.x.zip(替がえ换相应的x为自己じこ的てき版本はんぽん)

cd skyeye-alarm-x.x.x
nohup bin/skyeye-alarm &

skyeye-collector

本ほん项目从v1.0.0版本はんぽん开始按不同ふどう的てきkafka消しょう费group组织子こmodule以实现可插拔的てき功こう能のう模も块，主要しゅよう包含ほうがん如下5个module：

  • skyeye-collector-core: 收集しゅうしゅう项目的もくてき所有しょゆう公用こうよう的てき配置はいち和わ公用こうよう代だい码，改あらためmodule不ふ需要じゅよう部署ぶしょ
  • skyeye-collector-backup: 对采集しゅう的てき所有しょゆう日び志こころざし进行备份
  • skyeye-collector-indexer: 对采集しゅう的てき所有しょゆう日び志こころざし进行索引さくいん存そん入いれes
  • kyeye-collector-metrics: 对事件じけん日び志こころざし进行meta data的てき采さい集しゅう和わ相しょう关报警metrics进行索引さくいん存そん入いれes
  • skyeye-collector-trace: 对rpc跟踪数すう据すえ进行采さい集しゅう入にゅうhbase

打だ包つつみ

cd skyeye-collector
gradle clean build -x test

skyeye-collector-backup

配置はいち文ぶん件けん

配置はいち文ぶん件けん外部がいぶ化か，需要じゅよう在ざい机つくえ器き上じょう创建配置はいち文ぶん件けん，根ね据すえ对接系けい统的个数和わ产生日び志こころざし的てき量りょう进行部署ぶしょ，最さい好こう部署ぶしょ3个节点てん（每まい个节点てん消しょう费3个partition的てき数すう据すえ）

ssh 到いた部署ぶしょ节点
mkdir -p /opt/jthink/jthink-config/skyeye/collector
vim collector-backup.properties

# kafka config
kafka.brokers=riot01:9092,riot02:9092,riot03:9092
kafka.topic=app-log
kafka.consume.group=log-backup-consume-group
kafka.poll.timeout=100

# hdfs
hadoop.hdfs.namenode.port=8020
hadoop.hdfs.namenode.host=192.168.88.131
hadoop.hdfs.user=xxx
hadoop.hdfs.baseDir=/user/xxx/JThink/
hadoop.hdfs.fileRoot=/tmp/monitor-center/
upload.log.cron=0 30 0 * * ?

部署ぶしょ

多た个节点てん部署ぶしょ需要じゅよう部署ぶしょ多た次つぎ

cd skyeye-collector-backup/target/distributions
unzip skyeye-collector-backup-x.x.x.zip(替がえ换相应的x为自己じこ的てき版本はんぽん)

cd skyeye-collector-backup-x.x.x
nohup bin/skyeye-collector-backup &

skyeye-collector-indexer

配置はいち文ぶん件けん

配置はいち文ぶん件けん外部がいぶ化か，需要じゅよう在ざい机つくえ器き上じょう创建配置はいち文ぶん件けん，根ね据すえ对接系けい统的个数和わ产生日び志こころざし的てき量りょう进行部署ぶしょ，最さい好こう部署ぶしょ3个节点てん（每まい个节点てん消しょう费3个partition的てき数すう据すえ）

ssh 到いた部署ぶしょ节点
mkdir -p /opt/jthink/jthink-config/skyeye/collector
vim collector-indexer.properties

# kafka config
kafka.brokers=riot01:9092,riot02:9092,riot03:9092
kafka.topic=app-log
kafka.consume.group=es-indexer-consume-group
kafka.poll.timeout=100

# es config
es.ips=riot01,riot02,riot03
es.cluster=mondeo
es.port=9300
es.sniff=true
es.index=app-log
es.doc=log

部署ぶしょ

多た个节点てん部署ぶしょ需要じゅよう部署ぶしょ多た次つぎ

cd skyeye-collector-indexer/target/distributions
unzip skyeye-collector-indexer-x.x.x.zip(替がえ换相应的x为自己じこ的てき版本はんぽん)

cd skyeye-collector-indexer-x.x.x
nohup bin/skyeye-collector-indexer &

skyeye-collector-metrics

配置はいち文ぶん件けん

配置はいち文ぶん件けん外部がいぶ化か，需要じゅよう在ざい机つくえ器き上じょう创建配置はいち文ぶん件けん，根ね据すえ对接系けい统的个数和わ产生日び志こころざし的てき量りょう进行部署ぶしょ，最さい好こう部署ぶしょ3个节点てん（每まい个节点てん消しょう费3个partition的てき数すう据すえ）

ssh 到いた部署ぶしょ节点
mkdir -p /opt/jthink/jthink-config/skyeye/collector
vim collector-metrics.properties

# kafka config
kafka.brokers=riot01:9092,riot02:9092,riot03:9092
kafka.topic=app-log
kafka.consume.group=info-collect-consume-group
kafka.poll.timeout=100

# es config
es.ips=riot01,riot02,riot03
es.cluster=mondeo
es.port=9300
es.sniff=true
es.index=event-log
es.doc=log

# redis config
redis.host=localhost
redis.port=6379
redis.password=

# mysql config
database.address=localhost:3306
database.name=monitor-center
database.username=root
database.password=root

# log_mailer request queue
rabbit.request.addresses=localhost:5672
rabbit.request.username=jthink
rabbit.request.password=jthink
rabbit.request.vhost=/dev
rabbit.request.channelCacheSize=50
rabbit.request.queue=log_mailer
rabbit.request.exchange=direct.log
rabbit.request.routingKey=log.key

# zk
zookeeper.zkServers=riot01:2181,riot02:2181,riot03:2181
zookeeper.sessionTimeout=60000
zookeeper.connectionTimeout=5000

部署ぶしょ

多た个节点てん部署ぶしょ需要じゅよう部署ぶしょ多た次つぎ

cd skyeye-collector-metrics/target/distributions
unzip skyeye-collector-metrics-x.x.x.zip(替がえ换相应的x为自己じこ的てき版本はんぽん)

cd skyeye-collector-metrics-x.x.x
nohup bin/skyeye-collector-metrics &

skyeye-collector-trace

配置はいち文ぶん件けん

配置はいち文ぶん件けん外部がいぶ化か，需要じゅよう在ざい机つくえ器き上じょう创建配置はいち文ぶん件けん，根ね据すえ对接系けい统的个数和わ产生日び志こころざし的てき量りょう进行部署ぶしょ，最さい好こう部署ぶしょ3个节点てん（每まい个节点てん消しょう费3个partition的てき数すう据すえ）

ssh 到いた部署ぶしょ节点
mkdir -p /opt/jthink/jthink-config/skyeye/collector
vim collector-trace.properties

# kafka config
kafka.brokers=riot01:9092,riot02:9092,riot03:9092
kafka.topic=app-log
kafka.consume.group=rpc-trace-consume-group
kafka.poll.timeout=100

# redis config
redis.host=localhost
redis.port=6379
redis.password=

# mysql config
database.address=localhost:3306
database.name=monitor-center
database.username=root
database.password=root

# hbase config
hbase.quorum=panda-01,panda-01,panda-03
hbase.rootDir=hdfs://panda-01:8020/hbase
hbase.zookeeper.znode.parent=/hbase

部署ぶしょ

多た个节点てん部署ぶしょ需要じゅよう部署ぶしょ多た次つぎ

cd skyeye-collector-trace/target/distributions
unzip skyeye-collectortracemetrics-x.x.x.zip(替がえ换相应的x为自己じこ的てき版本はんぽん)

cd skyeye-collector-trace-x.x.x
nohup bin/skyeye-collector-trace &

skyeye-monitor

配置はいち文ぶん件けん

配置はいち文ぶん件けん外部がいぶ化か，需要じゅよう在ざい机つくえ器き上じょう创建配置はいち文ぶん件けん

ssh 到いた部署ぶしょ节点
mkdir -p /opt/jthink/jthink-config/skyeye/monitor
vim monitor.properties

# zk
zookeeper.zkServers=riot01:2181,riot02:2181,riot03:2181
zookeeper.sessionTimeout=60000
zookeeper.connectionTimeout=5000
zookeeper.baseSleepTimeMs=1000
zookeeper.maxRetries=3

# log_mailer request queue
rabbit.request.addresses=localhost:5672
rabbit.request.username=jthink
rabbit.request.password=jthink
rabbit.request.vhost=/dev
rabbit.request.channelCacheSize=50
rabbit.request.queue=log_mailer
rabbit.request.exchange=direct.log
rabbit.request.routingKey=log.key

# mysql config
database.address=localhost:3306
database.name=monitor-center
database.username=root
database.password=root

需要じゅよう修おさむ改あらため相しょう关的配置はいち（rabbitmq的てき配置はいち需和alarm一致いっち，zk也需要じゅよう前ぜん后きさき一致いっち）

打だ包つつみ部署ぶしょ

cd skyeye-monitor
gradle clean distZip -x test
cd target/distributions
unzip skyeye-monitor-x.x.x.zip(替がえ换相应的x为自己じこ的てき版本はんぽん)

cd skyeye-monitor-x.x.x
nohup bin/skyeye-monitor &

skyeye-web

配置はいち文ぶん件けん

配置はいち文ぶん件けん外部がいぶ化か，需要じゅよう在ざい机つくえ器き上じょう创建配置はいち文ぶん件けん

ssh 到いた部署ぶしょ节点
mkdir -p /opt/jthink/jthink-config/skyeye/web
vim web.properties

# server
serverAddress=0.0.0.0
serverPort=8090

# mysql config
database.address=localhost:3306
database.name=monitor-center
database.username=root
database.password=root

# es sql url
es.sql.url=http://riot01:9200/_sql?sql=
es.sql.sql=select * from app-log/log
es.query.delay=10
es.sql.index.event=event-log/log

# log_mailer request queue
rabbit.request.addresses=localhost:5672
rabbit.request.username=jthink
rabbit.request.password=jthink
rabbit.request.vhost=/dev
rabbit.request.channelCacheSize=50
rabbit.request.queue=log_mailer
rabbit.request.exchange=direct.log
rabbit.request.routingKey=log.key

# monitor
monitor.es.interval=0 */1 * * * ?					# 监控代だい码执行ぎょう的てき周期しゅうき，建けん议不修おさむ改あらため
monitor.es.mail=leviqian@sina.com

# hbase config
hbase.quorum=panda-01,panda-01,panda-03
hbase.rootDir=hdfs://panda-01:8020/hbase
hbase.zookeeper.znode.parent=/hbase

需要じゅよう修おさむ改あらため相しょう关的配置はいち（rabbitmq的てき配置はいち需和alarm一致いっち，es也需要じゅよう前ぜん后きさき一致いっち），注ちゅう释过的てき是ぜ要注意ようちゅうい的てき

打だ包つつみ部署ぶしょ

cd skyeye-web
gradle clean distZip -x test
cd target/distributions
unzip skyeye-web-x.x.x.zip(替がえ换相应的x为自己じこ的てき版本はんぽん)

cd skyeye-web-x.x.x
nohup bin/skyeye-web &

项目对接

需要じゅよう进行日び志こころざし采さい集しゅう的てき项目需要じゅよう按照如下操作そうさ

logback

依よ赖

gradle或ある者ものpom中ちゅう加入かにゅうskyeye-client的てき依よ赖

compile "skyeye:skyeye-client-logback:1.3.0"

配置はいち

在ざいlogback.xml中ちゅう加入かにゅう一いち个kafkaAppender，并在properties中ちゅう配置はいち好こう相あい关的值，如下（rpc这个项目前ぜん支持しじnone和わdubbo，所以ゆえん如果项目中有ちゅううdubbo服ふく务的配置はいち成なりdubbo，没ぼつ有ゆうdubbo服ふく务的配置はいち成なりnone，以后会かい支持しじ其他的てきrpc框かまち架か，如：thrift、spring cloud等とう）：

<property name="APP_NAME" value="your-app-name" />
<!-- kafka appender -->
<appender name="kafkaAppender" class="com.jthink.skyeye.client.logback.appender.KafkaAppender">
    <encoder class="com.jthink.skyeye.client.logback.encoder.KafkaLayoutEncoder">
      <layout class="ch.qos.logback.classic.PatternLayout">
        <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS};${CONTEXT_NAME};HOSTNAME;%thread;%-5level;%logger{96};%line;%msg%n</pattern>
      </layout>
    </encoder>
    <topic>app-log</topic>
    <rpc>none</rpc>
    <zkServers>riot01.jthink.com:2181,riot02.jthink.com:2181,riot03.jthink.com:2181</zkServers>
    <mail>xxx@xxx.com</mail>
    <keyBuilder class="com.jthink.skyeye.client.logback.builder.AppHostKeyBuilder" />

    <config>bootstrap.servers=riot01.jthink.com:9092,riot02.jthink.com:9092,riot03.jthink.com:9092</config>
    <config>acks=0</config>
    <config>linger.ms=100</config>
    <config>max.block.ms=5000</config>
  </appender>

log4j

依よ赖

gradle或ある者ものpom中ちゅう加入かにゅうskyeye-client的てき依よ赖

compile "skyeye:skyeye-client-log4j:1.3.0"

配置はいち

在ざいlog4j.xml中ちゅう加入かにゅう一いち个kafkaAppender，并在properties中ちゅう配置はいち好こう相あい关的值，如下（rpc这个项目前ぜん支持しじnone和わdubbo，所以ゆえん如果项目中有ちゅううdubbo服ふく务的配置はいち成なりdubbo，没ぼつ有ゆうdubbo服ふく务的配置はいち成なりnone，以后会かい支持しじ其他的てきrpc框かまち架か，如：thrift、spring cloud等とう）：

<appender name="kafkaAppender" class="com.jthink.skyeye.client.log4j.appender.KafkaAppender">
        <param name="topic" value="app-log"/>
        <param name="zkServers" value="riot01.jthink.com:2181,riot02.jthink.com:2181,riot03.jthink.com:2181"/>
        <param name="app" value="xxx"/>
        <param name="rpc" value="dubbo"/>
        <param name="mail" value="xxx@xxx.com"/>
        <param name="bootstrapServers" value="riot01.jthink.com:9092,riot02.jthink.com:9092,riot03.jthink.com:9092"/>
        <param name="acks" value="0"/>
        <param name="maxBlockMs" value="2000"/>
        <param name="lingerMs" value="100"/>

        <layout class="org.apache.log4j.PatternLayout">
            <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss.SSS};APP_NAME;HOSTNAME;%t;%p;%c;%L;%m%n"/>
        </layout>
    </appender>

log4j2

依よ赖

gradle或ある者ものpom中ちゅう加入かにゅうskyeye-client的てき依よ赖

compile "skyeye:skyeye-client-log4j2:1.3.0"

配置はいち

在ざいlog4j2.xml中ちゅう加入かにゅう一いち个KafkaCustomize，并在properties中ちゅう配置はいち好こう相あい关的值，如下（rpc这个项目前ぜん支持しじnone和わdubbo，所以ゆえん如果项目中有ちゅううdubbo服ふく务的配置はいち成なりdubbo，没ぼつ有ゆうdubbo服ふく务的配置はいち成なりnone，以后会かい支持しじ其他的てきrpc框かまち架か，如：thrift、spring cloud等とう）：

<KafkaCustomize name="KafkaCustomize" topic="app-log" zkServers="riot01.jthink.com:2181,riot02.jthink.com:2181,riot03.jthink.com:2181"
                mail="qianjc@unionpaysmart.com" rpc="none" app="${APP_NAME}">
  <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
  <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS};${APP_NAME};HOSTNAME;%t;%-5level;%logger{96};%line;%msg%n"/>
  <Property name="bootstrap.servers">riot01.jthink.com:9092,riot02.jthink.com:9092,riot03.jthink.com:9092</Property>
  <Property name="acks">0</Property>
  <Property name="linger.ms">100</Property>
</KafkaCustomize>

注意ちゅうい点てん

logback

  • logback在ざい对接kafka的てき时候有ゆう个bug，jira bug，所以ゆえん需要じゅよう将はたroot level设置为INFO（不能ふのう是ぜDEBUG）

log4j

由よし于log4j本身ほんみ的てきappender比ひ较复杂难写うつし，所以ゆえん在ざい稳定性せい和わ性能せいのう上じょう没ぼつ有ゆうlogback支持しじ得とく好このみ，应用能のう使用しようlogback请尽量りょう使用しようlogback

rpc trace

使用しよう自己じこ打だ包つつみ的てきdubbox（dubbox），在ざいsoa中ちゅう间件dubbox中ちゅう封ふう装そう了りょうrpc的てき跟踪

compile "com.101tec:zkclient:0.10"
compile ("com.alibaba:dubbo:2.8.4-skyeye-trace-1.3.0") {
  exclude group: 'org.springframework', module: 'spring'
}

spring boot

如果项目使用しよう的てき是ぜspring-boot+logback，那な么需要じゅよう将はたspring-boot对logback的てき初はつ始はじめ化か去さ掉，防止ぼうし初はつ始はじめ化か的てき时候在ざいzk注ちゅう册さつ两次而报错，具体ぐたい见我的てき几篇博はく客きゃく就可以解决：

http://blog.csdn.net/jthink_/article/details/52513963

http://blog.csdn.net/jthink_/article/details/52613953

http://blog.csdn.net/jthink_/article/details/73106745

埋うめ点てん

日にち志こころざし类型

日にち志こころざし类型 说明
normal 正常せいじょう入にゅう库日志こころざし
invoke_interface api调用日び志こころざし
middleware_opt 中ちゅう间件操作そうさ日び志こころざし(目前もくぜん仅支持しじhbase和わmongo)
job_execute job执行日び志こころざし
rpc_trace rpc trace跟踪日び志こころざし
custom_log 自じ定てい义埋点てん日び志こころざし
thirdparty_call 第だい三方系统调用日志

正常せいじょう日び志こころざし

LOGGER.info("我わが是ぜ测试日び志こころざし打だ印しるし")

api日び志こころざし

// 参さん数すう依よ次じ为EventType(事件じけん类型)、api、账号、请求耗时、成功せいこう还是失しつ败、具体ぐたい自じ定てい义的日び志こころざし内容ないよう
LOGGER.info(ApiLog.buildApiLog(EventType.invoke_interface, "/app/status", "800001", 100, EventLog.MONITOR_STATUS_SUCCESS, "我わが是ぜmock api成功せいこう日び志こころざし").toString());
LOGGER.info(ApiLog.buildApiLog(EventType.invoke_interface, "/app/status", "800001", 10, EventLog.MONITOR_STATUS_FAILED, "我わが是ぜmock api失しつ败日志こころざし").toString());

中ちゅう间件日び志こころざし

// 参さん数すう依よ次じ为EventType(事件じけん类型)、MiddleWare(中ちゅう间件名称めいしょう)、操作そうさ耗时、成功せいこう还是失しつ败、具体ぐたい自じ定てい义的日び志こころざし内容ないよう
LOGGER.info(EventLog.buildEventLog(EventType.middleware_opt, MiddleWare.HBASE.symbol(), 100, EventLog.MONITOR_STATUS_SUCCESS, "我わが是ぜmock middle ware成功せいこう日び志こころざし").toString());
LOGGER.info(EventLog.buildEventLog(EventType.middleware_opt, MiddleWare.MONGO.symbol(), 10, EventLog.MONITOR_STATUS_FAILED, "我わが是ぜmock middle ware失しつ败日志こころざし").toString());

job执行日び志こころざし

// job执行仅仅处理失しつ败的日び志こころざし（成功せいこう的てき不ふ做处理り，所以ゆえん只ただ需要じゅよう构造失しつ败的日び志こころざし）, 参さん数すう依よ次じ为EventType(事件じけん类型)、job 的てきid号ごう、操作そうさ耗时、失しつ败、具体ぐたい自じ定てい义的日び志こころざし内容ないよう
LOGGER.info(EventLog.buildEventLog(EventType.job_execute, "application_1477705439920_0544", 10, EventLog.MONITOR_STATUS_FAILED, "我わが是ぜmock job exec失しつ败日志こころざし").toString());

第だい三さん方ぽう请求日び志こころざし

// 参さん数すう依よ次じ为EventType(事件じけん类型)、第だい三さん方ぽう名称めいしょう、操作そうさ耗时、成功せいこう还是失しつ败、具体ぐたい自じ定てい义的日び志こころざし内容ないよう
LOGGER.info(EventLog.buildEventLog(EventType.thirdparty_call, "xx1", 100, EventLog.MONITOR_STATUS_FAILED, "我わが是ぜmock third 失しつ败日志こころざし").toString());
LOGGER.info(EventLog.buildEventLog(EventType.thirdparty_call, "xx1", 100, EventLog.MONITOR_STATUS_SUCCESS, "我わが是ぜmock third 成功せいこう日び志こころざし").toString());
LOGGER.info(EventLog.buildEventLog(EventType.thirdparty_call, "xx2", 100, EventLog.MONITOR_STATUS_SUCCESS, "我わが是ぜmock third 成功せいこう日び志こころざし").toString());
LOGGER.info(EventLog.buildEventLog(EventType.thirdparty_call, "xx2", 100, EventLog.MONITOR_STATUS_FAILED, "我わが是ぜmock third 失しつ败日志こころざし").toString());

About

对java、scala等とう运行于jvm的てき程ほど序じょ进行实时日び志こころざし采さい集しゅう、索引さくいん和わ可か视化，对系统进行ぎょう进程级别的てき监控，对系统内部ないぶ的てき操作そうさ进行策略さくりゃく性せい的てき报警、对分布ぶんぷ式しき的てきrpc调用进行trace跟踪以便于进行ぎょう性能せいのう分析ぶんせき

Topics

log4j logback spring-cloud capacity-planning apm dubbox tracer dubbo system-monitor log4j2 rpc-trace skyeye log-collect log4j2-kafka-appender log4j-kafka-appender logback-kafka-appender system-alarm log-indexer log-visualization deployment-assistant

Resources

Readme

License

GPL-3.0 license
Activity

Stars

866 stars

Watchers

111 watching

Forks

399 forks
Report repository

Releases 8

skyeye-1.3.0 Latest
Dec 19, 2017
+ 7 releases

Packages

No packages published

Contributors 4

  •  
  •  
  •  
  •  

Languages