Log Service (SLS)

日志服务(SLS)

提供数据收集、清洗、分析、可视化和告警功能。
全面提升海量日志处理能力,实时挖掘数据价值,智能助力研发/运维/运营/安全等场景。

Intelligent Log Processing and Analysis Service

智能日志处理、分析服务

实时数据采集消费 LogHub

数据实时采集与消费

  • 30+采集方式,10+SDK支持
  • PB级流量,百万QPS弹性伸缩
  • 与开源主流软件社区完美兼容
  • 完善监控信息,管理百万设

查询分析 Search/Analytics

实时索引、查询、分析、可视化与报警

  • 秒级分析亿级数据/写入即可查询
  • 完整SQL92支持,所见即所得
  • 交互式仪表盘/告警/报表,支持开源对接(Grafana等)
  • AIOps分析支持

数据投递与仓储 LogShipper

实时数据ETL数据仓库

  • 全托管服务,稳定、可靠、弹性
  • 支持压缩、自定义Partition、行列等格式
  • 完美支持生态/自研大数据系统
Features and Advantages

特点与优势

企业级服务

稳定可靠、安全、企业级日志分析平台

开放灵活

与开源/商业软件打通,无缝结合

实时性强

实时采集、消费,性能优异,专为关键业务监控与分析设计

低成本

全托管、免运维,无感弹性伸缩,按使用量付费

Common Scenes

常见场景

数据实时采集

智能查询分析

实时计算与数据清洗

对接数据仓库



数据实时采集方式

数据采集/中心化汇集

通过日志服务LogHub功能,可以大规模低成本接入各种实时日志数据(包括Metric、Event、BinLog、TextLog、Click等)

Optimization of Log System

日志系统优化思路

基础优化

  • 内存:如何分配内存、垃圾回收、增加缓存和锁。
  • 网络:网络传输序列化、增加压缩、策略、散列、不同协议与格式。
  • CPU:用多线程提高利用率和负载。
  • 磁盘:尝试通过文件合并,减少碎片文件的产生,并减少寻道次数。同时在系统级别,通过修改设置,关闭各种无用的服务。

平台扩展

  • 做加减法:增加了分布式缓存,以有效提升查询的效率;不被平台使用到的地方直接关闭或去除
  • 纵向扩展:如增加扩展磁盘和内存。
  • 横向扩展:加减/平行扩展,使用分布式集群

数据分治

根据数据的不同维度,对数据进行分类、分级和根据数据热点情况将它们取出来单独处理,以打散热点。

系统降级

对整体业务进行有效区分的基础上,通过制定一些降级方案,将部分不重要的功能停掉,以满足核心业务。