多源异构海量时序数据中的目标检测(Object Detection)服务/数据可观测(Observability)服务涉及:采集数据、建立模型、从异构数据源中提取字段、目标数据检测、 并且结合上下文对系统的行为、工作指标、文本行日志、链路追踪等数据进行分析,以便更好地理解系统的行为和性能, 并进行业务层面和系统层面的异常数据检测或特征数据识别、故障诊断和优化运营和决策支持。 这类服务在提升分布式系统的稳定性、性能和安全方面发挥着重要作用,广泛应用于金融、能源、制造业等领域。
可通过微信号18115143370获取个人专业版和企业专业版,并获得解决方案咨询和技术支持等服务。个人专业版服务费为每年200元*数据源终端数。
时序数据(Time Series)是随时间不断产生的一系列数据,简单来说就是带时间戳的数据。时序数据可能包括来自市场上的交易活动、应用程序上的用户交互、服务器和应用程序的指标数据、文本行日志或来自物联网传感器的读数。 时序数据具有新生成的数据价值高、历史数据价值低这一显著特征。
区别于传统数据仓库和数据中台先建立数据 模型后入库数据的做法, 区别于ELK中的 Logstash和FluentD等软件要求用户配置数 据源数据模型和时间戳匹配格式的做法, 自创 并对企业版用户开源的先读取后自动建模 (schema on read)引擎, 基于用户文件目录下 的异构多源的Excel转Csv表格、或Json等结 构化数据文件、和非容器或docker/k8s容器 日志文本文件,先读取后自动建模; 合并按 时间切割的同一数据源的多个不同文件,以 数据源为基本单位,自动分配数据存储和索 引资源,自动建立数据源的数据模型。
同时自动解析每一条时序数据中使用各种国内外时间格式的时间戳,支持用户以时间戳检索时序数据。
企业版的数据采集支撑:>5台数据源终端、>1千个独 立数据源、>1亿条记录/每年/每个数据源、且不限逻辑存储容量。
支持用户配置一组从文本行提取业务跟踪编 号或用户自定义字段的模式匹配规则,或系 统自动解析文本行并从中提取ip地址、身份 证号码、手机号等关键业务字段,供用户进 一步进行明细查询、分组查询、和设计告警 条件。 通过文本行字段提取功能,获知一文 本行日志同一业务跟踪编号的上下文信息, 提供了一有效的海量数据可观测解决方案, 支持用户下钻日志原文。
支持用户在数据模型中,基于已提取的字段配置目标检测规则,进行异常等目标检测。
类似于常用关键字全文搜索引擎,支持用户在一时间范围内、跨多数据源、和泛结构化非结构化数据源中进行关联搜索,同时支持用户选择一个数据源进行全文搜索。帮助用户进行系统问题或业务问题的故障排查和诊断.
把每一个数据中心、每一个安全中心都打造成信息安全的指挥中心,旨在通过数据的力量帮助企业转型,提升业务成果,并确保信息安全。
利用数字化、AI技术增强数字韧性,帮助业务分析人员、运维人员、安全团队在面对复杂且快速变化的技术趋势时, 保持从容不迫。
从各种异构数据源中收集数据,自动建立数据模型,并实时地索引和分析,从而打破数据孤岛,帮助客户快速获得业务洞察。 产品适用于多种场景,包括IT运维、安全、商业智能等,能够满足不同客户的需求。 提供了灵活的解决方案,可以根据客户的需求进行定制和扩展,支持从单个实例到大型分布式系统的部署。
总共工作年数
团队成员
客户好评
已完成的项目
读取数据源、解析数据结构和时间戳、建立数据模型。
运维人员获得故障排查和诊断服务。业务人员获得业务洞察和辅助决策服务。
对结构化和文本行等数据源,动态资源分配并实时存储和索引。
边缘计算将计算资源部署在靠近数据源的网络边缘(如设备、传感器或本地服务器),实现本地化处理。 利用读建模技术自动建立数据模型,并从异构的数据源中提取字段,基于已提取的字段配置目标检测规则, 进行业务层面和系统层面的异常数据检测或特征数据识别。
数据源数量多且数据结构差异大,日志量大,容易出现性能瓶颈。对于容器日志数据,容器关闭后日志数据易丢失、日志管理困难。 收集上百个应用日志实时建立索引支持跨多数据源全文搜索和明细查询,用于故障定位问题排查。
业务数据分散在多个地区多个独立机构,中央数据库C/S架构无法支持有效数据归集。 应急管理平台通过收集跨地区跨机构的数据到一数据中心,建立统一的指挥中心。