Web日志分析系统设计与应用

摘要：作为网络安全的重要领域，Web日志分析系统一方面能够改进Web网站结构，促进Web服务器性能提升；另一方面能够帮助识别用户的喜好及满意程度，寻找潜在用户群体，提升网站服务核心竞争力。笔者介绍了Web日志分析系统设计策略，探究了其实际应用发展前景，为Web日志分析系统效率的提升提供参考。

关键词：Web日志分析系统；系统设计；数据预处理

信息时代背景下，网站大小、数目及复杂度等呈现出持续增长趋势，传统运维管理中，日志管理存在不规范、易删除、不方便使用等问题，企业如果没有专业的日志管理或日志分析工具，很难满足网络安全法的合规要求。日志分析是IT运维领域非常重要的一项工作，甚至可以说，在平台化、模块化、服务化盛行的今天，这项工作的重要性已接近传统的设备监控。不过日志由于来源、使用者、管理者都比设备指标要复杂，导致日志分析的功能需求也较大[1]。

1Web日志分析系统设计

Web日志分析系统数据挖掘主要包括数据预处理、模式挖掘及模式分析三个阶段。日志分析功能实现了自动收集汇总日志和智能化解析，可以减少运维管理中日志查询搜索的巨大工作量。全面系统化日志分析，满足日常运维需要，从安全角度分析海量日志数据，深层次挖掘攻击事件。日志搜索能够通过选择系统日志或Web日志以及日志产生的时间，搜索日志内容。统计分析包含系统日志常规分析、Web日志常规分析和威胁分析。异常行为规则设置，主要设置异常行为的判定规则，包含了安全狗累积的经验规则。日志采集菜单主要是查看日志采集状态，可以开启、暂停或关闭主机或Web采集。同时，还可以手动上传日志文件，该系统组成如图1所示。1.1数据预处理模块。在进行数据预处理前，首先要收集原始数据，将收集的原始Web数据导入数据库中，建立WALS数据表，其主要针对的是原始Web访问日志[2]。通常Web访问日志数据主要包括id、ip、identd、url、size等多个组成部分，流程如图2所示。1.2模式挖掘模块。尽管在Apriori向下封闭属性下，候选项集的大小已大大缩小，然而仍存在较大的算法时间复杂度，难以达到理想的标准[3]。与此同时，Apriori算法需要对日志数据库进行多次扫描，当候选序列长度增加时，就需要对数据库进行一遍扫描，能够大大提升整个算法的执行效率。搜索文本是找到想要的信息的最基本方法，搜索文本最常用的工具是grep，这个命令行工具，大多数Linux发行版上都有，它支持用正则表达式来搜索日志。正则表达式是一种用专门语言写成的语句，可用来识别匹配文本。最简单的正则表达式是把搜索的字符串加上引号。1.3数据库设计。数据库设计主要涉及WALog表、存储原始Web访问日志等。首先要严格按照时间先后顺序储存WALog表的记录，用户在访问网站时需要一定的IP地址作为载体，该载体则采用IP字段表示。用户在采用某一IP地址进行访问时，其所用的时间也会形成相应的记录，该时间可以通过Date字段判断，GET及POST的表现则能够通过Method字段取值来反映，用户在浏览过程中会将需要的资源存储下来，资源多通过URL字段表示。所发送的字节数采用Bytes字段表示，浏览器及操作系统类型则采用BrowserOS表示。CWALS表则为所有数据均清理后Web所访问的日志表[4]，CWALog表中的含义与WALog相同。UILog表中主要包括UID、IP、Date等字段，其主要指的是用户识别后的日志数据表，每一个用户都具有一个唯一的标识UID，其他字段意义均与上述相同。用户会话识别后的日志数据表则采用的是USILog表，其中涉及URL、USID、Date以及Refer等字段，其中每个用户会话都具有唯一标识USID。当路径填充后其具备的Web日志表为PSLog表，主要包括USID、Date、URL等字段，其页面的引用长度采用Rlength标识，主要含义为用户浏览每一个网页所用的时间。CPS表包括URL及ID字段，其主要表示的是内容页面表。

2Web日志分析系统的应用及展望

作为信息、交互及获取的重要工具，Web信息量呈现出飞快增长的态势，面对这一趋势，Web日志分析系统的研究量也逐渐增加，发展前景广阔。目前，Web日志挖掘技术还存在大量问题需要予以有效的解决，这对研究工作者提出了严峻的挑战。日志管理系统可以让用户快速分析大量日志文件，可以自动解析标准日志格式，比如公共Linux日志或Web服务日志，这会节省很多时间，因为在定位系统问题时不用去想如何写解析逻辑[5]。通常，用户只想看来自同一个应用的日志，如果应用总是把日志记录在单个文件中，这样很容易分析，如果要从聚合或集中起来的日志里筛选出和某个程序相关的日志，会很复杂，这时可以用Rsyslog服务解析和过滤日志。例如将sshd应用程序的日志写入名为sshd-messages的文件中，然后丢弃事件，所以它不会在其他日志里重复出现。可以尝试把它加到Rsyslog.conf文件里。对非标准格式的日志，也可以自定义解析规则。最常用的工具是Grok，它用通用正则表达式库把纯文本解析成JSON格式。这是Grok的配置示例，用来解析Logstash的内核日志。日志分析模块采取了定时与实时分析相结合的办法，能够为用户查询提供极大的便利，节省时间。

3结语

随着现代计算机网络信息技术的不断发展，Web日志的进一步开发已做好准备工作，在今后的开发、利用中，要加强对系统的扩展，实现对日志的深度挖掘，提供Web流量分析、用户行为模式分析及事务分析等多种功能，通过日志挖掘获得大量可靠信息，促进信息系统优化，确保其有效运行，改进算法，增强系统在实践应用中的有效性与时效性。

参考文献

[1]李珊,刘继超,邵芬红.Web日志与浏览行为结合下的用户浏览兴趣数据挖掘分析[J].现代电子技术,2017,40(5):22-25.

[2]杨晶,赵鑫,芦天亮.基于logs2intrusions与WebLogExplorer的综合取证分析研究[J].信息网络安全,2017,12(3):33-38.

[3]张春生,郭长杰,尹兆涛.基于大数据技术的IT基础设施日志分析系统设计与实现[J].微型电脑应用,2016,32(6):49-52.

[4]马勇,鲜敏,郑翔,等.基于Web日志挖掘和相关性度量的电子商务推荐系统[J].计算机系统应用,2016,25(8):91-95.

[5]姬浩博,王俊红.一种改进的PrefixSpan算法及其在Web用户行为模式挖掘中的应用[J].计算机科学,2016,43(1):25-29.

作者:何爽 单位:云南电网有限责任公司红河供电局