大数据分析下存储优化算法研究

摘要：随着大数据时代的来临，不仅为人们的生产生活提供了极大的便利，同时也为企业与政府部门的长足发展提供有力的信息保障，对我国实现现代化建设目标具有重要影响。现阶段，在大数据分析背景下，如何有效地提高存储系统的访问效率，实现数据的优化统计与整合，已经成为当今社会广泛关注的首要课题，并受到相关学者的高度关注。本文主要就基于大数据分析下的存储优化算法展开探讨，希望对日后的相关研究有所帮助。

关键词：大数据；存储优化算法；访问效率；适应算法

在这个信息爆炸的时代，如何有效提高数据信息的统计效率，实现数据信息的动态监管，已经成为现代人们正在面临的全新挑战。据有关部门统计，在2009年，我国的数据总量已经达到0.8zb，而2010与2011年的数据总量更是呈前一年的50%的速率增长，分别达到了1.2zb与1.8zb，并据相关专家推测，到2020年我国数据总量将为50zb。在这种情况下，对存储设备与数据的优化算法都纷纷提出了更高要求，因而进行大数据存储优化算法研究就显得至关重要。

1新时代下大数据的特征与存储需求

海量、高速、多样性、真实性、复杂性构成了大数据的五大特征。但是，随着我国科技水平的不断提升，数据库应用技术的不断创新，对设备的存储功能提出了更高要求，具体表现为：首先，现阶段大多数计算机的计算速率与存储容量已经无法大数据的存储需求，虽然可以一定程度上提高机器内在配置，但其投入成本较为昂贵，不适用于广泛使用。这就好比一个正常人能够搬起100斤重的物品，经过他不懈的锻炼与努力，他最终能够搬起200斤重的物品，但是如何这个物品的总重量为1000斤，凭借这个人的锻炼与努力是独立无法完成搬运的，大数据存储亦是如此。其次，对于传统的数据库而言，只能简单地满足数据类型的存储与查询，无法满足大数据的多样化发展需求。最后，传统的关系型数据库系统对于数据的分析请求与处理请求无法提供有力的支持，致使大数据的高效性存储大打折扣。

2基于大数据下的存储优化算法研究

2.1、基本索引算法

（1）哈希索引算法是由于原来的哈希表思想演变而来，主要是利用华西索引算法提高存储系统的应用功能，比如在数据添加、数据删除、数据修改的同时，能够同时进行数据查询，从而满足使用者的多样化需求。比如，在Bitcask系统运行中，我们可以利用哈希索引算法来实现数据的添加与查询操作，提高键值存储系统的运行效率，扩大数据存储容量，进而进一步提高用户的使用体验。

（2）B树索引算法是在哈希索引算法上的创新与升级，它不仅能够支持数据的随机读取，还能进一步扩大数据的搜寻与扫描范围，进而提高数据的查询效率。同时，B树索引算法还包括了数据随机访问功能与范围查询功能，扩大数据库的存储容量，加快了数据的访问速度，从而实现对数据的存储优化计算。

2.2、内存分配算法

（1）首次适应算法。在该算法使用前，应先将内存中的闲置内存块与单向链表数据结构进行有效连接，并对用户所需的数据进行一次查询，直到找到满意的闲置内存块，通过链表发送给用户，从而实现数据存储的优化处理。在这里需要注意的是，由于首次适应算法的查询方式比较单一，通常都是从head节点开始，这在一定程度上就导致了head节点相邻的空闲内存块出现被多次分配的现象，而链表尾端的节点分配率较低，从而影响节点的分配平衡。

（2）循环首次适应算法。该种算法是首次适应算法的升级与改良，主要是将闲置内存链表转变成为循环链表，扩大系统的存储容量，便于数据查询。该种计算方法的好处在于，能够更加均匀地进行数据的内存块分配，从而有效避免出现分配不平衡现象。

（3）最佳适应算法。该种算法的设计出发点与首次适应算法、循环首次适应算法有所不同，其主要是按照闲置内存块从小到大的方式建立起链表连接，从而根据用户的请求需求进行顺次分配，减少数据存储的大量开销。

（4）最差适应算法。该种算法与最差适应算法正好相反，其主要是将闲置内存块从大到小的方式建立起链表连接，虽然这种方式初看存在着一定的不合理性，但却能有效解决最佳适应算法中出现内存碎块的问题，避免内存碎块过大占有大量的存储空间，从而在提高数据计算与优化效率的同时，促进大数据时代的更好发展。

结束语

综上所述，随着“互联网+”时代的来临，物联网、云计算、社交平台、短视频APP等得到快速发展，并产生大量的新型数据，对社会的可持续发展与人们的正常生活都具有重要影响。因此，在这个以数据为尊的时代，我们应设备的存储功能，加大数据优化算法的研究与投入，充分发挥大数据在社会生产与人们生活中的优势作用，从而在提高社会各界发展水平的同时，促进我国各项事业的可持续发展。

参考文献：

[1]宋亚奇，周国亮，朱永利，等.云平台下输变电设备状态监测大数据存储优化与并行处理[J].中国电机工程学报，2015，35(2):255-267.

[2]程学旗，王元卓，靳小龙.网络大数据计算技术与应用综述[J].科研信息化技术与应用，2013，4(6):3-14.

[3]吴章玲，金培权，岳丽华，等.基于PCM的大数据存储与管理研究综述[J].计算机研究与发展，2015，52(2):343-361.

[4]杨俊杰，廖卓凡，冯超超.大数据存储架构和算法研究综述[J].计算机应用，2016，36(9):2465-2471.

作者:黄正鹏 王力 张仕学 余廷忠 张起荣 单位:贵州工程应用技术学院信息工程学院