一、数据的文件系统管理与数据库系统管理（论文文献综述）
刘燃[1]（2021）在《基于移动终端的小区虚拟化FTP服务系统设计与实现》文中研究表明随着互联网信息化浪潮的迅猛推进,智能小区中的家庭用户对视听娱乐的需求越来越强烈。移动互联网时代的到来以及智能手机的迅速普及使得传统家庭中电视、电脑的使用率逐步降低,智能手机凭借其方便操作、易于携带等优势逐渐成为智能小区中家庭用户使用频率最高的设备。但与此同时,智能手机也存在明显的缺陷与不足:因空间容量的限制导致其计算能力和存储能力十分有限。如果能将家庭中的多种智能电子设备统一协调,实现彼此之间的互联互通和文件数据信息共享,便可以满足智能小区用户对视听娱乐更高质量的需求。就目前来讲,市面上并没有相对成熟的应用于小区环境下的智能信息互联系统,智能家庭中的数据文件信息被分散存储在各种介质中,多种设备之间的互联互通仅可以实现一些简单的功能,并且小区用户之间的网络数据信息交换量较少。本论文针对这些现状并结合移动互联技术、网盘技术等新兴技术手段,设计了一种基于移动终端的小区虚拟化FTP服务系统,该系统以移动端（智能安卓手机）为控制中心,通过连接电脑受控端与小区云服务器端完成各项针对文件传输和分享的功能。该系统实现了虚拟化智能小区环境下家庭内部的多介质、多设备文件互传和家庭用户之间的网络信息共享,节约了智能小区用户本地的存储空间,提高了网络数据信息的安全性,同时设计出一种积分激励机制提升了小区用户之间的网络数据信息的信息共享率,为绿色小区、和谐小区助力。论文首先对本课题的研究背景及意义进行了简要介绍,并针对国内外研究现状以及本系统涉及到的相关技术和理论基础进行了必要的阐述。在第三到五章中详细地介绍了系统的各项功能性需求并进行了关键技术的分析,接着是系统各个功能模块实现的详细设计,为系统的实现提供了支撑。最后第六章通过对系统各项功能的测试,验证了本系统的可用性,测试结果表明:本系统可以满足当前虚拟化背景下智能小区用户对网络数据传输与共享的需求。达到了预期的设计目标,顺利完成了选题要求。
王晓乐[2]（2020）在《建筑设备运维系统的分布式实时数据库》文中研究指明建筑设备运维系统的使用阶段是建筑全生命周期中占比最大的,实现建筑设备运维系统的智能化和信息化,需要解决系统中数据的多源异构、分布式部署、瞬时数据的海量性等问题。分布式实时数据库利用分布式技术将海量多源异构数据的采集和存储分布在各个本地实时数据库节点上,并统一管理,实现集中管理分散控制,为建筑设备运维系统提供数据支持。论文从建筑设备运维系统的服务需求、分布式实时数据库技术、分布式历史文件系统以及在建筑设备运维系统中的应用的流程上,主要进行了以下工作:（1）论文介绍了建筑设备运维系统、实时数据库以及分布式实时数据库的发展现状,并深入研究建筑设备运维系统对分布式实时数据库的需求,以需求为基础,结合实时数据库和分布式实时数据库技术特点,提出建筑设备运维系统的分布式实时数据库总体架构,以及数据库服务的详细设计。（2）为满足海量多源异构数据的采集,本文提出采用动态链接库技术,设计组态化数据采集器,以实时数据库为基础,研究数据库点名管理和内存数据组织结构,利用多线程技术、实时事务优先级分配策略解决分布式实时事务的调度处理。（3）本文介绍了建筑设备运维系统分布式实时数据库中的历史数据库架构,本文根据开关量和模拟量的不同特点,优化数据存储策略,通过研究Hadoop分布式文件系统,将HDFS同历史数据库文件系统相结合,开发基于HDFS的历史文件管理系统,并通过API提供数据访问接口,实现数据的快速存储与数据索引。（4）文章最后分析了分布式实时数据库中实时数据的写入与提取速度,将实时数据索引同SQL Server进行对比验证系统的快速性;通过将分布式实时数据库系统应用到实际建筑设备运维系统中,验证了系统应用的有效性,并最终证明分布式实时数据库系统可实现数据的多源异构数据采集、数据处理、实时事务并发控制、分布式管理等需求。
程鹏[3]（2020）在《面向高性能计算系统的融合数据管理关键技术研究》文中研究指明随着高性能计算、大数据与人工智能的不断融合,高性能计算社区亟需同时支持这三种场景的计算系统来加速科学发现。然而,爆炸性增长的科学数据以及不同场景下应用截然不同的I/O特征促使融合应用呈现前所未有的复杂性。与此同时,不断加深的存储层次和多样化的数据定位需求进一步增加数据管理难度,导致高性能计算系统面临严峻的数据存储与管理挑战。为了在高性能计算系统上有效支持融合应用,本文结合层次式存储结构和应用特征,研究融合应用场景下数据管理的关键问题,优化高性能计算系统的数据管理能力并提升应用I/O性能。本文的主要工作包括:1.针对高性能计算系统存储层次不断加深的趋势,本文设计基于层次式存储结构的数据管理系统,统一管理内存、固态硬盘等多个存储层次,为融合应用提供高效数据缓存空间。为充分发挥不同存储层次的性能和容量等特点,该层次式数据管理系统结合应用数据访问模式定制数据管理策略,协调数据在各个存储层次的分布方式。此外,针对存储层次加深引起的数据局部性变化,本文设计数据感知的任务调度机制,配合资源管理系统尽可能将任务调度到拥有数据的计算资源。相比于底层并行文件系统,该层次式数据管理系统能够为应用带来54%的性能提升。2.针对单一数据管理策略无法充分发挥层次存储结构性能优势的问题,本文以科学工作流应用为代表,提出面向融合应用的自适应数据管理技术。本文将层次式存储结构下的数据放置问题抽象为分类问题,提出基于分类模型的智能数据放置策略:该策略以最小化科学工作流应用的总I/O时间为目标,挖掘不同应用特征和系统实时状态下数据放置策略对应用总I/O时间的影响,并训练分类模型智能做出数据放置决策。数据预取问题方面,本文分析科学工作流应用的数据流图拓扑结构和数据访问特征之间的关系,提出针对文件类别的自适应数据预取策略:通过结合局部性预取策略和智能预取策略的各自优势,提升复杂数据访问模式识别能力。相比于固定数据放置策略,本文提出的自适应数据放置策略能够实现34%的I/O性能提升;相比于传统局部性预取策略,本文提出的自适应预取策略识别复杂数据访问模式的能力显着提升,并能够降低54.2%的数据读取时间。3.针对并行文件系统管理海量科学数据时面临的数据定位挑战,本文提出耦合文件系统的索引与查询优化。文件粒度数据定位问题方面,本文设计并发元数据提取机制,快速提取文件系统中已有文件的“应用定制元数据”信息,通过定制的层次式哈希索引结构,高效满足文件粒度定位需求。记录粒度数据定位问题方面,本文采取原位索引构建机制,允许数据在写入文件系统的同时构建索引信息;为了权衡索引粒度与索引构建开销,本文提出轻量级Range-bitmap索引结构;结合本文设计的并行查询处理机制,记录粒度数据定位需求能够被快速响应。对生物和气象等数据集的测试表明,本文设计的文件粒度索引查询方案能够在毫秒内从包含数百万个文件的目录中定位目标文件;本文设计的记录粒度索引查询方案相比于遍历整个数据集定位内部数据的方式实现2个数量级的查询速度提升。
王鹏程[4]（2020）在《基于Web的直升机无人机电力巡线系统的设计与实现》文中研究说明随着无人机技术的出现以及自动化、智能化程度的提升,无人机技术逐渐应用于民用领域,而电力巡线便是重要的应用领域之一。目前使用无人机开展电力巡线工作已初具规模,无人机以其体积小、灵活性高、速度快等特点,应用于输电线路巡线有着传统人工巡线无可比拟的优势。推广以无人机、载人直升机巡线为主、人工巡线为辅的新型巡检工作模式,对开展高效、精益化的巡检和运维工作具有重要意义。新型智能化的人机协同巡检模式,给我们带来采集的高质量的巡检图像、视频数据的同时,对巡检数据的存储与管理、深层次的挖掘分析工作也提出了新的要求。本文基于上述背景,对采用直升机/无人机进行高压输电线路巡检的软件支持系统进行了设计与实现,为架空输电线路的机巡工作提供智能化、精益化的技术平台支撑,同时满足对机巡作业计划的精益化管理、输电线路缺陷数据的深化分析成果展示、多维度数据的智能化管理与存储等业务需求。另外,系统基于Arc GIS REST服务,为机巡作业动态地创建禁飞区、限高区与临时起降点等区域,有利于对机巡作业的全方位管理。本文结合电力机巡输电线路的业务需求,提出系统的设计需求并作简要分析。系统包含首页面、无人机作业计划、载人直升机作业计划、数据管理、台账管理、飞行调度、深化分析与系统管理等模块,基于Web服务器端技术对各模块给出详细的设计与实现流程。针对系统存在的安全问题,自主设计解决方案,有效解决了应用系统常见的安全漏洞问题。最后从功能模块测试用例、系统性能监控与测试、安全测试等方面对系统的设计和实现工作进行有效验证。
储佳佳[5]（2020）在《面向新硬件的数据存储与管理》文中研究说明随着硬件工艺的发展,多核处理器、GPU、RDMA、非易失性内存等新硬件不断涌现。这些新型硬件为数据存储与管理技术的发展带来了新的契机。很多应用将传统的存储系统或数据库系统直接部署在新型的存储和网络设备上运行,旨在利用这些高性能的设备来突破现有的性能瓶颈。然而,直接将传统的软件技术迁移到新硬件上无法充分发挥硬件的潜能,因为传统的软件技术往往忽略了新硬件引入的新特性。因此,如何结合新硬件的特性,面向海量数据搭建高性能的分布式存储集群,是一个值得深入研究的问题。本文的研究工作围绕NVMe SSD和RDMA设备展开。支持NVMe协议的固态硬盘相较于传统的磁盘,不仅在吞吐量和延迟上有了较大的改善,还引入了支持多I/O队列的新特性。RDMA不仅减少了网络传输延迟,同时也减少了CPU开销。本文结合这些新硬件的特性,分析了分布式存储集群中的瓶颈问题,从本地存储栈的优化技术、基于LSM-tree索引结构的并行日志策略以及主备同步的改进方法三个方面来研究如何结合新硬件的新特性优化数据存储与管理,主要的工作和贡献如下:（1）本地存储栈的优化技术:在磁盘流行的时代,大多数数据库系统依赖于复杂精细的、面向兼容性设计的存储软件栈。由于慢速存储设备的硬件I/O延迟较大,存储软件栈的开销几乎可以被忽略。然而,新型的NVMe存储设备已经达到了和软件相同的延迟级别,从而使存储软件栈成为影响数据存储效率的新瓶颈。为了充分发挥NVMe设备的硬件潜能,本文面向新硬件优化了本地存储软件栈,旨在最大程度地减少存储软件的开销。优化后的存储软件栈直接在用户空间中访问NVMe设备,以减少单个I/O操作的延迟。同时,本文将多核和NVMe SSD的多I/O队列进行绑定,以提高数据存取操作的并行性。此外,本文还在异构存储之上记录撤销日志以进一步缓解写入放大的问题。（2）基于LSM-tree索引结构的并行日志策略:为了充分发挥NVMe SSD带来的并行性优势,本文改进了基于LSM-tree索引结构的日志操作,实现了日志的并行化写入。核心思路是将单阶段的日志写入改进为两阶段的日志提交。在第一阶段,本文结合NVMe SSD多I/O队列的并行特性进行日志持久化操作。在第二阶段,根据规则进行日志提交,确保数据的正确性和一致性。此外,本文分析了如何使现有的基于LSM-tree的存储系统支持更高的日志并行性,并讨论了日志提交协议、恢复协议、多I/O队列的调度等问题。实验结果表明,基于上述策略优化后的存储系统的性能得到了显着提升。（3）主备同步的改进方法:传统的分布式集群无法充分发挥高性能存储设备和网络设备的硬件潜力。为了解决这个问题,本文针对传统的主备同步方法,进行了优化设计。一方面,本文提供了轻量的分布式表存储管理的功能,支持行和列的混合存储以及动态的在线转换。另一方面,本文结合RDMA的单边操作原语改进了Raft协议,通过将主节点的主动同步改为备节点的主动拉取,以减少网络传输的开销。实验结果表明,与传统的分布式存储系统相比,本文的优化方法可以将性能提高1.5-4.3倍。综上所述,本文结合新型NVMe SSD和RDMA设备,从本地存储栈的优化、基于LSM-tree索引结构的日志并行策略以及主备同步的改进方法三个方面,阐述如何通过充分发掘新硬件的潜能来提高数据存储与管理的效率。基于这些优化方法,本文实现了相应的存储引擎,该存储引擎充分利用了NVMe SSD的超低延迟以及高带宽的特性、多I/O队列的并行性和RDMA高效的读写原语,为面向新硬件实现高效的数据存储与管理奠定基础,也为相关的研究工作提供了一定的参考价值。
张舒[6]（2020）在《司法文本数据自动化生成系统的设计与实现》文中指出在我国智慧法院的建设背景下,司法机关纷纷将深度学习引入司法领域及法律服务领域。司法深度学习模型大多数以裁判文书或案情事实等司法文本作为输入,研究比较广泛的类型有自动量刑预测系统、法条及罪名预测系统、类案（相似案件）推荐系统等。文本数据的缺乏会对司法深度模型表现产生负面影响,在模型训练阶段,存在训练数据缺乏导致模型泛化能力差的现象;在测试阶段,存在测试指标单一化现象,缺乏结合司法行业特性设计的具有多维度测试功能的测试数据集。本文设计并实现了司法文本数据自动化生成系统,分为训练数据生成模块与测试数据生成模块。训练数据生成模块用于为司法深度学习模型提供数据扩增服务,增加高质量的司法文本训练数据,提高模型预测准确率。模块设计了基于规则与基于变分编码器两种生成方式。其中,基于规则的生成方式结合司法文本特性提出了针对于司法文本的扩增方式;基于变分编码器的生成方法将变分编码器应用在文本生成领域,学习高斯分布到数据分布的映射关系,重建具有相似分布的新文本。测试数据生成模块用于为司法深度学习模型的多维度评价提供测试数据,使模型的测试指标多元化。模块设计了含噪声项测试数据生成方法,用于评价深度学习模型的抗噪能力;设计了对抗攻击测试数据生成方法,通过对测试数据尽可能小的文本改动,对深度学习模型进行基于遗传算法的对抗攻击,经过对抗攻击的测试数据用于评价深度学习模型的抗对抗攻击能力。系统以基于Django框架的web应用为载体,支持用户自定义生成参数,生成的文本以文件形式返回给用户。系统使用HDFS作为文件管理系统,使文件存储具有可拓展性。实验证明,系统提供的训练数据生成方式可以使以Fast Text、Text CNN、LSTM为结构的罪名预测系统的准确率得到提升。系统提供的两种测试数据生成方式可以支持司法深度学习模型的多维度评估。
吴胤旭[7]（2019）在《面向数据分析的分布式数据管理系统》文中指出随着工业4.0与互联网+的相关产业发展,大数据成为业界的一个普遍现象,也逐渐在方方面面影响着大众的生活。如何管治与利用好大数据,是目前众多政府机关与企业所面临的难题,而目前的大数据生态圈正处于一个刚刚为大众所了解,正在稳步发展的局面;关于数据的收集、存储、处理及分析建模,已经有系统或者架构可以初步完成这些任务,然而随着数据量的增大、模型的复杂度增加,正让目前的系统显得力不从心、效率低下。研究如何快速、低成本地完成海量数据的分析与建模具有一定的应用价值与现实意义。当前业界仍然是认为分析全量数据才能全面分析数据,而分析全量数据的代价是非常巨大的;另一方面,大数据的管理方式也是基于全量数据的顺序进行分块,这也导致了分析全量数据的必然性。现有分布式系统的各种开销,使得大数据分析的迫切性与困难之间的矛盾日益突出,直到随机样本划分（Random Sample Partition,简称RSP）研究表明,分析一个与全量数据分布相似的数据子集,可以达到近似分析全量数据的效果,并可通过子集数量的增加,对全量建模结果逼近。本文研究重点是基于随机样本划分的面向数据分析的分布式数据管理系统。研究与应用基于随机样本划分的大数据管理新方法,为数据分析建模提供快速、灵活的支持。本论文主要内容包括以下几点:1.提出了分布式随机样本划分算法:本文在随机样本划分数据表达模型的基础上,提出了分布式随机样本划分算法,该算法对每一条记录生成一个分区编号,全体分区编号服从均匀分布,随后根据分区编号进入对应的分区,算法是一个典型的Map Reduce过程,也可应用于Spark平台,具有良好的可扩展性,通过验证实验,分布式算法的可行性及有效性得到证明,在相同的建模条件下,使用1%的数据量获得与全量数据接近的模型精度,并且训练时间仅为全量数据的十分之一,达到了分析少量子集数据即可逼近全量数据的目的。2.提出了随机样本划分存储模型:面向数据分析及建模的需求,结合随机样本划分数据表达模型的特性,本文设计了随机样本划分存储模型,对划分后的数据进行了结构化的存储,达成了提供对分区与相关元数据的快速随机访问的目标。3.研发基于随机样本划分的数据管理原型系统:基于随机样本划分及其存储模型,借助现有分布式系统的并行及高可用性,构建具有统计感知的数据管理系统（Random Sample Partition Data Management System,简称RSPDMS）,以满足大数据快速分析建模需求,并且具有横向扩展性;通过良好的系统架构与设计,与企业的大数据平台进行对接,对系统进行的各项测试和分析,达到了预期的目标。如何快速高效地对大数据进行分析、建模是国内外大数据系统研究的共同目标,本文针对传统大数据管理系统的数据组织方面的不足,提出了基于随机样本划分的优化方法,借助对数据进行随机样本划分以及针对数据分析建模的存储模型,建立了分布式数据管理系统。
孟令达[8]（2019）在《海量时间频率科学数据管理与服务关键技术研究》文中指出随着国防、科研、经济社会各行业对高精度时间的依赖不断提升,为提高我国的高精度时间同步服务水平和保障能力,国家先后开展了高精度地基授时系统、国家时间频率体系、空间站时频实验系统等面向服务的基础大科学装置和试验仪器的建设,将时间频率服务纳入基础设施建设,时间频率科学数据将迈入大数据和信息服务时代。海量时间频率科学数据高效管理不仅是实现时间频率科学大数据存储与分析、提供高效时间频率信息服务的基础,更为时间频率科学大数据知识获取和科学发现提供技术支撑。本文从面向服务的角度以海量时间频率科学数据的管理体系、存储与并行处理方法为研究对象,利用云计算和大数据处理技术对面向服务的海量时间频率科学数据管理关键技术展开研究,所作的主要工作及创新点体现在以下几个方面:（1）研究并设计了面向服务的多元海量时间频率科学数据一体化管理模型、技术架构和多样化服务方式:针对独立建设的时频科学数据管理系统在管理规范、数据标准等方面多样差异,造成数据管理复杂、数据使用困难、数据产品单一问题。结合时间频率科学大数据特征和面向服务的应用需求,构建了数据管理标准体系和原型系统。采用面向服务体系架构的设计理念和松耦合特性,综合运用多种数据存储管理和分析方法,设计了面向服务的多元海量时间频率科学数据一体化管理模型、技术架构和多样化服务方式,并对其中的关键技术进行了改进,进而实现海量时间频率科学数据高效管理。（2）研究了海量时间频率科学数据非结构化、半结构化及时序化,多数据结构并存的数据存储管理方法:针对海量时间频率科学数据多数据结构并存的特点,结合面向服务的海量历史数据快速查询和在线数据实时读写的应用场景。研究了基于“分布式文件系统+分布式列数据库+时间序列数据库”的组合存储管理和表设计方法,解决时频科学数据传统集中式、统一存储效率低、扩展复杂问题。同时根据时间频率科学数据中文件数多、数据量小和关联分析特点,提出了采用小文件聚合和考虑数据关联性的多副本哈希时频数据分布算法,进一步提高了时频科学数据存储管理效率和存储资源利用率。（3）研究了分布式并行编程框架下海量历史数据离线并行分析方法:针对海量历史时间频率科学数据离线分析中数据量与计算量大导致传统时频分析模式计算效率低或无法计算问题,研究了基于Map Reduce并行编程框架的分布式并行分析方法。根据时频分析算法中多阶滑动差分特征,提出时频科学数据分段和矩阵分块法,在优化时频分析算法的同时实现了时间间隔误差和频率源钟差模型参数并行化计算,并对算方法性能进行测试。结果表明本文提出的并行化海量离线时频分析方法有效解决数据量大、计算复杂时传统单机无法有效计算问题。（4）针对面向服务应用交互频繁、高实时性的海量时间频率科学数据分析问题,研究了基于Spark内存并行计算框架的海量时间频率科学数据实时分析方法。实现了基于Spark并行化的Allan、MTIE计算方法,同时针对时频分析中典型的测量数据粗差剔除问题,开展了基于光纤时间比对的溯源钟差粗探测方法（ODTD）研究并实现了Spark-ODTD。通过实验验证了算法有效性与性能优势。（5）针对高精度地基授时系统、国家时间频率体系等重大科学工程以及时频用户对远程高精度时间比对、同步和溯源服务需求。采用本文提出的数据管理体系和相关技术与方法,对传统卫星共视远程时间比对系统的系统架构、数据存储与处理方法和服务模式进行优化。设计并实现的云服务原型系统可通过动态扩展支持10000台终端设备业务数据在线处理、交互以及1000个用户的在线访问。本论文的研究将进一步提升时间频率科学数据标准化管理水平,为面向服务的时频时间频率科学发展和应用提供标准化数据和技术支撑。解决目前海量时间频率科学数据存储管理效率低、数据分析困难或无法计算的问题。同时本文的海量数据存储和并行分析技术,为国家时间频率体系、高精度地基授时系统等重大科学工程建设分布式时间频率数据中心架构设计提供解决途径,为时间频率科学大数据知识获取和科学发现奠定基础。
卢伟[9]（2019）在《基于分布式微服务化架构的大规模在线课程学习平台的设计与实现》文中进行了进一步梳理随着科学技术的进步,高新技术产业的发展,社会多用型人才的需求与日俱增,各行各业的人员为了自身的进步和发展,需要不断学习进而提升自身的实力。随着互联网的发展,人们越来越倾向于互联网在线学习平台。由此而引发的大流量将导致在线学习平台出现响应速度慢、响应错误等问题的出现。为了应对这一问题,本文提出并构建了一种新型的支持可扩展、高可用的架构来解决在大规模用户场景下系统响应变慢、视频资源传输性能低、系统服务崩溃等问题。该平台采用了分布式微服务化服务治理架构和高可用高并发的数据库架构,并进行了如下主要工作:（1）设计了包括前台用户端、后台管理端和服务管理监控端的大规模在线课程学习平台框架,通过服务管理监控端支撑用户规模的可伸缩性;（2）依据用户特征和场景,进行功能需求分析和非功能需求分析,并根据需求分析结果设计和实现了在线课程学习平台,该平台包含在线视频学习、在线课程问答、在线课程测试等功能。（3）针对大用户量并发场景下平台出现响应速度慢等问题,设计了一种支持可扩展、高可用的分布式微服务化架构,通过将MVC模式下的单体服务架构拆分成基于RPC通信的分布式架构,使得单体服务器的压力可以分摊到多个服务器上,从而提高服务响应速度和可靠性;（4）针对大数据量写入数据库导致其性能瓶颈问题,设计了一种基于企业级数据库中间件Mycat的分布式高可用、高并发的数据库服务架构,通过隐藏物理库,暴露逻辑库,并且拆分原有数据库表,使得当数据服务请求时能够转发到多个数据库中,提高数据库抗压性;（5）基于Spring Boot框架进行了平台实现,并通过Dubbo-Monitor和Jmeter进行了服务监控与压力测试,验证了分布式微服务化架构设计的有效性。平台采用HTML5和Bootstrap来对界面进行渲染,同时通过扁平化、人性化的设计,使得该平台拥有更加良好的用户体验。经过功能测试和性能测试,本平台能够满足在10万用户并发访问的时候,能够稳定、正确的提供服务,并且具有较快的响应速度。
张孟[10]（2019）在《基于大数据的定标方法研究与初步应用》文中研究表明随着卫星载荷数量、功能、种类的不断增加,定标任务量持续上升,传统的定标方法和技术,越来越难以满足多参数、高时效和高频次的定标需求,以及难以提高定标时效性和频次,本文结合全球定标场网和自动化定标等新定标手段的应用,针对定标过程中多源、异构和巨量定标数据的获取、存储、管理和处理等问题,调研了国内外定标多源数据存储与管理方法,引入了基于分布式文件存储系统、分布式数据库和分布式计算等大数据技术,建立大数据定标数据库,为高频次定标提供时间连续的定标基础参量,增加遥感卫星过顶定标场地次数,提高在轨辐射定标频次。本文以Hadoop系统为基础,搭建大数据定标的原型系统,实现分布式存储与分布式计算功能。采用HTML5+JavaScript+React构建大数据定标平台前端页面,采用Java语言+Spring boot构建平台后端服务,并通过SWIG调用C/C++库、GDAL库、HDF4库和HDF5库,实现了基于B/S架构和类似于SAAS的数据和定标服务。为了增加地表和大气等定标参数的时间连续性,本文设计了类似于网络爬虫的定标多源数据自动获取功能,实现水汽、臭氧和地表等定标多源数据的爬取、预处理和存储,为长时间序列定标提供了稳定的数据支持,替代了人工定标场地实测定标参数的方法。本文利用大数据定标平台,对S-NPP VIIRS载荷进行了自动化在轨辐射定标试验,得到了 2018年4月～2018年12月期间18次有效的场地自动化定标,各波段的相对偏差均小于5%,表明场地自动化观测得到的表观反射率与星上测量的表观反射率有较好的一致性,18次场地自动化定标的均方根优于2.7%,表明场地自动化定标能够用于卫星的高频次在轨辐射定标,并能较好地检测其状态和变化趋势。针对GF-1WFV3载荷,采用国内15个定标场地,进行了在2013年～2018年期间的250多次长时序定标试验,得到了约100次有效定标结果,通过与2018年自动化定标结果进行比较,两种方法获得的4个通道定标结果的相对偏差都在1%以内,表明这两种定标方法具有很好的一致性,提高了定标结果的可靠性,说明自动化定标与全球定标场网相结合的定标新方法具有良好的应用可行性。
二、数据的文件系统管理与数据库系统管理（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、数据的文件系统管理与数据库系统管理（论文提纲范文）
（1）基于移动终端的小区虚拟化FTP服务系统设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 课题研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.3 本文主要研究内容与特色 |
| 1.4 本文组织结构 |
| 第二章 相关理论和技术基础 |
| 2.1 移动互联技术介绍 |
| 2.1.1 Zigbee技术介绍 |
| 2.1.2 蓝牙技术介绍 |
| 2.1.3 序列化和反序列化协议介绍 |
| 2.1.4 Wi Fi技术介绍 |
| 2.2 主流的网盘服务介绍 |
| 2.2.1 Dropbox |
| 2.2.2 Google Drive |
| 2.2.3 百度云 |
| 2.3 本章小结 |
| 第三章 系统需求分析与关键技术研究 |
| 3.1 系统基本需求说明 |
| 3.1.1 使用背景分析 |
| 3.1.2 使用场景分析 |
| 3.2 功能需求分析 |
| 3.2.1 Android手机控制端功能需求分析 |
| 3.2.2 PC电脑受控端功能性需求分析 |
| 3.2.3 小区云服务器端功能性需求分析 |
| 3.3 系统非功能性需求分析 |
| 3.3.1 性能需求分析 |
| 3.3.2 其他非功能性需求 |
| 3.4 系统关键技术研究 |
| 3.4.1 局域网下多线程文件传输技术 |
| 3.4.2 FTP的虚拟化 |
| 3.4.2.1 FTP简介 |
| 3.4.2.2 基于JVM的 FTP客户端套件Edtftpj |
| 3.5 本章小结 |
| 第四章 系统模块与接口设计 |
| 4.1 系统总体架构设计 |
| 4.2 系统功能详细设计 |
| 4.2.1 Android手机控制端详细设计 |
| 4.2.2 家庭PC受控端详细设计 |
| 4.2.3 小区FTP服务器端详细设计 |
| 4.3 系统模块间接口设计 |
| 4.3.1 手机端与PC端各功能接口设计 |
| 4.3.2 PC端与服务器端各功能接口设计 |
| 4.3.3 手机端与服务器端各功能接口设计 |
| 4.4 系统工作流程设计 |
| 4.4.1 家庭局域网中设备发现与连接机制 |
| 4.4.2 手机访问本地与小区私人FTP文件系统 |
| 4.4.3 手机操控PC访问小区虚拟化FTP公共文件系统 |
| 4.5 数据库设计 |
| 4.6 本章小结 |
| 第五章 系统详细设计与代码实现 |
| 5.1 系统设备管理模块 |
| 5.1.1 设备发现机制的设计与实现 |
| 5.1.2 设备连接的实现 |
| 5.1.3 手机端与电脑端之间的信息加密 |
| 5.2 远程控制模块 |
| 5.2.1 命令的发送与接收 |
| 5.2.1.1 基于短连接的命令发送与接收 |
| 5.2.1.2 基于长连接的命令发送与接收 |
| 5.3 文件服务模块 |
| 5.3.1 本地文件服务 |
| 5.3.1.1 PC端本地文件服务的提供实现 |
| 5.3.1.2 手机端文件服务的获取实现 |
| 5.3.2 FTP文件服务 |
| 5.3.2.1 基于Jvm的 Edtftp J PC客户端 |
| 5.3.2.2 基于Vsftpd的 Linux环境服务器 |
| 5.4 系统管理模块 |
| 5.4.1 用户账户分配与初始化 |
| 5.4.1.1 Vsftpd用户与Linux账户分配 |
| 5.4.1.2 用户账户初始化 |
| 5.4.2 文件记录管理 |
| 5.5 本章小结 |
| 第六章 系统测试 |
| 6.1 测试环境说明 |
| 6.2 系统功能测试 |
| 6.2.1 家庭设备连接功能测试 |
| 6.2.2 本地文件系统测试 |
| 6.2.3 FTP账号分配测试 |
| 6.2.4 FTP文件服务测试 |
| 6.2.5 公共空间文件服务测试 |
| 6.3 非功能性测试 |
| 6.3.1 性能测试 |
| 6.3.2 兼容性测试 |
| 6.4 本章小结 |
| 第七章 总结与展望 |
| 7.1 论文工作总结 |
| 7.2 问题与展望 |
| 致谢 |
| 参考文献 |
（2）建筑设备运维系统的分布式实时数据库（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 课题研究背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 实时数据库发展现状 |
| 1.2.2 分布式数据库发展现状 |
| 1.2.3 建筑设备管理系统发展现状 |
| 1.3 课题研究内容和论文安排 |
| 第2章 建筑设备运维系统的分布式实时数据库总体设计 |
| 2.1 建筑设备运维系统概述 |
| 2.2 建筑设备运维系统的分布式实时数据库需求分析 |
| 2.3 建筑设备运维系统的分布式实时数据库总体设计 |
| 2.3.1 建筑设备运维系统的分布式实时数据库总体架构 |
| 2.3.2 本地实时数据库系统架构 |
| 2.3.3 分布式管理系统结构设计 |
| 第3章 建筑设备运维系统分布式实时数据库的数据管理服务 |
| 3.1 数据库点名管理 |
| 3.2 数据采集与数据管理 |
| 3.2.1 多源数据采集与存储流程 |
| 3.2.2 组态化多源异构数据采集服务器设计 |
| 3.2.3 并发通信流程 |
| 3.2.4 内存数据管理 |
| 3.3 分布式实时事务调度 |
| 3.3.1 分布式实时事务调度模块 |
| 3.3.3 分布式实时事务优先级分配 |
| 第4章 建筑设备运维系统分布式实时数据库的数据存储与数据索引 |
| 4.1 历史数据库架构 |
| 4.2 数据分类优化存储策略 |
| 4.2.1 模拟量数据优化存储 |
| 4.2.2 开关量数据优化存储 |
| 4.3 数据归档 |
| 4.3.1 历史数据库文件组织形式 |
| 4.3.2 历史数据文件结构 |
| 4.4 分布式历史文件管理 |
| 4.4.1 Hadoop分布式文件系统 |
| 4.4.2 基于HDFS的历史文件管理系统的应用 |
| 4.5 数据压缩策略 |
| 4.5.1 基于旋转门的数据压缩策略 |
| 4.5.2 旋转门数据压缩算法的步骤与实现 |
| 4.6 基于API的数据访问接口 |
| 4.6.1 基于WCF的 C/S通讯接口 |
| 4.6.2 基于WebService的 B/S通讯接口 |
| 4.7 分布式实时数据库的数据索引 |
| 4.7.1 实时数据索引 |
| 4.7.2 历史数据索引 |
| 第5章 测试与应用 |
| 5.1 系统测试 |
| 5.2 系统应用 |
| 5.2.1 项目系统介绍 |
| 5.2.2 实时数据库系统 |
| 5.2.3 实时数据库采集器界面 |
| 5.2.4 客户端应用界面 |
| 第6章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 后记 |
| 攻读硕士学位期间论文发表及科研情况 |
（3）面向高性能计算系统的融合数据管理关键技术研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 论文研究背景和意义 |
| 1.2 融合场景下数据管理关键问题与挑战 |
| 1.3 本文工作和贡献 |
| 1.4 论文组织结构 |
| 第二章 背景和相关工作 |
| 2.1 融合场景下应用特征与系统存储结构变化 |
| 2.1.1 科学工作流 |
| 2.1.2 应用特征变化 |
| 2.1.3 系统存储结构变化 |
| 2.2 现有数据存储与管理方案 |
| 2.2.1 设计动态库丰富数据管理功能 |
| 2.2.2 拓展文件系统优化数据存储与管理 |
| 2.2.3 定制外部数据管理系统管理科学数据 |
| 2.2.4 其他数据管理工具 |
| 2.3 自适应和智能数据管理优化 |
| 2.3.1 数据放置优化 |
| 2.3.2 数据预取优化 |
| 2.4 科学数据索引与查询优化 |
| 2.4.1 文件粒度索引与查询优化 |
| 2.4.2 记录粒度索引与查询优化 |
| 第三章 基于层次式存储结构的数据管理系统设计 |
| 3.1 前言 |
| 3.2 目的与挑战 |
| 3.3 层次式数据管理系统TDMS |
| 3.3.1 TDMS系统架构 |
| 3.3.2 水平及垂直数据管理策略 |
| 3.3.3 系统接口设计 |
| 3.4 面向应用特征的定制数据管理技术 |
| 3.4.1 科学工作流及数据访问模式划分 |
| 3.4.2 定制层次式数据管理策略 |
| 3.4.3 跨存储层的负载均衡机制 |
| 3.5 数据感知的任务调度技术 |
| 3.6 系统实现 |
| 3.7 系统评估 |
| 3.7.1 实验配置 |
| 3.7.2 TDMS基本性能评估 |
| 3.7.3 科学工作流应用评估 |
| 3.8 小结 |
| 第四章 面向融合应用的自适应层次式数据管理技术 |
| 4.1 前言 |
| 4.2 基于分类模型的智能数据放置策略 |
| 4.2.1 目的与挑战 |
| 4.2.2 数据放置与分类问题 |
| 4.2.3 基于启发式方法的自动数据标注 |
| 4.2.4 智能数据放置引擎 |
| 4.3 面向文件类别的自适应数据预取策略 |
| 4.3.1 目的与挑战 |
| 4.3.2 结合数据流图拓扑结构分析数据访问特征 |
| 4.3.3 针对文件类别设计自适应数据预取策略 |
| 4.4 实现 |
| 4.5 系统评估 |
| 4.5.1 实验配置 |
| 4.5.2 数据放置策略评估 |
| 4.5.3 数据预取策略评估 |
| 4.6 小结 |
| 第五章 耦合并行文件系统的数据索引与查询优化 |
| 5.1 前言 |
| 5.2 面向科学数据的索引与查询模块设计 |
| 5.3 面向“应用定制元数据”的文件粒度索引技术 |
| 5.3.1 文件粒度索引与查询案例:气象大数据 |
| 5.3.2 并发元数据提取 |
| 5.3.3 层次式哈希索引结构 |
| 5.3.4 文件粒度查询处理 |
| 5.4 基于原位索引构建的记录粒度索引技术 |
| 5.4.1 记录粒度索引与查询案例:生物大数据 |
| 5.4.2 原位索引构建过程 |
| 5.4.3 Range-bitmap索引结构 |
| 5.4.4 双层并发查询处理 |
| 5.5 实现 |
| 5.6 系统评估 |
| 5.6.1 实验配置 |
| 5.6.2 文件定位服务性能评估 |
| 5.6.3 记录定位服务性能评估 |
| 5.7 小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 未来工作 |
| 致谢 |
| 参考文献 |
| 作者在学期间取得的学术成果 |
（4）基于Web的直升机无人机电力巡线系统的设计与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外发展现状 |
| 1.3 论文主要工作及结构安排 |
| 1.3.1 本文的主要工作 |
| 1.3.2 论文的结构安排 |
| 第2章 系统关键技术 |
| 2.1 软件开发框架与工具 |
| 2.2 软件服务端分层设计 |
| 2.3 REST架构风格 |
| 2.4 ArcGIS REST API与ArcSDE |
| 2.5 Spring AOP |
| 2.6 本章小结 |
| 第3章 系统需求分析 |
| 3.1 系统设计目标 |
| 3.2 系统用户角色 |
| 3.3 系统功能需求 |
| 3.3.1 系统首页 |
| 3.3.2 无人机作业计划 |
| 3.3.3 载人直升机作业计划 |
| 3.3.4 数据管理 |
| 3.3.5 台账管理 |
| 3.3.6 飞行调度 |
| 3.3.7 深化分析 |
| 3.3.8 系统管理 |
| 3.4 系统非功能需求 |
| 3.4.1 系统性能指标 |
| 3.4.2 系统安全性 |
| 3.4.3 其它需求信息 |
| 3.5 本章小结 |
| 第4章 系统设计 |
| 4.1 系统概要设计 |
| 4.1.1 系统总体框架 |
| 4.1.2 系统运行环境 |
| 4.1.3 系统功能架构 |
| 4.1.4 系统部署 |
| 4.2 系统功能模块设计 |
| 4.2.1 系统首页设计 |
| 4.2.2 无人机作业计划设计 |
| 4.2.3 载人直升机作业计划设计 |
| 4.2.4 数据管理设计 |
| 4.2.5 台账管理设计 |
| 4.2.6 飞行调度设计 |
| 4.2.7 深化分析设计 |
| 4.2.8 系统管理设计 |
| 4.3 系统安全设计 |
| 4.3.1 系统安全问题 |
| 4.3.2 安全防御设计 |
| 4.4 本章小结 |
| 第5章 系统实现 |
| 5.1 系统功能模块实现 |
| 5.1.1 系统首页实现 |
| 5.1.2 无人机作业计划实现 |
| 5.1.3 载人直升机作业计划实现 |
| 5.1.4 数据管理实现 |
| 5.1.5 台账管理实现 |
| 5.1.6 飞行调度实现 |
| 5.1.7 深化分析实现 |
| 5.1.8 系统管理实现 |
| 5.2 系统安全实现 |
| 5.2.1 登录信息加密 |
| 5.2.2 数据访问认证机制 |
| 5.2.3 SQL注入防御 |
| 5.2.4 越权访问防御 |
| 5.3 本章小结 |
| 第6章 系统测试 |
| 6.1 系统测试环境 |
| 6.2 系统功能模块测试 |
| 6.2.1 系统首页测试 |
| 6.2.2 无人机作业计划测试 |
| 6.2.3 载人直升机作业计划测试 |
| 6.2.4 数据管理测试 |
| 6.2.5 台账管理测试 |
| 6.2.6 飞行调度测试 |
| 6.2.7 深化分析测试 |
| 6.2.8 系统管理测试 |
| 6.3 系统性能监控与测试 |
| 6.3.1 系统性能监控 |
| 6.3.2 系统性能测试 |
| 6.4 系统安全测试 |
| 6.4.1 通信保密性 |
| 6.4.2 身份鉴别 |
| 6.4.3 漏洞攻击测试 |
| 6.4.4 访问控制 |
| 6.5 本章小结 |
| 第7章 总结与展望 |
| 7.1 总结 |
| 7.2 展望 |
| 附录A |
| 参考文献 |
| 发表论文和参加科研情况说明 |
| 致谢 |
（5）面向新硬件的数据存储与管理（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.2 研究内容 |
| 1.3 面临的挑战 |
| 1.4 主要贡献 |
| 1.5 章节安排 |
| 第二章 研究综述 |
| 2.1 新型硬件 |
| 2.1.1 存储设备 |
| 2.1.2 网络设备 |
| 2.1.3 计算设备 |
| 2.2 分布式存储系统 |
| 2.2.1 基于传统设备构建的分布式存储系统 |
| 2.2.2 面向新硬件设计的分布式存储系统 |
| 2.2.3 新硬件环境下的瓶颈分析 |
| 2.3 本章小结 |
| 第三章 本地存储栈的优化技术 |
| 3.1 引言 |
| 3.2 问题描述 |
| 3.2.1 传统存储栈的概述与分析 |
| 3.2.2 写入放大问题 |
| 3.3 总体设计 |
| 3.3.1 轻量化存储栈 |
| 3.3.2 单机存储引擎的架构 |
| 3.4 系统实现 |
| 3.4.1 多I/O队列的并行调度策略 |
| 3.4.2 异构存储上的Undo日志机制 |
| 3.4.3 其它实现 |
| 3.5 实验分析 |
| 3.5.1 实验配置 |
| 3.5.2 实验结果与分析 |
| 3.6 局限性与讨论 |
| 3.7 本章小结 |
| 第四章 基于LSM-tree索引结构的并行日志策略 |
| 4.1 引言 |
| 4.2 问题定义 |
| 4.3 支持日志并行的LSM-tree |
| 4.3.1 概要设计 |
| 4.3.2 轻量的日志存储 |
| 4.3.3 两阶段日志策略 |
| 4.3.4 放松一致性的并行日志方法 |
| 4.3.5 数据一致性的验证 |
| 4.4 具体实现 |
| 4.4.1 日志存储空间的分配和管理 |
| 4.4.2 日志提交协议 |
| 4.4.3 支持部分日志乱序的提交协议 |
| 4.4.4 恢复协议 |
| 4.4.5 基于多核的多队列管理 |
| 4.5 实验分析 |
| 4.5.1 实验配置 |
| 4.5.2 实验结果及分析 |
| 4.6 本章小结 |
| 第五章 主备同步的改进方法 |
| 5.1 引言 |
| 5.2 问题定义 |
| 5.3 整体架构 |
| 5.4 轻量的分布式表存储 |
| 5.4.1 混合的数据结构 |
| 5.4.2 行存储和列存储 |
| 5.4.3 表存储的接口 |
| 5.5 基于主动拉取的Raft协议的优化 |
| 5.5.1 R-Raft协议的概要设计 |
| 5.5.2 领导者选举 |
| 5.5.3 部分乱序的日志复制 |
| 5.5.4 R-Raft协议的系统实现 |
| 5.5.5 一致性分析 |
| 5.6 实验分析 |
| 5.6.1 混合存储的效率 |
| 5.6.2 Raft和 R-Raft |
| 5.6.3 与现有分布式系统的性能对比 |
| 5.7 本章小结 |
| 第六章 总结与展望 |
| 6.1 本文总结 |
| 6.2 未来展望 |
| 参考文献 |
| 致谢 |
| 攻读博士学位期间的学术论文 |
（6）司法文本数据自动化生成系统的设计与实现（论文提纲范文）
| 摘要 |
| 英文摘要 |
| 第一章 绪论 |
| 1.1 选题背景与意义 |
| 1.2 国内外研究现状及分析 |
| 1.2.1 文本数据扩增研究现状 |
| 1.2.2 深度学习模型多维度测试研究现状 |
| 1.3 本文主要研究工作 |
| 1.4 本文的组织结构 |
| 第二章 技术综述 |
| 2.1 自然语言处理技术 |
| 2.1.1 中文分词技术 |
| 2.1.2 词向量技术 |
| 2.1.3 语言模型 |
| 2.2 变分编码器 |
| 2.3 Django框架 |
| 2.4 遗传算法 |
| 2.5 分布式存储技术 |
| 2.6 本章小结 |
| 第三章 系统需求分析与架构设计 |
| 3.1 系统需求分析 |
| 3.1.1 数据交互需求分析 |
| 3.1.2 文本预处理需求分析 |
| 3.1.3 数据生成需求分析 |
| 3.1.4 用户文件管理需求分析 |
| 3.1.5 非功能性需求分析 |
| 3.2 系统架构设计 |
| 3.3 数据交互模块设计 |
| 3.4 文本预处理模块设计 |
| 3.5 数据生成模块设计 |
| 3.6 用户文件管理模块设计 |
| 3.7 数据库设计 |
| 3.8 本章小结 |
| 第四章 系统实现 |
| 4.1 文本预处理 |
| 4.2 数据生成 |
| 4.2.1 基于规则的训练数据生成 |
| 4.2.2 基于VAE的训练数据生成 |
| 4.2.3 含噪声项测试数据生成 |
| 4.2.4 对抗攻击测试数据生成 |
| 4.3 数据交互 |
| 4.4 用户文件管理 |
| 4.5 案例及实验分析 |
| 4.5.1 训练数据生成案例及实验分析 |
| 4.5.2 测试数据生成案例及实验分析 |
| 4.6 系统测试 |
| 4.6.1 测试环境 |
| 4.6.2 功能测试 |
| 4.6.3 性能测试 |
| 4.7 本章小结 |
| 第五章 总结与展望 |
| 5.1 总结 |
| 5.2 进一步工作 |
| 参考文献 |
| 简历与科研成果 |
| 致谢 |
（7）面向数据分析的分布式数据管理系统（论文提纲范文）
| 摘要 |
| abstract |
| 第1章 引言 |
| 1.1 研究背景和意义 |
| 1.2 研究现状及存在的问题 |
| 1.3 本文的主要研究内容 |
| 1.4 本文的组织结构 |
| 第2章 分布式数据管理平台及相关技术 |
| 2.1 Hadoop大数据平台 |
| 2.1.1 HDFS分布式文件系统 |
| 2.1.2 MapReduce分布式数据处理编程框架 |
| 2.1.3 Hive分布式大数据仓库 |
| 2.2 Spark分布式内存计算平台 |
| 2.2.1 Spark分布式作业系统 |
| 2.2.2 Spark RDD分布式内存数据集 |
| 2.2.3 Spark ML分布式机器学习算法 |
| 2.3 随机样本划分方法 |
| 2.4 本文研究框架 |
| 第3章 分布式随机样本划分算法 |
| 3.1 问题描述 |
| 3.1.1 大数据分析成本高 |
| 3.1.2 传统按顺序分块的不足 |
| 3.2 分布式随机样本划分算法的设计与实现 |
| 3.2.1 随机样本划分表达模型 |
| 3.2.2 随机样本划分基本算法 |
| 3.2.3 分布式随机样本划分算法实现 |
| 3.3 方法验证及分析 |
| 3.3.1 实验设计 |
| 3.3.2 数据来源 |
| 3.3.3 实验结果与分析 |
| 3.4 本章小结 |
| 第4章 随机样本划分存储模型 |
| 4.1 问题描述 |
| 4.1.1 随机样本划分后的数据存储 |
| 4.1.2 分区元数据存储 |
| 4.2 随机样本划分存储模型的设计与实现 |
| 4.2.1 存储模型 |
| 4.2.2 随机样本划分存储模型设计 |
| 4.2.3 随机样本划分存储模型实现 |
| 4.3 方法验证及分析 |
| 4.3.1 实验设计 |
| 4.3.2 数据来源 |
| 4.3.3 实验结果与分析 |
| 4.4 本章小结 |
| 第5章 基于随机样本划分的数据管理原型系统研发 |
| 5.1 基于随机样本划分的数据管理原型系统设计 |
| 5.1.1 系统业务需求 |
| 5.1.2 系统功能设计 |
| 5.1.3 系统数据库设计 |
| 5.1.4 系统总体架构设计 |
| 5.2 基于随机样本划分的数据管理原型系统实现 |
| 5.2.1 系统实现环境 |
| 5.2.2 系统实现关键技术 |
| 5.2.3 系统主要流程实现 |
| 5.2.4 典型界面设计 |
| 5.3 基于随机样本划分的数据管理原型系统部署及测试 |
| 5.3.1 系统部署 |
| 5.3.2 功能测试 |
| 5.3.3 系统评价 |
| 5.4 本章小结 |
| 第6章 总结与展望 |
| 6.1 本文工作总结 |
| 6.2 下一步研究方向 |
| 参考文献 |
| 附录 |
| 致谢 |
| 作者简介 |
（8）海量时间频率科学数据管理与服务关键技术研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 研究现状与分析 |
| 1.1.1 时间频率科学数据存储管理 |
| 1.1.2 时间频率科学数据计算模式 |
| 1.1.3 时间频率科学数据服务方式 |
| 1.1.4 现状分析 |
| 1.3 研究目标和主要研究内容 |
| 1.3.1 研究目标 |
| 1.3.2 主要研究内容 |
| 1.4 论文组织结构 |
| 第2章 面向服务的海量时间频率科学数据管理体系设计 |
| 2.1 时频数据特征与管理系统分析 |
| 2.1.1 时间频率科学数据特征 |
| 2.1.2 时间频率科学数据管理原型系统 |
| 2.2 面向服务的海量时间频率科学数据管理体系设计 |
| 2.2.1 面向服务的海量时频数据管理标准体系 |
| 2.2.2 面向服务的海量时频数据管理框架(STFDMA) |
| 2.3 面向服务的海量时间频率科学数据管理实现模型 |
| 2.3.1 云计算与大数据技术 |
| 2.3.2 STFMDA的实现模型 |
| 2.4 本章小结 |
| 第3章 海量时间频率科学数据存储管理方法研究 |
| 3.1 基于HDFS的海量时频数据文件存储方法研究 |
| 3.1.1 HDFS架构与存储特性分析 |
| 3.1.2 基于HDFS的时频数据文件存储架构设计 |
| 3.1.3 分布式时频科学数据文件存储系统优化方法 |
| 3.1.4 实验结果与分析 |
| 3.2 基于HBase的海量半结构化时频数据存储方法研究 |
| 3.2.1 HBase系统特性与架构方案 |
| 3.2.2 基于HBase的GNSS系统时差监测数据存储设计 |
| 3.2.3 实验结果与分析 |
| 3.3 基于时间序列数据库Influx DB的时频数据存储方法研究 |
| 3.3.1 Influx DB系统架构与数据存储管理特征分析 |
| 3.3.2 基于Influx DB的时间序列数据组织与模型设计 |
| 3.3.3 基于Influx DB的时频测量数据存储管理方法研究 |
| 3.3.4 基于Influx DB的CAPS主钟溯源比对数据存储设计 |
| 3.3.5 实验结果与分析 |
| 3.4 本章小结 |
| 第4章 海量时间频率科学数据离线并行分析方法研究 |
| 4.1 基于Map Reduce的时频数据并行处理框架及流程设计 |
| 4.1.1 基于Map Reduce的并行处理框架及功能分析 |
| 4.1.2 基于Map Reduce的离线分析作业运行流程设计 |
| 4.2 基于Map Reduce的并行化时间间隔误差计算方法 |
| 4.2.1 时间间隔误差原理与分析方法 |
| 4.2.2 基于Map Reduce的时间间隔误差算法MR-TIE |
| 4.3 基于Map Reduce的并行化频率源钟差模型计算方法 |
| 4.3.1 频率源钟差模型与计算方法 |
| 4.3.2 基于Map Reduce的频率源钟差模型计算方法MR-CLS |
| 4.4 实验结果与分析 |
| 4.4.1 实验环境部署 |
| 4.4.2 基于MR-TIE的CAPS主钟溯源比对钟差分析 |
| 4.4.3 基于MR-CLS的CAPS主钟溯源比对钟差分析 |
| 4.5 本章小结 |
| 第5章 海量时间频率科学数据实时并行分析方法研究 |
| 5.1 基于Spark的时频数据并行计算框架及流程设计 |
| 5.1.1 基于Spark的并行计算框架及功能分析 |
| 5.1.2 基于Spark的实时并行计算流程设计 |
| 5.2 基于Spark的频率稳定度Allan方差计算方法 |
| 5.2.1 频率稳定度Allan方差计算方法 |
| 5.2.2 基于Spark的并行化Allan方差Spark-Allan |
| 5.2.3 Spark-Allan数据处理流程 |
| 5.3 基于Spark的最大时间间隔误差算法Spark-MTIE |
| 5.3.1 最大时间间隔误差定义及计算方法 |
| 5.3.2 基于Spark的并行化MTIE计算方法Spark-MTIE |
| 5.3.3 Spark-MTIE数据处理流程 |
| 5.4 基于Spark的光纤溯源钟差粗差探测算法 |
| 5.4.1 基于光纤时间传递的溯源钟差模型 |
| 5.4.2 光纤溯源钟差粗差探测算法(ODTD) |
| 5.4.3 基于Spark的光纤溯源钟差粗差探测方法Spark-ODTD |
| 5.5 实验结果与分析 |
| 5.5.1 实验环境搭建 |
| 5.5.2 基于Spark-Allan的CAPS主钟频率稳定度分析 |
| 5.5.3 基于Spark-MTIE的CAPS主钟溯源比对钟差分析 |
| 5.5.4 基于Spark的光纤溯源钟差粗差探测实验分析 |
| 5.6 本章小结 |
| 第6章 远程溯源比对云服务原型系统设计与实现 |
| 6.1 远程溯源比对云服务原型系统总体框架 |
| 6.1.1 远程溯源比对云服务基本原理与系统架构 |
| 6.1.2 远程溯源比对云服务系统总体框架 |
| 6.2 远程溯源比对云服务原型系统模块设计与实现 |
| 6.2.1 远程溯源比对云服务原型系统服务与模块设计 |
| 6.2.2 远程溯源比对云服务原型系统应用界面 |
| 6.3 本章小结 |
| 第7章 总结与展望 |
| 7.1 总结 |
| 7.2 展望 |
| 参考文献 |
| 致谢 |
| 作者简历及在学期间发表的学术论文与研究成果 |
（9）基于分布式微服务化架构的大规模在线课程学习平台的设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 本论文专业术语的注释表 |
| 第一章 绪论 |
| 1.1 论文背景与意义 |
| 1.2 国内外发展现状 |
| 1.3 论文研究内容 |
| 1.4 论文组织结构 |
| 第二章 相关技术基础 |
| 2.1 Spring Boot框架介绍 |
| 2.2 MyCat框架介绍 |
| 2.3 Dubbo&Zookeeper介绍 |
| 2.3.1 Dubbo介绍 |
| 2.3.2 Zookeeper介绍 |
| 2.4 Redis框架介绍 |
| 2.5 微服务Docker容器 |
| 2.6 本章小结 |
| 第三章 需求分析 |
| 3.1 涉众分析 |
| 3.1.1 普通学员用户角色分析 |
| 3.1.2 讲师用户角色分析 |
| 3.1.3 平台管理人员角色分析 |
| 3.2 功能性需求分析 |
| 3.2.1 普通学员用户功能分析 |
| 3.2.2 讲师用户功能分析 |
| 3.2.3 管理人员功能分析 |
| 3.3 非功能性需求分析 |
| 3.3.1 系统性能需求 |
| 3.3.2 系统易维护性需求 |
| 3.4 本章小结 |
| 第四章 平台设计 |
| 4.1 概要设计 |
| 4.1.1 系统功能模块设计 |
| 4.1.2 平台总体工作流程设计 |
| 4.2 数据库设计 |
| 4.2.1 数据库逻辑设计 |
| 4.2.2 详细数据库表设计 |
| 4.3 详细设计 |
| 4.3.1 多角色用户模块设计 |
| 4.3.2 多层次课程模块设计 |
| 4.3.3 多维度问答中心设计 |
| 4.3.4 人性化考试中心设计 |
| 4.4 平台技术框架设计 |
| 4.5 多场景推荐方案设计 |
| 4.5.1 用户近邻相似度推荐 |
| 4.5.2 热点推荐—冷启动问题 |
| 4.5.3 问答中心推荐 |
| 4.6 本章小结 |
| 第五章 高性能与高可用的分布式微服务化架构设计 |
| 5.1 平台服务治理架构设计 |
| 5.2 基于Dubbo协议构建更高效的RPC传输 |
| 5.2.1 传统通信Http协议报文 |
| 5.2.2 基于Dubbo协议构建RPC传输 |
| 5.3 基于Protostuff进行序列化优化 |
| 5.3.1 基于Serializable、Hessian Serializable序列化协议 |
| 5.3.2 基于Protostuff的序列化方案 |
| 5.4 自动服务注册与发现机制 |
| 5.5 Dubbo集群容错与灰度发布 |
| 5.5.1 集群容错设计与软负载均衡 |
| 5.5.2 基于多版本控制实现灰度发布 |
| 5.6 本章小结 |
| 第六章 高并发与高可用的数据存储与缓存架构设计 |
| 6.1 平台总体数据架构设计 |
| 6.2 高性能MySQL设计 |
| 6.3 基于MyCat和 HAProxy构建高性能数据架构 |
| 6.3.1 基于MyCat构建数据库垂直拆分 |
| 6.3.2 基于MyCat构建数据库水平拆分 |
| 6.3.3 基于MyCat实现数据安全 |
| 6.3.4 基于HAProxy和 Keepalived构建高性能可靠的数据库架构 |
| 6.4 基于Redis集群构建数据缓存服务 |
| 6.5 基于HDFS构建分布式文件系统 |
| 6.6 数据存储与缓存一致性设计 |
| 6.7 本章小结 |
| 第七章 平台实现 |
| 7.1 平台实现工具与环境 |
| 7.2 平台部署实现 |
| 7.3 后台管理端实现 |
| 7.3.1 后台用户管理 |
| 7.3.2 课程信息管理 |
| 7.3.3 题库信息管理 |
| 7.3.4 问答中心管理 |
| 7.4 前台用户界面实现 |
| 7.4.1 用户注册登录及密码找回 |
| 7.4.2 主界面实现 |
| 7.4.3 课程章节实现 |
| 7.4.4 视频播放实现 |
| 7.4.5 考试模块实现 |
| 7.4.6 问答中心实现 |
| 7.4.7 个人中心实现 |
| 7.5 本章小结 |
| 第八章 平台测试 |
| 8.1 测试环境 |
| 8.2 功能性测试 |
| 8.3 非功能性测试 |
| 8.3.1 性能测试 |
| 8.3.2 易维护性测试 |
| 8.4 本章小结 |
| 第九章 总结与展望 |
| 9.1 论文工作总结 |
| 9.2 展望 |
| 致谢 |
| 参考文献 |
（10）基于大数据的定标方法研究与初步应用（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第1章 绪论 |
| 1.1 遥感定标技术发展现状分析 |
| 1.1.1 发射前定标 |
| 1.1.2 星上定标 |
| 1.1.3 替代定标 |
| 1.2 遥感定标数据处理手段和能力现状 |
| 1.3 大数据技术应用于定标的可行性分析 |
| 1.3.1 大数据技术概述 |
| 1.3.2 分布式存储研究与进展 |
| 1.3.3 分布式计算研究与进展 |
| 1.4 大数据技术定标的方法和发展现状 |
| 1.5 本文研究内容 |
| 第2章 大数据定标方案设计 |
| 2.1 大数据定标方案 |
| 2.1.1 分布式文件系统原理 |
| 2.1.2 分布式计算框架原理 |
| 2.1.3 大数据定标方案 |
| 2.2 大数据定标平台的组成 |
| 2.2.1 操作系统 |
| 2.2.2 SSH协议 |
| 2.2.3 JDK |
| 2.2.4 Hadoop系统 |
| 2.2.5 分布式数据库HBase |
| 2.2.6 栅格空间数据开源库 |
| 2.2.7 HDF4/5库 |
| 2.2.8 大气辐射传输模型 |
| 2.2.9 硬件要求 |
| 2.3 自动规划设计 |
| 2.3.1 轨道预报 |
| 2.3.2 SGP4/SDP4库使用说明 |
| 2.4 自动爬取设计 |
| 2.5 算法的物理基础 |
| 2.5.1 场地自动化定标法 |
| 2.5.2 全球定标场网法 |
| 2.6 本章小结 |
| 第3章 大数据定标方案的实现 |
| 3.1 分布式存储与管理定标多源数据 |
| 3.1.1 基础数据 |
| 3.1.2 影像数据 |
| 3.1.3 大气数据 |
| 3.1.4 地表数据 |
| 3.1.5 定标结果数据 |
| 3.2 分布式计算中定标多源数据处理 |
| 3.2.1 影像数据接口设计 |
| 3.2.2 地理定位 |
| 3.3 本章小结 |
| 第4章 大数据定标的软件设计与初步应用 |
| 4.1 多源数据的自动爬取模块 |
| 4.2 数据服务模块 |
| 4.2.1 定标多源数据的查询与下载 |
| 4.2.2 定标多源数据的导入 |
| 4.2.3 定标结果数据 |
| 4.3 基准场模块 |
| 4.4 自动规划模块 |
| 4.5 绝对辐射定标模块 |
| 4.6 大数据定标平台的定标应用 |
| 4.6.1 S-NPP VIIRS高频次定标应用 |
| 4.6.2 GF-1 WFV3长时序定标应用 |
| 4.7 本章小结 |
| 第5章 结论与展望 |
| 5.1 论文工作总结 |
| 5.2 论文的创新点 |
| 5.3 进一步考虑 |
| 参考文献 |
| 致谢 |
| 在读期间发表的学术论文与取得的其它研究成果 |
四、数据的文件系统管理与数据库系统管理（论文参考文献）
- [1]基于移动终端的小区虚拟化FTP服务系统设计与实现[D]. 刘燃. 电子科技大学, 2021(01)
- [2]建筑设备运维系统的分布式实时数据库[D]. 王晓乐. 山东建筑大学, 2020(10)
- [3]面向高性能计算系统的融合数据管理关键技术研究[D]. 程鹏. 国防科技大学, 2020(01)
- [4]基于Web的直升机无人机电力巡线系统的设计与实现[D]. 王鹏程. 天津大学, 2020(02)
- [5]面向新硬件的数据存储与管理[D]. 储佳佳. 华东师范大学, 2020(10)
- [6]司法文本数据自动化生成系统的设计与实现[D]. 张舒. 南京大学, 2020(04)
- [7]面向数据分析的分布式数据管理系统[D]. 吴胤旭. 中国科学院大学(中国科学院深圳先进技术研究院), 2019(02)
- [8]海量时间频率科学数据管理与服务关键技术研究[D]. 孟令达. 中国科学院大学(中国科学院国家授时中心), 2019(01)
- [9]基于分布式微服务化架构的大规模在线课程学习平台的设计与实现[D]. 卢伟. 东南大学, 2019(01)
- [10]基于大数据的定标方法研究与初步应用[D]. 张孟. 中国科学技术大学, 2019(02)