基于Python数据分析研究

下面是小编为大家整理的基于Python数据分析研究,供大家参考。

　数据库与信息管理 本栏目责任编辑：王 力Computer Knowledge and Technology 电脑知识 与技术 第15卷第30期 (2019年10月) 第15卷第30期 (2019年10月)基于Python的数据分析的研究张运玉(广州市轻工职业学校，广东 广州 510650)摘要：Python是一种强大的数据分析工具，具有丰富的数据分析功能，通过设计专用平台，可以解决许多领域的数据分析问题。文章首先对Python数据分析技术进行介绍，并研究Python数据分析工具的常用类库。在此基础上，探讨Python数据分析平台的设计及应用，以期为相关数据分析工作提供参考。关键词：Python；数据分析；平台设计中图分类号：TP311 文献标识码：A文章编号：1009-3044(2019)30-0003-02开放科学(资源服务)标识码(OSID)：随着人工智能时代的全面到来，数据分析工作已经引起了各行各业的广泛重视。采用计算机语言编程方法完成数据分析工作，不仅效率高，而且数据分析结果的可靠性强，具有多方面的利用价值。在数据驱动模式下，无论是产品设计开发还是项目管理工作，都需要强大的数据分析工作提供支持。1 Python数据分析技术1.1 Python语言Python语言是一种解释型高级程序语言，支持面向对象编程设计，能够处理动态数据类型，目前已经研发出第三方程序数据库和实用性较强的应用工具。自20世纪90年代Python语言公开发布以来，由于其语法简洁、类库丰富，适用于快速开发活动，已经成为当下较为流行的一种脚本语言。在采用Python语言进行编程时，编程人员不需要考虑内存占用等底层的细节问题，能够有效提升编程效率。而且Python语言具有良好的一致性，可以在多种平台上移植。其本身属于开源代码，在程序解释执行过程中，可以直接从源代码中运行，不需要编译。这些特点都为Python语言的广泛应用奠定了基础。而且Python语言具有强大的数据分析功能，可以应用到网站开发、图像处理、数据统计和可视化表达等多个领域。在2017年5月时，Py‐thon语言成功超越Java语言，名列编程语言排行榜第一位，是目前最重要的编程语言之一，并成为数据分析工作的首选编程技术 [1] 。1.2 数据分析过程利用Python语言开展数据分析工作，具体包含以下几点基本流程：(1)需求确认，在数据分析过程中首先要明确数据使用需求，比如财务数据分析、工艺流程分析等，从而根据目标数据特点，采用合适的数据分析方法，深度挖掘数据特点和潜在利用价值。(2)数据获取，在明确数据分析需求后，应尽可能全面地收集目标数据，具体可采用本地获取、网络爬虫获取手段等。其中，网络爬虫获取手段是利用Python语言进行编程，合法获取网络中的相关数据资料，满足大数据分析中的数据量获取需求。(3)数据预处理，在正式进行数据分析前，首先要完成数据预处理工作，具体是通过对目标数据进行合并、清洗、变换和标准化处理，满足后续建模分析的需要。在此过程中，可提高数据质量，从而提高数据分析效率。(4)建模及优化，在数据分析过程中，建模是一个重要环节，具体可通过建立聚类模型、关联规则、智能算法等，对目标数据进行处理。完成建模后要对其性能进行评价和优化，确保其适用于实际数据分析工况。(5)结果生成，完成数据分析后，要采用可视化形式对结果进行展示和输出，方便使用者对数据结果进行利用 [2] 。2 Python数据分析工具的常用类库2.1 Ipython类库类库丰富、接口统一是Python数据分析工具使用便捷的主要原因，通过采用其自身携带的类库，可以有效简化程序设计工作，提高数据分析效率。其中Ipython是Python语言中的一个核心类库，为Python语言编程提供了标准工具集，并将所有相关工具联系起来，通过采用交互式、探索式等方法，为科学计算提供一个高效环境。Ipython 类库本身是一个加强 PythonShell，主要应用于交互式数据的并行处理，为分布式计算提供基础框架。利用Ipython类库进行编程，能够有效提升代码编写、测试和调试速度。2.2 NumPy类库NumPy类库是Python语言中的科学计算基础包，即Numer‐ical Python的简称。通过利用该类库，能够快速完成数据分析过程中的科学计算任务，也可以被作为多维数据容器，用于存储大型矩阵，并对其进行计算处理。在NumPy类库中包含多维数据组对象ndarray，可以数组进行元素级计算，并直接执行函数运算。该类库还具有线性代数计算、随机数生成、傅里叶变换等功能，可以将C语言等多种语言代码集成到Python语言中，并所谓算法间数据传递的容器。2.3 Scikit-learn类库Scikit-learn属于一种数据挖掘工具，在NumPy等类库的基收稿日期：2019-06-15作者简介：张运玉(1981—)，女，广东蕉岭人，讲师，本科，研究方向为计算机。E-mail：wltx@dnzs.net.cnhttp：//www.dnzs.net.cnTel：+86-551-65690963 65690964ISSN 1009-3044Computer Knowledge and Technology 电脑知识 与技术Vol.15, No.30, October. 20193

　本栏目责任编辑：王 力 数据库与信息管理Computer Knowledge and Technology 电脑知识 与技术 第15卷第30期 (2019年10月) 第15卷第30期 (2019年10月)础上，可以对常用算法进行封装。其本身包含数据预处理、分类和聚类、数据回归分析等机器学习算法，能够帮助编程人员快速完成建模过程，确保模型接口的统一性，从而方便使用。在一定的数据量前提下，该类库可以解决大部分数据分析工作，即使对于数据分析算法不够精通的编程人员，也可以通过快速建模，实现需要的算法功能。在使用过程中，可以查阅scikit-learn官方文档，直接调用类库中包含的模块，完成建模工作。2.4 其他常用类库除了上述介绍的几种类库外，SciPy类库、Pandas类库、Mat‐plotlib类库等，也是进行数据分析时常用的类库。其中，SciPy是一种能够解决数学计算问题的开源软件，在NumPy类库基础上建立数据函数集合，为Python语言编程提供科学计算工具集。其中包括数值计算方法及其功能函数，可以便捷地完成数据分析工作。Pandas也是Python语言的一个核心类库，主要提供时间序列支持，能够快速完成结构化数据处理工作。在数据预处理的数据清洗和标准化过程中，都可以采用Pandas类库中的功能函数。Matplotlib是专门为数据图表绘制提供支持的类库，在开源社区发展的带动下，该类库已经在计算领域得到广泛应用，是Python语言经常使用的绘图工具包。通过发挥这些类库的功能作用，可以为基于Python语言的数据分析过程提供有力支持 [3] 。3 Python数据分析平台设计及应用3.1 设计需求分析基于Python设计数据分析平台，主要为了解决数据分析过程中的数据采集、导入、分析和可视化展示等问题，完成整个数据分析处理过程。通过利用上述类库进行平台设计，可以极大地简化程序开发过程，满足实际应用需求。比如在一款产品售后客户满意度的问卷分析工具设计过程中，数据采集主要通过本地获取方式完成，在导入调查问卷后，需要进行数据预处理工作，按照问题分类进行数据提取，并进行格式转换。然后利用预先构建的数据分析模型，开展数据分析评价工作，得出综合性评价结果。除了对当期数据进行图形化展示以外，还要对数据进行存储，随着产品改良的进行，分析客户满意度变化趋势，为产品设计工作提供参考依据。3.2 核心技术及平台框架在基于Python语言的数据分析平台设计过程中，首先应根据软件应用需求，搭建数据库和数据通道，方便数据的调取和利用。同时应设计优化的操作界面以及可视化展示模型，方便使用者对数据分析结果的观察和利用。在本次平台设计过程中，采用开源Python2.7完成编程工作，使用的类库和模块主要包括Ipython、NumPy、Matplotlib、os、Json、codes等。其中，开源Python2.7可在网络中直接下载，并通过pip下载类库和模块。数据处理对象是调查问卷，可以将调查问卷中的数据结果存储在数据库中，并以图片、文档等形式进行数据结果展示。其中，调查问卷的基本数据类型由初始化文件自动生成，然后通过调用相关函数，完成数据录入过程，并对数据进行分类存储。除了调查问卷中的主体信息外，系统还会自动录入调查对象的基础信息，并对调查问卷的有效性进行评价，在数据预处理过程中提出无效问卷的数据。在数据结果展示过程中，可以采用图表形式建立调查问卷信息与调查对象信息的对应关系，使结果一目了然，为后续产品设计开发活动提供依据。3.3 主要功能模块设计在该数据分析平台的主要功能模块设计过程中，首先要为用户提供一个操作友好的图形界面。在主操作界面中，主要包含调查问卷导入、查询、数据分析和结果展示等功能。可以通过主界面操作更新数据库，并根据操作限制条件完成分类数据处理功能。由于该平台的数据分析结果主要是为了给设计人员提供参考，在完成基本的数据分析工作后，还可以结合设计要素，对结果进行分类展示，比如按照产品功能、产品包装、产品外观造型等展示不同的数据分析结果。随着产品销售时间的增加，需要评估的数据总量也会越来越大，通过在数据库中使用SQL语言进行编译，仅需要一次创建就可以重复调用，可提高数据库执行速度。在数据库初始化过程中，根据不同的分类结果展示需求，自动生产数据表，然后通过调用可视化模型，完成数据结果展示。使用者在对数据结果进行利用时，可通过采用查询、编辑、标注、选择、删除等功能，获得自己所需要的数据分析结果，然后将其存储到结果数据库中。此外，该平台还具有数据库打印功能，可以打印各种形式的报表，使用较为方便。3.4 应用效果利用Python语言设计数据分析平台，完成特定的数据分析功能，使用非常方便。从上述平台设计过程及应用效果来看，Python语言自身语法简单，即使初学者也能够通过查询和调用相关类库，实现数据分析功能。在庞大的第三方资源库支持下，Python能够为各个领域的数据分析工作提供支持。在基于Python的数据分析平台中，提供了多种接口，支持其他语言的编程操作，进一步扩大了其程序适用性。而且在可视化脚本工具的支持下，可以通过简单编程实现可视化结果展示功能，充分满足使用者对数据分析结构的利用需求。在数据操作过程中，数据库运行速度快，可以减少使用者的等待时间，及时掌握数据分析结果，发挥其利用价值。因此，Python语言是目前最为先进的数据分析工具之一，具有广泛的应用前景，可以有效简化复杂的数据分析处理过程，对其底层操作进行封装，只通过简单的功能按钮操作，就可以得到想要的数据处理结果，优势非常突出。4 结束语综上所述，Python语言在数据分析领域具有突出的应用优势，可以利用其自身携带的各种类库，完成数据分析的基本流程，并通过直接调用功能函数，简化代码编程过程。在Python数据分析技术的应用过程中，通过从实际需求出发，完善平台功能，可以快捷、高效地完成数据分析任务，得到具有参考价值的数据分析结果。参考文献：[1] 贺洪煜.基于Python的科技情报智能化识别检索系统的研究与设计[J].科技视界,2019(11):72-74.[2] 高鸿斌,申肖阳.Python数据分析技术综述[J].邯郸职业技术学院学报,2018,31(4):49-51.[3] 周洪斌.基于Python的豆瓣图书评论数据获取与可视化分析[J].沙洲职业工学院学报,2018,21(4):1-6.[通联编辑：唐一东]4