数据分析课程-使用python

下面是小编为大家整理的数据分析课程-使用python,供大家参考。

　数据分析

　课程概要

　第一部分 综述1、为什么要学习数据分析2、什么是数据分析3、环境安装4、认识jupyter notebook

　为什么要学习数据分析

　为什么要学习数据分析1. 有岗位需求2. 是python数据科学的基础3. 是机器学习课程的基础

　什么是数据分析数据分析是用适当的方法对收集来的大量数据进行分析，帮助人们作出判断，以便采取适当行动。

　数据分析的流程

　环境安装conda : data science package & environment manager创建环境:conda create --name python3 python=3切换环境:windows :activate python3linux/macos : source activate python3官方地址:

　https://www.anaconda.com/download/

　认识jupyter notebookjupyter notebook:一款编程/文档/笔记/展示软件启动命令:jupyter notebook

　第二部分 matplotlib1、什么是matplotlib2、matplotlib基本要点3、matplotlib的散点图、直方图、柱状图4、更多的画图工具

　为什么要学习matplotlib1.能将数据进行可视化,更直观的呈现2.使数据更加客观、更具说服力

　什么是matplotlibmatplotlib: 最流行的Python底层绘图库，主要做数据可视化图表,名字取材于MATLAB，模仿MATLAB构建

　matplotlib基本要点axis轴,指的是x或者y这种坐标轴

　matplotlib基本要点每个红色的点是坐标,把5个点的坐标连接成一条线,组成了一个折线图那么到底如何把它通过代码画出来呢?通过下面的小例子我们来看一下matplotlib该如何简单的使用假设一天中每隔两个小时(range(2,26,2))的气温(℃)分别是[15,13,14.5,17,20,25,26,26,27,22,18,15]

　matplotlib基本要点

　matplotlib基本要点我们能看明白这个图是什么,但是别人能看明白么???

　WE CAN DO MORE但是目前存在以下几个问题:1. 设置图片大小(想要一个高清无码大图)2. 保存到本地3. 描述信息,比如x轴和y轴表示什么,这个图表示什么4. 调整x或者y的刻度的间距5. 线条的样式(比如颜色,透明度等)6. 标记出特殊的点(比如告诉别人最高点和最低点在哪里)7. 给图片添加一个水印(防伪,防止盗用)

　设置图片大小

　设置图片大小

　调整X或者Y轴上的刻度

　调整X或者Y轴上的刻度那么问题来了:

　 如果列表a表示10点到12点的每一分钟的气温,如何绘制折线图观察每分钟气温的变化情况?

　 a= [random.randint(20,35) for i in range(120)]

　调整X或者Y轴上的刻度

　调整X或者Y轴上的刻度

　设置中文显示为什么无法显示中文:matplotlib默认不支持中文字符，因为默认的英文字体无法显示汉字查看linux/mac下面支持的字体:fc-list

　 查看支持的字体fc-list :lang=zh 查看支持的中文(冒号前面有空格)那么问题来了:如何修改matplotlib的默认字体?

　 通过matplotlib.rc可以修改,具体方法参见源码(windows/linux) 通过matplotlib 下的font_manager可以解决(windows/linux/mac)

　设置中文显示

　设置中文显示那么x轴y轴和当前图形到底表示什么是不是应该明确一下呢?

　给图像添加描述信息

　给图像添加描述信息

　动手假设大家在30岁的时候,根据自己的实际情况,统计出来了从11岁到30岁每年交的女(男)朋友的数量如列表a,请绘制出该数据的折线图,以便分析自己每年交女(男)朋友的数量走势a = [1,0,1,1,2,4,3,2,3,4,4,5,6,5,4,3,3,1,1,1]要求:

　y轴表示个数

　x轴表示岁数,比如11岁,12岁等

　动手假设大家在30岁的时候,根据自己的实际情况,统计出来了你和你同桌各自从11岁到30岁每年交的女(男)朋友的数量如列表a和b,请在一个图中绘制出该数据的折线图,以便比较自己和同桌20年间的差异,同时分析每年交女(男)朋友的数量走势a = [1,0,1,1,2,4,3,2,3,4,4,5,6,5,4,3,3,1,1,1]b = [1,0,3,1,2,2,3,3,2,1 ,2,1,1,1,1,1,1,1,1,1]要求:

　y轴表示个数

　x轴表示岁数,比如11岁,12岁等

　动手在上一个案例中如果大家希望自定义绘制图形的风格怎么办?

　动手虽然线条有了不一样的风格,但是读者还是不知道那条线是谁怎么办?为每条线添加图例

　动手(扩展)在上一个案例中,假设你希望在图中标记出自己和同桌交女(男)朋友最多的那一年所对应的数据,应该怎么做?(添加文本注释)在上一个案例中,假设你打算把自己的统计结果发布到网上供人瞻仰,但是很担心自己的图片被人盗用,你应该怎么做?(添加文字(水印)到图中)代码参考html课件的拓展

　总结:前面我们都做了什么1. 绘制了折线图(plt.plot)2. 设置了图片的大小和分辨率(plt.figure)3. 实现了图片的保存(plt.savefig)4. 设置了xy轴上的刻度和字符串(xticks)5. 解决了刻度稀疏和密集的问题(xticks)6. 设置了标题,xy轴的lable(title,xlable,ylable)7. 设置了字体(font_manager. fontProperties,matplotlib.rc)8. 在一个图上绘制多个图形(plt多次plot即可)9. 为不同的图形添加图例以上统统很重要

　matplotlib只能绘制折线图么?matplotlib能够绘制折线图,散点图,柱状图,直方图,箱线图,饼图等但是,我们需要知道不同的 统计图 到底能够表示出什么,以此来决定选择哪种 统计图 来更直观的呈现我们的数据

　对比常用统计图折线图:以折线的上升或下降来表示统计数量的增减变化的统计图特点:能够显示数据的变化趋势，反映事物的变化情况。(变化)直方图:由一系列高度不等的纵向条纹或线段表示数据分布的情况。

　一般用横轴表示数据范围，纵轴表示分布情况。特点:绘制连 续性 的数据,展示一组或者多组数据的分布状况(统计)条形图:排列在工作表的列或行中的数据可以绘制到条形图中。特点:绘制连 离散 的数据,能够一眼看出各个数据的大小,比较数据之间的差别。(统计)散点图:用两组数据构成多个坐标点，考察坐标点的分布,判断两变量之间是否存在某种关联或总结坐标点的分布模式。特点:判断变量之间是否存在数量关联趋势,展示离群点(分布规律)

　• 呈现公司产品(不同区域)每天活跃用户数• 呈现app每天下载数量• 呈现产品新功能上线后,用户点击次数随时间的变化• 呈现员工每天上下班时间折线图的更多应用场景

　绘制散点图假设通过爬虫你获取到了北京2016年3,10月份每天白天的最高气温(分别位于列表a,b),那么此时如何寻找出气温和随时间(天)变化的某种规律?a = [11,17,16,11,12,11,12,6,6,7,8,9,12,15,14,17,18,21,16,17,20,14,15,15,15,19,21,22,22,22,23]b = [26,26,28,19,21,17,16,19,18,20,20,19,22,23,17,20,21,20,22,15,11,15,5,13,17,10,11,13,12,13,6]数据来源: http://lishi.tianqi.com/beijing/index.html

　绘制散点图技术要点:plt.scatter(x,y)

　• 不同条件(维度)之间的内在关联关系• 观察数据的离散聚合程度散点图的更多应用场景

　绘制条形图假设你获取到了2017年内地电影票房前20的电影(列表a)和电影票房数据(列表b),那么如何更加直观的展示该数据?a = ["战狼2","速度与激情8","功夫瑜伽","西游伏妖篇","变形金刚5：最后的骑士","摔跤吧！爸爸","加勒比海盗5：死无对证","金刚：骷髅岛","极限特工：终极回归","生化危机6：终章","乘风破浪","神偷奶爸3","智取威虎山","大闹天竺","金刚狼3：殊死一战","蜘蛛侠：英雄归来","悟空传","银河护卫队2","情圣","新木乃伊",]b=[56.01,26.94,17.53,16.49,15.45,12.96,11.8,11.61,11.28,11.12,10.49,10.3,8.75,7.55,7.32,6.99,6.88,6.86,6.58,6.23] 单位:亿数据来源: http://58921.com/alltime/2017

　绘制条形图

　绘制条形图假设你知道了列表a中电影分别在2017-09-14(b_14), 2017-09-15(b_15), 2017-09-16(b_16)三天的票房,为了展示列表中电影本身的票房以及同其他电影的数据对比情况,应该如何更加直观的呈现该数据?a = ["猩球崛起3：终极之战","敦刻尔克","蜘蛛侠：英雄归来","战狼2"]b_16 = [15746,312,4497,319]b_15 = [12357,156,2045,168]b_14 = [2358,399,2358,362]数据来源: http://www.cbooo.cn/movieday

　绘制条形图

　条形图的更多应用场景• 数量统计• 频率统计(市场饱和度)

　绘制直方图假设你获取了250部电影的时长(列表a中),希望统计出这些电影时长的分布状态(比如时长为100分钟到120分钟电影的数量,出现的频率)等信息,你应该如何呈现这些数据?a=[131,

　98, 125, 131, 124, 139, 131, 117, 128, 108, 135, 138, 131, 102, 107, 114, 119, 128, 121, 142, 127, 130, 124, 101, 110, 116, 117, 110, 128, 128, 115,

　99, 136, 126, 134,

　95, 138, 117, 111,78, 132, 124, 113, 150, 110, 117,

　86,

　95, 144, 105, 126, 130,126, 130, 126, 116, 123, 106, 112, 138, 123,

　86, 101,

　99, 136,123, 117, 119, 105, 137, 123, 128, 125, 104, 109, 134, 125, 127,105, 120, 107, 129, 116, 108, 132, 103, 136, 118, 102, 120, 114,105, 115, 132, 145, 119, 121, 112, 139, 125, 138, 109, 132, 134,156, 106, 117, 127, 144, 139, 139, 119, 140,

　83, 110, 102,123,107, 143, 115, 136, 118, 139, 123, 112, 118, 125, 109, 119, 133,112, 114, 122, 109, 106, 123, 116, 131, 127, 115, 118, 112, 135,115, 146, 137, 116, 103, 144,

　83, 123, 111, 110, 111, 100, 154,136, 100, 118, 119, 133, 134, 106, 129, 126, 110, 111, 109, 141,120, 117, 106, 149, 122, 122, 110, 118, 127, 121, 114, 125, 126,114, 140, 103, 130, 141, 117, 106, 114, 121, 114, 133, 137,

　92,121, 112, 146,

　97, 137, 105,

　98, 117, 112,

　81,

　97, 139, 113,134, 106, 144, 110, 137, 137, 111, 104, 117, 100, 111, 101, 110,105, 129, 137, 112, 120, 113, 133, 112,

　83,

　94, 146, 133, 101,131, 116, 111,

　84, 137, 115, 122, 106, 144, 109, 123, 116, 111,111, 133, 150]

　绘制直方图把数据分为多少组进行统计???组数要适当,太少会有较大的统计误差,大多规律不明显bin_width

　那么问题来了在美国2004年人口普查发现有124 million的人在离家相对较远的地方工作。根据他们从家到上班地点所需要的时间,通过抽样统计(最后一列)出了下表的数据,这些数据能够绘制成直方图么?interval = [0,5,10,15,20,25,30,35,40,45,60,90]width = [5,5,5,5,5,5,5,5,5,15,30,60]quantity = [836,2737,3723,3926,3596,1438,3273,642,824,613,215,47]数据来源:https://en.wikipedia.org/wiki/Histogram普查报告地址:https://www.census.gov/prod/2004pubs/c2kbr-33.pdf

　绘制直方图前面的问题问的是什么呢?

　问的是:哪些数据能够绘制直方图前面的问题中给出的数据都是统计之后的数据,所以为了达到直方图的效果,需要绘制条形图所以:一般来说能够使用plt.hist方法的的是那些没有统计过的数据

　直方图更多应用场景• 用户的年龄分布状态• 一段时间内用户点击次数的分布状态• 用户活跃时间的分布状态

　matplotlib常见问题总结1. 应该选择那种图形来呈现数据2. matplotlib.plot(x,y)3. matplotlib.bar(x,y)4. matplotlib.scatter(x,y)5. matplotlib.hist(data,bins,normed)6. xticks和yticks的设置7. label和titile,grid的设置8. 绘图的大小和保存图片

　matplotlib使用的流程总结1. 明确问题2. 选择图形的呈现方式3. 准备数据4. 绘图和图形完善

　matplotlib更多的图形样式matplotlib支持的图形是非常多的，如果有其他的需求，我们可以查看一下url地址：http://matplotlib.org/gallery/index.html

　更多的绘图工具plotly:可视化工具中的github,相比于matplotlib更加简单,图形更加漂亮,同时兼容matplotlib和pandas使用用法:简单,照着文档写即可文档地址: https://plot.ly/python/

　第二部分 numpy学习1. 什么是numpy2. numpy基础3. numpy常用方法4. numpy常用统计方法

　为什么要学习numpy1. 快速2. 方便3. 科学计算的基础库

　什么是numpy一个在Python中做科学计算的基础库，重在数值计算，也是大部分PYTHON科学计算库的基础库，多用于在大型、多维数组上执行数值运算

　numpy创建数组(矩阵)

　numpy中常见的更多数据类型

　数据类型的操作那么问题来了,python中如何保留固定位数的小数?

　数组的形状

　数组的形状

　数组和数的计算

　数组和数组的计算

　数组和数组的计算But!!

　数组和数组的计算

　数组和数组的计算为什么?

　广播原则怎么理解呢?可以把维度指的是shape所对应的数字个数那么问题来了:shape为(3,3,3)的数组能够和(3,2)的数组进行计算么?shape为(3,3,2)的数组能够和(3,2)的数组进行计算么?有什么好处呢?举个例子:每列的数据减去列的平均值的结果

　轴(axis)在numpy中可以理解为方向,使用0,1,2...数字表示,对于一个一维数组,只有一个0轴,对于2维数组(shape(2,2)),有0轴和1轴,对于三维数组(shape(2,2, 3)),有0,1,2轴有了轴的概念之后,我们计算会更加方便,比如计算一个2维数组的平均值,必须指定是计算哪个方向上面的数字的平均值那么问题来了:在前面的知识,轴在哪里?回顾 np.arange(0,10).reshape((2,5)), reshpe中2表示0轴长度(包含数据的条数)为2,1轴长度为5,2X5一共10个数据

　二维数组的轴

　三维数组的轴明白了轴的概念之后,对于shape返回的结果和reshape的结果能够更...