为pandas检测重复值的语句
数据分析真的每天都是python，SQL吗？转行数据分析的话要重点学习什么呢？
数据分析真的每天都是python，SQL吗？转行数据分析的话要重点学习什么呢？
数据分析工作，不仅能通过对真实数据的分析去发现问题，还能够通过经济学原理建立数学模型，对投资或其他决策是否可行进行分析，预测未来的收益及风险情况，为作出科学合理的决策提供依据。
数据分析工作用事实说话，用数据揭示工作现状和发展趋势，改变了凭印象、凭感觉决策的不科学状况，客观地抓住了工作中存在的突出问题，使这些问题无可争辩地反映在面前，促使人们不得不努力提高水平、改正问题。数据分析工作提高了工作效率，增强了管理的科学性。
我们提数据，做报表，这些都是信息的收集，信息的处理，信息的整合；而给结论，是我们需要输出的对这些信息的描述，也就是我们需要告诉别人这些信息到底是啥；因为信息多，我们才要整理，因为整理了，我们才需要提炼有用信息。
一个优秀的数据分析专家，需要具备以下能力：
1、业务能力。数据分析工作并不是简单的数据统计与展示，它有一个重要的前提就是需要懂业务，包括行业知识、公司业务及流程等，最好有自己独到的见解。数据分析的目的就是通过研究数据实现转化增长，若脱离行业背景和公司业务内容，数据分析就是一堆没有价值的数据图表而已。
2、管理能力。数据分析师一方面需要搭建数据分析框架的要求，确定统一的业务指标。另一方面需要针对数据分析的结论研究出根本原因，并为下一步的工作目标做出指导性的规划。
3、分析能力。数据分析师必须要掌握一些行之有效的的数据分析方法，并能灵活的与自身实际工作相结合。数据分析师常用的数据分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。
4、工具使用能力。数据分析工具是实现数据分析方法理论的工具，面对越来越庞杂的数据，数据分析师必须要掌握相应的工具去对这些数据进行采集、清洗、分析和处理，以快速准确地的到最后的结果。常用工具有：EXCEL、SQL、Python、R、BI等
5、设计能力。是指运用图表和图形即将数据分析师的观点清晰、明确地展现出来，使分析结果一目了然。图表设计是门大学问，如何选择图形，如何进行版式设计，颜色怎样搭配等，都需要掌握一定的设计原则。
如果你的自学能力很强，那么你可以参考网上的推荐书籍，自己拿起书本，找些案例开始学习。
如果你需要前辈的指导，那么你可以按照CDA数据分析研究院的老师推荐的学习方法来学习数据分析：
首先，数据分析师需要三个方面的能力：技术（编程），数据分析方法，行业知识。
一、数据分析技术
主要包括excel，sql，BI分析工具等。
数据分析是个比较大的概念，相关领域也有很多的分析工具，包括：
1、Excel工具（Excel的强大必须单列）
2、专业的数据分析工具：SPSS、SAS、Matlib等
3、数据分析编程工具：Python、R等
4、商业智能BI工具
本文主要想大家推荐自助式BI数据分析工具。BI即商业智能，泛指用于业务分析的技术和工具，通过获取、处理原始数据，将其转化为有价值的信息指导商业行动。Gartner把BI定义为一个概括性的术语，其中包括应用程序、基础设施和工具，通过获取数据、分析信息以改进并优化决策和绩效，形成一套最佳的商业实践。
自助式商业智能和数据可视化工具，让数据分析更简单
自助式BI（也叫做自助式分析），是一种新的数据分析方式。让没有统计分析、数据挖掘、数据库 SQL 知识的业务人员，也可以通过丰富的数据交互和探索功能，发现数据背后的原因和价值，从而辅助业务决策的制定。自助式BI分析功能可以来自于独立的 BI 软件，也可以由行业应用软件直接提供。
BI数据分析工具，提供自助式BI分析功能，最终用户可以非常灵活的与数据交互，探索数据背后的原因并发掘更多价值，为决策制定提供有效的数据支撑。在仪表板设计和分析阶段，提供图表联动、数据钻取、数据切片器、OLAP 等交互式分析功能，用户仅需通过极少的操作，便能找到最有价值的数据。
自助式BI的价值
在使用传统商业智能BI软件的企业中，需要先准备数据仓库和数据集市，然后由IT/分析团队创建分析看板和报表，然而，随着企业发展步伐的加快，业务用户需要更快速、更容易地访问数据，这将帮助他们在复杂多变的环境中更好的做出决策。借助自助式BI分析工具，可以让这一需求得到满足，还能很好的提高企业的数据文化。
简单易用的 自助式BI
自助式BI从数据准备到 BI 交互式分析整个过程提供了高度易用的分析体验。分析人员通过拖拉拽快速完成数据建模和仪表板设计。不仅设计过程，结果也具备高度自助灵活的数据探查能力。分析过程与业务深度融合，真正让科学决策与业务管理并行。
自助准备数据、创建仪表板和报表
业务人员完全可以自己设计仪表板和报表，根据自己的业务需要进行数据分析、选择合适的数据可视化效果，并形成分析见解，也能直接分析自己的 Excel 等数据，从而避免以往花大量时间准备需求，然后交由IT部门开发（或者实施厂商）的业务模式，可以提升企业的整体运行效率，以适应瞬息万变的市场环境。
二、数据分析方法
常用的数据分析方法包括以下13种：
1. 描述统计
描述性统计是指运用制表和分类，图形以及计算概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。
2. 假设检验
参数检验
参数检验主要包括U验和T检验
1）U验 使用条件：当样本含量n较大时，样本值符合正态分布
2）T检验 使用条件：当样本含量n较小时，样本值符合正态分布
非参数检验
非参数检验是针对总体分布情况做的假设，
主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。
3. 信度分析：检査测量的可信度，例如调查问卷的真实性。
4. 列联表分析：用于分析离散变量或定型变量之间是否存在相关。
5. 相关分析：研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。
6. 方差分析
使用条件：各样本须是相互独立的随机样本；各样本来自正态分布总体；各总体方差相等。
7. 回归分析
包括：一元线性回归分析、多元线性回归分析、Logistic回归分析以及其他回归方法：非线性回归、有序回归、加权回归等
8. 聚类分析：样本个体或指标变量按其具有的特性进行分类，寻找合理的度量事物相似性的统计量。
9. 判别分析：根据已掌握的一批分类明确的样品建立判别函数，使产生错判的事例最少，进而对给定的一个新样品，判断它来自哪个总体
10. 主成分分析：将彼此相关的一组指标转化为彼此独立的一组新的指标变量，并用其中较少的几个新指标变量就能综合反应原多个指标变量中所包含的主要信息 。
11. 因子分析：一种旨在寻找隐藏在多变量数据中、无法直接观察到却影响或支配可测变量的潜在因子、并估计潜在因子对可测变量的影响程度以及潜在因子之间的相关性的一种多元统计分析方法
12. R0C分析
R0C曲线是根据一系列不同的二分类方式(分界值或决定阈）.以真阳性率（灵敏度)为纵坐标，假阳性率（1-特异度)为横坐标绘制的曲线
13. 其他分析方法
时间序列分析、生存分析、对应分祈、决策树分析、神经网络。
python如何将数据放在两列中？
在python使用pandas，有一个20 x 4000的数据。 这些列中有两列被命名为“year”和“quarter”。 要创建一个名为周期的变量，使year2000年，quarterq2，变成2000 q2...
在python的pandas中，合并数据共有三种思路。 其一，关系型数据库模式的连接操作。 其二，沿轴将多个操作对象拼接在一起。 其三，对互有重复数据的处理与合并。