【数据分析】EDA(探索性数据分析)理论和实践

EDA是什么探索性数据分析（EDA）是一种使用可视化技术分析数据的方法。一图胜千言，正如Scott Berinato在他的著作《Good Charts》中所说，"A good visualization can communicate the nature and potential impact of information and ideas more powerfully than any other form of communication."EDA的作用在机器学习中，对数据进行恰当的预处理以及抽取合适的特征对后续的模型训练起到至关重要的作用。EDA可以帮助我们发现数据中的某些模式以及趋势，以及借助统计描述信息和图形表示验证某些假设，从而指导我们如何进行数据预处理和特征工程。EDA实战在EDA中，我们需要重点关注的信息包括：缺失值、异常值、数据分布、变量之间的相关性、变量和标签之间的相关性。我们可以借助Matplotlib、Seaborn等诸多工具来手动地进行EDA，而一种更简便的方法是可以使用自动化的EDA工具，例如dtale、pandas pr ………………………………