多年来我一直想学VBA——微软Visual
Basic的改造版、用来编写excel宏的编程语言,但由于各种原因一直拖延着没学。它并不是一种很难学的语言,只是因为它不是我的主要工作内容,我一直没腾出时间来学它。昨晚,我跟随着Twitter上的一个链接发现了
DataNitro,五分钟后我学会了VBA。

前言

从网页爬下来的大量数据需要excel清洗
成堆的科学实验数据需要导入excel进行分析
作为一名面向逼格的Python程序员
该如何合理而又优雅的选择生产力工具呢?

得益于辛勤劳作的python大神们,处理excel已经有大量python包,主流代表有:

  • xlwings:简单强大,可替代VBA

  • openpyxl澳门新葡亰游戏网址,:简单易用,功能广泛

  • pandas:使用需要结合其他库,数据处理是pandas立身之本

  • win32com:不仅仅是excel,可以处理office;

  • Xlsxwriter:丰富多样的特性,直接创造一份美观大方的excel,代码即一切;

  • DataNitro:作为插件内嵌到excel中,可替代VBA,在excel中优雅的使用python

  • xlutils:结合xlrd/xlwt,老牌python包,需要注意的是你必须同时安装这三个库

面对形形色色的扩展包,有时候会感到困惑,到底哪个包才是最适合自己的呢?
本文将从配置环境、文档操作、基本功能等方面比较以上扩展,让您能结合自己的生产环境,选择最适合自己的Excel操作库,同时自信的对其他库:你是个好扩展,可我们不合适!
下面,我们通过多方面的比较,让您对这些扩展有一个基础的了解。


DataNitro是个excel插件,能够让你在Excel里运行Python脚本,因为我在某种程度上算是擅长Python,我根本不需要使用VBA。也许这并不是在5分钟内学会了VBA,而是成功的完全绕过了它。对于我来说,这跟学会了它一样有效。

1.环境配置

再好的模块,也需要在正确的 Python 版本以及 Excel 版本才可运行。

Paste_Image.png

所有库都支持Python2和python3。
需要注意的是Xlutils仅支持xls文件,即2003以下版本。同时win32com与DataNitro仅支持windows

大家是否还记得在《骇客帝国》里的那个DVD播放器?它能连接到你的大脑来教会你功夫。DataNitro就像那个东西,只是它是给Excel笨蛋准备的。它很可能帮我节省了数百小时在VBA里面挣扎、自学、尝试、纠错的时间。

2.文档操作

由于设计模式的不同,导致基本的新建文件、修改文件、保存文件等功能在不同的库中存在着一定差异,比如xlsxwriter并不支持打开或修改现有文件,xlwings不支持对新建文件的命名等等,DataNitro作为excel插件依托于excel本身的操作。详见下图

Paste_Image.png

澳门新葡亰游戏网址 1

3.基本功能

由于设计目的不同,每个模块通常着重于某一方面功能,各有所长。

xlwings

可结合 VBA 实现对 Excel
编程,强大的数据输入分析能力,同时拥有丰富的接口,结合
pandas/numpy/matplotlib 轻松应对 Excel 数据处理工作。

openpyxl

简单易用,功能广泛,单元格格式/图片/表格/公式/筛选/批注/文件保护等等功能应有尽有,图表功能是其一大亮点,缺点是对
VBA 支持的不够好。

pandas

数据处理是 pandas 的立身之本,Excel 作为 pandas 输入/输出数据的容器。

win32com

从命名上就可以看出,这是一个处理 windows 应用的扩展,Excel
只是该库能实现的一小部分功能。该库还支持 office
的众多操作。需要注意的是,该库不单独存在,可通过安装 pypiwin32 或者
pywin32 获取。

xlsxwriter

拥有丰富的特性,支持图片/表格/图表/筛选/格式/公式等,功能与openpyxl相似,优点是相比
openpyxl 还支持 VBA
文件导入,迷你图等功能,缺点是不能打开/修改已有文件,意味着使用
xlsxwriter 需要从零开始。

DataNitro

作为插件内嵌到 Excel 中,可完全替代 VBA,在 Excel 中使用 python
脚本。既然被称为 Excel 中的 python,协同其他 python
库亦是小事一桩。然而,这是付费插件…

xlutils

基于 xlrd/xlwt,老牌 python
包,算是该领域的先驱,功能特点中规中矩,比较大的缺点是仅支持 xls 文件。

我写这篇文章不是来为DataNitro做广告的,而是想谈谈对编程这种工作发展方向的思考。几天前,Brooklyn
Bridge Ventures的Charlie
O’Donnell写了一篇非常好的博客叫做“最后一个程序员”,文章里他预测前端开发平台终有一天会致使整个软件开发部门废弃。当这些平台不断的增多不断的传播后,强大的软件开发需要的编码工作越来越少,越来越多的人能够参与进来。

4.性能

我们对几个库做了最基本的写入和读取测试,分别使用不同库进行添加及读取
1000行 * 700列
数据操作,得到所用时间,重复操作取平均值。另外在不同的电脑配置,不同的环境下结果肯定会有出入,数据仅供参考。

Paste_Image.png

程序员因此会消失吗?

这要看你如何定义程序员。如果这样说,那些每天花15小时在黑屋子里堆砌0和1的人才算是程序员,那我支持Charlie的论断,这种职业最终会被一点点的侵蚀掉,因为越来越优秀的“前端”平台会排挤掉众多的编码工程。

但从另外一个视角来看,我是一个“程序员”,因为这些平台能使我更快的开发出软件,而且不需要经过正规的培训,我想程序员的数量在很长的一段时间里都会不断的增加。

曾经有个时期,即使在MD-DOS上开发一个很简单的程序也要经过相当漫长陡峭的学习曲线过程。这越来越平坦的学习曲线归功于Apple和
Windows开放的个人电脑走向大众。类似的,当各种平台使开发工作越来越容易后,越来越多的人能轻松的上手编程,而不需要花3或6个月的时间去学
VBA。

除此以外,具有相同道理的是,科学家不会因为科学的进步而丢掉他们的工作,软件开发平台的进步会使人成为“真正的编程者”——他们不想要去码字符,他们能更多的专注于复杂的、富有挑战的、能产生重大影响的工程项目上。如果你是一个专业的程序员,这不正是你所期望的吗?

DataNitro只是成千上万的推进这种趋势前进的平台中的一个。粗略的想了一下,这里还有四个年轻的公司充当着这种“更少代码”的接口服务,它们使众多的项目避免了开发的痛苦:

  • FRAPI – 即时生成API
  • Monetate – 轻松A-B测试和 MVT网站测试(an
    OpenView portfolio company)
  • IFTTT – Instant mashups of your favorite
    personal programs
  • Zapier – 企业版IFTTT

[本文英文原文链接:Coding is Dead. Long Live the
Coders
]

本文转载自: 外刊IT评论

5.小结

通过以上的分析,相信大家对几个库都有了简单的了解。在编写文章的过程中,笔者也在思考各个库最适合的应用场景。

  1. 不想使用 GUI 而又希望赋予 Excel 更多的功能,openpyxl 与
    xlsxwriter,你可二者选其一;
  2. 需要进行科学计算,处理大量数据,建议 pandas+xlsxwriter 或者
    pandas+openpyxl;
  3. 想要写 Excel 脚本,会 Python 但不会 VBA 的同学,可考虑 xlwings 或
    DataNitro;
  4. 至于 win32com,不管是功能还是性能都很强大,有 windows
    编程经验的同学可以使用。不过它相当于是 windows COM
    的封装,自身并没有很完善的文档,新手使用起来略有些痛苦。

你可根据自己的需求和生产环境,选择合适的 Python-Excel 模块。


网站地图xml地图