benniewang 发表于 2022-5-19 21:27
就好像

for index, row in df.iterrows():

for i in range(0, len(df)):

更喜欢后者。多写点注释吧。

另外每个list的名字都可以定义成 name_list = [], email_list = [] 那么以后就可以 name = name_list[1]

email = email_list[1] 来使用 一点不麻烦。

手倦抛书 发表于 2022-5-19 18:07
正在学习，pandas不知道读取sql有没有速度和内存优势

benniewang 发表于 2022-5-20 03:10
无论是外部还是内部，都可以跟对方提要求给你可操作的干净数据，否则整天忙着清洗数据效率太低了。

闲聊状态 发表于 2022-5-20 00:00
等我见到的时候已经是混杂态，不具备可操作性了……

benniewang 发表于 2022-5-19 23:53
找到一个好玩的库 pandasql， 可以在pandas里运行sql

benniewang 发表于 2022-5-19 21:32
做个预处理，把字符串里的逗号统一改成一个自定义字符，等进了pandas再改回来。

手倦抛书 发表于 2022-5-19 22:28
其实现在用excel直接读取，觉得有点慢，不知道用个litesql能否好点

arondes 发表于 2022-05-19 21:45

这个问题的表述我觉得就不对

手倦抛书 发表于 2022-5-19 18:07
正在学习，pandas不知道读取sql有没有速度和内存优势

闲聊状态 发表于 2022-5-19 16:08
1. 有逗号
2.这个没办法，不是啥都支持 UTF-8 尤其是WIN系统录入的东西，而且Win录个汉字的都能有个别字符不是那个字符集的 无论指定 UTF-8 或者 GBK 都不行，而 同样的文件导入access就轻松愉快
3. 等等 等等。。。。。

手倦抛书 发表于 2022-5-19 18:07
正在学习，pandas不知道读取sql有没有速度和内存优势

大信 发表于 2022-5-19 09:27
应对列略多一点的二维表格还是DataFrame方便，用list太磨人了。
row[0],row[1],row[2],,,,,row[n] 几天不看代码就忘记下标对应哪个字段。

大信 发表于 2022-5-19 09:44
简单用过CSV，这里面的坑还不太明白。
为啥倒不回去？因为字段信息里面有逗号吗？
字符集又有什么坑？ UTF-8不行么？

闲聊状态 发表于 2022-5-18 11:43
看到 CSV 这东西就头皮发麻 先说那个默认分割“，” 导的出来，导不回去
再有就是字符集

要是还打算python折腾CSV 字符集的那个酸爽我实在是不堪回忆。。。。

遇到这种大的 如果是我弄出来的  原来都是access，现在基本上都是sqlite 大家都安逸

但是 总是有些人就是喜欢导CSV，而且是明明可以不CSV 他就非要 CSV  而且不改分隔符 哪怕改成 ''\U0001'' 分割也好

benniewang 发表于 2022-5-18 11:07
目前工作而言，没有SQL用CSV也凑合。没有pandas用list也凑合。没啥大不了的。

yejun 发表于 2022-5-19 04:56
生产库大部分也是SQL吧？只不过要求OLTP。是不是因为大家都用ORM访问生产库所以觉得不是SQL了？还是这两年生产库都转向NoSQL了？

benniewang 发表于 2022-5-19 03:13
只有数值数据

yejun 发表于 2022-5-19 04:56
生产库大部分也是SQL吧？只不过要求OLTP。是不是因为大家都用ORM访问生产库所以觉得不是SQL了？还是这两年生产库都转向NoSQL了？

benniewang 发表于 2022-5-18 04:29
2、如果在生产sql服务器上跑很复杂的脚本（消耗计算资源），要被it投诉的。

闲聊状态 发表于 2022-5-18 11:43
看到 CSV 这东西就头皮发麻 先说那个默认分割“，” 导的出来，导不回去
再有就是字符集

要是还打算python折腾CSV 字符集的那个酸爽我实在是不堪回忆。。。。

遇到这种大的 如果是我弄出来的  原来都是access，现在基本上都是sqlite 大家都安逸

但是 总是有些人就是喜欢导CSV，而且是明明可以不CSV 他就非要 CSV  而且不改分隔符 哪怕改成 ''\U0001'' 分割也好

benniewang 发表于 2022-5-18 11:07
目前工作而言，没有SQL用CSV也凑合。没有pandas用list也凑合。没啥大不了的。

闲聊状态 发表于 2022-5-18 10:17
没有pandas的时候 大家的报表和分析报告都是靠冥想的么？

数据分析从来也没规定过只能依靠一种技术和路线

pandas这种东西我觉得主要的落地还是基于深度学习的“商业智能”
因为原来的机器学习那套 一般的库和基础构建 多多少少都有涉及 而且不是没有应用

深度这个是这几年大力发展的这方面除了python，剩下的都不算先进，而这些东西的基础数据存放基本上都是 pandas的dataframe

或者说 如果服务器上没插GPU，上不上python就看业务需要了

大信 发表于 2022-5-18 10:29
应该说在数据分析上SQL和pandas各有长处，各有各的应用场合。
在适合的地方用适合的工具，而不是无线拔高某一方、摒弃另一方，才是最切合实际的方法。

tianman 发表于 2022-5-18 09:33
SQL(Structured Query Language)这个查询语言，最基本的目的是从大大小小的“仓库”中提取所需要的数据。
它天生就不适合做数据分析用。因为它的计算效率不行，也没有必要的分析手段。
除了简单的统计操作以外，用SQL做数据分析，基本上属于程序员炫技。。。

而pandas的设计就是为了数据分析用的，提供了专业的处理数据的函数和方法。强大而高效。
它的“内存库”“中转站” 是用来存放被分析对象的。

闲聊状态 发表于 2022-5-18 08:38
生产库上跑大SQL肯定是不可原谅的

但是

数据库就使用来说 基本上也是分 数据仓库(OLAP)与数据库(OLTP)（也就是一般意义上的生产库了）
数据仓库是与生产库分开的，而且架构都不一定相同，不只有关系型数据库，更有Hadoop这种东西
这些库 跑大SQL基本上是常态，本来就是用来做分析的

pandas 就是个“内存库”“中转站” 小数据量咋都行，数据量上去了 不光内存受不了 取放数据也受不了
很多奇技淫巧且不说好不好用，就说在巨大的数据量面前 都是白给

这是我 日常折腾的表中的一张 一天的数据量就这些行 14084958360 列数也有限 就12列，正常SQL 每次至少3，4张类似体量的
pandas不当中转站能行么。。。。

benniewang 发表于 2022-5-18 04:29
你说的很对。
在我的理解里：
1、sql是个数据仓库，最重要的是能够高效安全的存储数据，并为查询提供便利。
2、如果在生产sql服务器上跑很复杂的脚本（消耗计算资源），要被it投诉的。
3、pandas是运行中的数据库，在内存里，一旦需要把数据保存下来，要么csv，要么输出到sql数据库。