讨教：
现在有每天的日表数据（一天生成一张）， 每张表数据大致在500w左右。
需要从每天的日表数据中统计：根据appid统计ip数，同时ip需要去重。
大致的sql是：
select appid, count(distinct(ip)) from log0812_tb where iptype = 4 group by appid;
然后将统计的appid 和 ip数，放入到另一张统计表中。
现在有每天的日表数据（一天生成一张）， 每张表数据大致在500w左右。
需要从每天的日表数据中统计：根据appid统计ip数，同时ip需要去重。
大致的sql是：
select appid, count(distinct(ip)) from log0812_tb where iptype = 4 group by appid;
然后将统计的appid 和 ip数，放入到另一张统计表中。
1、直接执行sql的话，肯定超时了（系统仅配置了400ms读取时间）。
2、假如将数据都取出到内存中再做操作，内存又不足了，给的内存只有50M。（不为难程序员的需求不是好公司）
问一下，还有优化的解决方案吗？
谢谢
解决方案
20
建立复合索引： iptype ， appid, ip
10
建索引吧。或做触发器。
10
可以试试1楼的方法，建个索引试试。
另外，设置400m是，对于500w的数据，创建索引的情况下，可能还是会超时。
另外，设置400m是，对于500w的数据，创建索引的情况下，可能还是会超时。
CodeBye 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明500w+日表数据的统计方案！