标签：大数据
mysql千万级数据量下的分页查询性能优化问题
刚刚到一家新公司，让本人优化一下数据库查询性能。 一个资源管理平台，里面的全部资源都在这张表，数据量大致700多万。 字段也相对较多，索引大致5.6个，ID是自增城类型 页面的查询条件也有6个，包括下拉框和模糊查询 分页查询的时候按照每页显示10条的话会有近70万的分页 问题： 执行count统计总记录数时和分页查询时原因是有固定的where条件使用到了……
关于mysql大数据优化，分区问题
问一下，本人目前数据库有好几个T，本人想用时间进行分区，但是mysql必须分区字段有唯一约束，但是本人的时间可以重复，但是假如建复合主键的话，就和原本的有冲突，还有什么其他的方法可以解决吗？急，在线等！ 或其他的优化速度的方法 解决方案：10分 只能拆表了,然后用spider引擎再做逻辑合表 解决方案：15分 本人也是了一下，这个是mysql的限制……
如何快速的实现大小为3G的txt文件的读取和处理
IO 文件读取 大数据 大文件 文件 LZ学生党，有个问题想请教大家： 现在需要处理一个9万行，每行2001个浮点数的txt文件，大小约为3G。 需要进行的处理是：对每一行的后2000个数字进行从大到小排序。 我现在用的办法是：用ifstream进行读取，读出一行后存在一个vector<float>中，然后用快速排序进行处理。然后再读……
C#SOCKET长连接小数据程序未响应
socket 线程池 C# 大数据 小数据 最近由于业务的需要，Linux系统嵌入式设备往我做的服务程序发送数据。 速度奇慢，而且还是程序无响应。后来自己用C#写了一个客户端用来测试。已经用了线程池，不知道用法对不对。请大家帮忙看下。 服务端： using System; using System.Collections.Generic; usi……
大数据应用的技术体系及潜在问题
大数据系统安全技术应用 那么问题来了： 问题1.大数据应用的技术体系及潜在问题？ 问题2.大数据的特征与发展趋势？ 问题3.大数据安全，比如支付安全，环境安全，系统安全，怎么防范? 问题4.大数据处理三大瓶颈? 问题N：大家可以发表对大数据的问题，一起讨论并且解决！ 问题1.大数据应用的技术体系及潜在问题？ 大数据获取技术 ： （1）传……
如何进行大量数据需要统计的数据库设计
数据库设计大数据 做视频网站、后台日志和报表数据库设计。之前的那个报表出来太慢了。有没有好的数据库设计方案。 原来有关的就用户表、日志表、视频点播量表 。 需要统计每个页面的流量、每个视频的点播量、不同用户的活跃度、用户地区分布图、广告点播量等。 之前统计是在日志上进行查询的。数据越大查询越慢怎么设计能使数据变化大，但是统计效率影响不大啊。 ……
mysql数据表某个字段里存储很大的数据导致查询很慢
数据 mysql 索引 存储 大数据 数据表中有几千条数据，其中一个内容字段存储的是电话号码，有个记录里这个字段存储上万条电话号码，字段类型是mediumtext，现在查询很慢，开始没有建立索引，现在给id增加了索引，但没有明显效果，请大侠给来指教啊 50分 分表试试，用表保存此字段内容，ID与原表一致，两表连接 好的，谢……