大数据应用的技术体系及潜在问题

问题1.大数据应用的技术体系及潜在问题？

大数据获取技术 ：
（1）传感器技术
（2）Web2.0技术
（3）条形码技术
（4）RFID技术
（5）移动终端技术

 GFS ChunkServer是用来保存大量实际数据的数据服务器。
GFS基本工作过程如下：
 （1）在程序运行前，数据已经存储在GFS文件系统中，程序执行时应用程序会告诉GFS Server所要访问的文件名或者数据块索引是什么。 
 （2）GFS Server根据文件名和数据块索引在其文件目录空间中查找和定位该文件或数据块，并将这些位置信息回送给应用程序。  
 （3）应用程序根据GFSServer返回的具体Chunk数据块位置信息，直接访问相应的Chunk Server。  
 （4）应用程序直接读取指定位置的数据进行计算处理。  后来谷歌对GFS进行了改进，并对新版本命名为Colosuss，
  主要对原有的单点故障、海量小文件存储等诸多问题进行了修正和改进，使得系统更加安全和健壮。

大数据处理流程包括：数据获取、数据集成、数据分析和解释3个阶段。
大数据应用的技术和系统包括：云计算及其编程模型MapReduce、大数据获取技术、面向大数据处理的文件系统、数据库系统、大数据分析技术。
大数据应用所面临的问题包括：人力和财力问题、安全和隐私问题、生态环境和产业链的变革问题

问题2.大数据的特征与发展趋势？

大数据的特征:
规模性（volume） 
高速性（Velocity）
多样性（variety）
价值性（value）  
我国大数据产业的发展趋势：
1.大数据在经济预警方面发挥重要作用
2.大数据分析成为市场营销的重要手段
3.大数据在临床诊断、远程监控、药品研发等领域发挥重要作用
4.数据为金融领域的客户管理、营销管理及风险管理提供重要支撑

大数据还是数据，核心还是：数据管理，存储，分析。。。
给传统的数据服务器带来了很大冲击。。。 比如说各种DB

问题3.大数据安全，比如支付安全，环境安全，系统安全，怎么防范?

大数据存储安全策略
基于云计算架构的大数据，数据的存储和操作都是以服务的形式提供。
目前，大数据的安全存储采用虚拟化海量存储技术来存储数据资源，涉及数据传输、隔离、恢复等问题。
一是数据加密。
  在大数据安全服务的设计中，大数据可以按照数据安全存储的需求，
被存储在数据集的任何存储空间，通过SSL（Secure Sockets Layer，安全套接层协议层）加密，实现数据集的节点和应用程序之间移动保护大数据。
二是分离密钥和加密数据。
使用加密把数据使用与数据保管分离，把密钥与要保护的数据隔离开。同时，定义产生、存储、备份、恢复等密钥管理生命周期。
三是使用过滤器。
通过过滤器的监控，一旦发现数据离开了用户的网络，就自动阻止数据的再次传输。
四是数据备份。通过系统容灾、敏感信息集中管控和数据管理等产品，实现端对端的数据保护，确保大数据损坏情况下有备无患和安全管控。

 感谢分享，收藏了

问题4.大数据处理三大瓶颈?

大数据处理三大瓶颈：大容量、多格式和速度
1.大容量数据（TB级、PB级甚至EB级）：人们和机器制造的越来越多的业务数据对IT系统带来了更大的挑战，数据的存储和安全以及在未来访问和使用这些数据已成为难点。
2.多格式数据：海量数据包括了越来越多不同格式的数据，这些不同格式的数据也需要不同的处理方法。从简单的电子邮件、数据日志和信用卡记录，再到仪器收集到的科学研究数据、医疗数据、财务数据以及丰富的媒体数据（包括照片、音乐、视频等）。
3.速度：速度是指数据从端点移动到处理器和存储的速度。

总结：大数据是信息化时代的“石油”。大数据转化为信息和知识的速度与能力将成为这个时代的核心竞争力之一，而大数据面临的安全挑战却不容忽视。
    只有大数据技术和大数据安全“两条腿”走路时，大数据才可以真正成为这个时代的驱动力量。

以上是技术讨论话题结果，已经全部发出来了，大家看看，有没有其他的对大数据这块的信息，共享出来大家一起探讨！

另推荐一本关于大数据处理的书籍：《hadoop大数据处理》  有空的人可以去看看

受益了，多谢LZ分享！

大数据存储的三大问题解决之道http://www.thebigdata.cn/JieJueFangAn/11228.html

这些总结的也不错

大数据：数据量大(Volume)、数据种类多样(Variety)、 要求实时性强(Velocity) 。对它关注也是因为它蕴藏的商业价值大(Value)。也是大数据的4V特性。符合这些特性的，叫大数据。

引用 9 楼 shijing266 的回复:

大数据：数据量大(Volume)、数据种类多样(Variety)、 要求实时性强(Velocity) 。对它关注也是因为它蕴藏的商业价值大(Value)。也是大数据的4V特性。符合这些特性的，叫大数据。