※ [本文转录自 IA 看板 #1Hk-8rr5 ] 作者: Blackrice (国际情势) 看板: IA 标题: [资讯] 美国国安局如何海量监控使用者资料 时间: Sat Jun 15 11:40:30 2013 http://www.guancha.cn/HuaErJieRiBao/2013_06_14_151119.shtml 美国国安局如何实现海量使用者资料的监控？ 仅仅在五年之前，诸如美国国家安全局（National Security Agency，NSA）这样的政府 机构要想通过关键字的方式高效率地分析数百万份电话、文本消息和线上聊天记录，简直 是不可能完成的任务。但是一系列新技术的应用让NSA拥有相对充分的人力和财力做到这 一点。 哈佛商学院客座教授、资料分析专家汤姆・达文波特（Tom Davenport）指出：“这些新 技术为政府部门节省了巨额开支，同时还极大地提高了政府部门分析此类资料的能力。虽 然需要配套的资料中心支援才能完成资料分析任务，但这些技术的成本要远比几年前低得 多。” NSA斥资十二亿美元在犹他州打造大型资料中心将於今年秋季投入使用。目前尚不明确的 是，到底NSA在覆盖全美的资料中心使用的是何种计算技术。但总体来说，这些技术被分 为三大类型： 全球消费者平均每月使用的网路、电子邮件和资料流程量图 全球消费者平均每月使用的网路、电子邮件和资料流程量图 资料库系统 大多数使用SQL程式设计语言的传统资料库是把资料存储在由行与列组成的表格中。然而 ，当遇到存储包括电子邮件或文本资讯等字串时，传统资料库就暴露了能力有限的弊端。 而且它们还无法处理图片或视频。 而於2009年年底开始出现的新型资料库NoSQL（Not Only SQL，不仅仅是SQL）则突破了传 统资料库的能力限制，可以允许资料分析专家针对所有类型的资料创建资讯要求。这些新 型资料库包括MongoDB、Cassandra和Simple DB等。 在説明公司分析超大型资料组方面，NoSQL资料库体现出了非凡的能力。比如，美国保险 资料供应商Verisk Analytics Inc.的分析师就在针对数十亿客户资料不断运行各种不同 的资料模式和分析方法，以从中发现虚假保险索赔记录。Verisk 副总裁兼首席资讯官佩 里・罗泰拉（Perry Rotella）表示，使用IBM提供的传统DB2资料库“需要通宵达旦地工 作6个小时才能完成工作”。此後，分析师还得投入大量时间研究得出的资料结果，并提 出新的资讯要求，而这恐怕还得再熬一个晚上。他指出，分析师每次都需要花费几周时间 才能创建出新的资料模型。Verisk最近刚刚开始使用更换後的NoSQL资料库，分析师仅用 30秒就能完成相同类型要求的运行。 罗泰拉表示：“突然之间，你的模型建构告别了几天才更行一次的传统，变成了即时更新 状态。通过使用NoSQL资料库，你可以在一天内多次进行资料运行，这极大地缩短了获得 资料结果的时间。这项功能简直太强大了。” 机器学习 传统分析要求分析师对资料有充分的了解，然後才能创建假设问题，进而针对资料库提出 复杂的问题。以机器学习和自然语言处理为核心的程式设计技术则依靠电脑程式来发现资 料类型，甚至还可以根据上下文阐明模糊词汇的意义。 达文波特指出：“你可以把机器学习程式植入多个资料之中，然後你就会看到该程式会给 你提供什麽样的分析结果。通过使用自然语言处理技术，你还可以分辨出‘炸弹’这个词 是百老汇舞台剧的剧名，还是恐怖分子将会使用的武器。” 权威市场研究机构Gartner Inc.的分析师道格拉斯・莱尼（Douglas Laney）指出，机器 学习又被称之为“认知分析”，它能够让分析师提出的问题不断进行“自我修正”。比如 ，在新资讯出现时，零售商就可以使用该技术来实 时自动更新计价演算法。这些新资讯 包括天气、时间、甚至是消费者在其零售店里的行为视频。 Hadoop基础架构 直到最近，还是只有造价昂贵的硬体设备才能够运行特别复杂的电脑程式，比如超大型电 脑设备。现在Hadoop开源软体分散式系统基础架构已经能够让从资料库提取资讯的过程进 行分布实施。在这一过程中，不同的分析任务被分配给大量造价低廉的伺服器进行分析， 每个伺服器只负责分析其中的一部分内容，然後这些内容又会在任务结束後被汇总在一起 。达文波特表示：“这非常省钱，而且运行速度特别快。” 这种将复杂的问题分配给大量造价低廉的电脑处理的能力有助於人们获得问题的及时回馈 ，而且人们还会获得大量的资料变数。比如，美国汽车资讯网站Edmunds.com可以帮助汽 车经销商预测一辆车在他们自己的停车场里停留的平均时间。这种预测能够最大限度地缩 短一辆车售出的时长。Edmunds.com的首席资讯官菲力浦‧波特洛夫（Philip Potloff） 指出：“对於汽车经销商来说，这可是衡量销售业绩最为重要的指标之一。” 本文愿意开放自由转载 -- 1.http://ppt.cc/4gVG loose change(脆弱的变化) 2.http://ppt.cc/erS_ 郑若麟:911 “阴谋论”席卷法国 3. http://ppt.cc/aiXv http://ppt.cc/2B2H http://ppt.cc/2B2H 梅桑访谈(上)(中)(下) 4.http://ppt.cc/V5xR 纽约街头与 "911 Truther"的交谈 5.http://ppt.cc/_-tu 法国毕加尔讽刺911"官版"的相声 6. http://ppt.cc/GV37 7.http://ppt.cc/8cjU 911 Clue EVERYONE MISSED 8.http://ppt.cc/MXqH loose change 电影内容摘要 9.http://ppt.cc/QiEr 10.http://ppt.cc/VLfn 11. http://ppt.cc/CIdn --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 182.234.238.86

※ 发信站: 批踢踢实业坊(ptt.cc) ※ 转录者: felaray (124.10.80.50), 时间: 06/15/2013 13:15:27