`
brucewei777
  • 浏览: 83090 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
文章列表
做了这么多年IT民工,对IT行业或多或少的有些思索。抛个砖和大家分享一下。 作互联网,作硬件,作应用软件,在IT行业里,做这做那都是为了降低信息流通的成本。 先说说互联网,最早的门户网站里提供了各式各样的信息,使得人们获取信息的成本降低。可以想象,人们只需要坐在电脑前,便可以获得容量堪比巨型图书馆的信息来源,天文,地理,历史,科技等等,无所不包。     然后是搜索引擎的面世,使得人们检索信息的时间成本降低,可以从浩如烟海般的信息中获得最想要的数据,这必然也是搜索获得广泛应用的原因。     接着就是即时通讯及社交网络。毫无疑问,这类应用降低了人们沟通的成本,尤其是最近的微博,其实从原来的博客到 ...
    随着时间的推移,人们制造的数据是越来越多。智能移动终端加上传统的视频,音频设备无时不刻在产生数据。想象一下,每个人,每天都在产生信息,除了记录行为外,还有思想,好吧,即使是某一时间点,只给一个人拍照,拍摄不同的角度不同,也会产生海量的数据。如果所有这些都记录下来,全球得需要多大的存储量。      好了,这是我的问题的背景。我有两个问题。      1.有什么办法能避免重复的内容,比如我去拍过黄山的迎客松,其它N多人也去拍过,这样是不是有些重复。      2.我们这样制造数据,什么时候会到极限呢,那时候又怎么办呢? 呵呵,无聊而又杞人忧天的想法,各位看客看了有发言冲动的,就说两句,分 ...
OpenSOC是思科用于安全领域的一个开源框架,或者可以说就是SOC(安全运营中心)的开源框架。其组件包含了: 引用 !  Telemetry Capture Layer:Apache Flume !  Data Bus:Apache Kafka !  Stream Processor: Apache Storm !  Real-Time Index and Search: Elastic Search !  Long-Term Data Store:Apache Hive !  Long-Term Packet Store: Apache Hbase !  Visualization P ...

互联网

在没有互联网的时代,有专门的信息发布者,在互联网时代,每个人都可以成为信息发布者。 信息技术的目的是降低信息产生、流通和使用的成本。而所谓的互联网思想就是实现这一目的的思想。 从一个系统来说,内部层次越多,信息流通的成本越高,因此需要扁平化。当前,产品制造出来后,到消费者需要经历多重渠道和代理,这是因为信息技术不发达,信息不对称所致,但是到了互联网时代,渠道的作用必然被削弱甚至消失。 在互联网之前,信息是相对少的,是非常珍贵的,这造就了信息的卖方市场,人们购买报纸,书籍去获得想要的信息。但是到了互联网时代,信息量开始膨胀,每隔几年,人们产生的信息总量都要翻番,这造就了信息的买方市场。在买方市场里 ...
这是一款基于位置的android游戏,用户需要到户外打开手机的GPS才可以游戏,并且要能够访问互联网。 这款游戏可以发布用户自己的宝藏,可以寻找附近的宝藏来赚取经验和金币。 对于寻宝这类主题有兴趣的可以下载试试。 给自己找个户外出行的理由,可以带着小孩玩,可以和朋友玩,有什么建议请别客气。 非常希望各位朋友出谋划策,帮助完善。 下面是游戏的截屏,第一幅图是附近的游戏列表,右上角的发布按钮是用户自己产生任务时点击,任务发布的界面如第三幅图所示。 点击任务列表中的任务,可以进入第二幅图的界面。 任务列表 定位附近宝藏 发布任务
    有没有对寻宝有兴趣,有喜欢做手机APP的同好?
小米刚做手机的时候,我没多注意,第一反应是现在做手机成本这么低吗? 现在小米据说国内销量第三了,而且前几天还发布路由器了,我着实吓了一跳。我觉得雷布斯在下一盘很大的棋。 路由器是什么东东呢,那是家庭网络对接互联网的出入口,犹如冷兵器时代的关隘,任何出入家庭网络的数据都会在这里被处理。 说实话,这种处理有可能是很本分的,也有可能是不安分的,有可能对用户有利,也有可能对用户不利。当大家在PC上争夺入口的时候都引出了那么多话题,在数据管道的关键处不可能没有一点风波。 我这里只是说路由器这个地方很关键,但并不是说小米会这么做。事实上,小米的手机+路由器才是能猜出其方向的地方。 小米手机上有款Ap ...
    以下是个人观点:     腾讯推出微信,现在看来简直是败笔。我不是说微信这个产品本身有问题,而是对这个产品的运作似乎很盲目。     腾讯企鹅的品牌,在即时通讯领域,知名度恐怕在全球也是前三的吧。那可爱的形象以及相关的衍生产品,在为腾讯创造价值的同时也巩固了其地位。从MSN的衰落也印证了QQ在近二十年里的逐步强大。     但是,我无法想象推出微信的理由。我现在的手机里同时装了两样,其实也是被迫的。寒假回家,朋友见了都问我要微信号,都说有了微信方便。说实话,就使用角度来看,我真心不觉得哪里方便,就像使用步话机吗?在公共场合,我实在是不情愿使用这个功能,想象着那个画面,就像处理现场问题的工 ...
之前发布了一次,上传了很多有意思的图片,本来想把图片也展示出来,但是似乎有侵权的嫌疑。 不过作为一个图片收集工具,挺不错的。
    又看了一下RollingTopWords,让我比较关注的地方是在RollingCountBolt类里,是通过方法TupleHelpers.isTickTuple(tuple)来判断是否应该发射当前窗口数据,但是判断的依据一开始让我很迷惑,居然是判断该tuple是否来源于“__system”的组件和“__tick”流。         作为对storm了解不多的人,我真的糊涂了,tuple不都是上游的spout发射来的吗,哪里冒出来源不同的tuple。     好吧,我就开始猜了,莫非有个隐藏的spout?或者RollingCountBolt自己给自己发什么特殊的tuple。     ...

初步接触storm

 
    今天学习了一下storm的相关知识,不是很深入,就是看了一下storm-starter-master项目里的WordCountTopology。直接运行报错,发现这个例子中,有个Bolts是用python或者ruby语言开发的。因为这个例子要完成的任务就是计算单词的频率,比较简单,所以打算调通它,然后把程序一步步的跟一遍,这样就好理解一些内容了。     我的方法就是把SplitSentence的核心用java实现。     首先肯定不用再扩展ShellBolt了,也不实现IRichBolt,而是实现BaseBasicBolt。在execute方法里的内容就照着python代码,最后 ...
  今天用三台机器的hadoop集群来计算圆周率,因为是实验性质的,也就用了四百多万个点,结果圆周率到小数点后第四位就不对了。   我可是用了三台机器,加上hadoop啊,不由佩服伟大的祖冲之先生。
    今天打算在HBase里做一些表的增删改。代码开发环境是window+eclipse,集群环境是3台机器,其中两台是regionserver。写好代码后运行,出现异常: NotServingRegionException,然后在regionserver的web页面上看,发现最下面显示的是" no serving region"。看来是原来的hbase搭建的有问题。 但是这个问题实在难定位,因为maser的web页面上两台resionserver都能看见,用jps命令也能在两台机器上看见regionserver在运行。 最后看/etc/hosts文件,发现maste ...
我的场景是这样的:    windowXP上运行着eclipse以及hadoop-eclipse插件,但是本文的重点不是说如何在eclipse上安装hadoop的开发插件。    hadoop集群运行在另外三台linux机器上,且已经安装好。    我的这篇文章是讲如何把上述的eclipse和这个hadoop集群联系起来,进行日常的开发调试。       hadoop集群上的用户是hadoop,但是window系统上的用户登录名为wxxxxxx,因为公司对用户管理严格,我没法添加hadoop用户,所以这篇文章讲了如何处理这种情景。    用户名不一致导致文件夹访问受影响,开始根据网上的提示,在 ...
    前几天要远程登录到一台服务器上做些业务,结果链接过程及操作过程都很缓慢。看了一下进程列表,居然有挂机宝,还有些jingling.exe进程。这明显被人用作刷流量的机器了。     首先用taskkill强制杀掉这些进程,然后系统反应就正常多了,查看系统日志,是头一天晚上被人拿下的,mysql和web服务日志都有记录,系统服务列表里有两三个不知名的服务在跑,IIS目录下有陌生的文件,还有多出来的账户,在该账户文件夹下有二十多个“工具”,并且安装了shift后门,还好这兄弟只是刷流量,没干什么太严重的破坏。     我们的服务器托管在一家机房,从日志分析来看,机房内有很多机器已经中招,网 ...
Global site tag (gtag.js) - Google Analytics