今天又看完了另一本中信出版社出版的书。正如我之前所说的，他们的书总是给人一种“虽然不明白你讲的是什么，但是觉得好厉害”的感觉。 这就是传说中的“鸡汤不给勺”。总有一些人、一些书，经常和你空谈一些大道理，洋洋洒洒说了一大堆，很高深的样子，最后发现都是空洞无物，没啥实践的价值。这就 ... »
在线 最近利用上下班在地铁上的时间读完了这本《在线》 [https://book.douban.com/subject/26885117/] 。讲的是云计算和大数据那点事，主要观点用两句话就能概括完：云计算要做成像电网一样的基础设施；数据在线了、变得可以计算才是有价值的。看完我这 ... »
天气一天天热了起来。由于工作比较饱和，觉得这一个月很漫长，但却也是一转眼就过去了。春天有点困，做起事来稍显倦怠。总想写一些东西，但思绪太碎片化了，没法成文，就都拖延到了月底，把碎碎念塞到了这一篇里。 -------------------------------------- ... »
清明假期回了趟家。 和友人一同逛了逛三好街，说起来已经有两年没来逛逛这里了。 对这里最早的记忆，是非常小的时候，我爸带着我来这里找人修理电脑。 再后来，是经常和同学在周末到这里扫货，买些杂志什么的，顺便看看数码产品。 印象中的三好街，总是人声鼎沸，非常热闹。但这次，感觉不 ... »
在爬虫爬网页的时候，需要避免重复抓同一个网页，来提高爬取效率，避免不必要的开销，这就需要使用一些判重的方法。 数据库 一种比较常见的方法是用数据库。这也是实现分布式爬虫去重的一个比较简单的方案。简单来说就是多个爬虫可以共享同一个数据库，把爬过的url写进去，在爬url前从数据库 ... »