linux sed命令

sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换、删除、新增、选取等特定工作。
我一般喜欢使用awk来处理文件,如果遇到需要进行替换的,会使用sed处理。

Read More

java多线程中的Queue

在Java多线程中,队列的使用率很高,很多生产者消费者模型的首选数据结构就是队列。Java提供的线程安全的Queue可以分为阻塞队列和非阻塞队列,其中阻塞队列的典型例子是BlockingQueue,非阻塞队列的典型例子是ConcurrentLinkedQueue,今天也主要说一下这两个队列。
之后可能会说一下Atomic家族,先备忘。

Read More

日志追查总结

今天想统计一下无线的resin日志中rtype的数量和比例,然后看一个月以来的趋势,分析resin代码是否有异常。本来只要在统计平台中写hive脚本,很快就可以跑出来,但是hive仓库中resin日志竟然没有入库,更没有进行解析。于是乎,只能手动从hdfs上拉数据然后分析。
在这个过程中,遇到一些问题,在这总结一下,也把解决方法贴出来。
从日志中总是能发现各种各样的问题,任重而道远,还需要一一进行解决。

Read More