在bash和expect中,都有类似于map的数据结构,但用法有比较大差异。
使用Python获取yarn任务状态
使用Python获取yarn任务状态
搭建proxy伺服器
近期使用爬虫爬取数据,需要使用代理,记录一下搭建proxy伺服器的过程,这里使用的是squid
.
升级CDH到5.7.0
最近对CDH进行升级,从5.4.8升级到5.7.0,主要想升级spark和hbase。
elasticsearch修改mapping重建索引
最近需要对elasticsearch中某个index的mapping进行修改,整理一下流程。
hadoop集群管理
hadoop集群管理
azkaban的安装和使用
azkaban的使用。
quartz in practice
基于quartz 2.2.1版本,quartz使用数据库(mysql)作为持久化策略。
查看修复HDFS中丢失的块
检测缺失块
|
|
查看上面某一个文件的情况1hdfs fsck /path/to/corrupt/file -locations -blocks -files
解决方法
如果文件不重要,可以直接删除此文件;或删除后重新复制一份到集群中
1hdfs fs -rm /path/to/file/with/permanently/missing/blocks或直接全部删除
1hdfs fsck / -delete如果不能删除,需要从上面命令中找到发生在哪台机器上,然后到此机器上查看日志。
参考
CDH禁用kerberos
在CDH中如何禁用kerberos,以及在这个过程中遇到的一些问题和具体解决方法。