侧边栏壁纸
博主头像
落叶人生博主等级

走进秋风,寻找秋天的落叶

  • 累计撰写 130562 篇文章
  • 累计创建 28 个标签
  • 累计收到 9 条评论
标签搜索

目 录CONTENT

文章目录

提炼hadoop ipc模块,欢迎使用

2022-06-24 星期五 / 0 评论 / 0 点赞 / 60 阅读 / 1148 字

Hadoop闻名遐迩,其内部通讯工具IPC更是被多个apache项目重复使用,所以网络上不难发现分析IPC模块的文章。某天在做分布式爬虫时,需要用到RPC功能,改造IPC(去掉认证,IPC的无关类)就

Hadoop闻名遐迩,其内部通讯工具IPC更是被多个apache项目重复使用,所以网络上不难发现分析IPC模块的文章。某天在做分布式爬虫时,需要用到RPC功能,改造IPC(去掉认证,IPC的无关类)就出现了。


主要的Feature:
```
* 去掉Writable等接口引用;
* 去掉Socket认证功能;
* 去掉所有配置;
* 对外提供类似传统的XML-RPC面向接口的服务;
* 保留原来的Ping功能;
* 简单易用。
```


常见问题:
```
Q:IPC模块稳定吗?
A:很稳定,除了废弃掉一些模块外,基本没有修改其核心功能。
Q:多并发性能怎么样?
A:抱歉,没有测试过,自己只是在虚拟机中测试,实际情况有待大家验证。
……
```


缺点:与LVS负载均衡失败,期待大家的帮忙,自己测试时老是提示连接被重置。




更多,请参见WIKI其他文章,如http://git.oschina.net/jiangdx/hadoop-ipc/wikis/quick-start

广告 广告

评论区