1
国内搞大数据开发的小公司都有真本事吗
source link: https://www.v2ex.com/t/1000299
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
昨天面试了一家搞大数据开发的小公司。主业务应该做的企查查那种搞企业信息搜集的。全程他最关注的点只有我之前项目的数据量，多少 T 的。用了什么工具。对于涉及到 es ，kafka 中技术性的问题倒不是很关注。基本都是我在讲，他就是机械式的问两句。最后来了句你没用过 Hadoop ，数据量没到几十个 T ，经验还是不够。我寻思技术积累必须要体现在这种方面吗，我承认数据量确实是一部分经验的体现，但是更为重要的不是实战中解决问题，优化项目的能力吗，如果只是一个大项目的边缘人能比一个小项目的领头人还厉害吗。是不是有点唯工具论了。
10 条回复 • 2023-12-14 15:34:23 +08:00
 |
laminux29 3 小时 59 分钟前 对方说的没毛病。
你的确没用过 Hadoop ，数据量的确没到十几个 T 。 每种工具都有自己的优缺点，既然你是这个行业的人，Hadoop 就算不是常用，也应该熟练掌握。 而且数据量达到一定程度，很多处理方式与管理方式会发生质变。 |
 |
coolfamilyxun 3 小时 31 分钟前 via Android 没毛病啊，没数据量就是没经验。实打实
|
 |
CaptainD 3 小时 4 分钟前 有没有真本事不一定，我们也是做大数据的小公司，就几个人，数据量很大，文本类有十几 T ，图片类上百 T ，但是我们技术很菜，领导都是学术出身，工程经验基本为 0 ，公司内的架构很糟糕，效率也很低
说实话我觉得小公司做大数据处境很尴尬，其实我们这种公司没有专业运维，用云服务尤其是 serverless 的服务是最好的选择，但是上云成本又太高，我们这种量级上云就很难下了，迁移成本太大，但是不用云就失去很多运维相关工具，都自建实在是没精力，每天业务上的工作都很多，没人能空出时间搞这些 |
 |
KOMA1NIUJUNSHENG 2 小时 10 分钟前 @laminux29 类似 Hadoop ，clickhouse ，kettle 这种工具如果在工作中边做边学的话能快速上手吗。还是说必须要长久的经验。
|
 |
SbloodyS 1 小时 59 分钟前 对方可能更多的是想要找一个有经验的熟手。
在大数据这个方向上，工具冗杂，技术更迭快，相同的工具在不同的数据体量下的玩法完全就是云泥之别。 举个例子，仅 Hadoop 在几十 TB 和几十 PB 下的管理方式、使用方式等就根本不是同一个东西。 |
 |
me1onsoda 1 小时 45 分钟前 就是单纯想要熟手罢了，也不知道你学习能力如何，找熟手是最保险的策略
|
 |
kidult 1 小时 31 分钟前 买的是你的经验，不是花钱找你来让你练级
很抱歉虽然话不好听，但就是现实 |
|
laminux29 48 分钟前 |
 |
ddkk1112 43 分钟前 面试前至少自己动手做一遍
就算上云，你也得考虑如何设计存储和计算架构降低成本，几十 TB 的话，设计的不好，一年得多花几十万 |
|
KOMA1NIUJUNSHENG 23 分钟前 @laminux29 自己手上就一台云服务器，搞集群有点力不从心了。
|
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK