这是一个创建于 1504 天前的主题，其中的信息可能已经有所发展或是发生改变。
前言
越来越多的 Java 后端转来搞大数据了，只有我倒着走，要回去搞后端嘛？ 个人感觉大数据开发真的没啥意思，最有意思和有价值的工作在于机器学习，奈何能力有限。 说下对于大数据开发我的看法，首先说下这个类别岗位的主要意义，然后谈下工种分类。
大数据开发的价值
大数据开发的价值个人认为主要是为了给机器学习提供数据服务支撑，通俗点说就是让搞机器学习的同学 能更好的利用数据，保证数据的丰富性、准确性。
大数据开发的工种
大数据开发在我看来主要分为两个工种，一个是搞平台化开发、一个是面向业务的数据仓库开发。
- 平台化开发岗 主要负责数据的采集、数据的治理、保证数据落到数仓过程中数据质量、保证数据的易用、易查。 主要工作内容就是运维、搭建 Hadoop 这些大数据程序、编写少量的代码。
- 数仓开发岗位 主要负责数据仓库的构建，像运营、产品、机器学习人员提供数据。主要工作内容就是写 SQL 、写脚本跑 SQL 。
我的一些感悟
- 可能我做得不够深，感觉前者和业务没多少关系，很容易陷入尴尬的局面，像个运维小哥。后者整天在撤 SQL，真是心累。
- 大数据类的大多数工作对编码要求比较低，而且真有些代码也特别少。
- 现在觉得还是后端开发有意思，却有一大波人要转来搞大数据。
 |
1
agriphar 2020-11-16 14:30:25 +08:00
说得好
那就转去搞机器学习嘛 |
 |
2
comsweetcs OP @agriphar 能力有限，还是回去搞后端吧。
|
|
3
agriphar 2020-11-16 14:35:52 +08:00
@comsweetcs
也不见得，各有各的难点 一大堆搞所谓机器学习的，写代码水平其实很一般，主要强在数学基础好（考研的时候猛刷一波题），通过考研等把学历刷上去光鲜一点 对着吴恩达的课一顿猛干，也就慢慢上手了 |
|
4
comsweetcs OP @agriphar 我司搞机器学习的，都是 985，211.好几个北大，清华。感觉我们大数据就是给他们擦屁股的。我个人比较喜欢写代码。整天运维，搞 SQL 真是心累。
|
 |
5
FireFoxAhri 2020-11-16 14:40:12 +08:00 via Android
后端其实大多数也是 crud 吧
|
 |
6
OysterQAQ 2020-11-16 14:40:40 +08:00
大部分大数据开发=分布式计算引擎的搭建和使用+SQL
但是实际上高大上的都在你说的数据处理侧那边，用数据来做机器学习之类的 |
|
7
OysterQAQ 2020-11-16 14:41:57 +08:00
后端无非是业务牵扯更多一些，也就是熟悉库 不过范围比 Hadoop 那些东西小一些
|
 |
8
liprais 2020-11-16 14:42:03 +08:00
你猜猜算法工程师们用的数据从哪里来
|
|
9
comsweetcs OP @OysterQAQ 是啊
|
|
10
comsweetcs OP @liprais 我之前搞数仓的，就是我们给的。。。给他们提供一个脚本工具，抽过去就是了。。。
|
 |
11
silentt 2020-11-16 14:44:04 +08:00  5
现在搞大数据得已经沦落为 SQL boy 了，只有做机器学习的还听着高大上点，不过也有向 API boy 发展的趋势
|
|
12
agriphar 2020-11-16 14:44:34 +08:00
|
|
13
liprais 2020-11-16 14:44:55 +08:00
@comsweetcs 那还是果断劝退吧，反正也做不出来啥东西
|
|
14
comsweetcs OP @liprais 哈哈哈哈，唉。
|
 |
15
leafre 2020-11-16 15:08:19 +08:00
围城
|
 |
16
Jooooooooo 2020-11-16 16:23:43 +08:00 24
机器学习 - 调参 boy
大数据 - SQL boy 后端 - crud boy 前端 - 切图 boy 你自己选吧 |
 |
17
MinQ 2020-11-16 16:32:35 +08:00
说实话哪有那么多项目需要机器学习和算法的，大部分项目不都是 CRUD，最多量上来了考虑一下数据库读写扛不扛得住，加上 Redis 啥的。现在算法内卷的比后端严重多了，不是名校研究生+顶会论文人家都不一定看你一眼。
|
 |
18
wysnylc 2020-11-16 16:46:45 +08:00
@silentt #11 大数据一个给机器学习打杂的之前被捧太高了,之后可能会被归并到机器学习
机器学习就是纯粹的 API Boy 了,真能做到核心开发的我们接触不到 |
 |
19
ren2881971 2020-11-16 17:27:53 +08:00
当 SQL boy 真的很烦。。。
|
 |
20
yeqizhang 2020-11-16 18:00:29 +08:00
大数据如果是去做中台 数仓之类的，没有好的机会就是 sql boyer，让我去处理那些杂乱的数据的话，我觉得极其无趣
|
|
21
comsweetcs OP @ren2881971 平台搭建好后就是运维 boy 和 sql boy 两类人
|
|
22
comsweetcs OP @yeqizhang 数仓基本上就是 SQL BOY
|
 |
23
outoftimeerror 2020-11-16 18:05:17 +08:00
其实大数据做数仓挺好的，技术迭代慢，和业务比较近，再加上行业知识，中年危机没有其他技术岗位那么严重。
|
|
24
comsweetcs OP @MinQ 是的，因为算法确实值钱，导致很多人想扎堆进去。而且这玩意，人家清北的人已经建立起门槛，并不叫内卷，而是为了防止内卷。清北现在几乎垄断了国内一线大厂算法岗的内推渠道咯。
|
|
25
comsweetcs OP @outoftimeerror 要说业务把，还没有对应的后端清楚。要说技术吧，还没啥技术。中年危机慢，感觉只是进来做这个的人没那么多，一多起来，还不是一样。
|
|
26
MinQ 2020-11-16 18:46:37 +08:00
@comsweetcs 算法能落地了才有可能值钱，落不了地的一律不值钱。每年顶会论文多如牛毛，但大部分都是水 paper，工业界参考更多的还是 FAAG 家发的论文，因为都有场景落地了。
|
 |
27
newmlp 2020-11-16 19:14:40 +08:00
主要是钱多吧
|
 |
28
wangyzj 2020-11-16 19:31:46 +08:00
面向工资编程
最近这几年大数据啥的给的的确多，岗位多，而且啥职位都需要懂大数据 不过现在转是不是晚了点 感觉这个财富密码要过去了 |
 |
29
oluoluo 2020-11-16 19:41:07 +08:00
搞 k8s docker 那一套的是不是也算是运维。。
|
|
30
comsweetcs OP @oluoluo 哈哈哈哈。感觉那是妥妥的运维
|
 |
31
la2la 2020-11-16 19:45:58 +08:00
刚面试到大数据岗位，看着大家吐槽突然没了信心，不过我不是后端转的而是 爬虫 -> python 数据开发 -> 大数据开发的路线 0.0
|
|
32
comsweetcs OP @la2la 加油加油。每个人环境不一样，我只是个人见解，不一定对阿。
|
 |
33
stevenhawking 2020-11-16 19:49:00 +08:00
Tenet
|
 |
34
ob 2020-11-16 19:53:27 +08:00 via Android
大数据工资普遍去后端高点。
|
|
35
comsweetcs OP @ob 对于小厂是这样。对于大厂其实几乎一个价，有时候后端还更高。
|
 |
36
abcbuzhiming 2020-11-16 20:26:22 +08:00
@comsweetcs 算法也正在卷，没看现在形容算法用的是算法“岗”了吗？
|
|
37
outoftimeerror 2020-11-16 20:43:30 +08:00 1
@comsweetcs 不知道互联网是什么行情，但是外企的话肯定是数仓比后端好，以我了解的快消为例，依赖电商平台和线下门店渠道，前后端开发基本上不怎么招人，但是因为国家禁止消费者数据传输到国外，数据分析数仓国内岗位还是挺多的。
|
|
38
comsweetcs OP @abcbuzhiming 哈哈哈哈哈哈，好吧。
|
|
39
comsweetcs OP @outoftimeerror 哈哈哈，那要是不看行情，你觉得哪个工作比较有意思。
|
 |
40
impl 2020-11-16 21:45:34 +08:00 via iPad
后端不需要写 sql 吗
|
 |
41
V3EXhayongma 2020-11-16 21:53:40 +08:00
@la2la 兄弟，python 搞大数据的岗位多吗？薪水怎样啊？
|
 |
42
zzzhen 2020-11-16 22:13:48 +08:00
啊这
|
|
43
zzzhen 2020-11-16 22:14:31 +08:00
在转大数据，看到这个心里一凉。。。
|
 |
44
DamonLin 2020-11-16 22:30:35 +08:00
我的同事之前就是学大数据的，跟我说大数据确实是 sql boy，不过人家原生的 sql 是写得真的 6
|
|
45
comsweetcs OP @DamonLin 😀sql boy，sql 再不 6，还岬啥饭
|
 |
46
Dragonphy 2020-11-16 22:33:31 +08:00
有没有具体的大数据开发岗啊，不会真主要内容是运维吧，我还不如去做 devops 呢
|
|
47
comsweetcs OP @Dragonphy 也有专门搞具体框架研究得，比如 HBase，要研究得很深，基本上就是 DBA……。这种一般大厂才养得起……。大多数职位就是我上面说的两种。
|
 |
48
dswyzx 2020-11-16 23:37:54 +08:00 via iPhone
面向工资编程，就一目了然心无旁骛努力搬砖建设四个现代化
|
 |
49
neetrorschach 2020-11-16 23:37:58 +08:00
正在某鞋厂用 talend 做数据质量分析，快疯了。他们的 HBase 还老报错。
|
|
50
comsweetcs OP @neetrorschach 哈哈哈哈😂，那是真苦。
|
|
51
comsweetcs OP @dswyzx 那工资要是降了，你是不是要换岗咯😂
|
 |
52
mohulai 2020-11-17 00:52:25 +08:00
工作需要看过一段时间机器学习，挫败感很强，工作能做，可一想到要出类拔萃就要很强的数学功底，对我来说遥不可及，就很失落，没有做后端的那种动力。
|
 |
54
WalkingEraser 2020-11-17 01:28:39 +08:00 via Android
游戏 boy 还想出来当 Java crud boy，有点围城啊
|
 |
55
dayeye2006199 2020-11-17 06:52:00 +08:00
第一个平台开发总结的有点片面，有很多数据平台开发工程师其实是 infrastructure 工程师，魔改和部署各种开源工具，或者搭建自己的数据平台解决方案。例如，拓展数据查询引擎的功能，spark, presto，拓展和运营工作流 scheduler，搭建数据发现平台啊什么的。都是比较硬核的工程师工作。
第二种其实有点像数据工程师 data engineer，的确 SQL 是主要技能了，可能还包括写一些 pipeline |
 |
56
whasyt 2020-11-17 10:32:09 +08:00
大数据开发 = sql boy 坐实了，搭好框架就是 sql 脚本一把梭
|
|
57
comsweetcs OP @dayeye2006199 稳定了后还不是运维。我们公司搭建 kafka 的天天背着电脑，聚会都背着。警报电话一来，就得处理，你觉得这是运维吗😅
|
 |
58
wudalang123 2020-11-17 11:13:03 +08:00
大数据现在赚钱啊， 什么赚钱搞什么，java 就是个工具，早晚会过时
|
 |
59
NerverLibis 2020-11-17 14:28:46 +08:00
来一起转运维，背着小书包，睡在恒温恒湿的机房，美滋滋摸鱼。
|
 |
60
fewok 2020-11-17 14:41:14 +08:00
还有一个方案，我就打算去搞 golang，云原生去
|
|
61
comsweetcs OP @wudalang123 java 是一个生态，ok ？
|
 |
62
shijia 2020-11-17 17:07:42 +08:00
写 SQL 的在这里 你看我签名
|
 |
63
yanzixuan 2020-11-17 17:14:41 +08:00
@la2la 最后搞大数据开发，还是要学 java/scala 才行。我的路线跟你差不多。。
现在一边搞大数据，一边搞 curd 。。。 |
|
64
yanzixuan 2020-11-17 17:16:05 +08:00
@comsweetcs 你们的 kafka 集群这么容易出问题？
|
|
65
comsweetcs OP @yanzixuan 不是容易出问题，是要时刻带着，一出问题要立即修复。我们搞金融的，你说呢，数据就是金钱。
|
 |
66
young1lin 2020-11-18 11:16:46 +08:00
上上个月刚写了个 UDAF 给别人用，还可以做大数据可视化开发啊，比如 CDH 那种
|
|
67
comsweetcs OP @young1lin 我司 UDF 几百个，这玩意又不是一直要写……基本上一个月能有一个就不错了……我都半年没加东西了
|
|
68
young1lin 2020-11-20 14:25:28 +08:00
UDAF 不是 UDF，难度根本不在一个量级的
|
|
69
comsweetcs OP @young1lin 。。。又不是没 UDAF，我们统称 UDF 。能有多难，我不觉得。。。
|
|
70
young1lin 2020-11-21 15:47:59 +08:00
@comsweetcs 你自己写过么？根据给你的公式写出对应的 UDAF
|
|
71
comsweetcs OP @young1lin ....我们的 Udf 项目都我负责的，我会没写过？
|
|
72
young1lin 2020-11-22 23:46:08 +08:00
@comsweetcs 哦？那你还说你是 SQL Boy，不是还有其他的吗，你们用的什么大数据平台？ CDH ？可以扩展优化扩展 CDH 啊
|
 |
73
leven87 2021-06-11 17:51:22 +08:00
这是在大公司吧，只用做一块。 技术的乐趣不就在于不断的探索吗，最后做个架构师也好
|
 |
74
lin0kin 2021-08-25 17:39:04 +08:00
挖一下, 请问有什么可以入门大数据的好的资源推荐吗? 看了一些, 感觉一般啊
|
 |
75
littleJohn 2022-12-26 15:12:28 +08:00
@lin0kin 挖一下。求推荐~最近在玩 Hadoop 年后准备找工作了
|
Select Language