PTT職涯區 / Soft_Job (軟體人)

[心得] 資料工程師 X FinMind 架構解析

看板Soft_Job (軟體人)作者 (123)時間2年前 (2023/08/11 23:37), 2年前編輯推噓26(26推 0噓 16→)
留言42則, 27人參與, 最新討論串1/1
大家好，我是 FinMind，開源金融數據的作者 https://github.com/FinMind/FinMind 在上次，濃縮個人好幾年的工作經驗、FinMind 專案開發經驗 出版了資料工程師書籍，迴響不錯 今年花了 8 個月的時間，在第一版書上，擴增了 50% 的內容 其中新增了 1. 分散式 Airflow 介紹、架設，提供大量範例，並與爬蟲做結合!!! 2. 業界常用的監控系統 - Grafana & Prometheus，介紹與架設。 3. 並將書中介紹的各項服務，Netdata、MySQL、RabbitMQ、Airflow、Traefik，都 與監控系統做串接，製作統一的 Dashboard 監控儀錶板工具!!! 這樣本書就算是一本，完整的資料工程師攻略了，包含 * 分散式爬蟲 * 資料庫架設 * API 架設 * 雲端系統 * Docker、Docker Swarm * Unit Test * CICD * ApacheBench 壓力測試 * Traefik 反向代理 * Redash BI 報表 * 分散式 Airflow * 業界知名的 Grafana 監控系統 一本書涵蓋大量資料工程師的技能樹。 甚至進階到 Senior Data Engineer ( 其中一部分也跟 SRE、Backend 技能重疊 ) 目前書在天瓏書局預售中。 各位對大數據、資料工程有興趣的話，可以參考看看，也感謝大家對開源專案一路以來的 支持。 https://www.tenlong.com.tw/products/9786267273739?list_name=lv -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.44.86.129 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1691768222.A.CAB.html
推
08/11 23:44, 2年前 , 1F
推
08/11 23:44, 1F
推
08/12 00:14, 2年前 , 2F
推用心
08/12 00:14, 2F
推
08/12 03:12, 2年前 , 3F
推推
08/12 03:12, 3F
推
08/12 03:26, 2年前 , 4F
又出新書了？
08/12 03:26, 4F
→
08/12 08:31, 2年前 , 5F
請問大大所謂的第二版是現在博X來上買的到的嗎?
08/12 08:31, 5F
→
08/12 09:25, 2年前 , 6F
不是哦，第二版8/20才出版，封面也不同
08/12 09:25, 6F
→
08/12 10:13, 2年前 , 7F
那一樣會上架在該平台嗎?，因為我比較常用
08/12 10:13, 7F
→
08/12 10:24, 2年前 , 8F
會上架在博客來
08/12 10:24, 8F
→
08/12 10:24, 2年前 , 9F
上架後我私信你
08/12 10:24, 9F
推
08/12 10:36, 2年前 , 10F
推
08/12 10:36, 10F
推
08/12 10:41, 2年前 , 11F
好的，十分感謝
08/12 10:41, 11F
推
08/12 16:51, 2年前 , 12F
推推，希望能趕快到8/20!
08/12 16:51, 12F
推
08/12 17:01, 2年前 , 13F
推，API好用
08/12 17:01, 13F
推
08/12 18:33, 2年前 , 14F
請問沒看過第一版適合直接閱讀第二版嗎
08/12 18:33, 14F
推
08/12 20:32, 2年前 , 15F
推個
08/12 20:32, 15F
推
08/12 23:02, 2年前 , 16F
有興趣
08/12 23:02, 16F
→
08/12 23:58, 2年前 , 17F
第一版的內容，第二版都有，而第二版新增了50%內容，所
08/12 23:58, 17F
→
08/12 23:58, 2年前 , 18F
以直接買第二版即可
08/12 23:58, 18F
推
08/13 00:05, 2年前 , 19F
了解!!馬上下單
08/13 00:05, 19F
推
08/13 15:39, 2年前 , 20F
推
08/13 15:39, 20F
推
08/13 20:02, 2年前 , 21F
推有心
08/13 20:02, 21F
推
08/14 07:29, 2年前 , 22F
沒有spark能叫資料工程師？
08/14 07:29, 22F
→
08/14 07:31, 2年前 , 23F
感覺和後端技能一樣啊，但我想轉資料工程，都因為沒sp
08/14 07:31, 23F
→
08/14 07:31, 2年前 , 24F
ark經驗被婉拒
08/14 07:31, 24F
拍拍，目前我在 17LIVE 的 data team，沒有用到 Spark 或許你可以參考以下職缺，還有在徵人 Requirements 也沒有提到 spark，應該可以試試看 https://www.swag.careers/senior-data-engineer
推
08/14 07:50, 2年前 , 25F
請問有出電子書嗎？
08/14 07:50, 25F
有喔，到時候再貼連結過來
→
08/14 11:06, 2年前 , 26F
出電子書大概沒多久就可以看到免費版
08/14 11:06, 26F
※ 編輯: f496328mm (114.44.46.48 臺灣), 08/14/2023 11:29:46
推
08/14 16:14, 2年前 , 27F
推 用的技術很貼近業界潮流 有電子書的話會支持
08/14 16:14, 27F
感謝，技術真的都是業界實際在應用的 等出版後，會再附上電子書連結 ※ 編輯: f496328mm (114.44.46.48 臺灣), 08/14/2023 16:57:43
推
08/15 16:57, 2年前 , 28F
推，期待電子書
08/15 16:57, 28F
推
08/17 07:07, 2年前 , 29F
等電子書
08/17 07:07, 29F
推
08/18 12:34, 2年前 , 30F
等電子書
08/18 12:34, 30F
推
08/21 10:14, , 31F
looks good, 雖然我是做分散式儲存，但感覺內容很有趣，
08/21 10:14, 31F
→
08/21 10:14, , 32F
推一個以後來讀
08/21 10:14, 32F
電子書上架囉 https://readmoo.com/book/210285321000101 ※ 編輯: f496328mm (114.44.75.73 臺灣), 08/21/2023 11:47:32
推
08/21 12:04, , 33F
上面說到這是一本完整的資料工程師攻略 那想轉職入門的
08/21 12:04, 33F
→
08/21 12:04, , 34F
照著攻略是OK的嗎？
08/21 12:04, 34F
如果有 Python 基礎，想往 data engineer 發展 那這本是 OK 的 但如果沒有 Python 基礎，則有點困難 因為本書沒有從 0 開始教 Python 有興趣可以查詢 Junior 資料工程師職缺 所需技能與本書非常類似 從最基本的資料收集(爬蟲)、分散式爬蟲、資料庫架設、API 雲端、Docker、壓力測試、CICD 到最後的視覺化工具、Airflow、監控系統等等 基本上都是 DE 相關技能樹
推
08/21 16:29, , 35F
比較好奇 工程師想出書 要點什麼技能? 哈哈
08/21 16:29, 35F
→
08/21 16:29, , 36F
自己找出版社?
08/21 16:29, 36F
這我也可以分享經驗，我不是自己找出版社XD 根據跟出版社交流，得到的資訊 其中一個可能的方式是 他們會看你在技術社群的熱度 or 聲量 舉例 IT鐵人賽，連續寫 30 天文章 前三名的選手，可能就有機會 因為他們判斷，你有持續寫文章的能力，且品質優良 我個人不太一樣 我是在 FB 社群，分享 FinMind 當初 2021 的文章，破千讚、超過 200 個分享 2019 的文章，也有超過 600 讚，100 分享 所以他們來信詢問我，之後就如大家所看到的，出版書籍這樣 ※ 編輯: f496328mm (114.44.75.73 臺灣), 08/21/2023 17:21:42
推
08/22 14:29, , 37F
了解 謝謝你的分享 找時間到誠品找找看您的書
08/22 14:29, 37F
推
08/23 09:34, , 38F
推推
08/23 09:34, 38F
→
08/26 18:29, , 39F
照著書上操作 docker 建的好辛苦 還在研究
08/26 18:29, 39F
有問題歡迎來信詢問哦 docker 學好，會幫助你的產品，節省很多時間成本 ※ 編輯: f496328mm (114.44.46.83 臺灣), 09/04/2023 12:08:32
推
09/08 20:56, , 40F
推個
09/08 20:56, 40F
→
09/09 17:47, , 41F
關於 docker，其實我都準備好 yml 檔了，理論上一行指
09/09 17:47, 41F
→
09/09 17:47, , 42F
令就能執行
09/09 17:47, 42F
‣ 更多 f496328mm 的文章
文章代碼(AID): #1arbMUoh (Soft_Job)
Soft_Job 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 f496328mm 的文章
文章代碼(AID): #1arbMUoh (Soft_Job)