课程利用 Spark + ElasticSearch 构建用户标签系统,利用 Docker+Docker Compose 实现项目的一键启停。涵盖数据同步、数据清洗、用户标签化等步骤,带你领略企业级数据平台的开发流程。老师还在课程中与你探讨数据平台的关键性话题:电商数仓、订单宽表、用户画像、数据血缘等。手把手带你搭建一个Spring Boot +Vue.js完整项目。课程对初学大数据开发的同学非常友好,技术/知识/经验兼顾,非常适合准备进入大数据开发行业的你。
适合人群
对 Spark, ElasticSearch等大数据技术有强烈兴趣
想转行做大数据的同学
对企业级数据平台开发流程没有概念,但有一定的自学能力,并且愿意
接受挑战的同学
技术储备要求
Java Web 基础
Linux 基础
了解SQL 语法
熟悉数据库操作
1.準備環境
先依照官方文檔的設置,如下
我的環境: Windows 10 64位
1.Git(這個自行裝置)
2.Node.js(64位,>= 8.12.0, < 9.0.0)
3.Python(只能2.7版本)
以上環境裝置終了後,爲VSCode依賴的本機模塊裝置編译器
選項1(引薦):運用Windows Build Tools npm模塊
以管理員身份啟動Powershell並裝置Windows Build Tools npm模塊(文檔)。
npm install --global windows-build-tools --vs2015
留意:--debug假如在裝置過程中遇到任何問題,該標誌會很有用。
留意:假如遇到錯誤找不到v141(Platform Toolset ='v141')的構建工具。“您可能裝置了Visual Studio版本。要麼卸载該版本,要麼確保裝置VC ++ 2015.3 v14.00( v140)桌面裝置工具集(見下文)
選項2:運用Visual Studio 2017(此辦法我歷來沒有試過,但是我本地有visual studio 2019)
裝置Visual Studio 2017社區版
- 選择運用C ++停止桌面開發
- 選择桌面VC ++ 2015.3 v14.00(V140)工具集在右手邊
- 留意:假如妳遇到一個錯誤的構建工具V141(平台工具集=“V141”)無法找到“。確保妳裝置了桌面VC ++ 2015.3 v14.00(V140)的工具集,從前面的步骤
以上就是官方的教程了,接下來補上我的操作 - npm裝置yarn
npm install -g yarn - 換源
下载時,一定要下载zip包,由於直接clone的我運轉不起來,妳要是覺得能夠的話,試著clone,這里我就假定是下载的zip緊缩包
下载好後解壓,用powershell的管理員形式進入解壓的vscode main目錄,運轉命令
yarn
接下來將是漫長的等候,大約半個鍾頭把,就差不多了,玩了以後命令行會停下來允許操作的。
至此,只需運轉勝利就完成了
翻開powershell,監聽程序
yarn watch
運轉Windows平台的vscode
.\scripts\code.bat
運轉web的vscode
yarn watch web