湖南課工場-課工場長沙實力

用戶興趣取向預測 社交項目

項目介紹：根據用戶訪問網站的瀏覽信息，以及點贊關注等行為，根據日志數據，來分析判斷用戶的興趣取向。

技術架構:  Flume+Kafka+Hive+PySpark+HBase+Oozie+Spark Streaming+NiFi+Redis+Cassandra+MySQL

主要業務：獲取用戶訪問網站的日志數據，并對其進行清洗，ETL變換； 通過PySpark建立日志推薦模型；
使用Spark Streaming及ML進行用戶興趣取向實時預測；
通過Python將日志推薦數據進行存儲；
建立Tableau與MySQL的鏈接，進行數據可視化及報表展示；

項目特色：真實數據量大， 基于3000萬條數據進行實時分析，項目涵蓋技能點多，大型企業級項目，架構級項目講解，讓你擁有高層次的項目開發經驗。

股票流數據實時分析 金融項目

項目介紹：通過實時收集并分析股票數據信息，并對數據進行過濾，清洗，挖掘，計算，然后通過可視化框架進行展示。

技術架構:  Flume+Kafka+HDFS+Spark Streaming +Confluent+Flink+Grafana

主要業務：項目數據格式定義； Apache Kafka進行股票數據扒??；
基于Confluent的股票元數據管理及應用；
Flink流數據處理及實時分析；
Flink實時股票的實時分析；
Grafana/Zeppelin數據可視化；

項目特色：加入多種流處理框架（Flink、Spark）的實現對比，通過不同框架開發，讓你在項目架構對比中，掌握實時大數據分析經驗。

蘇x電商數倉項目實戰 互聯網項目

項目介紹：大型電商集團需要各研發中心使用統一的數倉設計規范，以便于集團數據的共享和規劃建設。本系統是運營支撐平臺的一部分，通過對業務數據的分析，獲得用戶主題和訂單的相關分析情況，生成用戶的訪問模型和用戶的訂單行為模型，對訪問時段和下單區域分布進行分析和報表展示。

技術架構: MySQL+Sqoop+Hive+SparkSQL+Azkaban+Zeppelin

主要業務：設計構建能夠支持大型電商集團所需的大數據倉庫，為公司業務運營進行支撐。

項目特色：完善的數倉設計理論及步驟，大數據場景下的數倉構建細節及技巧。

機器學習項目之云音樂推薦系統 音樂項目

項目介紹：大數據技術越來越多地和機器學習相結合，為企業和用戶提供便利。本系統基于大數據和機器學習技術，通過對用戶APP操作行為數據（打點數據）收集，通過機器學習算法向用戶精準地推薦音樂和歌單，提高用戶的使用體驗，增強APP的使用粘性。

技術架構:Flume+Kafka+Hive+Spark Core+SparkSQL+SparkML+MySQL+Redis+機器學習算法

主要業務：通過Flume對打點數據進行采集；通過Kafka進行數據接收；通過Hive、Spark Core和SparkSQL進行數據清洗、整理；調用SparkML中的協同過濾（ALS）和邏輯回歸等算法進行運算，實現對用戶的音樂推薦功能；將推薦結果保存到Redis數據庫中供其他應用調用。

項目特色：該項目是一個基于機器學習的推薦系統，使用Hive、Spark實現基于隱含語義的協同過濾（ALS）和關聯規則等算法構建推薦系統。這些技術是當前主流推薦系統所使用的方法，項目架構是該類應用的經典實踐，具有極高的技術含金量。

在線教育全文檢索平臺 搜索項目

項目介紹：Python也是目前大數據開發中使用較多的一門語言，ElasticSearch是目前企業使用最多的搜索服務器。該項目是Python爬蟲與ELK搜索結合的項目，通過Python爬蟲獲取數據，對獲取的數據，使用ELK實現全文檢索功能。

技術架構:  Python+Scrapy+ELK+Hadoop+HBase+Oozie+MySQL

主要業務：通過Python爬蟲獲取數據；將爬取數據存入HBase;構建ELK全文檢索服務；實現全文檢索功能；

項目特色：基于Python的網站爬蟲與基于ELK的全文檢索相結合,讓你熟練Python開發技巧，提升你的競爭力。