當前位置：首頁 > 运维知识 > windows >内容正文

windows

（实际开发大数据分析系统）网络爬虫获取数据与销售数据分析系统

發布時間：2025/4/16 windows 25 豆豆

生活随笔收集整理的這篇文章主要介紹了（实际开发大数据分析系统）网络爬虫获取数据与销售数据分析系统小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

　　大數據分析應用系統的完整開發過程分為數據采集、數據存儲、數據計算和數據分析和展示四個部分。

數據采集：WebCollector框架
數據存儲：SQL
數據計算：
數據分析和展示：Java EE

　　流程就是：在Windows上使用WebCollector數據采集模塊來采集數據并得到Windows下面的

　　一、數據采集　

　　大數據應用的第一步是數據采集，這一步往往是最困難的一步。

　　這里采用WebCollector開發的數據采集模塊，在Windows上進行數據采集，這也是實際生產中的常用方式。

　　此次采集的是京東的銷售數據。

　　1.為了在本地用數據庫存儲采集下來的數據，需要在本地新建一個數據庫

　　（1）創建數據庫

mysql> create database jd_db; Query OK, 1 row affected (0.01 sec)

　　（2）創建數據表

mysql> use jd_db; Database changed mysql> create table spider(-> id int(11) not null auto_increment,-> platform varchar(255) default null,-> type varchar(255) default null,-> title varchar(255) default null,-> content text default null,-> memberlevel varchar(255) default null,-> fromplatform varchar(255) default null,-> area varchar(255) default null,-> userimpression varchar(255) default null,-> color varchar(255) default null,-> price varchar(255) default null,-> productSize varchar(255) default null,-> creationTime varchar(255) default null,-> zhuqutime varchar(255) default null,-> lable varchar(255) default null,-> primary key(id)-> )engine=MyISAM auto_increment=19712 default charset=utf8; Query OK, 0 rows affected (0.04 sec)

　　（3）查看數據表

　　2.導入爬蟲程序

　　二、在HBase集群上準備數據

　　大數據領域從SQL向HBase表導入數據有三種方法：Sqoop方法、JavaAPI方法、Import Tsv方法。下面只介紹第一種。

　　1.將數據采集部分獲得的數據導入到MySQL表中

　　（1）和在Windows上操作一樣，創建相同的數據庫和數據表

　　（2）向數據庫中導入采集到的數據，即.sql文件

mysql> source /home/jun/Resources/jd_data.sql;

　　（3）查看數據庫是否已經成功導入數據

mysql> select * from spider limit 5; +--------+----------+----------------------+-----------------------------------------------------------------------------------------------+------------------------------------------------------------------------------------------------+--------------+------------------------+--------+------------------------------------------------------------------------+-----------+-------+-------------+---------------------+----------------+--------------------------------------------------------------------------------------------------------------------------------+ | id | platform | xinhao | title | content | memberlevel | fromplatform | area | userimpression | color | price | productSize | creationTime | zhuaqutime | lable | +--------+----------+----------------------+-----------------------------------------------------------------------------------------------+------------------------------------------------------------------------------------------------+--------------+------------------------+--------+------------------------------------------------------------------------+-----------+-------+-------------+---------------------+----------------+--------------------------------------------------------------------------------------------------------------------------------+ | 275301 | 京東 | 華為榮耀暢玩5X | 榮耀暢玩5X（KIW-AL10）3GB+16GB內存版灰色移動聯通電信4G手機雙卡雙待 | 真正的愛情經得起平淡的流年 | 金牌會員 | 京東PC客戶端 | null | 比較一般分辨率高功能齊全通話質量好待機時間長 | 暗夜灰 | 1399 | 移動4G | 2016-04-22 15:36:58 | 20160422164523 | 系統流暢,性價比高,功能齊全,反應快,信號穩定,屏幕大,外觀漂亮,國民手機,分辨率高,通話質量好 | | 275302 | 京東 | 華為榮耀暢玩5X | 榮耀暢玩5X（KIW-AL10）3GB+16GB內存版灰色移動聯通電信4G手機雙卡雙待 | 不錯不錯，只是正面什么字都沒有，沒有logo，帶上套子有點山寨，呵呵 | 鉆石會員 | 京東iPhone客戶端 | 北京 | null | 落日金 | 1399 | 全網通 | 2016-04-22 15:33:37 | 20160422164523 | null | | 275303 | 京東 | 華為榮耀暢玩5X | 榮耀暢玩5X（KIW-AL10）3GB+16GB內存版灰色移動聯通電信4G手機雙卡雙待 | 好。 | 金牌會員 | 京東Android客戶端 | 江蘇 | null | 落日金 | 1399 | 全網通 | 2016-04-22 15:32:35 | 20160422164523 | null | | 275304 | 京東 | 華為榮耀暢玩5X | 榮耀暢玩5X（KIW-AL10）3GB+16GB內存版灰色移動聯通電信4G手機雙卡雙待 | 京東品質值得信賴。 | 鉆石會員 | 京東iPhone客戶端 | 上海 | null | 破曉銀 | 1399 | 移動4G | 2016-04-22 15:31:35 | 20160422164523 | null | | 275305 | 京東 | 華為榮耀暢玩5X | 榮耀暢玩5X（KIW-AL10）3GB+16GB內存版灰色移動聯通電信4G手機雙卡雙待 | 感覺還行，用的比較順手 | 金牌會員 | 京東Android客戶端 | null | null | 破曉銀 | 1399 | 移動4G | 2016-04-22 15:27:32 | 20160422164523 | null | +--------+----------+----------------------+-----------------------------------------------------------------------------------------------+------------------------------------------------------------------------------------------------+--------------+------------------------+--------+------------------------------------------------------------------------+-----------+-------+-------------+---------------------+----------------+--------------------------------------------------------------------------------------------------------------------------------+ 5 rows in set (0.00 sec)

　　2.將MySQL表中的數據導入到HBase中

　　（1）執行start-hbase.sh腳本來啟動HBase集群，然后進入HBase安裝目錄下的bin下執行./hbase shell進入shell

[jun@master bin]$ ./hbase shell HBase Shell; enter 'help<RETURN>' for list of supported commands. Type "exit<RETURN>" to leave the HBase Shell Version 1.2.6.1, rUnknown, Sun Jun 3 23:19:26 CDT 2018hbase(main):001:0> list TABLE test1 1 row(s) in 0.1990 seconds=> ["test1"]

　　（2）創建一個HBase表（注意HBase的表明是區分大小寫的）其中f1是族名

hbase(main):002:0> create 'PINGJIA.SPIDER', 'f1' 0 row(s) in 2.4370 seconds=> Hbase::Table - PINGJIA.SPIDER

　　（3）通過Sqoop將MySQL表spider中的數據，導入到HBase表PINGJIA.SPIDER里面。

[jun@master bin]$ cd /home/jun/sqoop-1.4.7.bin__hadoop-2.6.0/ [jun@master sqoop-1.4.7.bin__hadoop-2.6.0]$ bin/s sqoop sqoop-eval sqoop-import-all-tables sqoop-list-tables start-metastore.sh sqoop.cmd sqoop-export sqoop-import-mainframe sqoop-merge stop-metastore.sh sqoop-codegen sqoop-help sqoop-job sqoop-metastore sqoop-create-hive-table sqoop-import sqoop-list-databases sqoop-version [jun@master sqoop-1.4.7.bin__hadoop-2.6.0]$ bin/sqoop import --connect jdbc:mysql://master:3306/jd_db?useSSL=false --username root -P --table spider --hbase-table PINGJIA.SPIDER --column-family f1 --hbase-row-key id --hbase-create-table -m 1

　　出現了一條異常，原因是因為MySQL權限不夠，需要開放權限

18/07/25 09:45:28 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'master' (using password: YES)

　　打開MySQL，執行下面的賦權限命令

mysql> use jd_db; Database changed
mysql> grant all privileges on *.* to 'root'@'master' identified by 'bjtungirc';
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> grant all privileges on *.* to 'root'@'slave0' identified by 'bjtungirc';
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> grant all privileges on *.* to 'root'@'slave1' identified by 'bjtungirc';
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

　　然后重新執行bin/sqoop命令，可以看到執行成功，一共導入了427658條數據。

18/07/25 10:06:31 INFO mapreduce.Job: map 0% reduce 0% 18/07/25 10:08:21 INFO mapreduce.Job: map 100% reduce 0% 18/07/25 10:08:22 INFO mapreduce.Job: Job job_1532481435423_0002 completed successfully 18/07/25 10:08:22 INFO mapreduce.Job: Counters: 30File System CountersFILE: Number of bytes read=0FILE: Number of bytes written=209541FILE: Number of read operations=0FILE: Number of large read operations=0FILE: Number of write operations=0HDFS: Number of bytes read=87HDFS: Number of bytes written=0HDFS: Number of read operations=1HDFS: Number of large read operations=0HDFS: Number of write operations=0Job Counters Launched map tasks=1Other local map tasks=1Total time spent by all maps in occupied slots (ms)=104793Total time spent by all reduces in occupied slots (ms)=0Total time spent by all map tasks (ms)=104793Total vcore-milliseconds taken by all map tasks=104793Total megabyte-milliseconds taken by all map tasks=107308032Map-Reduce FrameworkMap input records=427658Map output records=427658Input split bytes=87Spilled Records=0Failed Shuffles=0Merged Map outputs=0GC time elapsed (ms)=2100CPU time spent (ms)=118740Physical memory (bytes) snapshot=230121472Virtual memory (bytes) snapshot=2143203328Total committed heap usage (bytes)=105381888File Input Format Counters Bytes Read=0File Output Format Counters Bytes Written=0 18/07/25 10:08:22 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 142.1074 seconds (0 bytes/sec) 18/07/25 10:08:22 INFO mapreduce.ImportJobBase: Retrieved 427658 records.

　　查看HBase集群中導入的數據總條數

hbase(main):004:0> count 'PINGJIA.SPIDER' ... Current count: 425000, row: 700300 Current count: 426000, row: 701300 Current count: 427000, row: 702300 427658 row(s) in 53.9180 seconds=> 427658

　　三、使用Phoenix作為中間件

　　Phoenix是構建在HBase上的一個SQL層，使得用戶可以用標準的JDBC APIs，而不是HBase客戶端APIs來創建表、插入數據和對HBase數據進行查詢。

　　Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBase掃描，并編排執行以生成標準的JDBC結果集。

　　1，Phoenix的安裝

　　（1）http://phoenix.apache.org/download.html下載apache-phoenix-4.9.0-HBase-1.2-bin.tar.gz到指定目錄并解壓

　　（2）修改Linux環境變量，并source生效

#phoenix export PHOENIX_HOME=/home/jun/apache-phoenix-4.9.0-HBase-1.2-bin/ export PATH=$PHOENIX_HOME/bin:$PATH

　　（3）復制三個依賴包到Master和Slave節點的HBase lib中

cp /home/jun/apache-phoenix-4.9.0-HBase-1.2-bin/phoenix-4.9.0-HBase-1.2-client.jar /home/jun/apache-phoenix-4.9.0-HBase-1.2-bin/phoenix-4.9.0-HBase-1.2-server.jar /home/jun/apache-phoenix-4.9.0-HBase-1.2-bin/phoenix-core-4.9.0-HBase-1.2.jar /home/jun/hbase-1.2.6.1/lib/ [jun@master apache-phoenix-4.9.0-HBase-1.2-bin]$ scp phoenix-4.9.0-HBase-1.2-client.jar phoenix-4.9.0-HBase-1.2-server.jar phoenix-core-4.9.0-HBase-1.2.jar -r jun@slave0:~/hbase-1.2.6.1/lib/ phoenix-4.9.0-HBase-1.2-client.jar 100% 82MB 82.3MB/s 00:01 phoenix-4.9.0-HBase-1.2-server.jar 100% 24MB 49.9MB/s 00:00 phoenix-core-4.9.0-HBase-1.2.jar 100% 3816KB 47.6MB/s 00:00 [jun@master apache-phoenix-4.9.0-HBase-1.2-bin]$ scp phoenix-4.9.0-HBase-1.2-client.jar phoenix-4.9.0-HBase-1.2-server.jar phoenix-core-4.9.0-HBase-1.2.jar -r jun@slave1:~/hbase-1.2.6.1/lib/ phoenix-4.9.0-HBase-1.2-client.jar 100% 82MB 82.2MB/s 00:01 phoenix-4.9.0-HBase-1.2-server.jar 100% 24MB 49.5MB/s 00:00 phoenix-core-4.9.0-HBase-1.2.jar 100% 3816KB 60.7MB/s 00:00

　　（4）重啟HBase集群

stop-hbase.sh start-hbase.sh

　　2.使用Phoenix Shell訪問HBase

　　（1）進入Phoenix Shell

[jun@master ~]$ cd /home/jun/apache-phoenix-4.9.0-HBase-1.2-bin/ [jun@master apache-phoenix-4.9.0-HBase-1.2-bin]$ bin/sqlline.py 192.168.1.100:2181 Setting property: [incremental, false] Setting property: [isolation, TRANSACTION_READ_COMMITTED] issuing: !connect jdbc:phoenix:192.168.1.100:2181 none none org.apache.phoenix.jdbc.PhoenixDriver Connecting to jdbc:phoenix:192.168.1.100:218118/07/25 10:38:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Connected to: Phoenix (version 4.9) Driver: PhoenixEmbeddedDriver (version 4.9) Autocommit status: true Transaction isolation: TRANSACTION_READ_COMMITTED Building list of tables and columns for tab-completion (set fastconnect to true to skip)... 87/87 (100%) Done Done sqlline version 1.2.0 0: jdbc:phoenix:192.168.1.100:2181> help

　　（2）在Phoenix中創建和HBase中對應的表

0: jdbc:phoenix:192.168.1.100:2181> create table PINGJIA.SPIDER( . . . . . . . . . . . . . . . . . > id varchar primary key, . . . . . . . . . . . . . . . . . > "f1". "platform" varchar, . . . . . . . . . . . . . . . . . > "f1". "xinhao" varchar, . . . . . . . . . . . . . . . . . > "f1". "title" varchar, . . . . . . . . . . . . . . . . . > "f1". "content" varchar, . . . . . . . . . . . . . . . . . > "f1". "menberlevel" varchar, . . . . . . . . . . . . . . . . . > "f1". "fromplatform" varchar, . . . . . . . . . . . . . . . . . > "f1". "area" varchar, . . . . . . . . . . . . . . . . . > "f1". "userimpression" varchar, . . . . . . . . . . . . . . . . . > "f1". "color" varchar, . . . . . . . . . . . . . . . . . > "f1". "price" varchar, . . . . . . . . . . . . . . . . . > "f1". "productSize" varchar, . . . . . . . . . . . . . . . . . > "f1". "creationTime" varchar, . . . . . . . . . . . . . . . . . > "f1". "zhuqutime" varchar, . . . . . . . . . . . . . . . . . > "f1". "lable" varchar); 427,658 rows affected (26.362 seconds)

　　可以看到，在新建表之后，就有427658條數據被關聯了。實際上，Phoenix本質上是一種HBase的查詢工具。在Phoenix中創建表，實際上是通過JDBC建立與HBase表的一個連接，而數據仍然是存儲在HBase表中的，但現在可以通過Phoenix操作HBase表了。因此，這就要求Phoenix中創建的表與用戶所希望操作的Hbase表存在對應關系，這種對應必須完全一致。

　　（3）查看所有表

　　（4）查看表結構

　　（3）通過Phoenix來查看HBase中的PINGJIA.SPIDER表的內容。Phoenix的查詢命令和標準SQL一致

?　　3.使用JDBC通過Phoenix訪問HBase

　　實現代碼（需要將Phoenix安裝目錄下所有的jar包拷貝到lib下并add Path）：

package com.jun;import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement;public class Phoenix {private static String driver = "org.apache.phoenix.jdbc.PhoenixDriver";public static void main(String[] args) throws SQLException {try {Class.forName(driver);} catch (ClassNotFoundException e) {e.printStackTrace();}Statement stmt = null;ResultSet rs = null;Connection con = DriverManager.getConnection("jdbc:phoenix:192.168.1.100:2181");stmt = con.createStatement();String sql = "select * from PINGJIA.SPIDER limit 5";rs = stmt.executeQuery(sql);while (rs.next()) {System.out.println(rs.getString(1)+" "+rs.getString(2)+" "+rs.getString(3)+" "+rs.getString(4)+" "+rs.getString(5)+" "+rs.getString(6)+" "+rs.getString(7)+" "+rs.getString(8)+" "+rs.getString(9)+" "+rs.getString(10)+" "+rs.getString(11)+" "+rs.getString(12)+" "+rs.getString(13)+" "+rs.getString(14)+" "+rs.getString(15));}stmt.close();con.close();} }

　　輸出：

SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/jun/workspace/PhoenixSQL/lib/phoenix-4.9.0-HBase-1.2-client.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/jun/workspace/PhoenixSQL/lib/phoenix-4.9.0-HBase-1.2-hive.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/jun/workspace/PhoenixSQL/lib/phoenix-4.9.0-HBase-1.2-pig.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/jun/workspace/PhoenixSQL/lib/phoenix-4.9.0-HBase-1.2-thin-client.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. 275301 京東華為榮耀暢玩5X 榮耀暢玩5X（KIW-AL10）3GB+16GB內存版灰色移動聯通電信4G手機雙卡雙待真正的愛情經得起平淡的流年 null 京東PC客戶端 null 比較一般分辨率高功能齊全通話質量好待機時間長暗夜灰 1399 移動4G 2016-04-22 15:36:58 null 系統流暢,性價比高,功能齊全,反應快,信號穩定,屏幕大,外觀漂亮,國民手機,分辨率高,通話質量好 275302 京東華為榮耀暢玩5X 榮耀暢玩5X（KIW-AL10）3GB+16GB內存版灰色移動聯通電信4G手機雙卡雙待不錯不錯，只是正面什么字都沒有，沒有logo，帶上套子有點山寨，呵呵 null 京東iPhone客戶端北京 null 落日金 1399 全網通 2016-04-22 15:33:37 null null 275303 京東華為榮耀暢玩5X 榮耀暢玩5X（KIW-AL10）3GB+16GB內存版灰色移動聯通電信4G手機雙卡雙待好。 null 京東Android客戶端江蘇 null 落日金 1399 全網通 2016-04-22 15:32:35 null null 275304 京東華為榮耀暢玩5X 榮耀暢玩5X（KIW-AL10）3GB+16GB內存版灰色移動聯通電信4G手機雙卡雙待京東品質值得信賴。 null 京東iPhone客戶端上海 null 破曉銀 1399 移動4G 2016-04-22 15:31:35 null null 275305 京東華為榮耀暢玩5X 榮耀暢玩5X（KIW-AL10）3GB+16GB內存版灰色移動聯通電信4G手機雙卡雙待感覺還行，用的比較順手 null 京東Android客戶端 null null 破曉銀 1399 移動4G 2016-04-22 15:27:32 null null

　　四、基于Web的前端展示

　　總結一下在前端展示之前需要準備的工作：

（Master）啟動HDFS，執行start-dfs.sh
（Master）啟動Yarn，執行start-yarn.sh
（Master、Slave0、Slave1）分別啟動獨立的ZooKeeper集群，執行/home/jun/zookeeper-3.4.12/bin/zkServer.sh start
（Master）啟動HBase，執行start-hbase.sh

　　1.啟動Eclipse-加載Web項目

　　（1）代碼結構

　　（2）數據庫連接配置代碼

public class DataBase {private static final String DRIVER="com.mysql.jdbc.Driver";private static final String URL="jdbc:mysql://localhost:3306/jd_pingjia?useUnicode=true&characterEncoding=utf-8&useSSL=false";private static final String USER="root";private static final String PASSWORD="bjtungirc";private static Connection connection; private static java.sql.PreparedStatement pstmt; private static ResultSet resultSet;
　　...
}

　　（3）Phoenix連接代碼

public class phoenix_Hbase {//驅動名稱：private static final String DRIVER="org.apache.phoenix.jdbc.PhoenixDriver";//訪問zookeeper地址private static final String URL = "jdbc:phoenix:192.168.1.100:2181";//用戶名：private static final String USERNMAE="";//密碼： private static final String PASSWORD="";
private static Connection connection ;private static ResultSet resultSet ; private static Statement statement ; public static Connection getConnection() throws SQLException{try {Class.forName(DRIVER);connection=DriverManager.getConnection(URL);} catch (ClassNotFoundException e) {e.printStackTrace();}return connection;} public static void closeConnection(Connection c,Statement s,ResultSet r){try {c.close();s.close();r.close();} catch (SQLException e) {e.printStackTrace();}} }

　　2.安裝Tomcat-啟動程序

　　3.在瀏覽器中輸入http://master:8080/new_pingjia_hbase/index.jsp即可查看相關內容。

　　從瀏覽器中可以看到下面的數據分別應該用哪些部分展示。

　　先來回顧一下數據表中有哪些信息，并且考慮一下需要展示哪些信息。