參數(shù)

描述

默認(rèn)

配置文件

例子值

fs.default.name namenode

namenode RPC交互端口

8020

core-site.xml

hdfs://master:8020/

dfs.http.address?

NameNode web管理端口

50070

hdfs- site.xml

0.0.0.0:50070

dfs.datanode.address

datanode　控制端口

50010?

hdfs -site.xml?

0.0.0.0:50010

dfs.datanode.ipc.address

datanode的RPC服務(wù)器地址和端口

50020

hdfs-site.xml

0.0.0.0:50020

dfs.datanode.http.address

datanode的HTTP服務(wù)器和端口

50075

hdfs-site.xml?

0.0.0.0:50075

參數(shù)

描述

默認(rèn)

配置文件

例子值

mapred.job.tracker

job-tracker交互端口?

8021

mapred-site.xml

hdfs://master:8021/

job

tracker的web管理端口

50030

mapred-site.xml

0.0.0.0:50030

mapred.task.tracker.http.address

task-tracker的HTTP端口

50060

mapred-site.xml

0.0.0.0:50060

參數(shù)

描述

默認(rèn)

配置文件

例子值

dfs.secondary.http.address

secondary NameNode web管理端口

50090

hdfs-site.xml

0.0.0.0:50090

?

?

?

?

?

?

?

?

?

?

序號

參數(shù)名

參數(shù)值

參數(shù)說明

1

hadoop.tmp.dir???????? ?????????????

/tmp/hadoop-${user.name}?????????????????????????????

臨時目錄設(shè)定

2

hadoop.native.lib??????????????????

true?????????????????????????????????????????????????

使用本地hadoop庫標(biāo)識。

3

hadoop.http.filter.initializers????

?????????????????????????????????????????????????????

http服務(wù)器過濾鏈設(shè)置?????????????????????????

4

hadoop.security.group.mapping??????

org.apache.hadoop.security.ShellBasedUnixGroupsMapping

組內(nèi)用戶的列表的類設(shè)定

5

hadoop.security.authorization??????

false????????????????????????????????????????????????

服務(wù)端認(rèn)證開啟

6

hadoop.security.authentication?????

simple ???????????????????????????????????????????????

無認(rèn)證或認(rèn)證設(shè)置

7

hadoop.security.token.service.use_ip

true?????????????????????????????????????????????????

是否開啟使用IP地址作為連接的開關(guān)

8

hadoop.logfile.size????????????????

10000000?????????????????????????????????????????????

日志文件最大為10M

9

hadoop.logfile.count

10?????????? ?????????????????????????????????????????

日志文件數(shù)量為10個

10

io.file.buffer.size

4096

流文件的緩沖區(qū)為4K

11

io.bytes.per.checksum

512?

校驗位數(shù)為512字節(jié)

12

io.skip.checksum.errors

false

校驗出錯后是拋出異常還是略過標(biāo)識。True則略過。

13

io.compression.codecs

org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.GzipCodec,

org.apache.hadoop.io.compress.BZip2Codec,

org.apache.hadoop.io.compress.SnappyCodec

壓縮和解壓的方式設(shè)置

14

io.serializations

org.apache.hadoop.io.serializer.WritableSerialization

序例化和反序列化的類設(shè)定

15

fs.default.name

file:///????????????????????????????????????????????

缺省的文件URI標(biāo)識設(shè)定。

16

fs.trash.interval

0???????????????????????????????????????????????????

文件廢棄標(biāo)識設(shè)定，0為禁止此功能

17

fs.file.impl

org.apache.hadoop.fs.LocalFileSystem????????????????

本地文件操作類設(shè)置

18

fs.hdfs.impl

org.apache.hadoop.hdfs.DistributedFileSystem????????

HDFS文件操作類設(shè)置

19

fs.s3.impl

org.apache.hadoop.fs.s3.S3FileSystem????????????????

S3文件操作類設(shè)置

20

fs.s3n.impl?????????????

org.apache.hadoop.fs.s3native.NativeS3FileSystem

S3文件本地操作類設(shè)置

21

fs.kfs.impl?????????????

org.apache.hadoop.fs.kfs.KosmosFileSystem

KFS文件操作類設(shè)置.?

22

fs.hftp.impl????????????

org.apache.hadoop.hdfs.HftpFileSystem

HTTP方式操作文件設(shè)置

23

fs.hsftp.impl???????????

org.apache.hadoop.hdfs.HsftpFileSystem

HTTPS方式操作文件設(shè)置

24

fs.webhdfs.impl?????????

org.apache.hadoop.hdfs.web.WebHdfsFileSystem

WEB方式操作文件類設(shè)置

25

fs.ftp.impl?????????????

org.apache.hadoop.fs.ftp.FTPFileSystem

FTP文件操作類設(shè)置

26

fs.ramfs.impl???????????

org.apache.hadoop.fs.InMemoryFileSystem

內(nèi)存文件操作類設(shè)置

27

fs.har.impl?????????????

org.apache.hadoop.fs.HarFileSystem

壓縮文件操作類設(shè)置.

28

fs.har.impl.disable.cache

true

是否緩存har文件的標(biāo)識設(shè)定

29

fs.checkpoint.dir???????

${hadoop.tmp.dir}/dfs/namesecondary

備份名稱節(jié)點的存放目前錄設(shè)置

30

fs.checkpoint.edits.dir?????

${fs.checkpoint.dir}

備份名稱節(jié)點日志文件的存放目前錄設(shè)置

31

fs.checkpoint.period????????

3600

動態(tài)檢查的間隔時間設(shè)置

32

fs.checkpoint.size??????????

67108864

日志文件大小為64M

33

fs.s3.block.size????????????

67108864

寫S3文件系統(tǒng)的塊的大小為64M

34

fs.s3.buffer.dir????????????

${hadoop.tmp.dir}/s3

S3文件數(shù)據(jù)的本地存放目錄

35

fs.s3.maxRetries????????????

4

S3文件數(shù)據(jù)的償試讀寫次數(shù)

36

fs.s3.sleepTimeSeconds??????

10

S3文件償試的間隔

37

local.cache.size????????????

10737418240

緩存大小設(shè)置為10GB

38

io.seqfile.compress.blocksize

1000000

壓縮流式文件中的最小塊數(shù)為100萬

39

io.seqfile.lazydecompress???

true

塊是否需要壓縮標(biāo)識設(shè)定

40

io.seqfile.sorter.recordlimit

1000000

內(nèi)存中排序記錄塊類最小為100萬

41

io.mapfile.bloom.size

1048576

BloomMapFiler過濾量為1M

42

io.mapfile.bloom.error.rate

0.005

?

43

hadoop.util.hash.type

murmur

缺少hash方法為murmur

44

ipc.client.idlethreshold

4000

連接數(shù)據(jù)最小閥值為4000?

45

ipc.client.kill.max

10

一個客戶端連接數(shù)最大值為10

46

ipc.client.connection.maxidletime

10000

斷開與服務(wù)器連接的時間最大為10秒

47

ipc.client.connect.max.retries

10

建立與服務(wù)器連接的重試次數(shù)為10次

48

ipc.server.listen.queue.size

128

接收客戶連接的監(jiān)聽隊例的長度為128

49

ipc.server.tcpnodelay

false

開啟或關(guān)閉服務(wù)器端TCP連接算法

50

ipc.client.tcpnodelay

false

開啟或關(guān)閉客戶端TCP連接算法

51

webinterface.private.actions

false

Web交互的行為設(shè)定

?

52

hadoop.rpc.socket.factory.class.default??????

org.apache.hadoop.net.StandardSocketFactory

缺省的socket工廠類設(shè)置

53

hadoop.rpc.socket.factory.class.ClientProtocol

?

與dfs連接時的缺省socket工廠類

54

hadoop.socks.server??????????????????????????

?

服務(wù)端的工廠類缺省設(shè)置為SocksSocketFactory.

55

topology.node.switch.mapping.impl????????????

org.apache.hadoop.net.ScriptBasedMapping

?

56

topology.script.file.name????????????????????

?

?

57

topology.script.number.args??????????????????

100?

參數(shù)數(shù)量最多為100

58

hadoop.security.uid.cache.secs???????????????

14400

?

序號

參數(shù)名

參數(shù)值

參數(shù)說明

1

dfs.namenode.logging.level???????

info?????????

輸出日志類型

2

dfs.secondary.http.address???????

0.0.0.0:50090

備份名稱節(jié)點的http協(xié)議訪問地址與端口????????????????????????????????????????????????????????????????????????????????????

3

dfs.datanode.address?????????????

0.0.0.0:50010

數(shù)據(jù)節(jié)點的TCP管理服務(wù)地址和端口

4

dfs.datanode.http.address????????

0.0.0.0:50075

數(shù)據(jù)節(jié)點的HTTP協(xié)議訪問地址和端口

5

dfs.datanode.ipc.address?????????

0.0.0.0:50020

數(shù)據(jù)節(jié)點的IPC服務(wù)訪問地址和端口

6

dfs.datanode.handler.count???????

3???????? ????

數(shù)據(jù)節(jié)點的服務(wù)連接處理線程數(shù)

7

dfs.http.address?????????????????

0.0.0.0:50070

名稱節(jié)點的http協(xié)議訪問地址與端口

8

dfs.https.enable?????????????????

false????????

支持https訪問方式標(biāo)識

9

dfs.https.need.client.auth???????

false????????

客戶端指定https訪問標(biāo)識

10

dfs.https.server.keystore.resource

ssl-server.xml

Ssl密鑰服務(wù)端的配置文件

11

dfs.https.client.keystore.resource

ssl-client.xml

Ssl密鑰客戶端的配置文件

12

dfs.datanode.https.address???????

0.0.0.0:50475

數(shù)據(jù)節(jié)點的HTTPS協(xié)議訪問地址和端口

13

dfs.https.address????????????????

0.0.0.0:50470

名稱節(jié)點的HTTPS協(xié)議訪問地址和端口

14

dfs.datanode.dns.interface???????

default??????

數(shù)據(jù)節(jié)點采用IP地址標(biāo)識

15

dfs.datanode.dns.nameserver??????

default??????

指定DNS的IP地址

16

dfs.replication.considerLoad?????

true?????????

加載目標(biāo)或不加載的標(biāo)識

17

dfs.default.chunk.view.size??????

32768??????? ?

瀏覽時的文件塊大小設(shè)置為32K

18

dfs.datanode.du.reserved?????????

0????????????

每個卷預(yù)留的空閑空間數(shù)量

19

dfs.name.dir?????????????????????

${hadoop.tmp.dir}/dfs/name

存貯在本地的名字節(jié)點數(shù)據(jù)鏡象的目錄,作為名字節(jié)點的冗余備份

20

dfs.name.edits.dir???????????????

${dfs.name.dir}??????????

存貯文件操作過程信息的存貯目錄

21

dfs.web.ugi??????????????????????

webuser,webgroup?????????

Web接口訪問的用戶名和組的帳戶設(shè)定

22

dfs.permissions??????????????????

true?????????????????????

文件操作時的權(quán)限檢查標(biāo)識。

23

dfs.permissions.supergroup???????

supergroup???????????????

超級用戶的組名定義

24

dfs.block.access.token.enable????

false????????????????????

數(shù)據(jù)節(jié)點訪問令牌標(biāo)識

25

dfs.block.access.key.update.interval

600??????????????????????

升級訪問鑰時的間隔時間

26

dfs.block.access.token.lifetime????

600??????????????????????

訪問令牌的有效時間

27

dfs.data.dir?????????? ?????????????

${hadoop.tmp.dir}/dfs/data

數(shù)據(jù)節(jié)點的塊本地存放目錄

28

dfs.datanode.data.dir.perm?????????

755??????????????????????

數(shù)據(jù)節(jié)點的存貯塊的目錄訪問權(quán)限設(shè)置

29

dfs.replication????????????????????

3????????????????????????

缺省的塊復(fù)制數(shù)量

30

dfs.replication.max?????????????? ??

512??????????????????????

塊復(fù)制的最大數(shù)量

31

dfs.replication.min????????????????

1????????????????????????

塊復(fù)制的最小數(shù)量?

32

dfs.block.size?????????????????????

67108864?????????????????

缺省的文件塊大小為64M

33

dfs.df.interval????????????????????

60000???????? ????????????

磁盤空間統(tǒng)計間隔為6秒

34

dfs.client.block.write.retries?????

3????????????????????????

塊寫入出錯時的重試次數(shù)

35

dfs.blockreport.intervalMsec???????

3600000??????????????????

塊的報告間隔時為1小時

36

dfs.blockreport.initialDelay???????

0????????????????????????

塊順序報告的間隔時間

37

dfs.heartbeat.interval?????????????

3????????????????????????

數(shù)據(jù)節(jié)點的心跳檢測間隔時間

38

dfs.namenode.handler.count?????????

10???????????????????????

名稱節(jié)點的連接處理的線程數(shù)量

39

dfs.safemode.threshold.pct?????????

0.999f???????????????????

啟動安全模式的閥值設(shè)定

?

40

dfs.safemode.extension?????????????

30000????????????????????

當(dāng)閥值達(dá)到量值后擴(kuò)展的時限

41

dfs.balance.bandwidthPerSec????????

1048576??????????????????

啟動負(fù)載均衡的數(shù)據(jù)節(jié)點可利用帶寬最大值為1M

42

dfs.hosts??????????????????????????

?

可與名稱節(jié)點連接的主機(jī)地址文件指定。

43

dfs.hosts.exclude??????????????????

?

不充計與名稱節(jié)點連接的主機(jī)地址文件設(shè)定

44

dfs.max.objects????????????????????

0

文件數(shù)、目錄數(shù)、塊數(shù)的最大數(shù)量

45

dfs.namenode.decommission.interval?

30

名稱節(jié)點解除命令執(zhí)行時的監(jiān)測時間周期

46

dfs.namenode.decommission.nodes.per.interval

5???????

名稱節(jié)點解除命令執(zhí)行是否完檢測次數(shù)

47

dfs.replication.interval???????????????????

3???????

名稱節(jié)點計算數(shù)據(jù)節(jié)點的復(fù)制工作的周期數(shù).

48

dfs.access.time.precision??????????????????

3600000?

充許訪問文件的時間精確到1小時

49

dfs.support.append?????????????????????????

false???

是否充許鏈接文件指定

50

dfs.namenode.delegation.key.update-interval

86400000

名稱節(jié)點上的代理令牌的主key的更新間隔時間為24小時

51

dfs.namenode.delegation.token.max-lifetime?

604800000

代理令牌的有效時間最大值為7天

52

dfs.namenode.delegation.token.renew-interval

86400000

代理令牌的更新時間為24小時

53

dfs.datanode.failed.volumes.tolerated??????

0???????

決定停止數(shù)據(jù)節(jié)點提供服務(wù)充許卷的出錯次數(shù)。0次則任何卷出錯都要停止數(shù)據(jù)節(jié)點

序號

參數(shù)名

參數(shù)值

參數(shù)說明

1

hadoop.job.history.location

?

作業(yè)跟蹤管理器的靜態(tài)歷史文件的存放目錄。

2

hadoop.job.history.user.location

?

可以指定具體某個作業(yè)的跟蹤管理器的歷史文件存放目錄

3

mapred.job.tracker.history.completed.location

?

已完成作業(yè)的歷史文件的存放目錄

4

io.sort.factor

?10?????????

排完序的文件的合并時的打開文件句柄數(shù)

5

io.sort.mb

?100????????

排序文件的內(nèi)存緩存大小為100M

6

io.sort.record.percent

?0.05???????

排序線程阻塞的內(nèi)存緩存剩余比率

7

io.sort.spill.percent

?0.80???????

當(dāng)緩沖占用量為該值時，線程需要將內(nèi)容先備份到磁盤中。

8

io.map.index.skip

?0??????????

索引條目的間隔設(shè)定

9

mapred.job.tracker

?local??????

作業(yè)跟蹤管理器是否和MR任務(wù)在一個進(jìn)程中

10

mapred.job.tracker.http.address

0.0.0.0:50030

作業(yè)跟蹤管理器的HTTP服務(wù)器訪問端口和地址

11

mapred.job.tracker.handler.count??????????

10????????

作業(yè)跟蹤管理器的管理線程數(shù),線程數(shù)比例是任務(wù)管理跟蹤器數(shù)量的0.04

12

mapred.task.tracker.report.address????????

127.0.0.1:0

任務(wù)管理跟蹤器的主機(jī)地址和端口地址

?

13

mapred.local.dir??????????????????????????

${hadoop.tmp.dir}/mapred/local?

MR的中介數(shù)據(jù)文件存放目錄

14

mapred.system.dir?????????????????????????

${hadoop.tmp.dir}/mapred/system

MR的控制文件存放目錄

15

mapreduce.jobtracker.staging.root.dir?????

${hadoop.tmp.dir}/mapred/staging

每個正在運行作業(yè)文件的存放區(qū)

16

mapred.temp.dir???????????????????????????

${hadoop.tmp.dir}/mapred/temp??

MR臨時共享文件存放區(qū)???

17

mapred.local.dir.minspacestart????????????

0?????????????????????? ????????

MR本地中介文件刪除時，不充許有任務(wù)執(zhí)行的數(shù)量值。

18

mapred.local.dir.minspacekill?????????????

0??????????????????????????????

MR本地中介文件刪除時，除非所有任務(wù)都已完成的數(shù)量值。

19

mapred.tasktracker.expiry.interval????????

600000?????????????????????????

任務(wù)管理跟蹤器不發(fā)送心跳的累計時間間隔超過600秒，則任務(wù)管理跟蹤器失效

20

mapred.tasktracker.resourcecalculatorplugin

?

指定的一個用戶訪問資源信息的類實例

21

mapred.tasktracker.taskmemorymanager.monitoring-interval

5000???

監(jiān)控任務(wù)管理跟蹤器任務(wù)內(nèi)存使用率的時間間隔

22

mapred.tasktracker.tasks.sleeptime-before-sigkill??????

5000???

發(fā)出進(jìn)程終止后，間隔5秒后發(fā)出進(jìn)程消亡信號

?

23

mapred.map.tasks???????????????????????????????????????

2??????

每個作業(yè)缺省的map任務(wù)數(shù)為2

24

mapred.reduce.tasks????????????????????????????????????

1??????

每個作業(yè)缺省的reduce任務(wù)數(shù)為1

25

mapreduce.tasktracker.outofband.heartbeat??????????????

false??

讓在任務(wù)結(jié)束后發(fā)出一個額外的心跳信號

26

mapreduce.tasktracker.outofband.heartbeat.damper???????

1000000

當(dāng)額外心跳信號發(fā)出量太多時，則適當(dāng)阻止

?

27

mapred.jobtracker.restart.recover??????????????????????

false??

充許任務(wù)管理器恢復(fù)時采用的方式

28

mapred.jobtracker.job.history.block.size???????????????

3145728

作業(yè)歷史文件塊的大小為3M?

29

mapreduce.job.split.metainfo.maxsize???????????????????

10000000

分隔元信息文件的最大值是10M以下

?

30

mapred.jobtracker.taskScheduler?????????????????????

org.apache.hadoop.mapred.JobQueueTaskScheduler

設(shè)定任務(wù)的執(zhí)行計劃實現(xiàn)類

31

mapred.jobtracker.taskScheduler.maxRunningTasksPerJob

?

作業(yè)同時運行的任務(wù)數(shù)的最大值

32

mapred.map.max.attempts?????????????????????????????

4????

Map任務(wù)的重試次數(shù)

33

mapred.reduce.max.attempts??????????????????????????

4????

Reduce任務(wù)的重試次數(shù)

34

mapred.reduce.parallel.copies????????????????????? ??

5????

在復(fù)制階段時reduce并行傳送的值。

35

mapreduce.reduce.shuffle.maxfetchfailures???????????

10???

取map輸出的最大重試次數(shù)

36

mapreduce.reduce.shuffle.connect.timeout????????????

180000

REDUCE任務(wù)連接任務(wù)管理器獲得map輸出時的總耗時是3分鐘??????????

?

37

mapreduce.reduce.shuffle.read.timeout???????????????

180000

REDUCE任務(wù)等待map輸出數(shù)據(jù)的總耗時是3分鐘

38

mapred.task.timeout?????????????????????????????????

600000

如果任務(wù)無讀無寫時的時間耗時為10分鐘，將被終止

39

mapred.tasktracker.map.tasks.maximum????????????????

2????

任管管理器可同時運行map任務(wù)數(shù)為2

40

mapred.tasktracker.reduce.tasks.maximum?????????????

2????

任管管理器可同時運行reduce任務(wù)數(shù)為2

41

mapred.jobtracker.completeuserjobs.maximum?

100????

當(dāng)用戶的完成作業(yè)數(shù)達(dá)100個后，將其放入作業(yè)歷史文件中

42

mapreduce.reduce.input.limit???????????????

-1?????

Reduce輸入量的限制。

43

mapred.job.tracker.retiredjobs.cache.size??

1000???

作業(yè)狀態(tài)為已不在執(zhí)行的保留在內(nèi)存中的量為1000

44

mapred.job.tracker.jobhistory.lru.cache.size

5??????

作業(yè)歷史文件裝載到內(nèi)存的數(shù)量

45

mapred.child.java.opts?????????????????????

-Xmx200m

啟動task管理的子進(jìn)程時的內(nèi)存設(shè)置

46

mapred.child.env???????????????????????????

???????

子進(jìn)程的參數(shù)設(shè)置

47

mapred.child.ulimit????????????????????????

???????

虛擬機(jī)所需內(nèi)存的設(shè)定。

48

mapred.cluster.map.memory.mb???????????????

-1?????

?

49

mapred.cluster.reduce.memory.mb????????????

-1?????

?

50

mapred.cluster.max.map.memory.mb???????????

-1?????

?

51

mapred.cluster.max.reduce.memory.mb????????

-1?????

?

52

mapred.job.map.memory.mb???????????????????

-1?????

?

53

mapred.job.reduce.memory.mb????????????????

-1?????

?

54

mapred.child.tmp???????????????????????????

/tmp???

Mr任務(wù)信息的存放目錄

55

mapred.inmem.merge.threshold???????????????

1000???

內(nèi)存中的合并文件數(shù)設(shè)置

56

mapred.job.shuffle.merge.percent???????????

0.66???

??????????????????????????????????????????????????????????????????????? ?????????????

57

mapred.job.shuffle.input.buffer.percent????

0.70???

?

58

mapred.job.reduce.input.buffer.percent?????

0.0????

?

59

mapred.map.tasks.speculative.execution?????

true???

Map任務(wù)的多實例并行運行標(biāo)識

60

mapred.reduce.tasks.speculative.execution??

true???

Reduce任務(wù)的多實例并行運行標(biāo)識

61

mapred.job.reuse.jvm.num.tasks

1???????????

每虛擬機(jī)運行的任務(wù)數(shù)

62

mapred.min.split.size

0???????????

Map的輸入數(shù)據(jù)被分解的塊數(shù)設(shè)置

63

mapred.jobtracker.maxtasks.per.job

-1??????????

一個單獨作業(yè)的任務(wù)數(shù)設(shè)置

64

mapred.submit.replication

10??????????

提交作業(yè)文件的復(fù)制級別

65

mapred.tasktracker.dns.interface

default?????

任務(wù)管理跟蹤器是否報告IP地址名的開關(guān)?

66

mapred.tasktracker.dns.nameserver

default?????

作業(yè)和任務(wù)管理跟蹤器之間通訊方式采用的DNS服務(wù)的主機(jī)名或IP地址

67

tasktracker.http.threads

40??????????

http服務(wù)器的工作線程數(shù)量

68

mapred.task.tracker.http.address

0.0.0.0:50060

任務(wù)管理跟蹤器的http服務(wù)器的地址和端口

69

keep.failed.task.files

false???????

失敗任務(wù)是否保存到文件中

?

70

mapred.output.compress

false???????

作業(yè)的輸出是否壓縮

71

mapred.output.compression.type

RECORD??????

作業(yè)輸出采用NONE, RECORD or BLOCK三種方式中一種壓縮的寫入到流式文件

72

mapred.output.compression.codec

org.apache.hadoop.io.compress.DefaultCodec

壓縮類的設(shè)置

73

mapred.compress.map.output

false????????????????????????????????????

Map的輸出是否壓縮

74

mapred.map.output.compression.codec

org.apache.hadoop.io.compress.DefaultCodec

Map的輸出壓縮的實現(xiàn)類指定

75

map.sort.class

org.apache.hadoop.util.QuickSort?????????

排序鍵的排序類指定

76

mapred.userlog.limit.kb

0????????????????????????????????????????

每個任務(wù)的用戶日志文件大小

77

mapred.userlog.retain.hours

24???????????????????????????????????????

作業(yè)完成后的用戶日志留存時間為24小時

78

mapred.user.jobconf.limit

5242880??????????????????????????????????

Jobconf的大小為5M

79

mapred.hosts

?????????????????????????????????????????

可與作業(yè)管理跟蹤器連接的主機(jī)名

80

mapred.hosts.exclude

?? ???????????????????????????????????????

不可與作業(yè)管理跟蹤器連接的主機(jī)名

81

mapred.heartbeats.in.second????????????????????

100????????????????

作業(yè)管理跟蹤器的每秒中到達(dá)的心跳數(shù)量為100

82

mapred.max.tracker.blacklists??????????????????

4??????????????????

任務(wù)管理跟蹤器的黑名單列表的數(shù)量

83

mapred.jobtracker.blacklist.fault-timeout-window

180????????????????

任務(wù)管理跟蹤器超時180分鐘則訪任務(wù)將被重啟

84

mapred.jobtracker.blacklist.fault-bucket-width?

15?????????????????

?

85

mapred.max.tracker.failures????????????????????

4??????????????????

任務(wù)管理跟蹤器的失敗任務(wù)數(shù)設(shè)定

86

jobclient.output.filter????????????????????????

FAILED?????????????

控制任務(wù)的用戶日志輸出到作業(yè)端時的過濾方式

87

mapred.job.tracker.persist.jobstatus.active????

false??????????????

是否持久化作業(yè)管理跟蹤器的信息

88

mapred.job.tracker.persist.jobstatus.hours?????

0??????????????????

持久化作業(yè)管理跟蹤器的信息的保存時間

89

mapred.job.tracker.persist.jobstatus.dir???????

/jobtracker/jobsInfo

作業(yè)管理跟蹤器的信息存放目錄

90

mapreduce.job.complete.cancel.delegation.tokens

true???????????????

恢復(fù)時是否變更領(lǐng)牌???

91

mapred.task.profile????????????????????????????

false??????????????

任務(wù)分析信息是否建設(shè)標(biāo)志

92

mapred.task.profile.maps???????????????????????

0-2????????????????

設(shè)置map任務(wù)的分析范圍

93

mapred.task.profile.reduces????????????????????

0-2????????????????

設(shè)置reduce任務(wù)的分析范圍

94

mapred.line.input.format.linespermap???????????

1??????????????????

每次切分的行數(shù)設(shè)置

95

mapred.skip.attempts.to.start.skipping?????????

2??????????????????

在跳轉(zhuǎn)模式未被設(shè)定的情況下任務(wù)的重試次數(shù)????????????????????????????????????????????????????????????????????????????????????

96

mapred.skip.map.auto.incr.proc.count???????????

true???????????????

MapRunner在調(diào)用map功能后的增量處理方式設(shè)置

97

mapred.skip.reduce.auto.incr.proc.count????????

true???????????????

在調(diào)用reduce功能后的增量處理方式設(shè)置

98

mapred.skip.out.dir??????????????????????? ?????

???????????????????

跳過記錄的輸出目錄

99

mapred.skip.map.max.skip.records???????????????

0?????? ????????????

?

100

mapred.skip.reduce.max.skip.groups?????????????

0??????????????????

?

101

job.end.retry.attempts?????????????????????????

0??????????????????

Hadoop償試連接通知器的次數(shù)??

102

job.end.retry.interval?????????????????????????

30000??????????????

通知償試回應(yīng)的間隔操作為30秒

103

hadoop.rpc.socket.factory.class.JobSubmissionProtocol

?

指定與作業(yè)跟蹤管理器的通訊方式，缺省是采用rpc方式

104

mapred.task.cache.levels????????????????????????????

2?????

任務(wù)緩存級別設(shè)置

105

mapred.queue.names??????????????????????????????????

default

分隔作業(yè)隊例的分隔符設(shè)定

106

mapred.acls.enabled?????????????????????????????????

false?

指定ACL訪問控制列表

107

mapred.queue.default.state?? ????????????????????????

RUNNING

定義隊列的狀態(tài)

108

mapred.job.queue.name???????????????????????????????

default

已提交作業(yè)的隊列設(shè)定

109

mapreduce.job.acl-modify-job????????????????????????

??????

指定可修改作業(yè)的ACL列表

110

mapreduce.job.acl-view-job??????????????????????????

??????

指定可瀏臨作業(yè)的ACL列表

111

mapred.tasktracker.indexcache.mb????????????????????

10????

任務(wù)管理跟蹤器的索引內(nèi)存的最大容器

112

mapred.combine.recordsBeforeProgress????????????????

10000?

在聚合處理時的記錄塊數(shù)

?

113

mapred.merge.recordsBeforeProgress??????????????????

10000?

在匯總處理時的記錄塊數(shù)

114

mapred.reduce.slowstart.completed.maps??????????????

0.05??

?

115

mapred.task.tracker.task-controller?????????????????

org.apache.hadoop.mapred.DefaultTaskController

任務(wù)管理器的設(shè)定

116

mapreduce.tasktracker.group?????????????????? ???????

?????????????????????????????????????????????

任務(wù)管理器的組成員設(shè)定

117

mapred.healthChecker.script.path????????????????????

?????????????????????????????????????????????

腳本的絕對路徑指定，這些腳本是心跳服務(wù)的

118

mapred.healthChecker.interval???????????????????????

60000????????????????????????????????????????

節(jié)點心跳信息的間隔

119

mapred.healthChecker.script.timeout?????????????????

600000???????????????????????????????????????

?

120

mapred.healthChecker.script.args????????????????????

?????????????????????????????????????????????

參數(shù)列表

?

121

mapreduce.job.counters.limit??????????? ?????????????

120??????????????????????????????????????????

作業(yè)計數(shù)器的最小值