hadoop三个配置文件的参数含义说明
1???????獲取默認(rèn)配置
配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件,默認(rèn)下來,這些配置文件都是空的,所以很難知道這些配置文件有哪些配置可以生效,上網(wǎng)找的配置可能因為各個hadoop版本不同,導(dǎo)致無法生效。瀏覽更多的配置,有兩個方法:
1.選擇相應(yīng)版本的hadoop,下載解壓后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是默認(rèn)配置,可以參考這些配置的說明和key,配置hadoop集群。
2.瀏覽apache官網(wǎng),三個配置文件鏈接如下:
?? http://hadoop.apache.org/common/docs/current/core-default.html
?? http://hadoop.apache.org/common/docs/current/hdfs-default.html
?? http://hadoop.apache.org/common/docs/current/mapred-default.html
???這里是瀏覽hadoop當(dāng)前版本號的默認(rèn)配置文件,其他版本號,要另外去官網(wǎng)找。其中第一個方法找到默認(rèn)的配置是最好的,因為每個屬性都有說明,可以直接使用。另外,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。
2???????常用的端口配置
2.1??HDFS端口
?
| 參數(shù) | 描述 | 默認(rèn) | 配置文件 | 例子值 |
| fs.default.name namenode | namenode RPC交互端口 | 8020 | core-site.xml | hdfs://master:8020/ |
| dfs.http.address? | NameNode web管理端口 | 50070 | hdfs- site.xml | 0.0.0.0:50070 |
| dfs.datanode.address | datanode 控制端口 | 50010? | hdfs -site.xml? | 0.0.0.0:50010 |
| dfs.datanode.ipc.address | datanode的RPC服務(wù)器地址和端口 | 50020 | hdfs-site.xml | 0.0.0.0:50020 |
| dfs.datanode.http.address | datanode的HTTP服務(wù)器和端口 | 50075 | hdfs-site.xml? | 0.0.0.0:50075 |
?
2.2??MR端口
| 參數(shù) | 描述 | 默認(rèn) | 配置文件 | 例子值 |
| mapred.job.tracker | job-tracker交互端口? | 8021 | mapred-site.xml | hdfs://master:8021/ |
| job | tracker的web管理端口 | 50030 | mapred-site.xml | 0.0.0.0:50030 |
| mapred.task.tracker.http.address | task-tracker的HTTP端口 | 50060 | mapred-site.xml | 0.0.0.0:50060 |
?
?
2.3??其它端口
| 參數(shù) | 描述 | 默認(rèn) | 配置文件 | 例子值 |
| dfs.secondary.http.address | secondary NameNode web管理端口 | 50090 | hdfs-site.xml | 0.0.0.0:50090 |
| ? | ? | ? | ? | ? |
| ? | ? | ? | ? | ? |
?
3???????三個缺省配置參考文件說明
3.1??core-default.html
| 序號 | 參數(shù)名 | 參數(shù)值 | 參數(shù)說明 |
| 1 | hadoop.tmp.dir???????? ????????????? | /tmp/hadoop-${user.name}????????????????????????????? | 臨時目錄設(shè)定 |
| 2 | hadoop.native.lib?????????????????? | true????????????????????????????????????????????????? | 使用本地hadoop庫標(biāo)識。 |
| 3 | hadoop.http.filter.initializers???? | ????????????????????????????????????????????????????? | http服務(wù)器過濾鏈設(shè)置????????????????????????? |
| 4 | hadoop.security.group.mapping?????? | org.apache.hadoop.security.ShellBasedUnixGroupsMapping | 組內(nèi)用戶的列表的類設(shè)定 |
| 5 | hadoop.security.authorization?????? | false???????????????????????????????????????????????? | 服務(wù)端認(rèn)證開啟 |
| 6 | hadoop.security.authentication????? | simple ??????????????????????????????????????????????? | 無認(rèn)證或認(rèn)證設(shè)置 |
| 7 | hadoop.security.token.service.use_ip | true????????????????????????????????????????????????? | 是否開啟使用IP地址作為連接的開關(guān) |
| 8 | hadoop.logfile.size???????????????? | 10000000????????????????????????????????????????????? | 日志文件最大為10M |
| 9 | hadoop.logfile.count | 10?????????? ????????????????????????????????????????? | 日志文件數(shù)量為10個 |
| 10 | io.file.buffer.size | 4096 | 流文件的緩沖區(qū)為4K |
| 11 | io.bytes.per.checksum | 512? | 校驗位數(shù)為512字節(jié) |
| 12 | io.skip.checksum.errors | false | 校驗出錯后是拋出異常還是略過標(biāo)識。True則略過。 |
| 13 | io.compression.codecs | org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec | 壓縮和解壓的方式設(shè)置 |
| 14 | io.serializations | org.apache.hadoop.io.serializer.WritableSerialization | 序例化和反序列化的類設(shè)定 |
| 15 | fs.default.name | file:///???????????????????????????????????????????? | 缺省的文件URI標(biāo)識設(shè)定。 |
| 16 | fs.trash.interval | 0??????????????????????????????????????????????????? | 文件廢棄標(biāo)識設(shè)定,0為禁止此功能 |
| 17 | fs.file.impl | org.apache.hadoop.fs.LocalFileSystem???????????????? | 本地文件操作類設(shè)置 |
| 18 | fs.hdfs.impl | org.apache.hadoop.hdfs.DistributedFileSystem???????? | HDFS文件操作類設(shè)置 |
| 19 | fs.s3.impl | org.apache.hadoop.fs.s3.S3FileSystem???????????????? | S3文件操作類設(shè)置 |
| 20 | fs.s3n.impl????????????? | org.apache.hadoop.fs.s3native.NativeS3FileSystem | S3文件本地操作類設(shè)置 |
| 21 | fs.kfs.impl????????????? | org.apache.hadoop.fs.kfs.KosmosFileSystem | KFS文件操作類設(shè)置.? |
| 22 | fs.hftp.impl???????????? | org.apache.hadoop.hdfs.HftpFileSystem | HTTP方式操作文件設(shè)置 |
| 23 | fs.hsftp.impl??????????? | org.apache.hadoop.hdfs.HsftpFileSystem | HTTPS方式操作文件設(shè)置 |
| 24 | fs.webhdfs.impl????????? | org.apache.hadoop.hdfs.web.WebHdfsFileSystem | WEB方式操作文件類設(shè)置 |
| 25 | fs.ftp.impl????????????? | org.apache.hadoop.fs.ftp.FTPFileSystem | FTP文件操作類設(shè)置 |
| 26 | fs.ramfs.impl??????????? | org.apache.hadoop.fs.InMemoryFileSystem | 內(nèi)存文件操作類設(shè)置 |
| 27 | fs.har.impl????????????? | org.apache.hadoop.fs.HarFileSystem | 壓縮文件操作類設(shè)置. |
| 28 | fs.har.impl.disable.cache | true | 是否緩存har文件的標(biāo)識設(shè)定 |
| 29 | fs.checkpoint.dir??????? | ${hadoop.tmp.dir}/dfs/namesecondary | 備份名稱節(jié)點的存放目前錄設(shè)置 |
| 30 | fs.checkpoint.edits.dir????? | ${fs.checkpoint.dir} | 備份名稱節(jié)點日志文件的存放目前錄設(shè)置 |
| 31 | fs.checkpoint.period???????? | 3600 | 動態(tài)檢查的間隔時間設(shè)置 |
| 32 | fs.checkpoint.size?????????? | 67108864 | 日志文件大小為64M |
| 33 | fs.s3.block.size???????????? | 67108864 | 寫S3文件系統(tǒng)的塊的大小為64M |
| 34 | fs.s3.buffer.dir???????????? | ${hadoop.tmp.dir}/s3 | S3文件數(shù)據(jù)的本地存放目錄 |
| 35 | fs.s3.maxRetries???????????? | 4 | S3文件數(shù)據(jù)的償試讀寫次數(shù) |
| 36 | fs.s3.sleepTimeSeconds?????? | 10 | S3文件償試的間隔 |
| 37 | local.cache.size???????????? | 10737418240 | 緩存大小設(shè)置為10GB |
| 38 | io.seqfile.compress.blocksize | 1000000 | 壓縮流式文件中的最小塊數(shù)為100萬 |
| 39 | io.seqfile.lazydecompress??? | true | 塊是否需要壓縮標(biāo)識設(shè)定 |
| 40 | io.seqfile.sorter.recordlimit | 1000000 | 內(nèi)存中排序記錄塊類最小為100萬 |
| 41 | io.mapfile.bloom.size | 1048576 | BloomMapFiler過濾量為1M |
| 42 | io.mapfile.bloom.error.rate | 0.005 | ? |
| 43 | hadoop.util.hash.type | murmur | 缺少hash方法為murmur |
| 44 | ipc.client.idlethreshold | 4000 | 連接數(shù)據(jù)最小閥值為4000? |
| 45 | ipc.client.kill.max | 10 | 一個客戶端連接數(shù)最大值為10 |
| 46 | ipc.client.connection.maxidletime | 10000 | 斷開與服務(wù)器連接的時間最大為10秒 |
| 47 | ipc.client.connect.max.retries | 10 | 建立與服務(wù)器連接的重試次數(shù)為10次 |
| 48 | ipc.server.listen.queue.size | 128 | 接收客戶連接的監(jiān)聽隊例的長度為128 |
| 49 | ipc.server.tcpnodelay | false | 開啟或關(guān)閉服務(wù)器端TCP連接算法 |
| 50 | ipc.client.tcpnodelay | false | 開啟或關(guān)閉客戶端TCP連接算法 |
| 51 | webinterface.private.actions | false | Web交互的行為設(shè)定 ? |
| 52 | hadoop.rpc.socket.factory.class.default?????? | org.apache.hadoop.net.StandardSocketFactory | 缺省的socket工廠類設(shè)置 |
| 53 | hadoop.rpc.socket.factory.class.ClientProtocol | ? | 與dfs連接時的缺省socket工廠類 |
| 54 | hadoop.socks.server?????????????????????????? | ? | 服務(wù)端的工廠類缺省設(shè)置為SocksSocketFactory. |
| 55 | topology.node.switch.mapping.impl???????????? | org.apache.hadoop.net.ScriptBasedMapping | ? |
| 56 | topology.script.file.name???????????????????? | ? | ? |
| 57 | topology.script.number.args?????????????????? | 100? | 參數(shù)數(shù)量最多為100 |
| 58 | hadoop.security.uid.cache.secs??????????????? | 14400 | ? |
?
?
?
?
?
3.2??hdfs-default.html
?
| 序號 | 參數(shù)名 | 參數(shù)值 | 參數(shù)說明 |
| 1 | dfs.namenode.logging.level??????? | info????????? | 輸出日志類型 |
| 2 | dfs.secondary.http.address??????? | 0.0.0.0:50090 | 備份名稱節(jié)點的http協(xié)議訪問地址與端口???????????????????????????????????????????????????????????????????????????????????? |
| 3 | dfs.datanode.address????????????? | 0.0.0.0:50010 | 數(shù)據(jù)節(jié)點的TCP管理服務(wù)地址和端口 |
| 4 | dfs.datanode.http.address???????? | 0.0.0.0:50075 | 數(shù)據(jù)節(jié)點的HTTP協(xié)議訪問地址和端口 |
| 5 | dfs.datanode.ipc.address????????? | 0.0.0.0:50020 | 數(shù)據(jù)節(jié)點的IPC服務(wù)訪問地址和端口 |
| 6 | dfs.datanode.handler.count??????? | 3???????? ???? | 數(shù)據(jù)節(jié)點的服務(wù)連接處理線程數(shù) |
| 7 | dfs.http.address????????????????? | 0.0.0.0:50070 | 名稱節(jié)點的http協(xié)議訪問地址與端口 |
| 8 | dfs.https.enable????????????????? | false???????? | 支持https訪問方式標(biāo)識 |
| 9 | dfs.https.need.client.auth??????? | false???????? | 客戶端指定https訪問標(biāo)識 |
| 10 | dfs.https.server.keystore.resource | ssl-server.xml | Ssl密鑰服務(wù)端的配置文件 |
| 11 | dfs.https.client.keystore.resource | ssl-client.xml | Ssl密鑰客戶端的配置文件 |
| 12 | dfs.datanode.https.address??????? | 0.0.0.0:50475 | 數(shù)據(jù)節(jié)點的HTTPS協(xié)議訪問地址和端口 |
| 13 | dfs.https.address???????????????? | 0.0.0.0:50470 | 名稱節(jié)點的HTTPS協(xié)議訪問地址和端口 |
| 14 | dfs.datanode.dns.interface??????? | default?????? | 數(shù)據(jù)節(jié)點采用IP地址標(biāo)識 |
| 15 | dfs.datanode.dns.nameserver?????? | default?????? | 指定DNS的IP地址 |
| 16 | dfs.replication.considerLoad????? | true????????? | 加載目標(biāo)或不加載的標(biāo)識 |
| 17 | dfs.default.chunk.view.size?????? | 32768??????? ? | 瀏覽時的文件塊大小設(shè)置為32K |
| 18 | dfs.datanode.du.reserved????????? | 0???????????? | 每個卷預(yù)留的空閑空間數(shù)量 |
| 19 | dfs.name.dir????????????????????? | ${hadoop.tmp.dir}/dfs/name | 存貯在本地的名字節(jié)點數(shù)據(jù)鏡象的目錄,作為名字節(jié)點的冗余備份 |
| 20 | dfs.name.edits.dir??????????????? | ${dfs.name.dir}?????????? | 存貯文件操作過程信息的存貯目錄 |
| 21 | dfs.web.ugi?????????????????????? | webuser,webgroup????????? | Web接口訪問的用戶名和組的帳戶設(shè)定 |
| 22 | dfs.permissions?????????????????? | true????????????????????? | 文件操作時的權(quán)限檢查標(biāo)識。 |
| 23 | dfs.permissions.supergroup??????? | supergroup??????????????? | 超級用戶的組名定義 |
| 24 | dfs.block.access.token.enable???? | false???????????????????? | 數(shù)據(jù)節(jié)點訪問令牌標(biāo)識 |
| 25 | dfs.block.access.key.update.interval | 600?????????????????????? | 升級訪問鑰時的間隔時間 |
| 26 | dfs.block.access.token.lifetime???? | 600?????????????????????? | 訪問令牌的有效時間 |
| 27 | dfs.data.dir?????????? ????????????? | ${hadoop.tmp.dir}/dfs/data | 數(shù)據(jù)節(jié)點的塊本地存放目錄 |
| 28 | dfs.datanode.data.dir.perm????????? | 755?????????????????????? | 數(shù)據(jù)節(jié)點的存貯塊的目錄訪問權(quán)限設(shè)置 |
| 29 | dfs.replication???????????????????? | 3???????????????????????? | 缺省的塊復(fù)制數(shù)量 |
| 30 | dfs.replication.max?????????????? ?? | 512?????????????????????? | 塊復(fù)制的最大數(shù)量 |
| 31 | dfs.replication.min???????????????? | 1???????????????????????? | 塊復(fù)制的最小數(shù)量? |
| 32 | dfs.block.size????????????????????? | 67108864????????????????? | 缺省的文件塊大小為64M |
| 33 | dfs.df.interval???????????????????? | 60000???????? ???????????? | 磁盤空間統(tǒng)計間隔為6秒 |
| 34 | dfs.client.block.write.retries????? | 3???????????????????????? | 塊寫入出錯時的重試次數(shù) |
| 35 | dfs.blockreport.intervalMsec??????? | 3600000?????????????????? | 塊的報告間隔時為1小時 |
| 36 | dfs.blockreport.initialDelay??????? | 0???????????????????????? | 塊順序報告的間隔時間 |
| 37 | dfs.heartbeat.interval????????????? | 3???????????????????????? | 數(shù)據(jù)節(jié)點的心跳檢測間隔時間 |
| 38 | dfs.namenode.handler.count????????? | 10??????????????????????? | 名稱節(jié)點的連接處理的線程數(shù)量 |
| 39 | dfs.safemode.threshold.pct????????? | 0.999f??????????????????? | 啟動安全模式的閥值設(shè)定 ? |
| 40 | dfs.safemode.extension????????????? | 30000???????????????????? | 當(dāng)閥值達(dá)到量值后擴(kuò)展的時限 |
| 41 | dfs.balance.bandwidthPerSec???????? | 1048576?????????????????? | 啟動負(fù)載均衡的數(shù)據(jù)節(jié)點可利用帶寬最大值為1M |
| 42 | dfs.hosts?????????????????????????? | ? | 可與名稱節(jié)點連接的主機(jī)地址文件指定。 |
| 43 | dfs.hosts.exclude?????????????????? | ? | 不充計與名稱節(jié)點連接的主機(jī)地址文件設(shè)定 |
| 44 | dfs.max.objects???????????????????? | 0 | 文件數(shù)、目錄數(shù)、塊數(shù)的最大數(shù)量 |
| 45 | dfs.namenode.decommission.interval? | 30 | 名稱節(jié)點解除命令執(zhí)行時的監(jiān)測時間周期 |
| 46 | dfs.namenode.decommission.nodes.per.interval | 5??????? | 名稱節(jié)點解除命令執(zhí)行是否完檢測次數(shù) |
| 47 | dfs.replication.interval??????????????????? | 3??????? | 名稱節(jié)點計算數(shù)據(jù)節(jié)點的復(fù)制工作的周期數(shù). |
| 48 | dfs.access.time.precision?????????????????? | 3600000? | 充許訪問文件的時間精確到1小時 |
| 49 | dfs.support.append????????????????????????? | false??? | 是否充許鏈接文件指定 |
| 50 | dfs.namenode.delegation.key.update-interval | 86400000 | 名稱節(jié)點上的代理令牌的主key的更新間隔時間為24小時 |
| 51 | dfs.namenode.delegation.token.max-lifetime? | 604800000 | 代理令牌的有效時間最大值為7天 |
| 52 | dfs.namenode.delegation.token.renew-interval | 86400000 | 代理令牌的更新時間為24小時 |
| 53 | dfs.datanode.failed.volumes.tolerated?????? | 0??????? | 決定停止數(shù)據(jù)節(jié)點提供服務(wù)充許卷的出錯次數(shù)。0次則任何卷出錯都要停止數(shù)據(jù)節(jié)點 |
?
?
3.3??mapred-default.html
| 序號 | 參數(shù)名 | 參數(shù)值 | 參數(shù)說明 |
| 1 | hadoop.job.history.location | ? | 作業(yè)跟蹤管理器的靜態(tài)歷史文件的存放目錄。 |
| 2 | hadoop.job.history.user.location | ? | 可以指定具體某個作業(yè)的跟蹤管理器的歷史文件存放目錄 |
| 3 | mapred.job.tracker.history.completed.location | ? | 已完成作業(yè)的歷史文件的存放目錄 |
| 4 | io.sort.factor | ?10????????? | 排完序的文件的合并時的打開文件句柄數(shù) |
| 5 | io.sort.mb | ?100???????? | 排序文件的內(nèi)存緩存大小為100M |
| 6 | io.sort.record.percent | ?0.05??????? | 排序線程阻塞的內(nèi)存緩存剩余比率 |
| 7 | io.sort.spill.percent | ?0.80??????? | 當(dāng)緩沖占用量為該值時,線程需要將內(nèi)容先備份到磁盤中。 |
| 8 | io.map.index.skip | ?0?????????? | 索引條目的間隔設(shè)定 |
| 9 | mapred.job.tracker | ?local?????? | 作業(yè)跟蹤管理器是否和MR任務(wù)在一個進(jìn)程中 |
| 10 | mapred.job.tracker.http.address | 0.0.0.0:50030 | 作業(yè)跟蹤管理器的HTTP服務(wù)器訪問端口和地址 |
| 11 | mapred.job.tracker.handler.count?????????? | 10???????? | 作業(yè)跟蹤管理器的管理線程數(shù),線程數(shù)比例是任務(wù)管理跟蹤器數(shù)量的0.04 |
| 12 | mapred.task.tracker.report.address???????? | 127.0.0.1:0 | 任務(wù)管理跟蹤器的主機(jī)地址和端口地址 ? |
| 13 | mapred.local.dir?????????????????????????? | ${hadoop.tmp.dir}/mapred/local? | MR的中介數(shù)據(jù)文件存放目錄 |
| 14 | mapred.system.dir????????????????????????? | ${hadoop.tmp.dir}/mapred/system | MR的控制文件存放目錄 |
| 15 | mapreduce.jobtracker.staging.root.dir????? | ${hadoop.tmp.dir}/mapred/staging | 每個正在運行作業(yè)文件的存放區(qū) |
| 16 | mapred.temp.dir??????????????????????????? | ${hadoop.tmp.dir}/mapred/temp?? | MR臨時共享文件存放區(qū)??? |
| 17 | mapred.local.dir.minspacestart???????????? | 0?????????????????????? ???????? | MR本地中介文件刪除時,不充許有任務(wù)執(zhí)行的數(shù)量值。 |
| 18 | mapred.local.dir.minspacekill????????????? | 0?????????????????????????????? | MR本地中介文件刪除時,除非所有任務(wù)都已完成的數(shù)量值。 |
| 19 | mapred.tasktracker.expiry.interval???????? | 600000????????????????????????? | 任務(wù)管理跟蹤器不發(fā)送心跳的累計時間間隔超過600秒,則任務(wù)管理跟蹤器失效 |
| 20 | mapred.tasktracker.resourcecalculatorplugin | ? | 指定的一個用戶訪問資源信息的類實例 |
| 21 | mapred.tasktracker.taskmemorymanager.monitoring-interval | 5000??? | 監(jiān)控任務(wù)管理跟蹤器任務(wù)內(nèi)存使用率的時間間隔 |
| 22 | mapred.tasktracker.tasks.sleeptime-before-sigkill?????? | 5000??? | 發(fā)出進(jìn)程終止后,間隔5秒后發(fā)出進(jìn)程消亡信號 ? |
| 23 | mapred.map.tasks??????????????????????????????????????? | 2?????? | 每個作業(yè)缺省的map任務(wù)數(shù)為2 |
| 24 | mapred.reduce.tasks???????????????????????????????????? | 1?????? | 每個作業(yè)缺省的reduce任務(wù)數(shù)為1 |
| 25 | mapreduce.tasktracker.outofband.heartbeat?????????????? | false?? | 讓在任務(wù)結(jié)束后發(fā)出一個額外的心跳信號 |
| 26 | mapreduce.tasktracker.outofband.heartbeat.damper??????? | 1000000 | 當(dāng)額外心跳信號發(fā)出量太多時,則適當(dāng)阻止 ? |
| 27 | mapred.jobtracker.restart.recover?????????????????????? | false?? | 充許任務(wù)管理器恢復(fù)時采用的方式 |
| 28 | mapred.jobtracker.job.history.block.size??????????????? | 3145728 | 作業(yè)歷史文件塊的大小為3M? |
| 29 | mapreduce.job.split.metainfo.maxsize??????????????????? | 10000000 | 分隔元信息文件的最大值是10M以下 ? |
| 30 | mapred.jobtracker.taskScheduler????????????????????? | org.apache.hadoop.mapred.JobQueueTaskScheduler | 設(shè)定任務(wù)的執(zhí)行計劃實現(xiàn)類 |
| 31 | mapred.jobtracker.taskScheduler.maxRunningTasksPerJob | ? | 作業(yè)同時運行的任務(wù)數(shù)的最大值 |
| 32 | mapred.map.max.attempts????????????????????????????? | 4???? | Map任務(wù)的重試次數(shù) |
| 33 | mapred.reduce.max.attempts?????????????????????????? | 4???? | Reduce任務(wù)的重試次數(shù) |
| 34 | mapred.reduce.parallel.copies????????????????????? ?? | 5???? | 在復(fù)制階段時reduce并行傳送的值。 |
| 35 | mapreduce.reduce.shuffle.maxfetchfailures??????????? | 10??? | 取map輸出的最大重試次數(shù) |
| 36 | mapreduce.reduce.shuffle.connect.timeout???????????? | 180000 | REDUCE任務(wù)連接任務(wù)管理器獲得map輸出時的總耗時是3分鐘?????????? ? |
| 37 | mapreduce.reduce.shuffle.read.timeout??????????????? | 180000 | REDUCE任務(wù)等待map輸出數(shù)據(jù)的總耗時是3分鐘 |
| 38 | mapred.task.timeout????????????????????????????????? | 600000 | 如果任務(wù)無讀無寫時的時間耗時為10分鐘,將被終止 |
| 39 | mapred.tasktracker.map.tasks.maximum???????????????? | 2???? | 任管管理器可同時運行map任務(wù)數(shù)為2 |
| 40 | mapred.tasktracker.reduce.tasks.maximum????????????? | 2???? | 任管管理器可同時運行reduce任務(wù)數(shù)為2 |
| 41 | mapred.jobtracker.completeuserjobs.maximum? | 100???? | 當(dāng)用戶的完成作業(yè)數(shù)達(dá)100個后,將其放入作業(yè)歷史文件中 |
| 42 | mapreduce.reduce.input.limit??????????????? | -1????? | Reduce輸入量的限制。 |
| 43 | mapred.job.tracker.retiredjobs.cache.size?? | 1000??? | 作業(yè)狀態(tài)為已不在執(zhí)行的保留在內(nèi)存中的量為1000 |
| 44 | mapred.job.tracker.jobhistory.lru.cache.size | 5?????? | 作業(yè)歷史文件裝載到內(nèi)存的數(shù)量 |
| 45 | mapred.child.java.opts????????????????????? | -Xmx200m | 啟動task管理的子進(jìn)程時的內(nèi)存設(shè)置 |
| 46 | mapred.child.env??????????????????????????? | ??????? | 子進(jìn)程的參數(shù)設(shè)置 |
| 47 | mapred.child.ulimit???????????????????????? | ??????? | 虛擬機(jī)所需內(nèi)存的設(shè)定。 |
| 48 | mapred.cluster.map.memory.mb??????????????? | -1????? | ? |
| 49 | mapred.cluster.reduce.memory.mb???????????? | -1????? | ? |
| 50 | mapred.cluster.max.map.memory.mb??????????? | -1????? | ? |
| 51 | mapred.cluster.max.reduce.memory.mb???????? | -1????? | ? |
| 52 | mapred.job.map.memory.mb??????????????????? | -1????? | ? |
| 53 | mapred.job.reduce.memory.mb???????????????? | -1????? | ? |
| 54 | mapred.child.tmp??????????????????????????? | /tmp??? | Mr任務(wù)信息的存放目錄 |
| 55 | mapred.inmem.merge.threshold??????????????? | 1000??? | 內(nèi)存中的合并文件數(shù)設(shè)置 |
| 56 | mapred.job.shuffle.merge.percent??????????? | 0.66??? | ??????????????????????????????????????????????????????????????????????? ????????????? |
| 57 | mapred.job.shuffle.input.buffer.percent???? | 0.70??? | ? |
| 58 | mapred.job.reduce.input.buffer.percent????? | 0.0???? | ? |
| 59 | mapred.map.tasks.speculative.execution????? | true??? | Map任務(wù)的多實例并行運行標(biāo)識 |
| 60 | mapred.reduce.tasks.speculative.execution?? | true??? | Reduce任務(wù)的多實例并行運行標(biāo)識 |
| 61 | mapred.job.reuse.jvm.num.tasks | 1??????????? | 每虛擬機(jī)運行的任務(wù)數(shù) |
| 62 | mapred.min.split.size | 0??????????? | Map的輸入數(shù)據(jù)被分解的塊數(shù)設(shè)置 |
| 63 | mapred.jobtracker.maxtasks.per.job | -1?????????? | 一個單獨作業(yè)的任務(wù)數(shù)設(shè)置 |
| 64 | mapred.submit.replication | 10?????????? | 提交作業(yè)文件的復(fù)制級別 |
| 65 | mapred.tasktracker.dns.interface | default????? | 任務(wù)管理跟蹤器是否報告IP地址名的開關(guān)? |
| 66 | mapred.tasktracker.dns.nameserver | default????? | 作業(yè)和任務(wù)管理跟蹤器之間通訊方式采用的DNS服務(wù)的主機(jī)名或IP地址 |
| 67 | tasktracker.http.threads | 40?????????? | http服務(wù)器的工作線程數(shù)量 |
| 68 | mapred.task.tracker.http.address | 0.0.0.0:50060 | 任務(wù)管理跟蹤器的http服務(wù)器的地址和端口 |
| 69 | keep.failed.task.files | false??????? | 失敗任務(wù)是否保存到文件中 ? |
| 70 | mapred.output.compress | false??????? | 作業(yè)的輸出是否壓縮 |
| 71 | mapred.output.compression.type | RECORD?????? | 作業(yè)輸出采用NONE, RECORD or BLOCK三種方式中一種壓縮的寫入到流式文件 |
| 72 | mapred.output.compression.codec | org.apache.hadoop.io.compress.DefaultCodec | 壓縮類的設(shè)置 |
| 73 | mapred.compress.map.output | false???????????????????????????????????? | Map的輸出是否壓縮 |
| 74 | mapred.map.output.compression.codec | org.apache.hadoop.io.compress.DefaultCodec | Map的輸出壓縮的實現(xiàn)類指定 |
| 75 | map.sort.class | org.apache.hadoop.util.QuickSort????????? | 排序鍵的排序類指定 |
| 76 | mapred.userlog.limit.kb | 0???????????????????????????????????????? | 每個任務(wù)的用戶日志文件大小 |
| 77 | mapred.userlog.retain.hours | 24??????????????????????????????????????? | 作業(yè)完成后的用戶日志留存時間為24小時 |
| 78 | mapred.user.jobconf.limit | 5242880?????????????????????????????????? | Jobconf的大小為5M |
| 79 | mapred.hosts | ????????????????????????????????????????? | 可與作業(yè)管理跟蹤器連接的主機(jī)名 |
| 80 | mapred.hosts.exclude | ?? ??????????????????????????????????????? | 不可與作業(yè)管理跟蹤器連接的主機(jī)名 |
| 81 | mapred.heartbeats.in.second???????????????????? | 100???????????????? | 作業(yè)管理跟蹤器的每秒中到達(dá)的心跳數(shù)量為100 |
| 82 | mapred.max.tracker.blacklists?????????????????? | 4?????????????????? | 任務(wù)管理跟蹤器的黑名單列表的數(shù)量 |
| 83 | mapred.jobtracker.blacklist.fault-timeout-window | 180???????????????? | 任務(wù)管理跟蹤器超時180分鐘則訪任務(wù)將被重啟 |
| 84 | mapred.jobtracker.blacklist.fault-bucket-width? | 15????????????????? | ? |
| 85 | mapred.max.tracker.failures???????????????????? | 4?????????????????? | 任務(wù)管理跟蹤器的失敗任務(wù)數(shù)設(shè)定 |
| 86 | jobclient.output.filter???????????????????????? | FAILED????????????? | 控制任務(wù)的用戶日志輸出到作業(yè)端時的過濾方式 |
| 87 | mapred.job.tracker.persist.jobstatus.active???? | false?????????????? | 是否持久化作業(yè)管理跟蹤器的信息 |
| 88 | mapred.job.tracker.persist.jobstatus.hours????? | 0?????????????????? | 持久化作業(yè)管理跟蹤器的信息的保存時間 |
| 89 | mapred.job.tracker.persist.jobstatus.dir??????? | /jobtracker/jobsInfo | 作業(yè)管理跟蹤器的信息存放目錄 |
| 90 | mapreduce.job.complete.cancel.delegation.tokens | true??????????????? | 恢復(fù)時是否變更領(lǐng)牌??? |
| 91 | mapred.task.profile???????????????????????????? | false?????????????? | 任務(wù)分析信息是否建設(shè)標(biāo)志 |
| 92 | mapred.task.profile.maps??????????????????????? | 0-2???????????????? | 設(shè)置map任務(wù)的分析范圍 |
| 93 | mapred.task.profile.reduces???????????????????? | 0-2???????????????? | 設(shè)置reduce任務(wù)的分析范圍 |
| 94 | mapred.line.input.format.linespermap??????????? | 1?????????????????? | 每次切分的行數(shù)設(shè)置 |
| 95 | mapred.skip.attempts.to.start.skipping????????? | 2?????????????????? | 在跳轉(zhuǎn)模式未被設(shè)定的情況下任務(wù)的重試次數(shù)???????????????????????????????????????????????????????????????????????????????????? |
| 96 | mapred.skip.map.auto.incr.proc.count??????????? | true??????????????? | MapRunner在調(diào)用map功能后的增量處理方式設(shè)置 |
| 97 | mapred.skip.reduce.auto.incr.proc.count???????? | true??????????????? | 在調(diào)用reduce功能后的增量處理方式設(shè)置 |
| 98 | mapred.skip.out.dir??????????????????????? ????? | ??????????????????? | 跳過記錄的輸出目錄 |
| 99 | mapred.skip.map.max.skip.records??????????????? | 0?????? ???????????? | ? |
| 100 | mapred.skip.reduce.max.skip.groups????????????? | 0?????????????????? | ? |
| 101 | job.end.retry.attempts????????????????????????? | 0?????????????????? | Hadoop償試連接通知器的次數(shù)?? |
| 102 | job.end.retry.interval????????????????????????? | 30000?????????????? | 通知償試回應(yīng)的間隔操作為30秒 |
| 103 | hadoop.rpc.socket.factory.class.JobSubmissionProtocol | ? | 指定與作業(yè)跟蹤管理器的通訊方式,缺省是采用rpc方式 |
| 104 | mapred.task.cache.levels???????????????????????????? | 2????? | 任務(wù)緩存級別設(shè)置 |
| 105 | mapred.queue.names?????????????????????????????????? | default | 分隔作業(yè)隊例的分隔符設(shè)定 |
| 106 | mapred.acls.enabled????????????????????????????????? | false? | 指定ACL訪問控制列表 |
| 107 | mapred.queue.default.state?? ???????????????????????? | RUNNING | 定義隊列的狀態(tài) |
| 108 | mapred.job.queue.name??????????????????????????????? | default | 已提交作業(yè)的隊列設(shè)定 |
| 109 | mapreduce.job.acl-modify-job???????????????????????? | ?????? | 指定可修改作業(yè)的ACL列表 |
| 110 | mapreduce.job.acl-view-job?????????????????????????? | ?????? | 指定可瀏臨作業(yè)的ACL列表 |
| 111 | mapred.tasktracker.indexcache.mb???????????????????? | 10???? | 任務(wù)管理跟蹤器的索引內(nèi)存的最大容器 |
| 112 | mapred.combine.recordsBeforeProgress???????????????? | 10000? | 在聚合處理時的記錄塊數(shù) ? |
| 113 | mapred.merge.recordsBeforeProgress?????????????????? | 10000? | 在匯總處理時的記錄塊數(shù) |
| 114 | mapred.reduce.slowstart.completed.maps?????????????? | 0.05?? | ? |
| 115 | mapred.task.tracker.task-controller????????????????? | org.apache.hadoop.mapred.DefaultTaskController | 任務(wù)管理器的設(shè)定 |
| 116 | mapreduce.tasktracker.group?????????????????? ??????? | ????????????????????????????????????????????? | 任務(wù)管理器的組成員設(shè)定 |
| 117 | mapred.healthChecker.script.path???????????????????? | ????????????????????????????????????????????? | 腳本的絕對路徑指定,這些腳本是心跳服務(wù)的 |
| 118 | mapred.healthChecker.interval??????????????????????? | 60000???????????????????????????????????????? | 節(jié)點心跳信息的間隔 |
| 119 | mapred.healthChecker.script.timeout????????????????? | 600000??????????????????????????????????????? | ? |
| 120 | mapred.healthChecker.script.args???????????????????? | ????????????????????????????????????????????? | 參數(shù)列表 ? |
| 121 | mapreduce.job.counters.limit??????????? ????????????? | 120?????????????????????????????????????????? | 作業(yè)計數(shù)器的最小值 |
|
| ? | ? | ? |
總結(jié)
以上是生活随笔為你收集整理的hadoop三个配置文件的参数含义说明的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Mac下如何显示隐藏文件/文件夹
- 下一篇: Mac上安装hadoop