如何在使用管道“tee”时将标准错误写入文件?

2024-09-30 14:02:00
admin
原创
440
摘要:问题描述:我知道如何使用tee将的输出(标准输出)写入aaa.sh到bbb.out,同时仍在终端中显示它:./aaa.sh | tee bbb.out 我现在如何将标准错误)写入名为的文件ccc.out,同时仍显示它?解决方案 1:我假设您仍希望在终端上看到标准错误和标准输出。您可以参考Josh Kelley...

问题描述:

我知道如何使用tee将的输出(标准输出)写入aaa.shbbb.out,同时仍在终端中显示它:

./aaa.sh | tee bbb.out

我现在如何将标准错误)写入名为的文件ccc.out,同时仍显示它?


解决方案 1:

我假设您仍希望在终端上看到标准错误和标准输出。您可以参考Josh Kelley 的答案,但我发现tail在后台保留一个输出日志文件的程序非常粗俗和笨拙。请注意,您需要保留一个额外的文件描述符,然后通过终止它来执行清理,从技术上讲,应该在 中执行此操作trap '...' EXIT

有一个更好的方法可以做到这一点,而且您已经发现了它:tee

只是,不要只将它用作标准输出,还要为标准输出和标准错误准备一个 tee。如何实现这一点?进程替换和文件重定向:

command > >(tee -a stdout.log) 2> >(tee -a stderr.log >&2)

让我们分开来解释一下:

> >(..)

>(...)(进程替换)创建一个 FIFO 并tee监听它。然后,它使用>(文件重定向)将的标准输出重定向到第一个正在监听的commandFIFO 。tee

第二个也是一样:

2> >(tee -a stderr.log >&2)

我们再次使用进程替换来创建一个tee从标准输入读取并将其转储到 的进程stderr.logtee将其输入输出回标准输出,但由于其输入是我们的标准错误,我们希望tee再次将 的标准输出重定向到我们的标准错误。然后我们使用文件重定向将 的标准command错误重定向到 FIFO 的输入(tee的标准输入)。

查看输入和输出

sh进程替换是选择 Bash 作为 shell 而不是(POSIX 或 Bourne)时获得的额外好处之一。


在 中sh,您必须手动执行以下任务:

out="${TMPDIR:-/tmp}/out.$$" err="${TMPDIR:-/tmp}/err.$$"
mkfifo "$out" "$err"
trap 'rm "$out" "$err"' EXIT
tee -a stdout.log < "$out" &
tee -a stderr.log < "$err" >&2 &
command >"$out" 2>"$err"

解决方案 2:

简单地:

./aaa.sh 2>&1 | tee -a log

这只是将标准错误重定向到标准输出,因此 tee 会同时回显到日志和屏幕上。也许我遗漏了什么,因为其他一些解决方案看起来确实很复杂。

注意:从 Bash 版本 4 开始,你可以使用|&它作为缩写2>&1 |

./aaa.sh |& tee -a log

解决方案 3:

这可能对通过 Google 找到此内容的人有用。只需取消注释您要尝试的示例即可。当然,您可以随意重命名输出文件。

#!/bin/bash

STATUSFILE=x.out
LOGFILE=x.log

### All output to screen
### Do nothing, this is the default


### All Output to one file, nothing to the screen
#exec > ${LOGFILE} 2>&1


### All output to one file and all output to the screen
#exec > >(tee ${LOGFILE}) 2>&1


### All output to one file, STDOUT to the screen
#exec > >(tee -a ${LOGFILE}) 2> >(tee -a ${LOGFILE} >/dev/null)


### All output to one file, STDERR to the screen
### Note you need both of these lines for this to work
#exec 3>&1
#exec > >(tee -a ${LOGFILE} >/dev/null) 2> >(tee -a ${LOGFILE} >&3)


### STDOUT to STATUSFILE, stderr to LOGFILE, nothing to the screen
#exec > ${STATUSFILE} 2>${LOGFILE}


### STDOUT to STATUSFILE, stderr to LOGFILE and all output to the screen
#exec > >(tee ${STATUSFILE}) 2> >(tee ${LOGFILE} >&2)


### STDOUT to STATUSFILE and screen, STDERR to LOGFILE
#exec > >(tee ${STATUSFILE}) 2>${LOGFILE}


### STDOUT to STATUSFILE, STDERR to LOGFILE and screen
#exec > ${STATUSFILE} 2> >(tee ${LOGFILE} >&2)


echo "This is a test"
ls -l sdgshgswogswghthb_this_file_will_not_exist_so_we_get_output_to_stderr_aronkjegralhfaff
ls -l ${0}

解决方案 4:

换句话说,您希望将 stdout 导入一个过滤器 ( tee bbb.out),将 stderr 导入另一个过滤器 ( tee ccc.out)。没有标准方法将 stdout 以外的任何内容导入另一个命令,但您可以通过处理文件描述符来解决这个问题。

{ { ./aaa.sh | tee bbb.out; } 2>&1 1>&3 | tee ccc.out; } 3>&1 1>&2

另请参阅如何 grep 标准错误流 (stderr)?何时使用附加文件描述符?

在 bash(以及 ksh 和 zsh)中,但不能在其他 POSIX shell(例如 dash)中,可以使用进程替换

./aaa.sh > >(tee bbb.out) 2> >(tee ccc.out)

请注意,在 bash 中,此命令在./aaa.sh完成后立即返回,即使tee命令仍在执行(ksh 和 zsh 会等待子进程)。如果您执行类似 的操作,这可能会出现问题./aaa.sh > >(tee bbb.out) 2> >(tee ccc.out); process_logs bbb.out ccc.out。在这种情况下,请改用文件描述符杂耍或 ksh/zsh。

解决方案 5:

要将标准错误重定向到文件,将标准输出显示到屏幕,并将标准输出保存到文件:

./aaa.sh 2>ccc.out | tee ./bbb.out

要将标准错误和标准输出都显示到屏幕上并将两者保存到文件中,可以使用 Bash 的I/O 重定向

#!/bin/bash

# Create a new file descriptor 4, pointed at the file
# which will receive standard error.
exec 4<>ccc.out

# Also print the contents of this file to screen.
tail -f ccc.out &

# Run the command; tee standard output as normal, and send standard error
# to our file descriptor 4.
./aaa.sh 2>&4 | tee bbb.out

# Clean up: Close file descriptor 4 and kill tail -f.
exec 4>&-
kill %1

解决方案 6:

如果使用 Bash:

# Redirect standard out and standard error separately
% cmd >stdout-redirect 2>stderr-redirect

# Redirect standard error and out together
% cmd >stdout-redirect 2>&1

# Merge standard error with standard out and pipe
% cmd 2>&1 |cmd2

信用(不是从我的头脑中回答的)在这里:回复:bash:stderr 及更多(stderr 管道)

解决方案 7:

如果您使用Z shell ( zsh),则可以使用多个重定向,因此您甚至不需要tee

./cmd 1>&1 2>&2 1>out_file 2>err_file

这里只是将每个流重定向到它自己目标文件。


完整示例

% (echo "out"; echo "err">/dev/stderr) 1>&1 2>&2 1>/tmp/out_file 2>/tmp/err_file
out
err
% cat /tmp/out_file
out
% cat /tmp/err_file
err

请注意,这需要MULTIOS设置选项(这是默认值)。

MULTIOS

当尝试多次重定向时执行隐式tees 或s(请参阅重定向)。cat

解决方案 8:

就像lhunath 很好地解释的可接受答案一样,您可以使用

command > >(tee -a stdout.log) 2> >(tee -a stderr.log >&2)

请注意,如果您使用 bash,则可能会遇到一些问题

让我以matthew-wilcoxson为例。

对于那些“眼见为实”的人来说,有一个快速测试:

(echo "Test Out";>&2 echo "Test Err") > >(tee stdout.log) 2> >(tee stderr.log >&2)

就我个人而言,当我尝试时,我得到了这样的结果:

user@computer:~$ (echo "Test Out";>&2 echo "Test Err") > >(tee stdout.log) 2> >(tee stderr.log >&2)
user@computer:~$ Test Out
Test Err

两条消息不在同一级别显示。为什么Test Out看起来好像是我之前的命令?

提示符在空白行上,让我以为进程尚未完成,当我按下Enter此按钮时,它就修复了。当我检查文件内容时,一切正常,重定向有效。

我们再进行一次测试。

function outerr() {
  echo "out"     # stdout
  echo >&2 "err" # stderr
}
user@computer:~$ outerr
out
err

user@computer:~$ outerr >/dev/null
err

user@computer:~$ outerr 2>/dev/null
out

再次尝试重定向,但使用此功能:

function test_redirect() {
  fout="stdout.log"
  ferr="stderr.log"
  echo "$ outerr"
  (outerr) > >(tee "$fout") 2> >(tee "$ferr" >&2)
  echo "# $fout content: "
  cat "$fout"
  echo "# $ferr content: "
  cat "$ferr"
}

就我个人而言,我有这样的结果:

user@computer:~$ test_redirect
$ outerr
# stdout.log content:
out
out
err
# stderr.log content:
err
user@computer:~$

空行上没有提示,但是没有看到正常输出。stdout.log内容好像不对,只有 stderr.log 好像没问题。

如果我重新启动它,输出可能会有所不同......

那么,为什么呢?

因为,正如这里解释的那样

请注意,在 bash 中,此命令会在 [第一个命令] 完成后立即返回,即使 tee 命令仍在执行(ksh 和 zsh 会等待子进程)

因此,如果您使用 Bash,最好使用另一个答案中给出的更好的示例:

{ { outerr | tee "$fout"; } 2>&1 1>&3 | tee "$ferr"; } 3>&1 1>&2

它将修复以前的问题。

现在,问题是,如何检索退出状态代码?

$?不起作用。

set -o pipefail我没有找到比使用(set +o pipefail关闭)打开 pipefail并${PIPESTATUS[0]}像这样使用更好的解决方案:

function outerr() {
  echo "out"
  echo >&2 "err"
  return 11
}

function test_outerr() {
  local - # To preserve set option
  ! [[ -o pipefail ]] && set -o pipefail; # Or use second part directly
  local fout="stdout.log"
  local ferr="stderr.log"
  echo "$ outerr"
  { { outerr | tee "$fout"; } 2>&1 1>&3 | tee "$ferr"; } 3>&1 1>&2
  # First save the status or it will be lost
  local status="${PIPESTATUS[0]}" # Save first, the second is 0, perhaps tee status code.
  echo "==="
  echo "# $fout content :"
  echo "<==="
  cat "$fout"
  echo "===>"
  echo "# $ferr content :"
  echo "<==="
  cat "$ferr"
  echo "===>"
  if (( status > 0 )); then
    echo "Fail $status > 0"
    return "$status" # or whatever
  fi
}
user@computer:~$ test_outerr
$ outerr
err
out
===
# stdout.log content:
<===
out
===>
# stderr.log content:
<===
err
===>
Fail 11 > 0

解决方案 9:

以下内容适用于无法进行进程替换的 KornShell (ksh),

# create a combined (standard input and standard output) collector
exec 3 <> combined.log

# stream standard error instead of standard output to tee, while draining all standard output to the collector
./aaa.sh 2>&1 1>&3 | tee -a stderr.log 1>&3

# cleanup collector
exec 3>&-

2>&1 1>&3这里真正的技巧是,在我们的例子中,将标准错误重定向到标准输出并将标准输出重定向到文件描述符3的序列。此时,标准错误和标准输出尚未组合。

实际上,标准错误(作为标准输入)被传递到tee其记录的位置stderr.log并重定向到文件描述符 3。

文件描述符 3 一直在记录它combined.log。因此combined.log它既包含标准输出,也包含标准错误。

解决方案 10:

在我的例子中,脚本正在运行命令,同时将 stdout 和 stderr 重定向到一个文件,如下所示:

cmd > log 2>&1

我需要对其进行更新,以便在出现故障时根据错误消息采取一些措施。我当然可以删除重复项2>&1并从脚本中捕获 stderr,但这样错误消息就不会进入日志文件以供参考。虽然lhunath 接受的答案应该做同样的事情,但它会重定向stdoutstderr不同的文件,这不是我想要的,但它帮助我想出了我需要的确切解决方案:

(cmd 2> >(tee /dev/stderr)) > log

通过上述操作,日志将同时拥有和的副本stdoutstderr并且我可以从我的脚本中捕获stderr而不必担心stdout

解决方案 11:

感谢lhunath 在 POSIX 中给出的答案

以下是我在 POSIX 中需要的更复杂的情况,并需要适当的修复:

# Start script main() function
# - We redirect standard output to file_out AND terminal
# - We redirect standard error to file_err, file_out AND terminal
# - Terminal and file_out have both standard output and standard error, while file_err only holds standard error

main() {
    # my main function
}

log_path="/my_temp_dir"
pfout_fifo="${log_path:-/tmp}/pfout_fifo.$$"
pferr_fifo="${log_path:-/tmp}/pferr_fifo.$$"

mkfifo "$pfout_fifo" "$pferr_fifo"
trap 'rm "$pfout_fifo" "$pferr_fifo"' EXIT

tee -a "file_out" < "$pfout_fifo" &
    tee -a "file_err" < "$pferr_fifo" >>"$pfout_fifo" &
    main "$@" >"$pfout_fifo" 2>"$pferr_fifo"; exit

解决方案 12:

发送到标准错误 ( STDERR) 的编译错误可以通过以下方式重定向或保存到文件:

重击:

gcc temp.c &> error.log

C 壳( csh):

% gcc temp.c |& tee error.log

请参阅:如何将编译/构建错误重定向到文件?

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   2500  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1541  
  PLM(产品生命周期管理)项目对于企业优化产品研发流程、提升产品质量以及增强市场竞争力具有至关重要的意义。然而,在项目推进过程中,范围蔓延是一个常见且棘手的问题,它可能导致项目进度延迟、成本超支以及质量下降等一系列不良后果。因此,有效避免PLM项目范围蔓延成为项目成功的关键因素之一。以下将详细阐述三大管控策略,助力企业...
plm系统   16  
  PLM(产品生命周期管理)项目管理在企业产品研发与管理过程中扮演着至关重要的角色。随着市场竞争的加剧和产品复杂度的提升,PLM项目面临着诸多风险。准确量化风险优先级并采取有效措施应对,是确保项目成功的关键。五维评估矩阵作为一种有效的风险评估工具,能帮助项目管理者全面、系统地评估风险,为决策提供有力支持。五维评估矩阵概述...
免费plm软件   23  
  引言PLM(产品生命周期管理)开发流程对于企业产品的全生命周期管控至关重要。它涵盖了从产品概念设计到退役的各个阶段,直接影响着产品质量、开发周期以及企业的市场竞争力。在当今快速发展的科技环境下,客户对产品质量的要求日益提高,市场竞争也愈发激烈,这就使得优化PLM开发流程成为企业的必然选择。缺陷管理工具和六西格玛方法作为...
plm产品全生命周期管理   26  
热门文章
项目管理软件有哪些?
曾咪二维码

扫码咨询,免费领取项目管理大礼包!

云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用