Почему печать на stdout так медленно? Можно ли его ускорить?

Я всегда был поражен / разочарован тем, сколько времени требуется, чтобы просто вывести на терминал с помощью инструкции печати. После некоторых недавних мучительно медленных журналов я решил заглянуть в него и был очень удивлен, обнаружив, что почти все время, затраченное на ожидание терминала для обработки результатов.

можно ли как-то ускорить запись в stdout?

Я написал скрипт ('print_timer.py' в нижней части этого вопроса) для сравнения времени при написании 100k строки в stdout в файл, и с стандартный вывод перенаправляется на /dev/null. Вот результат синхронизации:

$ python print_timer.py
this is a test
this is a test
<snipped 99997 lines>
this is a test
-----
timing summary (100k lines each)
-----
print                         :11.950 s
write to file (+ fsync)       : 0.122 s
print with stdout = /dev/null : 0.050 s

Вау. Чтобы убедиться, что python не делает что-то за кулисами, например, признавая, что я переназначил stdout на /dev/null или что-то еще, я сделал перенаправление вне сценария...

$ python print_timer.py > /dev/null
-----
timing summary (100k lines each)
-----
print                         : 0.053 s
write to file (+fsync)        : 0.108 s
print with stdout = /dev/null : 0.045 s

так что это не трюк python, это просто терминал. Я всегда знал, что демпинг вывода в /dev / null ускорил события, но никогда не думал, что это так очень важно!

меня поражает, насколько медленный tty. Как может быть, что запись на физический диск намного быстрее, чем запись на "экран" (предположительно, все-RAM op), и эффективно так же быстро, как просто сброс в мусор с /dev/null?

этой ссылке говорит о том, как терминал будет блокировать ввод-вывод, чтобы он мог "проанализируйте [вход], обновите его буфер кадров, свяжитесь с сервером X для прокрутки окна и так далее"... но я не до конца понимаю. Что может занять так много времени?

Я ожидаю, что нет никакого выхода (за исключением более быстрой реализации tty?) но я бы все равно спросил.

UPDATE: после прочтения некоторых комментариев я задался вопросом, насколько сильно влияет мой размер экрана на время печати, и это имеет некоторое значение. Действительно медленные цифры выше - это мой терминал Gnome, взорванный до 1920х1200. Если я уменьшу его очень мало, я получу...

-----
timing summary (100k lines each)
-----
print                         : 2.920 s
write to file (+fsync)        : 0.121 s
print with stdout = /dev/null : 0.048 s

это, конечно, лучше (~4x), но не меняет мой вопрос. Это только добавляет на мой вопрос, поскольку я не понимаю, почему рендеринг экрана терминала должен замедлять запись приложения в stdout. Почему моя программа должна ждать продолжения рендеринга экрана?

все ли приложения terminal / tty не созданы равными? Мне еще предстоит поэкспериментировать. Мне действительно кажется, что терминал должен иметь возможность буферизировать все входящие данные, анализировать / визуализировать их невидимо и отображать только самые последние кусок, который виден в текущей конфигурации экрана с разумной частотой кадров. Поэтому, если я могу записать+fsync на диск за ~0,1 секунды, терминал должен быть в состоянии выполнить ту же операцию в каком-то таком порядке (возможно, с несколькими обновлениями экрана, пока он это делал).

Я все еще надеюсь, что есть настройка tty, которую можно изменить со стороны приложения, чтобы сделать это поведение лучше для программиста. Если это строго проблема терминального приложения, то это может быть даже не принадлежит к StackOverflow?

что я упустил?

вот программа python, используемая для генерации времени:

import time, sys, tty
import os

lineCount = 100000
line = "this is a test"
summary = ""

cmd = "print"
startTime_s = time.time()
for x in range(lineCount):
    print line
t = time.time() - startTime_s
summary += "%-30s:%6.3f sn" % (cmd, t)

#Add a newline to match line outputs above...
line += "n"

cmd = "write to file (+fsync)"
fp = file("out.txt", "w")
startTime_s = time.time()
for x in range(lineCount):
    fp.write(line)
os.fsync(fp.fileno())
t = time.time() - startTime_s
summary += "%-30s:%6.3f sn" % (cmd, t)

cmd = "print with stdout = /dev/null"
sys.stdout = file(os.devnull, "w")
startTime_s = time.time()
for x in range(lineCount):
    fp.write(line)
t = time.time() - startTime_s
summary += "%-30s:%6.3f sn" % (cmd, t)

print >> sys.stderr, "-----"
print >> sys.stderr, "timing summary (100k lines each)"
print >> sys.stderr, "-----"
print >> sys.stderr, summary