如何简单实现读取一个 txt 日志文件的前十行并删掉这十行，同时不能影响这个日志文件的实时写入，这个日志文件大概 1～ 2G 左右？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1698 天前的主题，其中的信息可能已经有所发展或是发生改变。

用 fread 先读出来，去掉再 fwrire 覆盖原来的，会不会造成期间写入文件的日志信息？

第 1 条附言 · 2020-05-04 15:14:40 +08:00

我是想做成类似于出栈那样，每次读十行然后删掉这十行，下一次程序运行也是读取接下来的十行并删掉

第 2 条附言 · 2020-05-04 16:07:08 +08:00

<?php
$file = '/opt/nginx/log/default.log';
$content = shell_exec('head -n 10 '.$file);
echo $content;
shell_exec('sed -i \'10d\' '.$file);

没办法，只能用shell来实现了

第 3 条附言 · 2020-05-05 09:47:20 +08:00

好的，谢谢各位大佬，确实是把方向搞错了

日志

文件

写入

fread

50 条回复 • 2020-05-05 11:45:52 +08:00

jmc891205

2020-05-04 14:44:24 +08:00 via iPhone

说说看为什么会有这种需求
可能有更好的解决办法

frozenway

2020-05-04 14:56:49 +08:00

@jmc891205 想逐行分析 nginx 日志，看看访客的详细信息

littlewing

2020-05-04 14:59:28 +08:00

@frozenway 那为什么要删掉前几行？

frozenway

2020-05-04 15:02:07 +08:00

@littlewing 不删掉，下次再读取前十行还是它啊

ic2y

2020-05-04 15:04:05 +08:00

那为什么不用 fseek

Jooooooooo

2020-05-04 15:06:17 +08:00

既然是读取分析的需求, 那分析的时候跳过前十行不就行了?

eason1874

2020-05-04 15:06:50 +08:00

fseek + fgets 分块读取就行了，用不着动文件。

比如一次读 100KB，如果最后一行不完整就留着，下次读取块之后加在前面就行。

jimmyismagic

2020-05-04 15:12:22 +08:00

千万不要多线程处理文件，会乱掉的，哈哈

sanggao

2020-05-04 15:14:26 +08:00

sed

frozenway

2020-05-04 15:16:16 +08:00

@ic2y @eason1874 这个应该怎么写？
@Jooooooooo 不是跳过那么简单

frozenway

2020-05-04 15:17:56 +08:00

@sanggao sed 是 shell 命令吧？

leido

2020-05-04 15:21:49 +08:00

tail -n +11 path_to_file > newfile
mv newfile path_to_file

frozenway

2020-05-04 15:24:25 +08:00

@leido 这个只是删除前十行吧，我还要读取前十行呢

vk42

2020-05-04 15:27:10 +08:00 via Android

保存上次读完 10 行之后的位置，下次 fseek 不就行了，为啥要费劲删 10 行

frozenway

2020-05-04 15:27:16 +08:00

“array_shift — 将数组开头的单元移出数组” ，有没有类似这样的文件出栈的功能函数？

frozenway

2020-05-04 15:29:14 +08:00

@vk42 因为不想文件越来越大

beastk

2020-05-04 15:31:57 +08:00 via iPhone

按天生成日志不就得了

ipwx

2020-05-04 15:48:51 +08:00

@frozenway 首先必须说明，我没听说过操作系统会提供“删掉文件前多少字节”这种功能。所以大概率楼主你的字面需求是完成不了的。

但是解决方案有很多。比如：

1 、固定文件大小，把整个文件当做一个 circular buffer 用（记满了从尾巴跳到开头再开始写，直接覆盖老的内容）。然后用一个额外的小文件记录你有效的起始指针和尾指针的文职。
2 、不要用行这么大的粒度，粗略一点。比如每 500KB 换一个文件写。文件太多了就把老的文件删掉一个。
3 、上数据库。
4 、模仿数据库，自己用 B+ 树管理每一行的精确位置，自己管理文件被废弃的部分的回收再利用，自己管理文件存储碎片。也就是自己创造一种“数据库”。

cholerae

2020-05-04 15:50:46 +08:00

日志库不都有设置单个文件大小和 rotate 文件的功能吗？

cholerae

2020-05-04 15:55:39 +08:00

说回你的这个需求本身，有个系统调用是 fallocate，fallocate 支持一个参数叫 FALLOC_FL_PUNCH_HOLE，这个东西支持把指定 fd 的偏移区间的块给释放掉，这样就不占空间了。不过不会改文件的元信息，所以你去 ls 还是看到原本的大小，需要你自己维护一个偏移量。

miao1007

2020-05-04 15:58:27 +08:00 via iPhone

logstash

GrayXu

2020-05-04 16:41:38 +08:00

@frozenway “不想文件越来越大”这个需求显然是独立的。再额外做日志切割就好了……

love

2020-05-04 16:59:35 +08:00 via Android

你就不能下次从第 20 行开始读起?每读 10 行就复制一整个上 G 的文件，这个效率是嫌服务器负载太低了吗

winglight2016

2020-05-04 17:21:40 +08:00

虽然我没用过 php，但是日志分析这么基础的需求，不用再自己造轮子了吧？

julyclyde

2020-05-04 17:25:47 +08:00

这是一个很典型的
自行分析了需求然后给出错误解方案
然后上网问怎么实现这个错误方案
的案例

myqoo

2020-05-04 17:25:48 +08:00

正好写过完全相同的案例~ 每隔一段时间执行就可以：

logtime=$(date "+%Y-%m-%d-%H-%M-%S")

mv 日志路径备份目录 /$logtime.log

touch 日志路径

nginx -s reopen

hstdt

2020-05-04 17:25:50 +08:00 via iPhone

要是我来做，我可能会使用 sqlite😉

ETiV

2020-05-04 17:27:27 +08:00 via iPhone

mkfifo ?

asilin

2020-05-04 17:43:53 +08:00

很简单，用 sed -i -c 参数就可以完成，具体参见下面的链接：
https://stackoverflow.com/questions/36930913/extra-null-characters-when-sed-edit-the-file-in-place-which-under-wirting

banxiaobu

2020-05-04 18:08:08 +08:00

我更感兴趣的是这个是什么样的背景需要这么玩

burringcat

2020-05-04 18:20:15 +08:00

直接用 shell 就行，不要再用 php 把 shell 包起来！！！

tlday

2020-05-04 18:39:28 +08:00

我没有搞懂为什么要删掉，假如不需要删掉
你可以试试这个：
head -10 access.log #读取前 10 行
head -20 access.log | tail -10 #读取 10-20 行
head -30 access.log | tail -10 #读取 20-30 行
......依此类推

可能还有这个：
mkfifo log_seeker
cat access.log > log_seeker &
exec 3< log_seeker
head -10 log_seeker #读取前 10 个
head -10 log_seeker #读取下 10 个
head -10 log_seeker #读取下 10 个
...依此类推
完了使用
fg # 调出上面的 cat 进程 Ctrl+C 掉
exec 3<&- # 关掉用来保持 cat 进程的 reader 进程，参考： https://unix.stackexchange.com/questions/366219/prevent-automatic-eofs-to-a-named-pipe-and-send-an-eof-when-i-want-it