Solution 1 :
J'ai pu utiliser lsof pour obtenir le descripteur de fichier, puis a exécuté stat /proc/<PID>/fd/<file descriptor> pour obtenir la date.
Solution 2 :
Une combinaison de lsof et /proc comme suggéré par @opsguy devrait faire l'affaire :
lsof -P -i tcp | awk '{print $2,$4}' | tr -d 'u' | sort -u \
| while read pid fd; do stat --printf "%z %N\n" /proc/$pid/fd/$fd ; done | sort -r