Christophe Leroy 8c70cce892 lib/vdso: Mark do_hres_timens() and do_coarse_timens() __always_inline() ...

[ Upstream commit 58efe9f696 ]

In the same spirit as commit c966533f8c ("lib/vdso: Mark do_hres()
and do_coarse() as __always_inline"), mark do_hres_timens() and
do_coarse_timens() __always_inline.

The measurement below in on a non timens process, ie on the fastest path.

On powerpc32, without the patch:

clock-gettime-monotonic-raw:    vdso: 1155 nsec/call
clock-gettime-monotonic-coarse:    vdso: 813 nsec/call
clock-gettime-monotonic:    vdso: 1076 nsec/call

With the patch:

clock-gettime-monotonic-raw:    vdso: 1100 nsec/call
clock-gettime-monotonic-coarse:    vdso: 667 nsec/call
clock-gettime-monotonic:    vdso: 1025 nsec/call

Signed-off-by: Christophe Leroy <christophe.leroy@csgroup.eu>
Reviewed-by: Thomas Gleixner <tglx@linutronix.de>
Reviewed-by: Vincenzo Frascino <vincenzo.frascino@arm.com>
Signed-off-by: Michael Ellerman <mpe@ellerman.id.au>
Link: https://lore.kernel.org/r/90dcf45ebadfd5a07f24241551c62f619d1cb930.1617209142.git.christophe.leroy@csgroup.eu
Signed-off-by: Sasha Levin <sashal@kernel.org>

2022-09-05 10:28:58 +02:00

..

842

…

crypto

…

dim

…

fonts

…

kunit

…

livepatch

…

lz4

…

lzo

…

math

…

mpi

…

pldmfw

…

raid6

…

reed_solomon

…

vdso

…

xz

…

zlib_deflate

…

zlib_dfltcc

…

zlib_inflate

…

zstd

…

.gitignore

…

argv_split.c

…

ashldi3.c

…

ashrdi3.c

…

asn1_decoder.c

…

assoc_array.c

…

atomic64_test.c

…

atomic64.c

…

audit.c

…

bcd.c

…

bch.c

…

bitfield_kunit.c

…

bitmap.c

…

bitrev.c

…

bootconfig.c

…

bsearch.c

…

btree.c

…

bucket_locks.c

…

bug.c

…

build_OID_registry

…

bust_spinlocks.c

…

check_signature.c

…

checksum.c

…

clz_ctz.c

…

clz_tab.c

…

cmdline.c

…

cmpdi2.c

…

compat_audit.c

…

cpu_rmap.c

…

cpumask.c

…

crc4.c

…

crc7.c

…

crc8.c

…

crc16.c

…

crc32.c

…

crc32defs.h

…

crc32test.c

…

crc64.c

…

crc-ccitt.c

…

crc-itu-t.c

…

crc-t10dif.c

…

ctype.c

…

debug_info.c

…

debug_locks.c

…

debugobjects.c

…

dec_and_lock.c

…

decompress_bunzip2.c

…

decompress_inflate.c

…

decompress_unlz4.c

…

decompress_unlzma.c

…

decompress_unlzo.c

…

decompress_unxz.c

…

decompress_unzstd.c

…

decompress.c

…

devres.c

…

digsig.c

…

dump_stack.c

…

dynamic_debug.c

…

dynamic_queue_limits.c

…

earlycpio.c

…

errname.c

…

error-inject.c

…

errseq.c

…

extable.c

…

fault-inject-usercopy.c

…

fault-inject.c

…

fdt_addresses.c

…

fdt_empty_tree.c

…

fdt_ro.c

…

fdt_rw.c

…

fdt_strerror.c

…

fdt_sw.c

…

fdt_wip.c

…

fdt.c

…

find_bit_benchmark.c

…

find_bit.c

…

flex_proportions.c

…

gen_crc32table.c

…

gen_crc64table.c

…

genalloc.c

…

generic-radix-tree.c

…

glob.c

…

globtest.c

…

hexdump.c

…

hweight.c

…

idr.c

…

inflate.c

…

interval_tree_test.c

…

interval_tree.c

…

iomap_copy.c

…

iomap.c

…

iommu-helper.c

…

iov_iter.c

…

irq_poll.c

…

irq_regs.c

…

is_single_threaded.c

…

kasprintf.c

…

Kconfig

…

Kconfig.debug

…

Kconfig.kasan

…

Kconfig.kcsan

…

Kconfig.kgdb

…

Kconfig.ubsan

…

kfifo.c

…

klist.c

…

kobject_uevent.c

…

kobject.c

…

kstrtox.c

…

kstrtox.h

…

libcrc32c.c

…

linear_ranges.c

…

list_debug.c

…

list_sort.c

…

list-test.c

…

llist.c

…

locking-selftest-hardirq.h

…

locking-selftest-mutex.h

…

locking-selftest-rlock-hardirq.h

…

locking-selftest-rlock-softirq.h

…

locking-selftest-rlock.h

…

locking-selftest-rsem.h

…

locking-selftest-rtmutex.h

…

locking-selftest-softirq.h

…

locking-selftest-spin-hardirq.h

…

locking-selftest-spin-softirq.h

…

locking-selftest-spin.h

…

locking-selftest-wlock-hardirq.h

…

locking-selftest-wlock-softirq.h

…

locking-selftest-wlock.h

…

locking-selftest-wsem.h

…

locking-selftest.c

…

lockref.c

…

logic_pio.c

…

lru_cache.c

…

lshrdi3.c

…

Makefile

…

memcat_p.c

…

memneq.c

…

memory-notifier-error-inject.c

…

memregion.c

…

memweight.c

…

muldi3.c

…

net_utils.c

…

netdev-notifier-error-inject.c

…

nlattr.c

…

nmi_backtrace.c

…

nodemask.c

…

notifier-error-inject.c

…

notifier-error-inject.h

…

objagg.c

…

of-reconfig-notifier-error-inject.c

…

oid_registry.c

…

once.c

…

packing.c

…

parman.c

…

parser.c

…

pci_iomap.c

…

percpu_counter.c

…

percpu_test.c

…

percpu-refcount.c

…

plist.c

…

pm-notifier-error-inject.c

…

radix-tree.c

…

random32.c

…

ratelimit.c

…

rbtree_test.c

…

rbtree.c

…

refcount.c

…

rhashtable.c

…

sbitmap.c

…

scatterlist.c

…

seq_buf.c

…

sg_pool.c

…

sg_split.c

…

sha1.c

…

show_mem.c

…

siphash.c

…

smp_processor_id.c

…

sort.c

…

stackdepot.c

…

stmp_device.c

…

string_helpers.c

…

string.c

…

strncpy_from_user.c

…

strnlen_user.c

…

syscall.c

…

test_bitmap.c

…

test_bitops.c

…

test_bits.c

…

test_blackhole_dev.c

…

test_bpf.c

…

test_debug_virtual.c

…

test_firmware.c

…

test_fpu.c

…

test_free_pages.c

…

test_hash.c

…

test_hexdump.c

…

test_hmm_uapi.h

…

test_hmm.c

…

test_ida.c

…

test_kasan_module.c

…

test_kasan.c

…

test_kmod.c

…

test_linear_ranges.c

…

test_list_sort.c

…

test_lockup.c

…

test_memcat_p.c

…

test_meminit.c

…

test_min_heap.c

…

test_module.c

…

test_objagg.c

…

test_overflow.c

…

test_parman.c

…

test_printf.c

…

test_rhashtable.c

…

test_siphash.c

…

test_sort.c

…

test_stackinit.c

…

test_static_key_base.c

…

test_static_keys.c

…

test_string.c

…

test_strscpy.c

…

test_sysctl.c

…

test_ubsan.c

…

test_user_copy.c

…

test_uuid.c

…

test_vmalloc.c

…

test_xarray.c

…

test-kstrtox.c

…

test-string_helpers.c

…

textsearch.c

…

timerqueue.c

…

ts_bm.c

…

ts_fsm.c

…

ts_kmp.c

…

ubsan.c

…

ubsan.h

…

ucmpdi2.c

…

ucs2_string.c

…

usercopy.c

…

uuid.c

…

vsprintf.c

…

win_minmax.c

…

xarray.c

…

xxhash.c

…