/docs/MyDocs

Compilation Requirements

  * Debuging flags: -g -gdwarf-2 -g3 -fno-omit-frame-pointer

  * Disable inlining: -fno-inline

 

 

Running

=======

    - Standard:

        operf <operf_args> <application> <app_args>

    With kernel profilling (kernel image should be uncompressed and not stripped)

    * In OpenSuSE actually running kernel can be just gunzip'ed

    * If self-compiled, it normally could be found in /usr/src/linux/arch/x86/boot/compressed/vmlinux

        operf --vmlinux=vmlinux <app...>

    To include callgraph information to analyze what was calling the long-running symbols

        operf --callgraph

 

    - System-wide:

     Configure the daemon (kernel and other options)

        opcontrol --vmlinux=vmlinux

      Run and dump the results (results can be dumped while running)

        opcontrol --reset; opcontrol --start; <run app>; opcontrol --stop

        opcontrol --dump        

      Control the daemon

        opcontrol --init

        opcontrol --start-daemon

        opcontrol --status                      - Daemon configuration

        opcontrol --shutdown

      

Analyzing

=========

  opreport                                      - Dumps all shared libraries and apps consumed cpu cycles

  opreport --symbols --debug-info               - Dump symbols used cpu cycles (apps should be compiled with -g to get this info)

  opreport --symbols --debug-info --details     - Get line infomation

  

  Kernel modules:

    opreport --symbols -p /lib/modules/3.11.6-4-desktop

 

  Filtering:

    opreport ... </path/to/library_or_app>      - Only report information related to the specified application

    opreport --include-symbols <symbol>         - Only report information about the specified sy,bol

    opreport --threshold 4.0                    - Only report on stuff with more than 4% usage

    opreport event:CPU_CLK_UNHALTED cpu:1 ...   - Filter out only specific events (see man opreport)

 

  Callgraph:

    opreport --symbols --debug-info  --callgraph        - operf should be executted with --callgraph as well (costs much performance)

    

    The format is a bit strange, there are multiple blocks. In each block one line starts at the 

    very beginning of line and others after a small padding with spaces. This provides a standard 

    information about considered symbol. Lines above it, list all functions calling the symbol along

    with statistics how often the symbol was sampled being called from a specified function.

    The lines below are list of functions called by the symbol. The line ending with "[self]" 

    tells how long the symbol itself was executed (without calling anything futher).\

    

  gprof-compatibility:

     opgprof <component_full_name>              - Generates gprof output for a single component

        gprof -p <component_full_name>          - and other gprof commands...

    

  Generating charts:

    - With: https://github.com/jrfonseca/gprof2dot

        opreport --callgraph --debug-info --long-filenames | gprof2dot -f oprofile | dot -Tpng -o output.png

    

    

 Anotate library source:

    opannotate --source /home/csa/opc/libds/libds.so

    opannotate --assembly /home/csa/opc/libds/libds.so

 

 Storing and comparing profiles:

    opreport --output-dir=<result_dir>          - Use oprofile information from the specified directory

    oparchive -o <arc_name> <app>

    opreport --session-dir=`pwd`/oprofile_data/ -x1 <app> { archive: ./<arc_name> } { }

    opreport --session-dir=`pwd`/oprofile_data/ -x1 <app> { archive: ./<arc_name> } { ./<arc2_name> }

    

    

 

 Differential profiles:

 

 

 

  Comparing

 

 

Events

======

    opcontrol --list-events

 

    CPU_CLK_UNHALTED                    - CPU load

    BR_MISSP_EXEC                       - Branch missprediction

    L2_LINES_IN                         - L2 Cache lines modifications

 

 

 Events:

    opcontrol --event=<event1_spec> --event=<event2_spec>

    - This should be executed before daemon started

    - The number of supported counters dependens on CPU (1-8)

    - Default event counter (depends on CPU): CPU_CLK_UNHALTED:100000:0:1:1

    - Multiple events are not working for me (core duo, just first is collected)

 

    event_spec: <name:sample_rate:mask:kernel_mode:user_mode>

        + name and mask are obtained using 'ophelp'

        + sample_rate - events are generated once at specified amount of cycles

        + if kernel_mode = 0, the events obtained in kernel mode are ignored

        + if user_mode = 0, the events obtained in user mode are ignored

 

    opcontrol  --separate=<mode>

        + none          - do not separate the profiles (default)

        + library       - generate per-application profiles for libraries

        + kernel        - generate per-application profiles for the kernel 

                        and kernel modules

        + all           - generate per-application profiles for libraries and 

                        per-application profiles for the kernel and kernel 

                        modules

    

 

Counter Multiplexing

====================

 There is limited amount of counters which can monitor arbitrary events. AMD

have 4 and Intel have 2 (actually 5, but 3 is predefined and not used by

oprofile). To count more, the counter multiplexing is could be used by 

modules. This actually implemented for AMD (and probably old P4 of Intel).

However, the support for modern Intel CPU's is still missing.

 Development is going on in oprofile git branch by Robert Richter and he is

promising to include complete version 2.6.30 or 31.

 http://git.kernel.org/?p=linux/kernel/git/rric/oprofile.git;a=shortlog;h=multiplexing

    arch/x86/oprofile/nmi_int.c:op_nmi_init     appropriate CPU model

        op_model_ppro.c - is currently used for Core* processors

 Patch agains 2.6.28 is certainly not including support for Intel

 There is also was development to update oprofile apps to work with perfmon2

 module, already supporting multiplexing, but it's only for ia64 at the moment

    http://sourceforge.net/mailarchive/forum.php?thread_name=20090212222748.GA7205%40suse.de&forum_name=perfmon2-devel

 

Best practices

==============

 - Branch prediction

    operf --events=BR_MISS_PRED_RETIRED:500,BR_INST_RETIRED:500 <app>

 - Cache misses

    operf --events=CPU_CLK_UNHALTED:2000003,mem_load_uops_retired:2000003:l1_hit ./mult_sse_debug

 

 

 

 

GUI

===

 - sysprof

 - AMD CodeXL

 - oprof_start          - Simple UI allowing selection of events from list