/docs/MyDocs

Toolset

=======

 Function/Tree Profiller: codeanalyst(+), valgrind/kcachegrind(slow) [low-precision: sysprof, google-perftools]

 Hardware Assisted Profiller: oprofile(+), perfmon2

 Heap Profiller: valgrind/kcachegrind(slow), Google PerfTools (low precision)

 Memory Fragmentation: TotalView Memoryscape

 Memory Leak Detector: TotalView Memoryscape, valgrind (free), Purify (finds lot)

 Debugger: Slickedit + gdb, TotalView + ReplayEngine (!?)

 Tracer: dtrace (!), strace (syscalls), ltrace(library callss), btrace (I/O)

 Extra Tools: PowerTop, LatencyTop

 

Standard GNU profiler (gprof, gcov)

---------------------

 GNU profiller have problems with multithreaded applications and is not able

 to track into the dynamicaly loaded (dlopen) shared libraries. Moreover,

 while gprof will just ignore such libraries, gcov will fail all calls

 to dlopen.

 

 

Valgrind / callgrind

--------------------

 Open source memory leak detector and profiller. Very powerful, it is able

 to profile CPU and HEAP, simullate cache and branching behaviour. There is

 even alpha version of I/O profiller available. However, it's extremely

 slow.

 

 * kcahcegrind  - provides graphical tree-style profiller (very convinient)

 * alleyoop     - Gnome GUI to valgrind memcheck and helgrind. Do not provide

                profilling analysis.

 

Google Performance Tools

------------------------

 Malloc debugger as well as Heap and CPU profillers. Constructs graph to 

better represent call flow.

 

 - Due to the design, you only got the main time consuming functions. The 

 profilling of servers waking up for a short time to process requests is 

 not possible.

 - Crashing on amd64 due to libunwind 0.98.x (0.99 is expected to fix problem

 in the future)

 

OProfile

--------

 Plain profiller using hardware counters (oprofile vanilla kernel module).

Supports threads and processes. Annotates sources/assembler code with 

counting information.

 + There is something like qemu support

 - Current version have problems handling multiple events at once (no multiplexing)

 - The root priveleges are required to start and stop monitoring

 - Only plane profilling, no way to know who was calling expansive functions

 

Perfmon2 [requires kernel patch]

--------

 pfmon - is an alternative to OProfile. 

 + Works fine from standard user credential

 + Works well with multiple events (multiplexing support)

 + Provides convinient constracts to start and stop monitoring in certain

 places or at access to certain data.

 + Able to monitor a single application only

 + gpfmon is python based graphical frontend (able to operate over ssh)

 - However, it is only able to provide symbol information, the sources are

 not linkable. 

 - Plane profilling only, you will not know who executed this free function 

 in libc who takes 90% of time.

 

PAPI (perfctr)

----

 The Performance API (PAPI) project specifies a standard API for accessing 

 hardware performance counters available on most modern microprocessors.

 - Needs own patch to a kernel which are quite outdated (2.6.26RC when 2.6.29

 is out) or optionally perfmon2 module. However, the compilation with last is

 failing.

 - For that reasons, not tested

 

Sysprof

-------

 Very simple tree based profiler with minimalistic user interface. 

 * Provides kernel module (sysprof-module, kernel patchig is not needed)

 * Operates in system wide mode (no events, just cpu time)

 * Reports where the most time was spent (low precision), organizes symbols in

 linked trees.

 

PerfSuite 

--------

 - Console based frontend to OProfile and PAPI providing the same functionality

 but allows a little bit less typing.

 

AMD CodeAnalyst

---------------

 Open source profiler based on OProfile. Unfortunatelly it works only with

 AMD processors. I patched it to run on Core2. 

 - However, the event multiplexing is not yet implemented in Intel driver and 

 for that reasons only two events  could be seen simultaneously (normal AMD 

 configs are about 10). However, it's expected in few next kernel releases 

 and it's quite OK even with 2.

 - I have not implemented standard views (becuase of aforesaid limitation and

 necessity to make correspondance between AMD and Intel counters)

    

TotalView MemoryScape & Debugger (with ReplayEngine) [commercial]

--------------------------------

 - Finding memory leaks and potential problems in memory

 fragmentation

 - Debugger provides step-back functionality by recording states

 of execution

 - Supports parallel debugging (MPI, ...), not tests

 

 Sources should be compiled with -g -gdwarf-2 -g3 -DDEBUG_GDB

 

IBM Rational PurifyPlus [commercial, limited(very) evolution]

-----------------------

 Rational suite do not require kernel support consist of 3 tools: 

    purify - finds problems in code

    purecov - coverage tasting

    quantify - performance

 

 - IBM only supports RHEL and SuSE Enterprise. Other systems are unsupported.

 + However, it's pretty well running in VM with scientific Linux 

 - Evalution license renders some limitations. However, test run on opc-server

 shown a lot of found errors. No precise details because of evaluation, but 

 looks comporable to valgrind but much faster.

 

Intel VTune [commercial]

-----------

 - Intel profiler. Depends on ugly implementation of DCOM to Linux and for that

 reasons is working on very limited number of platforms. I was able to set

 on Gentoo and some tools even executed(terribly slow), hower the profiling 

 always complained and failed.

 - Depending on hardware counters it is not working in VM.

 - Expected to be counterpart of oprofile (plus some graphics)

 - Basicaly console tools

 - No eclipse integration  on 64bit platform

 

Insure++ [commercial, not available]

--------

 Advanced tool to find memory and other problems in code

 

Other Profilers

---------------

 * cprof - out of maintenance

 * sprof - not found any more

 * prospect - hardware debugger based on oprofile module for 2.4 kernels, no

 maintenance

 * HP Q-Tools - Hardware profiler is available only to Linux/Itanium platform. 

 But sice version 0.5.1 qprof is running on common Intel hardware.

 However, it is quite slow, unprecise like google toolkit and do not provide

 anything special. As well some problems with threads/shared libraries...

 * HP Caliper - HP-UX and Itanium/Linux only

 

Python Profilling

=================

 Profiller is included in python

    python -m cProfile -o profile.out <python.scrypt>

    

 It could be used together with valgrind, using following command:

    valgrind --tool=callgrind ${PYTHON} -m cProfile -o ${PACKAGE_HOME}/profile.out ${PACKAGE_HOME}/SOURCES/PyHST.py   $*

 

 

Other Tools

===========

 * pmr - measures pipe bandwidth

 * pintool - Pin is a tool for the dynamic instrumentation of programs: it may

 inject arbitrary code (written in C or C++) at arbitrary places in the 

 executable. Pin adds the code dynamically while the executable is running. 

 This also makes it possible to attach Pin to an already running process.

 

 

 DTrace

 ------

    Extremely powerful trace for OpenSolaris. BrandZ framework extending 

    Solaris Zones allows to execute Linux applications inside and hence

    trace them.

    The current version lx brand emulates 2.4.21 kernel and glibc 2.3

 

 

 Latency Top

 -----------

    Displays on per-application basis how much time applications spending 

    waiting on CPU (modules, symbols, system calls)

 

 Power Top

 ---------

    Measures process wakeups per second. Quite important for power consumption

    optimization