Почему in_category работает так же, как is_category в коде сайдбара?

in_category() проверяет категории текущей записи. На странице рубрики внутри основного цикла текущей записью становится каждый пост из этой рубрики, поэтому внутри sidebar, вызванного во время Loop, in_category(5) будет возвращать true для записей рубрики 5. Это не то же самое, что is_category(), просто вы вызываете проверку в контексте записи.

Разница такая:

• is_category(5) — мы на архивной странице рубрики ID 5;
• in_category(5) — текущая запись принадлежит рубрике ID 5.

Если нужно показать блок только на одиночных записях из рубрики 5, добавьте проверку is_single():

<?php if (is_single() && in_category(5)) : ?>
    Тут сайдбар только для записей категории ID 5
<?php else : ?>
    Тут сайдбар для всего остального сайта
<?php endif; ?>

Если нужно исключить сам архив рубрики, можно явно проверить:

if (! is_category(5) && in_category(5)) {
    // запись из категории 5, но не архив категории
}

Но правильнее формулировать условие от типа страницы:

if (is_singular('post') && has_category(5, get_queried_object_id())) {
    get_sidebar('category-5');
} else {
    get_sidebar();
}

Для сайдбара важно, где именно он подключается. Если get_sidebar() стоит внутри цикла архива, условные теги записи будут зависеть от текущего поста. Обычно сайдбар подключают вне Loop, а для условий используют is_single(), is_category(), is_archive() и get_queried_object().