Prawo do odliczenia podatku VAT z faktury wystawionej przez podmiot niezarejestrowany do VAT

Może się zdarzyć, iż przedsiębiorca otrzyma fakturę VAT od podmiotu, który, jak się później okazuje, nie był w tym czasie zarejestrowany jako czynny podatnik VAT. Co w takiej sytuacji z prawem do odliczenia podatku VAT? Jakie jest w tym zakresie stanowisko administracji podatkowej?