Dans son activité d'enquête, la police judiciaire est placée sous la direction et le contrôle du ministère public. Compétent pour réaliser ou faire réaliser « tous les actes nécessaires à la recherche et à la poursuite des infractions à la loi pénale », le procureur de la République, « dirige l'activité des officiers et agents de la police judiciaire dans le ressort de son tribunal ». De plus, les membres de la police judiciaire ont l'obligation de lui rendre compte. Ainsi, l'article 19 du code de procédure pénale prévoit que les officiers de police judiciaire sont tenus d'informer le procureur de la République sans délai des infractions dont ils ont connaissance et « de lui faire parvenir, dès la clôture des opérations, les procès-verbaux qu'ils ont dressés ». En cas de crimes et de délits flagrants, ils doivent également l'informer immédiatement. De même, dans le cadre d'une enquête préliminaire relative à un crime ou un délit, ils doivent l'aviser dès qu'ils identifient un suspect.
Les pouvoirs d'investigation de la police judiciaire diffèrent selon que l'infraction est flagrante ou non.
Dans le premier cas, les officiers de police judiciaire disposent de pouvoirs de contrainte importants pendant toute la durée de l'enquête, qui est en principe limitée à 8 jours, à moins qu'elle ne soit prolongée de la même durée par le procureur de la République.Ils peuvent notamment procéder sans autorisation aux actes suivants : conservation des indices, saisie de tous les objets liés à l'infraction et trouvés sur le lieu du crime, arrestation de l'auteur présumé, prélèvements externes nécessaires à la réalisation d'examens, relevés signalétiques, visites domiciliaires, perquisitions, saisies de pièces à conviction, réquisition des données informatiques des organismes publics et de la plupart des personnes morales de droit privé. Ils peuvent également adresser des convocations à comparaître aux personnes susceptibles de fournir des renseignements et défendre à toute personne de s'éloigner du lieu de l'infraction. Ils peuvent, en outre, pour les besoins de l'enquête, placer en garde à vue pour une durée de 24 heures la personne soupçonnée, à condition d'en informer le procureur.
Il n'en va pas de même dans le cadre d'une enquête préliminaire, qui est menée soit sur les instructions du procureur de la République soit d'office et dont la durée n'est pas limitée par le code de procédure pénale. La police judiciaire ne peut exercer aucune des prérogatives précédemment décrites sans l'autorisation du procureur (ou du juge des libertés et de la détention saisi par le procureur), si ce n'est le placement en garde à vue pour les premières 24 heures. Cependant, pour les perquisitions, visites domiciliaires et saisies de pièces à conviction, elle peut agir sans autorisation si elle obtient l'assentiment exprès de la personne concernée.
Une fois l'information judiciaire ouverte, la police judiciaire réalise les actes d'instruction qui lui sont délégués par le juge d'instruction : elle « exécute les délégations des juridictions d'instruction et défère à leurs réquisitions ».
La police judiciaire, chargée de la réalisation concrète de l'enquête, est donc présente pendant toute la phase initiale de la procédure pénale, exerçant sa mission d'abord sous la direction du ministère public, puis sous celle du juge d'instruction. C'est surtout pendant l'enquête préliminaire préalable à l'instruction - et encore plus dans le cadre de l'enquête de flagrance - qu'elle dispose d'une large autonomie.